SJ_Koding

langchain의 LlamaCPP를 사용하다가. 테스트로 vllm을 사용했을 때 평소 13GB정도 먹었던 애가 느닷없이 70GB를 넘게 잡아먹었다.먼저 VLLM(Very Large Language Models)은 대규모 언어 모델의 효율적인 추론을 위해 설계된 시스템이다. 특히, VLLM은 모델 추론 중에 반복적으로 참조되는 데이터의 캐싱을 위해 키-값 캐시(KV Cache)를 사용한다. KV Cache는 트랜스포머 모델의 각 레이어에서 생성된 키(Key)와 값(Value) 텐서를 저장하여, 동일한 입력에 대해 반복적인 계산을 피하고 성능을 최적화한다.KV Cache는 다음과 같은 장점을 제공한다:추론 속도 향상: 반복되는 계산을 줄여 추론 속도를 크게 향상시킨다.메모리 사용 최적화: 캐싱을 통해 필요..

개요문서에서 텍스트를 추출하는건 다양하게 쓰일 수 있는데, LLM에 도입할때 꽤 유용하게 쓰일 수 있다. 이를테면 챗봇에 문서를 업로드하면 해당 문서를 요약할 수 있도록 할 수 있는데(물론 PNG파일과 같은 이미지 파일은 OCR기술이 필요하다), 그러기 위해서는 문서 내의 텍스트를 추출하여 해당 데이터를 LLM모델에 넘겨줘야한다. 데이터를 추출하면 추가 가공하거나 추출된 원본 그대로를 LLM모델에 넣어주면 알아서 잘 해석하고 답변을 생성한다.(당연히 LLM성능에 따라 답변 퀄리티가 달라진다.)Python의 확장성이란,, 상상 이상이다. 거의 모든 확장자의 문서파일에서 텍스트를 추출할 수 있는 기능을 제공한다.(진짜쉽다)해당 포스팅에서는 PPT, PDF, DOCX, HWP, XLSX등의 확장자 파일들을 포..