SJ_Koding

어느덧 3차 신청기간인데 이제서야 1차 합격 후기를 올린다. 중간에 취업을 하고 여러 대회도 나가면서 실기를 응시하지 못했는데 이번 3차 정보처리기사 실기를 응하려고 한다.공부기간: 3일, 71점 합격*여기서 말하는 3일은 독서실에서 아침부터 밤까지 정처기 공부에 올인한 시간이다.필자는 컴퓨터공학과를 전공했기 때문에 특히 4과목은 큰 자신이 있었다. C언어, Python언어, Java언어 정말 즐겨했던 과목이기 때문이다.(게다가 실무에서 Python쓰는중) 그래서 ADsP나 SQLD도 마찬가지였는데,  단순 암기가 필요한 과목이 정말 약했다. 암기는 질색이다.* 혹시 다른 자격증 후기도 보고싶다면?  ADsP, 데이터 분석 준전문가 2일 공부 합격후기 (40회, 전공자 기준)예전에 KT AIVLE SCH..

langchain의 LlamaCPP를 사용하다가. 테스트로 vllm을 사용했을 때 평소 13GB정도 먹었던 애가 느닷없이 70GB를 넘게 잡아먹었다.먼저 VLLM(Very Large Language Models)은 대규모 언어 모델의 효율적인 추론을 위해 설계된 시스템이다. 특히, VLLM은 모델 추론 중에 반복적으로 참조되는 데이터의 캐싱을 위해 키-값 캐시(KV Cache)를 사용한다. KV Cache는 트랜스포머 모델의 각 레이어에서 생성된 키(Key)와 값(Value) 텐서를 저장하여, 동일한 입력에 대해 반복적인 계산을 피하고 성능을 최적화한다.KV Cache는 다음과 같은 장점을 제공한다:추론 속도 향상: 반복되는 계산을 줄여 추론 속도를 크게 향상시킨다.메모리 사용 최적화: 캐싱을 통해 필요..

개요문서에서 텍스트를 추출하는건 다양하게 쓰일 수 있는데, LLM에 도입할때 꽤 유용하게 쓰일 수 있다. 이를테면 챗봇에 문서를 업로드하면 해당 문서를 요약할 수 있도록 할 수 있는데(물론 PNG파일과 같은 이미지 파일은 OCR기술이 필요하다), 그러기 위해서는 문서 내의 텍스트를 추출하여 해당 데이터를 LLM모델에 넘겨줘야한다. 데이터를 추출하면 추가 가공하거나 추출된 원본 그대로를 LLM모델에 넣어주면 알아서 잘 해석하고 답변을 생성한다.(당연히 LLM성능에 따라 답변 퀄리티가 달라진다.)Python의 확장성이란,, 상상 이상이다. 거의 모든 확장자의 문서파일에서 텍스트를 추출할 수 있는 기능을 제공한다.(진짜쉽다)해당 포스팅에서는 PPT, PDF, DOCX, HWP, XLSX등의 확장자 파일들을 포..