SJ_Koding

https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct meta-llama/Meta-Llama-3.1-8B-Instruct · Hugging FaceThe information you provide will be collected, stored, processed and shared in accordance with the Meta Privacy Policy. LLAMA 3.1 COMMUNITY LICENSE AGREEMENT Llama 3.1 Version Release Date: July 23, 2024 "Agreement" means the terms and conditions for use,huggingface.co 한국 시간으로 7월 24일 ..

faiss index를 생성할 때, CPU로 진행하면 굉장히 느리므로 GPU를 사용하려고 할 때 자주 보는 에러이다.GPT에 물어보면 단순히 faiss-gpu를 install하라고 하는데, 이는 faiss-cpu가 설치되어있지 않은 경우를 가정한다.즉, faiss-cpu가 install 되어있을 때, faiss-gpu를 install하더라도 faiss import시, faiss-cpu가 import되어 faiss-gpu라이브러리를 인식할 수 없다.따라서 faiss-cpu를 uninstall하고 faiss-gpu를 설치해야하며, 만약 faiss-cpu가 설치되어있는 채로 faiss-gpu를 설치했다면 아마 uninstall했을 때 faiss 라이브러리 자체를 불러올 수 없다는 오류(ModuleNotFoun..

어느덧 3차 신청기간인데 이제서야 1차 합격 후기를 올린다. 중간에 취업을 하고 여러 대회도 나가면서 실기를 응시하지 못했는데 이번 3차 정보처리기사 실기를 응하려고 한다.공부기간: 3일, 71점 합격*여기서 말하는 3일은 독서실에서 아침부터 밤까지 정처기 공부에 올인한 시간이다.필자는 컴퓨터공학과를 전공했기 때문에 특히 4과목은 큰 자신이 있었다. C언어, Python언어, Java언어 정말 즐겨했던 과목이기 때문이다.(게다가 실무에서 Python쓰는중) 그래서 ADsP나 SQLD도 마찬가지였는데,  단순 암기가 필요한 과목이 정말 약했다. 암기는 질색이다.* 혹시 다른 자격증 후기도 보고싶다면?  ADsP, 데이터 분석 준전문가 2일 공부 합격후기 (40회, 전공자 기준)예전에 KT AIVLE SCH..

langchain의 LlamaCPP를 사용하다가. 테스트로 vllm을 사용했을 때 평소 13GB정도 먹었던 애가 느닷없이 70GB를 넘게 잡아먹었다.먼저 VLLM(Very Large Language Models)은 대규모 언어 모델의 효율적인 추론을 위해 설계된 시스템이다. 특히, VLLM은 모델 추론 중에 반복적으로 참조되는 데이터의 캐싱을 위해 키-값 캐시(KV Cache)를 사용한다. KV Cache는 트랜스포머 모델의 각 레이어에서 생성된 키(Key)와 값(Value) 텐서를 저장하여, 동일한 입력에 대해 반복적인 계산을 피하고 성능을 최적화한다.KV Cache는 다음과 같은 장점을 제공한다:추론 속도 향상: 반복되는 계산을 줄여 추론 속도를 크게 향상시킨다.메모리 사용 최적화: 캐싱을 통해 필요..

개요문서에서 텍스트를 추출하는건 다양하게 쓰일 수 있는데, LLM에 도입할때 꽤 유용하게 쓰일 수 있다. 이를테면 챗봇에 문서를 업로드하면 해당 문서를 요약할 수 있도록 할 수 있는데(물론 PNG파일과 같은 이미지 파일은 OCR기술이 필요하다), 그러기 위해서는 문서 내의 텍스트를 추출하여 해당 데이터를 LLM모델에 넘겨줘야한다. 데이터를 추출하면 추가 가공하거나 추출된 원본 그대로를 LLM모델에 넣어주면 알아서 잘 해석하고 답변을 생성한다.(당연히 LLM성능에 따라 답변 퀄리티가 달라진다.)Python의 확장성이란,, 상상 이상이다. 거의 모든 확장자의 문서파일에서 텍스트를 추출할 수 있는 기능을 제공한다.(진짜쉽다)해당 포스팅에서는 PPT, PDF, DOCX, HWP, XLSX등의 확장자 파일들을 포..

만약 100GB짜리의 파일을 옮겨야할때, A라는 서버와 B서버가 있고(이하 각각 A, B로 칭함), A에서 B로 파일을 전송한다고 하자.가장 쉬운 방법은 A라는 서버에서 파일을 로컬로 다운받고 로컬에서 다시 B서버로 전송하는 방법이있는데,이렇게하면 교수님이나 직장 상사가 엉덩이를 토닥이며 극찬을 퍼붓는다.사실 A에서 B로 바로 전송하는게 가장 현명하고 빠른 방법인데,미리 말하면 환경에 따라 다르겠지만A -->로컬 : 20시간 소요, A-->B: 20분 소요 정도의유의미한 차이를 확인했다. 또한 인증 과정에서 ppk파일을 사용하는 경우 어떻게 하면 될까?1. PuttyGen 설치 (ppk파일이 없을경우)먼저, ppk 파일을 생성하거나 변환하기 위해서는 PuttyGen이 필요하다. PuttyGen은 PuTT..

LLM 모델을 기능에 따라 파인튜닝 시켜 챗봇 시스템을 구축하고, 웹 개발팀에 넘기기 전 LLM의 실시간 스트리밍 출력과, 출력이 Markdown언어일 때 ChatGPT처럼 실시간으로 Markdown문법이 적용되게 끔 구현해보았다.웹 개발자가 아니어서 가장 Basic한 언어를 사용했다. 프론트 : HTML, CSS, JavaScript백엔드: FastAPI만약 ChatGPT처럼 가독성 좋게 답변하길 원한다면, 아래 과정을 거치기 전에 System 프롬프트 튜닝으로 "markdown 형식으로 가독성 좋게 답변해줘" 식으로  프롬프트를 추가해주자.# 내용- 그러면 이런식으로- markdown 문법에 따라 그대로 변환없이 반환할텐데## 변환 방법- 그 방법을 아래에 소개하겠다. MD변환 방법론 요약:스트리밍 ..

요약:문제 코드pip freeze > requirements.txt해결 코드pip list --format=freeze > requirements.txt파이썬을 사용한다면 다른 가상환경, 다른 PC, local --> server, 경진대회 검증소스코드등 환경 자체를 옮겨야하는 경우가 굉장히 많다.그러기 위해서는 깔려있는 라이브러리와 각각의 버전을 통째로 알고 옮겨야하는데, 대게 requirements.txt라는 파일명을 사용하여 라이브러리를 옮기곤 한다.이를 위해 터미널에서 널리 알려진 아래의 명령을 사용한다.pip freeze > requirements.txtabsl-py==1.4.0accelerate==0.23.0aiohttp @ file:///rapids/aiohttp-3.8.4-cp310-cp3..