SJ_Koding

2024년 9월 20일, Claude 제작사의 Anthropic사에서 RAG성능을 향상시키기 위한 기법을 공개했습니다. Claude에 사용된 프롬프트들을 공개하는 등, 본인들이 가지고있는 기술들을 공개하는 데에 꺼리지 않는 모습을 보이는 것 같습니다. (OpenAI는 이런 적이 있었나..) Introducing Contextual RetrievalAnthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.www.anthropic.com( 해당 포스팅은 통번역이 아닙니다. 제 경험과 주관이 내포되어있기 때문에 원문과 함께 구독하시면 효과적입니다. ) ..

Selective Reflection Tuning Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning (2024.06)LLM Fine-tuning의 성능 향상을 위해 데이터 품질을 향상하려는 시도, 그리고 데이터 생성에 대한 다양한 방법론이 연구되어왔습니다. 하지만 이는 모두 학생모델(이하 Student, 주로 Llama-3.1 8B, Solar 10.8B 등등의 sLM급 모델)의 호환성을 고려하지 않았다는 것을 핵심으로 이야기합니다. 이는 즉 Student의 제한된 성능때문에 GPT4o등이 만들어낸 고품질 프롬프트로 fine-tuning을 진행하더라도 이를 모방할 수 없다라는 의미로 받아들여집니다...

제3회 ETRI 휴먼이해 인공지능 논문경진대회본 대회는 한국전자통신연구원(ETRI)이 주최하고 과학기술정보통신부와 국가과학기술연구회(NST)가 후원합니다aifactory.space주최 : 한국전자통신연구원 (ETRI)후원 : 과학정보기술통신부, 국가과학기술연구회 (NST)운영 : 인공지능팩토리 (AIFactory)개요해당 대회는 다양한 스마트폰, 스마트워치 센서 데이터가 주어졌을 때, 이를 활용하여 총 7가지의 라벨을 예측하는 모델을 개발하고  The 15th International Conference on ICT Convergence(ICTC 2024)와 연계하여 논문 투고 및 엑셉까지 이루어져야합니다. 제 4회 대회에서도 유사한 방식으로 경진대회가 진행될 것으로 보입니다. 해당 포스팅이 대회 진행에..

https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct meta-llama/Meta-Llama-3.1-8B-Instruct · Hugging FaceThe information you provide will be collected, stored, processed and shared in accordance with the Meta Privacy Policy. LLAMA 3.1 COMMUNITY LICENSE AGREEMENT Llama 3.1 Version Release Date: July 23, 2024 "Agreement" means the terms and conditions for use,huggingface.co 한국 시간으로 7월 24일 ..

faiss index를 생성할 때, CPU로 진행하면 굉장히 느리므로 GPU를 사용하려고 할 때 자주 보는 에러이다.GPT에 물어보면 단순히 faiss-gpu를 install하라고 하는데, 이는 faiss-cpu가 설치되어있지 않은 경우를 가정한다.즉, faiss-cpu가 install 되어있을 때, faiss-gpu를 install하더라도 faiss import시, faiss-cpu가 import되어 faiss-gpu라이브러리를 인식할 수 없다.따라서 faiss-cpu를 uninstall하고 faiss-gpu를 설치해야하며, 만약 faiss-cpu가 설치되어있는 채로 faiss-gpu를 설치했다면 아마 uninstall했을 때 faiss 라이브러리 자체를 불러올 수 없다는 오류(ModuleNotFoun..

어느덧 3차 신청기간인데 이제서야 1차 합격 후기를 올린다. 중간에 취업을 하고 여러 대회도 나가면서 실기를 응시하지 못했는데 이번 3차 정보처리기사 실기를 응하려고 한다.공부기간: 3일, 71점 합격*여기서 말하는 3일은 독서실에서 아침부터 밤까지 정처기 공부에 올인한 시간이다.필자는 컴퓨터공학과를 전공했기 때문에 특히 4과목은 큰 자신이 있었다. C언어, Python언어, Java언어 정말 즐겨했던 과목이기 때문이다.(게다가 실무에서 Python쓰는중) 그래서 ADsP나 SQLD도 마찬가지였는데,  단순 암기가 필요한 과목이 정말 약했다. 암기는 질색이다.* 혹시 다른 자격증 후기도 보고싶다면?  ADsP, 데이터 분석 준전문가 2일 공부 합격후기 (40회, 전공자 기준)예전에 KT AIVLE SCH..

langchain의 LlamaCPP를 사용하다가. 테스트로 vllm을 사용했을 때 평소 13GB정도 먹었던 애가 느닷없이 70GB를 넘게 잡아먹었다.먼저 VLLM(Very Large Language Models)은 대규모 언어 모델의 효율적인 추론을 위해 설계된 시스템이다. 특히, VLLM은 모델 추론 중에 반복적으로 참조되는 데이터의 캐싱을 위해 키-값 캐시(KV Cache)를 사용한다. KV Cache는 트랜스포머 모델의 각 레이어에서 생성된 키(Key)와 값(Value) 텐서를 저장하여, 동일한 입력에 대해 반복적인 계산을 피하고 성능을 최적화한다.KV Cache는 다음과 같은 장점을 제공한다:추론 속도 향상: 반복되는 계산을 줄여 추론 속도를 크게 향상시킨다.메모리 사용 최적화: 캐싱을 통해 필요..

개요문서에서 텍스트를 추출하는건 다양하게 쓰일 수 있는데, LLM에 도입할때 꽤 유용하게 쓰일 수 있다. 이를테면 챗봇에 문서를 업로드하면 해당 문서를 요약할 수 있도록 할 수 있는데(물론 PNG파일과 같은 이미지 파일은 OCR기술이 필요하다), 그러기 위해서는 문서 내의 텍스트를 추출하여 해당 데이터를 LLM모델에 넘겨줘야한다. 데이터를 추출하면 추가 가공하거나 추출된 원본 그대로를 LLM모델에 넣어주면 알아서 잘 해석하고 답변을 생성한다.(당연히 LLM성능에 따라 답변 퀄리티가 달라진다.)Python의 확장성이란,, 상상 이상이다. 거의 모든 확장자의 문서파일에서 텍스트를 추출할 수 있는 기능을 제공한다.(진짜쉽다)해당 포스팅에서는 PPT, PDF, DOCX, HWP, XLSX등의 확장자 파일들을 포..