SJ_Koding

만약 100GB짜리의 파일을 옮겨야할때, A라는 서버와 B서버가 있고(이하 각각 A, B로 칭함), A에서 B로 파일을 전송한다고 하자.가장 쉬운 방법은 A라는 서버에서 파일을 로컬로 다운받고 로컬에서 다시 B서버로 전송하는 방법이있는데,이렇게하면 교수님이나 직장 상사가 엉덩이를 토닥이며 극찬을 퍼붓는다.사실 A에서 B로 바로 전송하는게 가장 현명하고 빠른 방법인데,미리 말하면 환경에 따라 다르겠지만A -->로컬 : 20시간 소요, A-->B: 20분 소요 정도의유의미한 차이를 확인했다. 또한 인증 과정에서 ppk파일을 사용하는 경우 어떻게 하면 될까?1. PuttyGen 설치 (ppk파일이 없을경우)먼저, ppk 파일을 생성하거나 변환하기 위해서는 PuttyGen이 필요하다. PuttyGen은 PuTT..

LLM 모델을 기능에 따라 파인튜닝 시켜 챗봇 시스템을 구축하고, 웹 개발팀에 넘기기 전 LLM의 실시간 스트리밍 출력과, 출력이 Markdown언어일 때 ChatGPT처럼 실시간으로 Markdown문법이 적용되게 끔 구현해보았다.웹 개발자가 아니어서 가장 Basic한 언어를 사용했다. 프론트 : HTML, CSS, JavaScript백엔드: FastAPI만약 ChatGPT처럼 가독성 좋게 답변하길 원한다면, 아래 과정을 거치기 전에 System 프롬프트 튜닝으로 "markdown 형식으로 가독성 좋게 답변해줘" 식으로  프롬프트를 추가해주자.# 내용- 그러면 이런식으로- markdown 문법에 따라 그대로 변환없이 반환할텐데## 변환 방법- 그 방법을 아래에 소개하겠다. MD변환 방법론 요약:스트리밍 ..

요약:문제 코드pip freeze > requirements.txt해결 코드pip list --format=freeze > requirements.txt파이썬을 사용한다면 다른 가상환경, 다른 PC, local --> server, 경진대회 검증소스코드등 환경 자체를 옮겨야하는 경우가 굉장히 많다.그러기 위해서는 깔려있는 라이브러리와 각각의 버전을 통째로 알고 옮겨야하는데, 대게 requirements.txt라는 파일명을 사용하여 라이브러리를 옮기곤 한다.이를 위해 터미널에서 널리 알려진 아래의 명령을 사용한다.pip freeze > requirements.txtabsl-py==1.4.0accelerate==0.23.0aiohttp @ file:///rapids/aiohttp-3.8.4-cp310-cp3..

해당 포스팅은 이전 글과 이어진 포스팅입니다. 개인적으로 下편에 재밌는 내용이 많은 것 같습니다. 논문 전체내용을 제가 이해한대로 빠짐없이 기입하기 때문에, 낮은 확률로 잘못된 내용이 포함되어있을 수 있으며 글이 길게 나열되어있습니다. 가독성을 위해 section이나 중요부분은 컬러로 표시합니다. 2024.05.03 - [LLM] - [LLM] 적은 데이터로 fine-tuning하자! LIMA: Less Is More for Alignment 리뷰 (Meta, 2023) - 上편 [LLM] 적은 데이터로 fine-tuning하자! LIMA: Less Is More for Alignment 리뷰 (Meta, 2023) - 上편LLM을 파인튜닝 할 일이 생겼는데, 무엇보다 새로운 도메인에서 잘 추론할 수 있..

LLM을 파인튜닝 할 일이 생겼는데, 무엇보다 새로운 도메인에서 잘 추론할 수 있도록 하기위해 데이터셋이 당연히 많아야 한다고 생각했었다. 예를 들어 Function calling기능을 수행할 때, Function을 어느 prompt에서 호출할 지 잘 알기 위해서는 당연히 수많은 데이터셋으로 이를 구별시켜야 한다고 생각했다.그런데, 이 생각이 편향된 생각임을 깨닫게 된 논문이 Meta에서 발표한 LIMA: Less Is More for Alignment(2023) 논문이다. Abstract저자는 LLM이 훈련되는 두 단계에 대해 설명하고 있다. 첫 번째는 unsupervised pretraining으로 raw text로부터 general-purpose representations을 학습한다는 것이고, 두..