SJ_Koding

해당 논문을 보면서 LLM 연구의 큰 흐름을 대강이라도 파악할 수 있었다. 최근에 LLaMA2에 비해 비약적으로 성능을 향상시킨 (LLaMA3-8B가 LLaMA2-70B를 이김;;) LLaMA3오픈소스가 hugging face에 공개되면서 더욱 궁금증이 생겼다. LLM을 할 일이 생겼는데, Vision은 잠시 접어두고 LLM 공부에 투자해야겠다. LLaMA모델은 Meta에서 발표한 모델로 적은 파라메터 수(7B)와 대규모 어디서든 접근 가능한 데이터셋(수조 개 token)만을 사용하여 SOTA를 달성한 모델이다. 사전 지식이 부족하기 때문에, Introduction 만큼은 한 줄 한 줄 자세히 살펴보고, 인용된 중요한 논문을 대강 훑어 정리해본다. Introduction Large Languages Mo..