SJ_Koding

Chat GPT의 시초, GPT-1 부터 차근차근 알아보자 (본 포스팅은 AI업계에서 유명하신 허민석 개발자님의 유튜브 GPT-1(밑바닥부터 알아보는 GPT) 강의를 참고했습니다.) What is GPT? Generative Pre Training of a language model (GPT)의 약자, 여기서 말하는 language model부터 이해해보자. 구글이나 유튜브를 검색할 때, 어떤 단어를 입력하면 다음 단어가 추천되는 것을 자주 확인할 수 있다. ex) 입력: GPT 추천: GPT 사용법, GPT-4, GPT 유료, ... 등등 language model은 위 예시처럼 현재 토큰을 가지고 다음 토큰을 예측하는 행위도 가능하다. 이때 Language model의 장점은 특별한 라벨링이 필요 없..