SJ_Koding

GPT-1에 대해 이해해보자 (GPT 1편) Chat GPT의 시초, GPT-1 부터 차근차근 알아보자 (본 포스팅은 AI업계에서 유명하신 허민석 개발자님의 유튜브 GPT-1(밑바닥부터 알아보는 GPT) 강의를 참고했습니다.) What is GPT? Generative Pre Training of a la sjkoding.tistory.com 상위 포스팅에 이어진 내용이다. 이번 포스팅 역시 허민석님의 유튜브 강의를 참고하였다. GPT-1의 단점 "어쨌든 fine tuning 과정이 필요하다" 이를 해결한 것이 GPT-2이다. GPT-2는 이 fine tuning 과정을 아예 없앴다. 즉 위 그림처럼 GPT-2에서 Task별로 별도의 Fine tuning이 필요하지 않다는 의미이다. 그리고 GPT-2의 ..

Chat GPT의 시초, GPT-1 부터 차근차근 알아보자 (본 포스팅은 AI업계에서 유명하신 허민석 개발자님의 유튜브 GPT-1(밑바닥부터 알아보는 GPT) 강의를 참고했습니다.) What is GPT? Generative Pre Training of a language model (GPT)의 약자, 여기서 말하는 language model부터 이해해보자. 구글이나 유튜브를 검색할 때, 어떤 단어를 입력하면 다음 단어가 추천되는 것을 자주 확인할 수 있다. ex) 입력: GPT 추천: GPT 사용법, GPT-4, GPT 유료, ... 등등 language model은 위 예시처럼 현재 토큰을 가지고 다음 토큰을 예측하는 행위도 가능하다. 이때 Language model의 장점은 특별한 라벨링이 필요 없..