SJ_Koding

Llama-4 모델을 테스트하던 중 자꾸 surrogates not allowed 에러가 발생했다. 이모티콘을 내뱉으려고 하는건지, 가끔씩 한글이 크게 왜곡되면서 이상하게 답변이 오거나 이 에러가 발생했다.Surrogates라는 개념을 처음 접하는데 이를 이해하기 쉽게 아래 차근차근 풀어서 정리한다. 우선 UTF-16과 UTF-8의 차이를 알아봐야한다. 아주 쉽게.UTF-16은 16비트의 고정 길이를 가진다. 따라서 0x10000이상의 코드포인트를 하나의 16비트 단위로 표현할 수 없어서, 이를 해결하기 위해 Surrogate Pair라는 개념을 사용한다. 간단히 말해 2개의 UTF-16의 surrogate 코드유닛 2개를 이용해 20비트의 코드포인트를 표현한다. *기억 (이는 하단에 자세히 서술한다.)..