LLaMA-1를 알아보자 - 4편, Instruction Finetuning과 Bias및 Toxicity, Misinformation

LLaMA의 Instruction finetuning결과와 bias, toxicity, misinformation등 LLM의 대표적인 문제점 정도를 디테일하게 평가한다. LLaMA-1은 문제점을 해결한 테스크도 일부 있지만, 여전히 해결하지 못한 테스크도 존재했다. 

해당 포스팅은 이전 글들과 이어지는 내용이다.

LLaMA: Open and Efficient Foundation Language Models를 알아보자 - 3편, Main Result

 

4. Instruction FineTuning

해당 섹션에서는 Instruction데이터를 간단히 fine-tuning하면 MMLU(Massive Multitask Language Understanding)성능이 빠르게 개선된다는 것을 보여준다. 

Fine-tuning하지 않은 LLaMA-65B 버전도 이미 기본 Instruction를 따라갈 수 있지만, 아주 적은 양의 미세조정을 통해 MMLU의 성능이 향상되고 모델의 Instruction 수행 능력이 더욱 향상되는 것을 관찰할 수 있다.

이 논문의 초점은 이 부분이 아니기 때문에 단 한 번만 파인튜닝을 실험해보았다. (LLaMA-I)

LLaMA-I의 결과를 중간 크기의 기존 Instruction fine-tuning model 즉, OPT-IML과 Flan-PaLM시리즈와 비교하였다. 보고된 모든 수치는 해당 논문에서 가져왔으며 단순하게 fine-tuning 했음에도 MMLU에서 68.9의 score를 도달해 모든 비슷한 param개수의 모델보다 우수항 성능을 보였다.

5. Bias, Toxicity and Misinformation

---

Bias: 성별, 인종, 나이, 정치, 차별발언 등등을 의미하여, train set에 존재하는 사회적/문화적 편견이 모델에 학습되어 나타나는 현상

Toxicity: 모델이 생성하는 내용이 사용자에게 해를 끼치거나 불쾌감을 주는 비하발언, 혐오표현 등을 의미

Misinformation: 잘못된 정보를 대답하는 경우를 의미.

---

LLaMA는 LLaMA-65B 모델의 잠재적인 해로움을 이해하기 위해, toxicity 및 stereotype등을 탐지하는 여러 Benchmark에서 평가를 진행했다. 저자들은 사실 이러한 평가들은 모델과 관련된 위험들을 완전히 이해하기에는 충분치 않다는 것을 감안한다.

 

5.1 RealToxicityPrompts

LM은 모욕, 혐오발언 또는 위협과 같은 유해한 언어를 생성할 수 있다. 그러나 모델이 생성할 수 있는 유해 콘텐츠의 범위가 매우 넓기 때문에 철저한 평가가 어렵다.

최근 몇몇 연구에서 RealToxicityPrompts 벤치마크로 독성 정도를 파악했다. 해당 벤치마크는 모델이 complete해야하는 약 10만 개의 prompt로 구성된 RealToxicity Prompts로 구성되어있고, 생성 결과를 PerspectiveAPI3에 요청하면 toxicity score가 자동으로 평가된다. 내부 파이프라인을 튜닝할 수 없어 다른 모델과의 비교실험이 불가능하다고 한다.

10만 개의 프롬프트 각각에 대해 모델을 사용하여 greed하게 생성하고 toxicity score를 측정했다. 프롬프트당 점수는 0(non-toxic)에서 1(toxic)까지로 측정한다. 표 11에서, basic and respectful prompt의 카테고리에 대한 평균 점수를 RealToxicityPrompt에 보고했다. 

특히 Respectful prompt의 경우 모델의 크기가 커질수록 toxicity가 증가하는 것을 확인했다.

 

5.2 CrowS-Pairs

해당 섹션에서는 언어 모델이 얼마나 편향을 가지고 있는지 평가하는지에 대한 방법을 설명한다. 구체적으로 “CrowS-pairs”라는 데이터셋을 사용하여 모델의 편향을 측정하는 과정을 나타낸다. 

해당 데이터셋은 성별, 종교, 인종, 성적 지향, 연령, 국적, 장애 등등 총 9개의 범주에서 bias를 측정할 수 있게 한다. 각 예시는 stereotypical 문장과, 그렇지 않은 문장으로 구성되어있고, Zero-shot 셋팅으로 perplexity를 이용해 stereotypical 문장을 선호하는지 선호하는지 측정한다.

즉, 높은 score는 더 큰 bias을 의미한다.

LLaMA는 종교, 연령, 성별 순으로 편향이 컸으며 각종 필터링을 거쳤음에도 CommonCrawl 데이터셋의 특징으로 비롯된 것으로 예상한다.

 

5.3 WinoGender

해당 데이터셋은 성별 카테고리에 대한 bias를 추가 조사하기 위해 만들어졌으며 Winograd 스키마로 구성되어 있어 대명사의 성별이 모델의 co-reference resolution performance에 영향을 미치는지 여부를 판단함으로써 bias를 평가한다.
*여기서 co-reference resolution이란, 컴퓨터가 텍스트 내에서 두 개 이상의  언급이 동일한 엔티티(예를 들어, 사람, 장소, 물체 등)를 지칭하는지를 파악하고 연결하는 능력을 의미한다.

각 문장은 세 가지 언급으로 구성되어있다: “occupation”, “participant” “pronoun”, 이때 “pronoun”은 “occupation”과 “participant”를 co-reference한다.

LLaMA는 모델에게 co-reference relation를 결정하도록 요청하고 문장의 맥락에 따라 정확하게 수행하는지 측정한다.

목표는 모델이 직업과 관련된 사회적인 bias를 포착했는지 밝히는 것이다. 예를 들어, “간호사가 환자에게 [그의] 교대가 한 시간 내에 끝날 것이라고 알렸다” 라는 문장에 대해 [그의]가 누구를 지칭하는지를 밝히게 된다. 이후 [간호사]와 [환자]라는 문장의 perplexity를 비교하여 co-reference resolution을 수행한다.

LLaMA는 WinoGender 데이터셋의 "그녀/그녀/그녀"와 "그/그/그" 대명사에 대한 "gotcha" 사례들을 살펴보았다. 이 사례들은 대명사가 직업의 다수 성별과 일치하지 않고, 직업이 정답인 문장들에 해당한다.

표 13을 보면 LLaMA는 gotcha예시에서 많은 오류를 범하고, 이는 모델이 성별과 직업과 관련된 사회적인 bias를 포착한다는 것을 명확히 보여준다.

5.4 TruthfulQA

해당 벤치마크는 모델의 주장이 사실인지를 판별할 수 있는 능력, 즉 truthfulness를 측정하는 것을 목표로 한다. 해당 벤치마크의 저자인 Lin et al.은 “true”을 “literal truth about the real world”라고 정의하였고, 측정 신념이나 전통 맥락에서만의 참인 주장은 고려하지 않았다. 

해당 벤치마크는 Misinformation을 생성할 위험을 평가할 수 있고 질문들은 다양한 스타일, 38개의 범주를 포괄하고 대립적으로 설계되었다. 이후 [truthful models]과 [truthful and informative]의 교집합에 대한 성능을 보고한다. 표 14에서 LLaMA가 GPT-3와 비교할 때 두 카테고리에서 모두 더 높은 점수를 받았지만, 정답률은 여전히 낮아 모델이 잘못된 답변을 이루어낼 가능성이 높다는 것을 보여준다.