research notes

1. Chain-of-Thought(CoT) 개요 - 최신 연구 결과 모델 크기를 확장하는(Scaling up)하는 것만으로는 산술(Arithmetic), 상식(Commonsense), 기호 추론(Symbolic reasoning)과 같은 까다로운 작업에서 LLM이 높은 성능을 달성하는 것이 쉽지 않음이 입증 - 이를 위한 해결방안으로 최종 출력(final output) 도출 과정에 'Chain-of-thought (CoT) '라는 일련의 중간 자연어 추론 단계(intermediate natural language reasoning steps)를 포함한 프롬프트 구성 방법을 제시하고 LLM의 성능 평가 수행(사람도 특정 태스크를 해결할 때 단계별로 해결해 나가면서 최종 답변에 도달하게 되는데 이와 유사한..

Ji, Ziwei, et al. "Survey of hallucination in natural language generation." ACM Computing Surveys 55.12 (2023): 1-38 들어가며 현재 자연어 생성(Natural Language Generation, NLG)에서 발생하는 할루시네이션(Hallucination) 문제를 해결하기 위해 많은 연구자들이 관련 측정(metric) 및 완화(mitigation) 방법을 제시하고 있지만 아직 종합적으로 검토되지 않았다. 따라서, 본 기술보고서는 NLG의 할루시네이션 문제에 대한 연구 현황(progress) 및 도전 과제(challenges)에 대한 종합적인 개요를 제공하는 것을 목적으로 작성되었다. 1. Introduction 최..

Touvron, Hugo, et al. "Llama: Open and efficient foundation language models." arXiv preprint arXiv:2302.13971 (2023). 1. Introduction - 기존 Large Languages Models(LLM)은 매개변수가 많으면 많을 수록 성능이 더 좋아질 것이라는 가정하에 학습이 수행되었다. 그러나 최근 연구는 동일한 컴퓨팅 성능 하에서 많은 매개변수를 가진 규모가 큰 모델보다 모델 크기가 작더라도 더 많은 데이터에 대해 훈련된 모델이 더 좋은 성능 목표치를 달성한다는 결과를 제시하였다. 예를 들어, LLaMA-13B는 GPT-3 보다 모델의 크기가 10배 작음에도 불구하고 대부분의 벤치마크에서 GPT-3대비 성능..