research notes

References: [1] BERT와 GPT로 배우는 자연어 처리, 이지스 퍼블리닝, 이기창 [2] ratsgo's NLP blog, https://ratsgo.github.io/nlpbook/docs/language_model/transformers/ 1. BERT와 GPT차이 항목 GPT BERT 모델 구조 GPT(트랜스포머의 디코더) BERT(트랜스포머의 인코더) 프리트레인 태스크 다음 단어 맞히기 빈칸 맞히기 파인튜닝 다음 단어 맞히기 각 다운스트림 태스크 - BERT는 프리트레인 태스크와 파인튜닝 태스크가 서로 다르다. 하지만 GPT(문장 생성 과제)는 프리트레인과 파인튜닝 태스크가 '다음 단어 맞히기'로 같다. 즉, 문장 생성 과제는 프리트레인과 파인튜닝 태스크가 동일하므로 프리트레인 모델의..

BERT는 구글에서 발표한 최신 임베딩 모델이며 트랜스포머를 이용하여 구현되었다. 또한, 위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어 모델이다. BERT가 높은 성능을 얻을 수 있었던 것은, 레이블이 없는 방대한 데이터로 사전 훈련된 모델을 가지고, 레이블이 있는 다른 작업(Task)에서 추가 훈련과 함께 하이퍼파라미터를 재조정하여 이 모델을 사용하면 성능이 높게 나오는 기존의 사례들을 참고하였기 때문이다. 다른 작업에 대해서 파라미터 재조정을 위한 추가 훈련 과정을 파인 튜닝(Fine-tuning)이라고 한다. 아래 그림은 BERT의 파인 튜닝 사례를 보여준다. 우리가 하고 싶은 태스크가 스팸 메일 분류라고 하였을 때, 이미 위키피..