research notes

C2PA(The Coalition for Content Provenance and Authenticity)

forest62590 — Sun, 10 Mar 2024 15:43:05 +0900

AI가 생성한 자료를 식별하기 위해서는 고도화된 기술력이 뒷받침되어야 한다. 현재 이용할 수 있는 최선의 대안인 AI 기반 감지 도구 및 워터마킹은 일관성이 없고(확률 베이스) 비영구적이며 때에 따라 정확도가 떨어진다. 이에 대한 대안으로 C2PA가 대안으로 주목받고 있다[1].
C2PA는 출판사, 회사 등이 미디어의 출처와 관련 정보를 확인하기 위해 미디어에 메타 데이터를 삽입할 수 있도록 하는 개방형 기술 표준. C2PA는 AI 생성 이미지에만 적용되는 것이 아니며 카메라 제조업체, 언론사 등에서도 동일한 표준을 채택하여 미디어 콘텐츠의 출처와 기록(또는 출처)을 인증하고 있다[2].
C2PA 기술은 컨텐츠 레이블링(Contents labeling)이라는 단어와 혼용 되어 쓰이고 있는 것으로 파악
C2PA 표준 활용 주요 기업 관련 기사
- OPENAI → 오픈AI “달리3에 전자워터마크 C2PA 표준 탑재”
  - OPENAI 공식 홈페이지 → ****C2PA in DALL·E 3
    - Images generated with ChatGPT on the web and our API serving the DALL·E 3 model will now include C2PA metadata.(by Feb 12th)
    - People can use sites like Content Credentials Verify to check if an image was generated by the underlying DALL·E 3 model through OpenAI’s tools.
    - (Not a silver bullet, 만병통치 X) Metadata like C2PA is not a silver bullet to address issues of provenance. It can easily be removed either accidentally or intentionally. For example, most social media platforms today remove metadata from uploaded images, and actions like taking a screenshot can also remove it.
    - (핵심질문) Does text or voice generated by ChatGPT or OpenAI's API contain C2PA metadata?
    - → Currently, only images generated with ChatGPT or our API serving the DALL·E 3 model will contain the C2PA metadata.
  동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.
  - 주요 언급 내용:
- GOOGlE → Google joins C2PA, Twitter
  - CAI 트위터
  - Google will collaborate with other steering committee members (Adobe, The BBC, Intel Corporation, Microsoft, Publicis Groupe, Sony, and Truepic) to develop the technical standard for Content Credentials while also actively exploring how to incorporate Content Credentials into its own products and services in the future.
- 美 국회의원의 C2PA 도입 장려 → 블룸버그
  - 기사 일부 발췌
  - Assemblymember Akilah Weber (D) was one of the first on the issue, saying in a December press release that she wanted to require an industry standard for AI-generated content. That reference could refer to the C2PA standard, adopted by the likes of Microsoft Corp.
- Text-to-Video Sora AI
  - OPENAI 공식 홈페이지 내용 발췌

CAI(Coaliation Content Authenticity Initive)

CAI는 콘텐츠 위변조와 가짜뉴스 확산을 막기 위해 어도비 주도로 전 세계 콘텐츠 기업과 언론 매체들이(뉴욕 타임즈, 트위터 등) 2019년 출범한 기구
어도비가 지금까지 수행한 CAI 기술 개발 작업은 모두 C2PA로 이관되어, 디지털 미디어 출처 검증에 주력해 온 마이크로소프트와 BBC의 프로젝트 오리진 (Project Origin)에 통합될 예정
→ Project Origin: BBC, CBC/Radio-Canada, The New York Times 및 Microsoft 주도로 설립된 기구이며, 뉴스 및 관련 컨텐츠 출처의 추적 프로세스 구축을 위해 설립

C2PA(The Coalition for Content Provenance and Authenticity)

어도비가 마이크로소프트(Microsoft), 트루픽(Truepic), 암(Arm), 인텔(Intel), BBC와 손을 잡고 콘텐츠 출처 및 진위 확인을 위한 연합(C2PA)을 설립
컨텐츠 진위 여부 확인을 위한 표준을 전문으로 개발하는 표준 개발 조직 기구(Standard Development Organization, SDO)
- CAI, C2PA, Project Origin Structure
⇒ (CAI vs. C2PA): C2PA는 디지털 출처에 대한 기술 표준을 제시하고 CAI(Content Authenticity Initiative)는 C2PA 표준을 기반으로 오픈 소스 도구를 구축

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

forest62590 — Sun, 19 Nov 2023 10:36:09 +0900

< Chain-of-Thought 프롬프트 구성 방식(하이라이팅된 부분이 CoT) 및 실험결과 >

1. Chain-of-Thought(CoT) 개요

- 최신 연구 결과 모델 크기를 확장하는(Scaling up)하는 것만으로는 산술(Arithmetic), 상식(Commonsense), 기호 추론(Symbolic reasoning)과 같은 까다로운 작업에서 LLM이 높은 성능을 달성하는 것이 쉽지 않음이 입증

- 이를 위한 해결방안으로 최종 출력(final output) 도출 과정에 'Chain-of-thought (CoT) <input, chain-of-thought, output>'라는 일련의 중간 자연어 추론 단계(intermediate natural language reasoning steps)를 포함한 프롬프트 구성 방법을 제시하고 LLM의 성능 평가 수행(사람도 특정 태스크를 해결할 때 단계별로 해결해 나가면서 최종 답변에 도달하게 되는데 이와 유사한 방식으로 프롬프트를 구성하여 LLM에 전달)

- 그 결과 산술, 상식, 기호 추론 태스크에서 CoT 방식의 프롬프트가 기존의 프롬프트 방식(Standard Prompting)을 능가한 뛰어난 성능 보임을 실험적으로(empirical) 입증

2. 실험환경 및 결과(For Arithmetic Reasoninig)

- (실험환경) 5개의 수학 벤치마크 데이터 셋(GSM8K, SVAMP, ASDiv, AQuA, MAWPS) 및 모델(GPT-3, LaMDA, PALM, UL2, Codex)을 활용
- (실험결과) 전반적으로 동일한 데이터 셋 및 모델에 대해 CoT 방법이 상대적으로 좋은 성과를 보였다. 다만, 100B 매개변수 미만의 모델에 대해서는 성능에 대한 이점이 크게 없는 것으로 발견됨

OpenAI API 활용

forest62590 — Sun, 29 Oct 2023 15:16:10 +0900

1. OpenAI API 정의

OpenAI API는 OpenAI가 제공하는 서비스에 액세스하기 위한 프로그래밍 인터페이스. OpenAI API를 사용하면 개발자는 GPT를 활용해 텍스트 생성, 번역, 요약, 질문 응답 등 다양한 자연어 관련 자신의 서비스를 개발할 수 있다. OpenAI API 지원 프로그래밍 언어는 공식적으로 파이썬과 Node.js이며, API 활용시 비용이 발생할 수 있으므로 이를 확인하는 것이 중요하다.

2. OpenAI API Key

OpenAI API 서비스를 사용하기 위해서는 사전에 API키 발급이 되어야 한다.

- https://openai.com/blog/openai-api 사이트 이동

- 로그인 → 계정 아이콘 클릭 → View API Keys 클릭

- Create a new secret key 클릭

- API 키 복사(API키는 한 번 창이(Create new secret key) 활성화 되면 복사를 해 놓아야 한다. 창을 종료 후에는 확인이 불가하다...)

< OpenAI API Key 생성, https://community.openai.com/t/named-api-keys-and-new-api-key-limit/157935 >

3. OpenAI API 사용 요금

- https://openai.com/pricing

- 기본적으로 OpenAI API는 유료이며, 계정 생성시 5달러 상당의 무료 크레딧이 제공 됨(단, 3개월 이내 사용 제한)

< OpenAI API 무료 빌링 발급 >

- 사용하는 프롬프트의 입력 및 출력 토큰 수에 따라 요금이 부과되는 형태

< GPT-4 요금 정책 >

- Open API 현재 사용 요금은 [OpenAI 로그인 → 계정 아이콘 클릭 → Manage Account → Usage]에서 확인 할 수 있음

- 또한 [Billing → Usage limits]에서 사용량을 사전에 설정하여 조절 및 모니터링이 가능

Hard limit: 월 사용량이 정의한 기준치를 초과할 경우 서비스를 제한하는 기능
Soft limit: 월 사용량이 정의한 기준치를 초과할 경우 사전 알림 메일을 보내는 기능

4. OpanAI API 사용방법

4.1. 텍스트 생성 및 질의응답

매개변수	설명
model(required)	사용할 모델의 ID(text-davinci-003 등)
prompt(required)	입력에 사용되는 프롬프트
temperature	모델의 다음 토큰 확률분포에 변형을 가해 문장을 다양하게 생성하는 기법(0에서 2 사이 선택 가능) 0.8과 같이 값이 높을수록 출력이 더 무작위로 만들어지고, 0.2와 같이 값이 낮을수록 더 일관성 있는 문장 생성
max_tokens	생성할 최대 토큰 수

!pip install openai

import openai

openai.api_key = "발급 받은 OPENAI KEY" 

prompt = '''인공지능에 대해 알려주세요'''

response = openai.Completion.create(
    model = 'text-davinci-003',
    prompt = prompt,
    temperature = 0,
    max_tokens=500
)

print(response['choices'][0]['text'])

4.2. 이미지 생성

매개변수	설명
prompt	원하는 이미지에 대한 텍스트 설명(최대 길이는 1000자)
n	생성할 이미지 수(1에서 10 사이)
size	생성할 이미지 크기(256x256, 512x512, 1024x1024 중 하나)
response_format	생성할 이미지 반환 형식(url 또는 b64_json)
user	최종 사용자 ID

!pip install openai

import openai

openai.api_key = "발급받은 OPENAI API KEY"

prompt = "dog on the clouds"

response = openai.Image.create(
    prompt=prompt, ## 이미지 설명 프롬프트
    n=1, ## 생성할 이미지 수
    size='512x512' ## 이미지 크기
)

image_url = response['data'][0]['url']
print(image_url)
## print(image_url) 생성 요청한 이미지 url

4.3. 모더레이션

사용자 입력 또는 생성 모델이 생성한 콘텐츠가 OpenAI의 사용 정책을 준수하는지 확인하기 위해 모더레이션 API를 활용 할 수 있다. 모더레이션 API 활용 결과로 정책 위반 여부에 대한 결과를 전달한다. 아래 코드 실행 결과로 'violence=true'임을 알 수 있다.

< OpenAI 모더레이션 API 검토 범위 >

OpenAI 활용 컨텐츠 정책: https://platform.openai.com/docs/guides/moderation/overview

!pip install openai

import openai

openai.api_key = "발급받은 OPENAI API KEY"

response = openai.moderations.create(
    input = "I want to kill them."
)

print(response.results[0])

{
  "id": "modr-XXXXX",
  "model": "text-moderation-005",
  "results": [
    {
      "flagged": true, // OpenAI의 컨텐츠 정책 위반인 경우 'true'
      "categories": { // 각 카테고리별 OpenAI의 컨텐츠 정책 위반 여부(T/F)
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": false,
        "violence": true,
      },
      "category_scores": { // 각 카테고리별 점수(0~1 사이의 범위)
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886,
      }
    }
  ]
}

5. OpenAI 플러그인

ChatGPT 플러그인은 현재 ChatGPT Plus 사용자만 사용할 수 있는 기능으로, 타사 서비스의 API에 연결해 ChatGPT 서비스를 활용할 수 있도록 제공하는 기능이다. 즉, ChatGPT 서비스에 Expedia(여행), Shopify(쇼핑) 등의 플러그인을 연결해 관련된 정보를 받을 수 있도록 한다.

< 설치 가능 OpenAI 플러그인 목록 >

또한, ChatGPT Retrieval Plugin을 활용해 개인이나 기업 및 조직의 고유(프라이빗) 데이터를 ChatGPT가 액세스 하여 해당 데이터에서 검색 및 답변을 할 수 있는 기능을 제공한다. 즉, 사용자는 파일, 메모, 이메일, 문서 등의 데이터에서 가장 관련성이 높은 답변을 받을 수 있다.

References:

[1] https://devocean.sk.com/blog/techBoardDetail.do?ID=164761

[2] GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍, 후루카와 히데카즈 지음/트랜스메이트 옮김

Survey of Hallucination in Natural Language Generation

forest62590 — Sun, 26 Mar 2023 11:11:00 +0900

Ji, Ziwei, et al. "Survey of hallucination in natural language generation." ACM Computing Surveys 55.12 (2023): 1-38

들어가며

현재 자연어 생성(Natural Language Generation, NLG)에서 발생하는 할루시네이션(Hallucination) 문제를 해결하기 위해 많은 연구자들이 관련 측정(metric) 및 완화(mitigation) 방법을 제시하고 있지만 아직 종합적으로 검토되지 않았다. 따라서, 본 기술보고서는 NLG의 할루시네이션 문제에 대한 연구 현황(progress) 및 도전 과제(challenges)에 대한 종합적인 개요를 제공하는 것을 목적으로 작성되었다.

1. Introduction

최근 딥러닝 기술의 발전에 힘입어(특히, Transformer 기반 모델인 BERT, GPT-3 등) 자연어 생성(NLG) 기술은 급속한 기술 발전과 동시에 한계와 잠재적 위험에 대한 관심도 또한 증가하고 있다. 예를 들어 자연어 생성 모델이 종종 무의미한(nonsensical) 텍스트를 생성하거나 제공된 입력에 충실하지(untruithful) 않은 경우가 있다는 것이 발견되었는데 연구자들은 이러한 불필요한 생성 현상을 할루시네이션이라고 부르기 시작했다.

기존의 연구들은 텍스트 요약 및 번역과 같은 특정 작업에만 초점을 맞추고 있다. 따라서 본 보고서에서는 자연어 생성(NLG)에서 할루시네이션 문제에 대한 연구 현황과 도전 과제에 대한 조사를 수행하였다.

2. Definiton

자연어 처리에서 할루시네이션은 제공된 소스 콘텐츠(provided source contentes)에 충실하지(unfaithful) 않거나 무의미하게(nonsensical) 생성된 콘텐츠를 의미하며 가장 포괄적이고 표준적인 정의이다. 그러나, 자연어 생성(NLG)에서는 각 태스크 마다 정의에 대한 차이가 존재한다.

2.1 Categorization

환각에는 주로 내재적 환각(Intrinsic Hallucinations)과 외재적 환각(Extrinsic Hallucinations) 두 가지 유형이 존재한다.

1) Intrinsic Hallucinations: 생성된 결과물이 원본 내용과 모순되는(contradicts) 경우

ex) 위 표1의 Abstractive Summarization 작업의 결과물로 요약된 "The first Ebola vaccine was apporoved in 2021(첫 에볼라 백신은 2021년에 승인 되었습니다)"는 원본 내용인 "The first vaccine for Ebola was approved by the FDA in 2019 in the US(첫 에볼라 백신은 FDA에 의해 2019년에 승인 되었습니다)"와 모순된다.

2) Extrinsic Hallucinations: 원본 컨텐츠에서 확인할 수 없는 생성된 출력(즉, 출력 결과가 원본 컨텐츠와 관련이 있지도 않고 그렇다고 원본 컨텐츠에 모순이 되지 않는 경우)

ex) 단순 정의만 보면 이해하기 어려울 수 있으므로 예를 참고하자.

표 1의 Abstractive Summarization 작업에서 "China has already started clinical trials of the COVID-19 vaccine(중국은 이미 COVID-19 백신의 임상 시험을 시작했다)."라는 정보는 원본에 언급되어 있지 않다. 즉, 생성된 결과에 대한 증거(evidence)를 원본에서 찾을 수 없는데 그렇다고 그 결과가 잘못되었다고 주장할 수도 없다. 이유는 Extrinsicn Hallucinations이라고해서 항상 잘못된 것은 아니며그 결과가 원본에는 없더라도 정확한 외부 정보에서 비롯될 수 있기 때문이다.

2.2 Terminology Clarification

Halllucination - 제공된 소스 콘텐츠(provided source contentes)에 충실하지(unfaithful) 않거나 무의미하게(nonsensical) 생성된 콘텐츠를 의미

Faithfulness - 제공된 원천에 대해 일관되고 진실한 것으로 남아있음을 의미. 이 단어에 대한 반의어는 할루시네이션이다.

3. Metrics measuring hallucination

최근 다양한 연구에서 텍스트 관련 태스크 품질을(quality of writing) 측정하는 데 사용되는 대부분의 전통적인 지표들이(ex. ROUGE, BLEU, METEOR 등) 할루시네이션 수준을 정량화하는 데 적합하지 않음을 보여주었다. 따라서, 할루시네이션을 정량화하는 효과적인 지표를 정의하기 위한 연구들이 활발하게 진행되고 있다.

3.1 Statical Metric

가장 간단한 접근 방식 중 하나는 어휘(lexical) 특성(n-gram)을 활용하여, 생성된 텍스트와 참조 텍스트 간의 정보 중복(overlap) 및 모순(cotradictions)을 계산하는 것이다. 불일치 횟수가 높을수록 충실도가(faithfulness) 낮아지고 그 결과 할루시네이션 점수가 높아진다. PARENT, PARENT-T, BVSS와 같은 방법이 제안되었다. (*논문에서는 주로 Data2Text 지표에 대한 내용을 기반으로 서술하고 있음)

3.2 Model-based Metric

모델 기반 지표는 생성된 텍스트에서 할루시네이션 정도를(원문과 생성된 텍스트 사이의 불일치) 측정하기 위해 신경망 모델을 활용한다.

1) Information Extraction(IE)-based:

IE 기반 지표들은 텍스트를 간단한 튜플 형식(예: 주체, 관계, 객체)으로 나타내주는 IE 모델을 사용하여 원본(source) 및 참조(reference) 텍스트에서 추출한 튜플을 비교하여 검증한다. 여기서 IE 모델은 검증이 필요한 '사실'을 식별하고 추출하는 역할을 한다. 이 방식으로 검증 단계에서 필요 없는 단어(ex: stopwords, 접속사 등)는 포함되지 않는다.

ex) Brad Pitt was born in 1961(ground text) / Brad Pitt was born in 1963(genrated text)

IE 모델 사용 → (Brad Pitt, born-in, 1963) / (Brad Pitt, born-in, 1961) → 1963과 1961을 비교하여 할루시네이션 여부를 평가할 수 있다.

2) QA-based:

원본과 결과 사이의 지식 겹침이나 일관성을 함축적으로 측정한다. 이는 결과가 원본과 사실적으로 일관된다면 동일한 질문에서 비슷한 답변이 생성될 것이라는 직관에 기반한다. 생성된 텍스트의 충실도를 측정하는 QA 기반 지표는 세 부분으로 구성된다. 첫째, 생성된 텍스트가 주어지면, 질문 생성(QG) 모델이 질문-답변 쌍을 생성한다. 둘째, 질문 응답(QA) 모델이 지식이 포함된 기준 소스 텍스트를 참조로 하여 생성된 질문에 답변한다. 마지막으로, 환영 점수는 해당 답변의 유사성을 기반으로 계산된다.

3) Natural Language Inference(NLI) Metrics:

할루시네이션 문제가 주목을 받던 초기에는 이를 평가하기 위한 데이터 셋이 많이 없었다. 따라서 이에 대한 대안으로 자연어 추론(NLI)* 방법을 사용하여 할루시네이션을 평가하였다. NLI는 '가설(hypothesis)'과 '전제(premise)'가 주어졌을 때 함의(entailment), 모순(contradiction) 또는 중립(neutral)인지 여부를 결정하는 작업이다. NLI 기반 지표는 원본과 생성된 텍스트 간의 entailment probability, 즉 생성된 텍스트가 원본을 함의, 중립 또는 모순하는 비율로 할루시네이션 및 충실도 점수를 정의한다.

문장 수준 함의(sentence-level entailment) 모델을 사용하는 데 있어 잠재적인 한계는 결과의 어떤 부분이 잘못되었는지를 정확하게 찾아내고 위치시키는 데 능력이 없다는 것이다.

* 자연어 추론 문제란, 두 문장이 주어졌을 때, 하나의 문장이 다른 문장과 논리적으로 어떤 관계에 있는지를 분류하는 것이다. 유형으로는 모순 관계(contradiction), 함의 관계(entailment), 중립 관계(neutral)가 있다.

4) Faithfulness Classification Metrics:

NLI 기반 지표에 대한 개선책으로 task-specific 데이터 셋에 대한 구축이 고려되고 있다. Faithfulness 데이터 셋은 NLI 데이터 셋보다 할루시네이션 평가에 더 적합하다. 그 이유는 NLI 데이터 셋의 함의나 중립과 Faithfulness는 동일하지 않기 때문이다. 예를 들어, 'Putin is U.S. president(푸틴은 미국 대통령이다)'라는 가설은 'Putin is president(푸틴은 대통령이다)'라는 전제에 대해 중립적이거나 함의적 일 수 있다. 그러나 Faithfulnes 관점에서 가설은 'U.S.(미국)'이라는 정보를 포함하고 있어 할루시네이션으로 간주한다.

5) LM-based Metrics:

These metrics leverage two language models (LMs) to determine if each token is supported or not

3.3 Human Evaluation

자연어 생성(NLG) 태스크에서 할루시네이션에 대한 Automatic evaluation은 어려움과(challenging) 불완전성(imperfect) 때문에 Human Evaluation이 여전히 일반적으로 많이 사용되는 평가 방식 중 하나이며 평가 방식에는 두 가지 주요 형태가 있다.

- Scoring: human annotator가 정해진 범위내에서 할루시네이션 수준을(level) 평가하는 것

- Comparison: human annotator가 출력 결과를 특정 기준이나(baseline) 정답에 대한 레퍼런스와 비교하는 것

4. Hallucination in Generative Question Answering

생성적 질문 응답(Generative Question Answering, GQA)은 제공된 문맥에서 질문에 대한 답변을 추출하는 것이 아니라 추상적인 답변을 생성하는 것을 목표로 하는 태스크이다.

일반적으로 GQA 시스템은 질문과 관련된 정보를 찾기 위해 외부의 정보를 검색하는 과정을 포함한다. 그런 다음 검색된 정보를 기반으로 답변을 생성한다. 대부분의 경우 단일 출처(문서)에 답변이 포함되어 있지 않고, 여러 검색된 문서가 답변 생성을 위해 고려된다. 이러한 문서들은 중복 또는 모순된 정보를 포함할 수 있으며 따라서 생성된 답변에서 할루시네이션 현상이 흔하게 발생한다.

4.1 Hallucination Definition in GQA

GQA 태스크에서 명확한 할루시네이션에 대한 표준적인 정의는 없다. 그러나 특정 연구에서는 의미적 이동(semantic shift)이라는 용어를 사용하는데 이는 생성 과정에서 답변이 정확한 것으로(원하는 결과)부터 얼마나 이탈하는지를 나타내며 이는 GQA에서 할루시네이션의 특정한 정의로 볼 수 있다.

'2.1 Categorization 섹션'에서 정의한 할루시네이션을 기준으로 아래와 같이 GQA에 대한 예를 분류할 수 있다.

intrinsic hallucination: '다우 존스 산업 평균 지수가 무엇인가?(dow jones industrial average please?)'에 대한 답변으로 '30개 주요 미국 주식 지수(index of 30 major U.S. stock indexes)'가 생성되었는데 이는 '미국 주식 거래소에 상장된 30개의 유명한 기업들(of 30 prominent companies listed on stock exchanges in the United States)'이라는 위키피디아의 답변과 배치된다.

extrinsic hallucination: 'definiton of sadduction'에 대한 답변으로 'The definition of a Sadducee is a person who acts in a deceitful or duplicitous manner. An example of a Sadduceee is a politician who acts deceitfully in order to gain political power'라는 답변을 생성하였는데 이에 대한 내용은 원본 문서에서 확인할 수 없으므로 이를 외부 할루시네이션으로 분류한다.

4.2 Hallucination-related Metrics in GQA

현재 QGA에서 할루시네이션을 평가하는 자동지표(Automatic metrics)는 없다. 대부분의 GQA 작업에서는 ROUGE 점수나 F1과 같은 평가 지표를 사용하여 답변의 품질을 측정하지만, 이 N-gram 중첩 기반(N-gram overlap-based) 지표는 사람의 판단과 상관관계가 약하기 때문에 할루시네이션을 평가하는 의미 있는 방법이 아니다. 관련하여 sematic overlap, Factual consistency, zero-shot short answer recall과 같은 방법이 연구 및 제시되었다.

4.3 Hallucination Mitigation in GQA

GQA 초기 작업 대부분은 신뢰할 수 있는 외부 소스를 조사하거나 여러 정보 소스를 통합하여 답변의 충실도를 향상시키려고 노력하였다. 그럼에도 불구하고 이러한 방법들은 고품질의 관련 자료를 쉽게 구할 수 없는 상황에서 활용하기 쉽지 않다.

최근 QA 작업에서 언어 모델의 진실성을 측정하기 위해 38개 카테고리에 걸쳐 817개의 질문으로 구성된 벤치마크가(TruthfulQA) 제안되었다. 이 연구는 GPT-3, GPT-Neo/J, GPT-2 및 T5 기반 모델의 성능을 조사하였다. 결과적으로, 단순히 모델을 확장하는 것보다 튜닝을 통해 진실성을 개선하는 것이 더 유망하다는 것을 알 수 있다. 왜냐하면 큰 모델은 웹 데이터에서 학습 분포를 더 잘 배우기 때문에 더 많은 모방 거짓말을 생성하려고 하기 때문이다.

4.4 Future direction in GQA

첫째, 할루시네이션 현상을 측정하기 위해 더 나은 자동 평가 지표(automatic evaluation metrics)가 필요하다. 구체적으로, 현재 관련 지표들은 할루시네이션 측정시 각각 독립적인 관점 및 방법으로 측정하고 있는데 통일된 관점의 평가지표가 필요하다. 둘째, 현재 사용되는 GQA 데이터 셋에는 없는 할루시네이션 특징이 포함된 데이터 셋이 필요하다. 마지막으로, 할루시네이션 현상을 완화하는 또 다른 가능한 방법은 모델의 성능을 향상시키는 것이다. 질의(query)에 따른 관련 정보를 검색하는 검색 모델이 더 나은 성능을 가지고 다중 출처 문서로부터 더 정확한 답변을 할 수 있는 생성 모델이 필요하다.

LLaMA: Open and Efficient Foundation Language Models

forest62590 — Tue, 14 Mar 2023 22:19:30 +0900

Touvron, Hugo, et al. "Llama: Open and efficient foundation language models." arXiv preprint arXiv:2302.13971 (2023).

1. Introduction

- 기존 Large Languages Models(LLM)은 매개변수가 많으면 많을 수록 성능이 더 좋아질 것이라는 가정하에 학습이 수행되었다. 그러나 최근 연구는 동일한 컴퓨팅 성능 하에서 많은 매개변수를 가진 규모가 큰 모델보다 모델 크기가 작더라도 더 많은 데이터에 대해 훈련된 모델이 더 좋은 성능 목표치를 달성한다는 결과를 제시하였다. 예를 들어, LLaMA-13B는 GPT-3 보다 모델의 크기가 10배 작음에도 불구하고 대부분의 벤치마크에서 GPT-3대비 성능이 뛰어남을 증명하였다.

- Chinchilla, PaLM 또는 GPT-3와 달리 LLaMA는 공개적으로 사용 가능한 데이터만 사용하여 학습을 수행하였다. 또한, 모델에 내재된 편향성 등의 검증을 위해 책임 있는 AI 커뮤니티(responsible AI community)의 최신 벤치마크를 사용하여 그 결과를 제시하였다.

2. Approach

트랜스포머 기반 언어 모델을 학습하기 위해 아래와 같은 대량의 텍스트 데이터를 활용하였다. 제한사항으로 공개적으로 사용 가능한 데이터에 대해서만 학습을 수행하였다.

- English CommonCrawl [67%]

2017년부터 2020년 사이이 English Common Crawl 데이터셋 활용

- C4(Colossal Clean Crawled Corpus) [15%]

사전 처리된 Common Crawl 데이터 세트를 사용하면 성능이 향상되는 것을 확인하였고, 따라서 공개적으로 사용 가능한 C4 데이터 세트 활용

- Github [4.5%]

Apache, BSD 및 MIT 라이선스에 따라 배포되는 공개 GitHub 데이터 세트를 활용

- Wikipedia [4.5%]:

22년 6월부터 8월까지 라틴어 및 키릴 문자 등을 포함 총 20 종류의 언어에 대한 위키피디아 데이터를 활용

(* 한국어 데이터 없음)

- Gutenberg and Books3 [4.5%]

쿠텐베르크 프로젝트(Gutenberg project) 및 ThePile-Books3 공개 서적 데이터셋을 활용

- ArXiv [2.5%]:

과학과 관련된 데이터 셋을 구축하기 위해 bibliography, user comments 등을 제거한 ArXiv Latex file을 활용

- Stack Exchange [2%]:

컴퓨터 과학에서 화학에 이르기까지 다양한 도메인에 대한 질문과 응답을 주고받는 Stack Exchcange 사이트의 데이터를 활용

3. Architecture

트랜스포머 구조 기반의 아키텍처를 사용하였으며 옵티마이저로 adamW를 사용하였다.

4. Comapring

5. Bias, Toxicity and Misinformation

LLaMA 학습시 사용한 학습 데이터 세트는 대부분 웹에서 발생된 데이터를 활용하였기 때문에 불량하거나(toxic) 또는 공격적인 컨텐츠(offensive contents)를 생성할 가능성이 있다. 따라서, LLaMA-65B에서 발생할 수 있는 잠재적 위험성을 평가하기 위해 불량한 콘텐츠 생성(toxic content production) 및 고정관념을 측정(stereotypes detection) 할 수 있는 다양한 벤치마크 데이터 셋을 사용하였다.

- RealToxicityPrompts

언어 모델은 모욕(insults), 증오심(hate speech) 또는 위협(threats)과 같은 불량한(toxic) 언어를 생성할 수 있으며, 이러한 내용을 평가하기 위해 RealToxicityPrompts 벤치마크 데이터 셋이 사용되었다.

- Crows-Pairs

Crows-Pairs 데이터 세트는 성별, 종교, 인종/피부색, 성적 취향, 연령, 국적, 장애, 외모 및 사회적 지위와 같은 9가지 범주에 대해서 편향을 측정할 수 있다.

- WinoGender

성별에 대한 모델의 편향을 검토할 때 사용가능한 벤치마크 데이터 셋이며, 대명사의 성별에 따라 'co-reference resolution performance'이 영향을 받는지 여부를 결정하여 편향을 평가한다.

- TruthfulQA

TruthfulQA 벤치마크 데이터 셋은 잘못된 정보나(misinformation, hallucination) 주장을(false claims) 생성하는 모델의 위험을 평가할 수 있다.

6. Conclusion

LLaMA-13B는 GPT-3보다 10배 이상 작으면서도 성능이 우수하고 또한 LLaMA-65B는 Chinchilla-70B 및 PaLM-540B와 대등한 성능을 가진다는 것을 제시하였다. 기존의 연구와 달리 공개적으로 사용 가능한 데이터 셋으로만 모델을 학습함에도 불구하고 SOTA를 달성하였음을 보였으며, 이에 따라 앞으로 기존보다 많은 대량의 학습용 데이터 셋에 학습한 모델을 출시할 계획이다.

[기사요약] 챗GPT에게 길을 묻다?! - 모비인사이드

forest62590 — Wed, 1 Mar 2023 19:37:07 +0900

https://www.mobiinside.co.kr/2023/02/14/chat-gpt-2/

[IT 트렌드 바로읽기] 챗GPT에게 길을 묻다?! - 모비인사이드 MOBIINSIDE

[IT 트렌드 바로읽기] 챗GPT에게 길을 묻다?! - 테크 모비인사이드 MOBIINSIDE

www.mobiinside.co.kr

1. ChatGPT 개요
- 닷새 만에 100만 명이 가입하였으며 그 수는 75일 만에 100만 이용자를 돌파한 인스타그램보다 15배나 빠른 속도. 또한, 출시 40일 만에 국내기준 하루 사용자 1천만명 돌파
- ChatGPT는 GPT-3.5 버전(1750억 개의 파라미터)을 기반으로 만들어졌으며, 2024년에 공개 예정인 GPT-4.0 버전은 무려 100조개의 파라미터로 이루어질 예정

몇몇 기사들에서는 ChatGPT의 등장이 알파고 및 아이폰의 등장과 맞먹거나 그 이상이라는 의견이 존재

2. 국내 ChatGPT 현황
- KT: 믿음, LG 유플러스: 엑사원(EXAONE), SKT: 에이닷, 카카오브레인: Ko-GPT
- GPT-3기반으로 개발되었으며 ChatGPT에 비해 대화가 아직 어색하다는 평가
- 결국 국내기업들이 ChatGPT와 같은 수준의 서비스를 제공하기 위해서는 방대한 데이터를 학습시켜야 하는데 여기에는 엄청난 시간과 비용이 수반

네이버의 경우 '하이퍼클로바X', 카카오는 KoGPT-3.5 발표를 앞두고 있어, 향후 해당 서비스들을 기준으로 다시 성능에 대한 검증이 필요. 두 기관이 내세우는 강점은 ChatGPT 보다 많은 한글 데이터를 학습했다는 것인데, 반대로 영어로 질의응답을 하였을 때 ChatGPT와 동일한 성능을 낼 수 있을지는 지켜보아야 할 포인트로 생각

3. ChatGPT 운영비용
- ChatGPT 운영에 매일 20억 원에 가까운 비용이 들고 있는 상황에서 국내 기업들이 수익성을 장담할 수 없는 챗봇에 막대한 금액의 투자를 하며 진행하기가 쉽지 않을 것이라는 예측이 존재

MS가 OpenAI에 한화 약 12조 가량을 투자할 것으로 발표. MS는 ChatGPT를 활용해 기존 구글 주도의 공고한 검색 시장에서 새로운 주도권을 가져가기 위함이며(MS의 다른 제품군으로 확장의 이유도 존재), OpenAI의 경우 MS의 방대한 클라우드 서비스를 사용함과 동시에 연구 및 운영에 필요한 자금을 수혈한다는 입장에서 서로 윈-윈의 투자로 보는 시각이 존재

4. ChatGPT 윤리 관련 이슈
- 일부 학계에서는 ChatGPT를 학생들이 표절에 활용할 수 있다며 우려를 표시
- 프린스턴 대학에 재학 중인 한 학생이 AI가 사용됐는지 식별해내는 ‘GPT제로’ 프로그램을 개발
- OpenAI는 자체적으로 사람이 작성한 글과 AI가 작성한 글을 판별하는 툴을 출시했지만 아직 더 많은 테스트를 거쳐야 한다는 의견
- 그러나 이러한 부정적 문제 외 ChatGPT는 긍정적인 방향으로도 많이 사용

동아일보 기자분들이 실제 GPT제로를 활용하여 ChatGPT를 활용하여 작성된 내용인지 아닌지 테스트를 수행하였는데, 그 결과가 딱히 좋은 것은 아님. 다만, ChatGPT 관련하여 윤리적인 이슈에 대해서는 계속 언급 될 것이기 때문에 곧 많은 성능적 향상이 이루어 질 것으로 생각

프롬프트 엔지니어링(Prompt Engineering)

forest62590 — Tue, 28 Feb 2023 22:47:32 +0900

1. 프롬프트 엔지니어링이란?

프롬프트 엔지니어링이란 챗 GPT(ChatGPT)와 같은 생성형 인공지능에(Generative AI) 사용되는 명령글인 '프롬프트(생성형 AI 모델에서 이미지나 텍스트 결과를 생성하기 위한 명령어를 의미)'를 다양한 방식으로 조작하고 지속적으로 개선하여 사용자가 원하는 최선의 답변을 생성하도록 돕는 것이다. 몇몇 기사에 따르면 현재 프롬프트를 전문적으로 만들어 내는 '프롬프트 엔지니어'라는 새 직업이 주목받고 있으며, 더 나아가 프롬프트를 전문적으로 판매하는 프롬프트베이스에서는 대략 700명의 프롬프트 엔지니어가 활동하고 있다고 한다 [1].

생각해보면 프롬프트는 ChatGPT와 같은 서비스를 이용할 때 사용자가 궁금한 내용에 대해 작성하는 단순한 텍스트 질문이기 때문에(예를 들어, "ChatGPT는 어떻게 학습이 이루어지는가?") 굳이 엔지니어링적 관점의 작업이 필요한지 의아해 할 수도 있다. 그 이유를 보자면 ChatGPT와 같은 대형 언어 모델은(Large Language Model, LLM) 세부적인 내용이 오픈되어 있지 않고 OpenAI에서 API 형태로만 제공하고 있다. 따라서, 연구자들이 동일하게 해당 서비스를 만들어 내고 운영하기 힘들 뿐만 아니라(주로 비용적 측면), 특정 API를 통해 제어할 수 있는것도 아니다. 따라서, 모델을 제어할 수 있는 유일한 방법인 프롬프트를 제어(활용)하여 최선을 결과를 도출하기 위한 프롬프트 엔지니어링에 대한 테크닉이 많이 연구되고 있다 [2].

아래 그림은 복잡한 수학 문제나 추론 문제를 풀 때 프롬프트의 예시로 추론의 과정을 넣어주면 언어 모델도 해당 추론을 이해하고 같은 방식으로 더 정확한 답변을 추론할 수 있다는 것을 보여주고 있다(by Google Research, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models).

2. Best practices for prompt engineering with OpenAI API

OpenAI에서는 "Best practices for promt enginerring with OpenAI API"라는 블로그 포스팅을 통해 어떠한 방식으로 프롬프트를 작성해야 사용자가 원하는 최상의 결과물을 얻을 수 있을지에 대해 가이드를 작성해 놓았다 [3]. 이하 가이드에서 '{text input here}'는 실제 사용자가 작성하는 프롬프트가 적용되는 곳이다.

1. 최신의 모델 사용

최상의 결과를 얻기 위해 최신 모델을 사용하는 것이 좋다. 2022년 11월 기준으로 텍스트 생성을 위한 "text-davinci-003" 모델과 코드 생성을 위한 "code-davinci-002" 모델을 권장

2. 프롬프트 시작 부분에 명령을 입력하고 ### 또는 """를 사용하여 명령과 컨텍스트를 구분

Less effective ❌:

Summarize the text below as a bullet point list of the most important points.

{text input here}

Better ✅:

Summarize the text below as a bullet point list of the most important points.

Text: """
{text input here}
"""

3. 원하는 컨텍스트(context), 결과(outcome), 길이(length), 형식(format), 스타일(style) 등에 대해 가능한 구체적이고 명확하게 작성

Less effective ❌:

Write a poem about OpenAI.

Better ✅:

Write a short inspiring poem about OpenAI, focusing on the recent DALL-E product launch (DALL-E is a text to image ML model) in the style of a {famous poet}

4. 예제를 통해 원하는 출력 형식을 명시(Show and tell)

Less effective ❌:

Extract the entities mentioned in the text below. Extract the following 4 entity types: company names, people names, specific topics and themes.

Text: {text}

Better ✅:

Extract the important entities mentioned in the text below. First extract all company names, then extract all people names, then extract specific topics which fit the content and finally extract general overarching themes

Desired format:
Company names: <comma_separated_list_of_company_names>
People names: -||-
Specific topics: -||-
General themes: -||-

Text: {text}

5. 제로샷(Zero-shot), 퓨샷(Few-shot) 순서로 질의 후 둘 다 미흡 할 경우 미세조정(Fine-tune) 사용

✅ Zero-shot

Extract keywords from the below text.

Text: {text}

Keywords:

✅ Few-shot - provide a couple of examples

Extract keywords from the corresponding texts below.

Text 1: Stripe provides APIs that web developers can use to integrate payment processing into their websites and mobile applications.
Keywords 1: Stripe, payment processing, APIs, web developers, websites, mobile applications
##
Text 2: OpenAI has trained cutting-edge language models that are very good at understanding and generating text. Our API provides access to these models and can be used to solve virtually any task that involves processing language.
Keywords 2: OpenAI, language models, text processing, API.
##
Text 3: {text}
Keywords 3:

6. 모호하고 부정확한 설명 줄이기

Less effective ❌:

The description for this product should be fairly short, a few sentences only, and not too much more.

Better ✅:

Use a 3 to 5 sentence paragraph to describe this product.

7. 단순히 안되는 것을 명시하는 것 뿐만 아니라 해야할 것을 함께 기술

Less effective ❌:

The following is a conversation between an Agent and a Customer. DO NOT ASK USERNAME OR PASSWORD. DO NOT REPEAT.

Customer: I can’t log in to my account.
Agent:

Better ✅:

The following is a conversation between an Agent and a Customer. The agent will attempt to diagnose the problem and suggest a solution, whilst refraining from asking any questions related to PII. Instead of asking for PII, such as username or password, refer the user to the help article www.samplewebsite.com/help/faq

Customer: I can’t log in to my account.
Agent:

3. 결론

초거대 언어 모델이 등장하고 주류로 자리 잡기 시작하면서 프롬프트 엔지니어링(Prompt Engineering)의 중요성도 더욱 더 커져가고 있는 것으로 보인다. 링크된 Github만 봐도(https://github.com/dair-ai/Prompt-Engineering-Guide) 프롬프트 엔지니어링 관련 다양한 강의와 논문들을 볼 수 있다. 그리고, 공격자가 시스템 출력을 조작하기 위해 악의적인 프롬프트를 주입하는 프롬프트 인젝션(Prompt Injection)이라고 하는 기술도 최근 언급되고 있는 것으로 보아 앞으로 프롬프트 엔지니어링 관련 활발한 연구가 예상된다.

References:

[1] https://www.aitimes.com/news/articleView.html?idxno=149692

[2] https://smilegate.ai/2022/07/14/%EC%86%8C-%EC%9E%A1%EB%8A%94-%EC%B9%BC%EB%A1%9C-%EB%8B%AD-%EC%9E%98-%EC%9E%A1%EC%95%84%EB%B3%B4%EA%B8%B0/

[3] https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-openai-api

[4] https://discuss.pytorch.kr/t/topic/877

[5] https://brunch.co.kr/@muralmural/6

How GPT-2 and GPT-3 works?

forest62590 — Sun, 26 Feb 2023 21:33:21 +0900

*** Jay Alammar blog 필요 부분 발췌 내용 ***

https://jalammar.github.io/illustrated-gpt2/

https://jalammar.github.io/how-gpt3-works-visualizations-animations/

The illustrated GPT-2

□ Looking Inside GPT-2

The GPT-2 can process 1024 tokens. Each token flows through all the decoder blocks along its own path.

The simplest way to run a trained GPT-2 is to allow it to ramble on its own (which is technically called generating unconditional samples) – alternatively, we can give it a prompt to have it speak about a certain topic (a.k.a generating interactive conditional samples). In the rambling case, we can simply hand it the start token and have it start generating words (the trained model uses <|end of text|> as its start token. Let’s call it <s> instead).

The model only has one input token, so that path would be the only active one. The token is processed successively through all the layers, then a vector is produced along that path. That vector can be scored against the model’s vocabulary (all the words the model knows, 50,000 words in the case of GPT-2). In this case we selected the token with the highest probability, ‘the’.

In the next step, we add the output from the first step to our input sequence, and have the model make its next prediction:

Notice that the second path is the only that’s active in this calculation. Each layer of GPT-2 has retained its own interpretation of the first token and will use it in processing the second token. GPT-2 does not re-interpret the first token in light of the second token.

□ Model Output

When the top block in the model produces its output vector (the result of its own self-attention followed by its own neural network), the model multiplies that vector by the embedding matrix.

Recall that each row in the embedding matrix corresponds to the embedding of a word in the model’s vocabulary. The result of this multiplication is interpreted as a score for each word in the model’s vocabulary.

We can simply select the token with the highest score (top_k = 1). But better results are achieved if the model considers other words as well. So a better strategy is to sample a word from the entire list using the score as the probability of selecting that word (so words with a higher score have a higher chance of being selected). A middle ground is setting top_k to 40, and having the model consider the 40 words with the highest scores.

With that, the model has completed an iteration resulting in outputting a single word. The model continues iterating until the entire context is generated (1024 tokens) or until an end-of-sequence token is produced.

How GPT-3 Works?

The dataset of 300 billion tokens of text is used to generate training examples for the model. For example, these are three training examples generated from the one sentence at the top. You can see how you can slide a window across all the text and make lots of examples.

The model’s prediction will be wrong. We calculate the error in its prediction and update the model so next time it makes a better prediction. Repeat millions of times.

This is an X-ray of an input and response (“Okay human”) within GPT3. Notice how every token flows through the entire layer stack. We don’t care about the output of the first words. When the input is done, we start caring about the output. We feed every word back into the model.

월세액 세액공제 및 주택마련저축 납입증명서 발급

forest62590 — Mon, 23 Jan 2023 15:12:53 +0900

1. 2023년도 월세액 세액공제 조건

연말 현재 무주택 세대로서 총급여액이 7천만원 이하인 근로소득자(외국인 근로자 포함)가 국민주택규모 주택 또는 기준시가 3억원 이하의 주택(주거용 오피스텔, 고시원 포함)을 임차하기 위해 지급하는 월세액(연 750만원 한도)의 15%(총급여액 5,500만원 이하자는 17%)를 세액공제

공제요건	제출서류
임대차계약서의 주소와 주민등록표등본상의 주소지가 같을 것✽	∙주민등록표등본, 임대차계약서 사본 ∙원리금 상환 증명서류(무통장입금증 등)

✽외국인의 경우 “주민등록표등본상의 주소지”는 외국인등록증 또는 국내거소신고증상의 체류지 또는 국내거소지를 말함.

2. 원리금 상황 증명서류 발급(하나은행)

2.1 이체 > 계좌이체내역조회 이동

2.2. 월세 입급 계좌 조회 후 하단 이체확인서 조회 및 출력

3. 주택마련저축 납입증명서 발급(하나은행)

마이하나 > 증명서발급 > 소득 및 세액공제확인서에서 "주택마련저축 납입증명서" 발급가능

GPT 다음 토큰 선택 알고리즘

forest62590 — Sat, 5 Nov 2022 17:35:45 +0900

References:

[1] BERT와 GPT로 배우는 자연어 처리, 이지스 퍼블리닝, 이기창
[2] ratsgo's NLP blog, https://ratsgo.github.io/nlpbook/docs/language_model/transformers/

1. BERT와 GPT차이

항목	GPT	BERT
모델 구조	GPT(트랜스포머의 디코더)	BERT(트랜스포머의 인코더)
프리트레인 태스크	다음 단어 맞히기	빈칸 맞히기
파인튜닝	다음 단어 맞히기	각 다운스트림 태스크

- BERT는 프리트레인 태스크와 파인튜닝 태스크가 서로 다르다. 하지만 GPT(문장 생성 과제)는 프리트레인과 파인튜닝 태스크가 '다음 단어 맞히기'로 같다. 즉, 문장 생성 과제는 프리트레인과 파인튜닝 태스크가 동일하므로 프리트레인 모델의 구조를 구조 변경 없이 그대로 파인튜닝을 수행할 수 있다.

- 예를 들어, 파인튜닝 데이터의 이번 입력 단어 시퀀스가 '이 영화 정말 재미'이고 이번에 '있었어'를 맞춰야 하는 상황이라고 가정해 보자. 이 경우 이번 시점의 정답인 '있었어'에 해당하는 모델 출력 확률은 높이고 나머지 단어의 확률은 낮아지도록 모델 전체를 업데이트 한다. 이것이 문장 생성 과제의 파인튜닝이다.

2. 문장생성(Sentence Generation)

- 말 그대로 문장을 만들어 내는 과제이다. 구체적으로 이전 단어들, 즉 컨텍스트(프롬프트)가 주어졌을 때 다음 단어로 어떤 단어가 오는게 적절한지 분류하는 것이다. 문장 생성 과제에서 모델의 입력은 컨텍스트, 출력은 컨텍스트 다음 토큰의 등장 확률이 된다. 즉, 입력은 컨텍스트를 토큰화한 결과(토큰 시퀀스)이며 출력은 다음 토큰에 대한 확률분포이다. 이 확률분포의 길이는 어휘 집합(vocabulary) 크기와 같다.

- 다음 그림은 (안녕, 하세요)를 컨텍스트로 해서 모델이 출력한 다음 토큰 확률분포, 즉 P(w|안녕, 하세요)를 나타낸 그림이다. 모델이 (안녕, 하세요) 다음 토큰으로 !를 가장 그럴듯하다고 예측하고 있다. 따라서, (안녕, 하세요) 다음 토큰으로 !를 선택할 수 있게된다.

문장 생성 과정

★ 문장 생성 방식은 다음과 같다.
1. 컨텍스트를 모델에 입력해 다음 토큰 확률, 즉 p(w|context)를 출력한 뒤 다음 토큰을 선택한다.
2. 기존 컨텍스트에 1에서 선택한 다음 토큰을 이어붙인 새로운 컨텍스트를 모델에 입력해서 다음 토큰 확률 분포, 즉 p(w|new context)를 추출하고 또 다시 그 다음 토큰을 선택한다.
3. 1, 2를 반복해 다음 토큰을 계속 생성해 나간다.

3. 토큰 선택하기

모델의 출력 확률분포로부터 다음 토큰을 반복해서 선택하는 과정이 바로 문장 생성 태스크이다. 하지만 문제는 특정 컨텍스트 다음에 올 토큰으로 무수히 많은 경우의 수가 존재한다는 것이다. 즉, 다음 토큰이 어떤 것이 되느냐에 따라 생성 문장의 의미가 180도 달라질수 있는 것이다.

언어모델의 입력값은 컨텍스트, 출력값은 컨텍스트 다음에 오는 단어의 확률분포라는 점을 감안하면 정석대로 문장을 생성하려면 아래 9가지 모든 케이스를 모델에 입력해서 다음 단어 확률분포를 계산하고 이로부터 다음 단어를 선택하는 과정을 거쳐야 하고, 또 이걸 반복해야 한다. 이해가 쉽도록 모델의 예측 결과를 아주 단순화 하였으나 실제로는 위의 9가지보다 훨씬 많은 경우의 수가 존재할 것이다. 모든 경우의 수를 계산해보는 건 사실상 불가능에 가깝다.

3.1. 그리디 서치

그리디 서치(greedy search)는 매순간 최선(best)를 선택해 탐색 범위를 줄여보자는 것이 핵심 아이디어다. 첫 번째 단어 예측 결과에서 책이 0.5로 가장 높으므로 다음 단어로 책을 선택하고 모델에 입력해 다음 확률분포를 계산, 마찬가지로 이, 을, 읽 셋 가운데 확률 값이 가장 높은 이(0.4)를 그 다음 단어로 선택한다.

3.2. 빔 서치

빔 서치(beam search)는 빔(beam) 크기 만큼의 선택지를 계산 범위에 넣는다. 아래는 빔 크기가 2인 빔 서치의 예시이다.

모델은 "그" 다음에 올 단어로 책(0.5), 집(0.4), 사람(0.1) 순으로 예측 했다. 빔 크기를 2로 설정해 두었으므로 예측 결과에서 확률이 높은 2개 (책, 집)만 탐색 대상으로 남겨두고 사람은 제거 한다. 그리고 모델에 그 책을 입력해 다음 토큰 등장 확률을 계산한다.

그 책이 : 0.5×0.4=0.2
그 책을 : 0.5×0.3=0.15
그 책 읽 : 0.5×0.3=0.15

모델에 그 집을 입력해 다음 단어 시퀸스 확률을 계산한다.

그 집에 : 0.4×0.7=0.28
그 집은 : 0.4×0.2=0.08
그 집 사 : 0.4×0.1=0.04

빔 크기를 2로 설정해 두었으므로 위의 6가지 경우의 수에서 가장 확률이 높은 시퀀스 두 개만을 남겨둔다. 그 집에(0.28), 그 책이(0.2)). 만일 빔 서치를 여기에서 그만둔다면 이 둘 가운데 확률값이 조금이라도 높은 그 집에가 최종 생성 결과가 된다.

3.3. 탑-k 샘플링

지금까지 살펴본 문장 생성 방식은 모델이 출력한 다음 토큰 확률분포를 점수로 활용한 것이다. 전체 어휘 가운데 점수가 가장 높은 토큰을 다음 토큰으로 결정하는 방식이다. 또한, 샘플링(sampling)이라는 방식도 존재한다. 아래 그림을 보면 '그'라는 컨텍스트를 입력했을 때 모델은 다음 토큰으로 집(0.5), 책(0.4), 사람(0.1)이 그럴듯하다고 예측했다. 여기에서 다음 토큰을 확률적으로 선택할 수 있다. 집이 선택될 가능성이 50%로 제일 크지만 사람이 선택될 가능성도 10%로 작지만 없지 않다. 복권 당첨 확률이 아주 낮지만 당첨되는 사람이 나오는 것과 비슷한 이치이다.

아래 그림에서 실제 선택된 다음 토큰은 '사람'이다. 샘플링 방식으로 다음 토큰을 선택하게 된다면 동일한 모델, 동일한 컨텍스트라 하더라도 시행 때마다 문장 생성 결과가 다를 수 있다.

탑-k 샘플링(top-k sampling)은 모델이 예측한 다음 토큰 확률분포 에서 확률값이 가장 높은 k개 토큰 가운데 하나를 다음 토큰으로 선택하는 기법이다. 아래 그림은 k를 6으로 뒀을 때 샘플링 대상 토큰들을 나타낸 것이다. 확률값이 큰 단어가 다음 단어로 뽑힐 가능성이 높지만 k개 안에 있는 단어라면 '의자' 같이 확률값이 낮은 케이스도 다음 토큰으로 추출될 수 있다. 따라서 탑-k 샘플링은 매 시행 때마다 생성 결과가 달라진다.

3.4. 템퍼러처 스케일링

템퍼러처 스케일링(temperature scaling)은 모델의 다음 토큰 확률분포에 대소 관계의 역전 없이 분포의 모양만 변경해 문장을 다양하게 생성하는 기법이다. 예를 들어, 위 그림의(3.3. 탑-k 샘플링) 확률분포에서 '그' 다음의 토큰 확률은 각각 책(0.5), 집(0.4), 사람(0.1)이었다. 템퍼러처 스케일링을 적용한 결과 '그' 다음의 확률이 책(0.75), 집(0.23), 사람(0.02)으로 바뀌었다. 즉, 순위의 변동은 없지만 원래 컸던 확률은 더 커지고 작았던 확률은 더 작아져 확률분포의 모양이 뾰족(sharp)해졌음을 알 수 있다.

3.5. 탑-p 샘플링

탑-p 샘플링(top-p sampling)은 확률값이 높은 순서대로 내림차순 정렬을 한 뒤 누적 확률값이 p 이상인 단어들 가운데 하나를 다음 단어로 선택하는 기법이다. 뉴클리어스 샘플링(necleus sampling)이라고도 불린다. 확률값을 기준으로 단어들을 내림차순 정렬해 그 값이 높은 단어들을 후보로 삼는다는 점에서는 탑-k 샘플링과 같지만 상위 k개를 후보로 삼느냐(탑-k 샘플링), 누적 확률값이 p이상인 단어들을 후보로 삼느냐(탑-p 샘플링)에 따라 차이가 있다.

아래 그림은 '그'라는 컨텍스트를 입력했을 때 모델이 출력한 다음 확률분포이다. p를 0.92로 설정했을 때 다음 단어 후보는 '책'부터 '회사'까지 9개, 그리고 이들의 누적 확률합은 0.94가 되는 걸 확인할 수 있다. k가 6인 탑-k 샘플링에서는 다음 단어 후보가 '책'부터 '의자'까지 6개, 그리고 이들의 누적확률합은 0.68인 걸 알 수 있다.