research notes

1. OpenAI API 정의 OpenAI API는 OpenAI가 제공하는 서비스에 액세스하기 위한 프로그래밍 인터페이스. OpenAI API를 사용하면 개발자는 GPT를 활용해 텍스트 생성, 번역, 요약, 질문 응답 등 다양한 자연어 관련 자신의 서비스를 개발할 수 있다. OpenAI API 지원 프로그래밍 언어는 공식적으로 파이썬과 Node.js이며, API 활용시 비용이 발생할 수 있으므로 이를 확인하는 것이 중요하다. 2. OpenAI API Key OpenAI API 서비스를 사용하기 위해서는 사전에 API키 발급이 되어야 한다. - https://openai.com/blog/openai-api 사이트 이동 - 로그인 → 계정 아이콘 클릭 → View API Keys 클릭 - Create a n..

Ji, Ziwei, et al. "Survey of hallucination in natural language generation." ACM Computing Surveys 55.12 (2023): 1-38 들어가며 현재 자연어 생성(Natural Language Generation, NLG)에서 발생하는 할루시네이션(Hallucination) 문제를 해결하기 위해 많은 연구자들이 관련 측정(metric) 및 완화(mitigation) 방법을 제시하고 있지만 아직 종합적으로 검토되지 않았다. 따라서, 본 기술보고서는 NLG의 할루시네이션 문제에 대한 연구 현황(progress) 및 도전 과제(challenges)에 대한 종합적인 개요를 제공하는 것을 목적으로 작성되었다. 1. Introduction 최..

Touvron, Hugo, et al. "Llama: Open and efficient foundation language models." arXiv preprint arXiv:2302.13971 (2023). 1. Introduction - 기존 Large Languages Models(LLM)은 매개변수가 많으면 많을 수록 성능이 더 좋아질 것이라는 가정하에 학습이 수행되었다. 그러나 최근 연구는 동일한 컴퓨팅 성능 하에서 많은 매개변수를 가진 규모가 큰 모델보다 모델 크기가 작더라도 더 많은 데이터에 대해 훈련된 모델이 더 좋은 성능 목표치를 달성한다는 결과를 제시하였다. 예를 들어, LLaMA-13B는 GPT-3 보다 모델의 크기가 10배 작음에도 불구하고 대부분의 벤치마크에서 GPT-3대비 성능..

https://www.mobiinside.co.kr/2023/02/14/chat-gpt-2/ [IT 트렌드 바로읽기] 챗GPT에게 길을 묻다?! - 모비인사이드 MOBIINSIDE [IT 트렌드 바로읽기] 챗GPT에게 길을 묻다?! - 테크 모비인사이드 MOBIINSIDE www.mobiinside.co.kr 1. ChatGPT 개요 - 닷새 만에 100만 명이 가입하였으며 그 수는 75일 만에 100만 이용자를 돌파한 인스타그램보다 15배나 빠른 속도. 또한, 출시 40일 만에 국내기준 하루 사용자 1천만명 돌파 - ChatGPT는 GPT-3.5 버전(1750억 개의 파라미터)을 기반으로 만들어졌으며, 2024년에 공개 예정인 GPT-4.0 버전은 무려 100조개의 파라미터로 이루어질 예정 몇몇 기사들..

다량의 말뭉치에 대한 의미와 문맥을 학습한 언어모델(language model)을 활용해 문서 분류, 개체명 인식 등 각종 태스크를 수행할 수 있으며, 요즘에는 트랜스포머(transformer) 기반의 언어모델이 각광받고 있으며 주로 자연어 처리에서 사용하는 딥러닝 아키텍처 중 하나이다. 현재 자연어 처리의 역사는 트랜스포머와 함께하고 있다고 해도 과언이 아니다. BERT, GPT 등 요즘 널리 쓰이는 모델 아키텍처가 모두 트랜스포머이다. 또한 자연어 처리 외에 비전, 음성 등 다양한 분야에 널리 활용되고 있다. ※ BERT, GPT 따위의 부류는 미리 학습된 언어 모델(pretrained language model)이라는 공통점이 있다. ※ 기존의 RNN 및 LSTM과 같은 네트워크는 장기 의존성 문제..

1. 텍스트 분석 종류 텍스트 분류(Text Classification): Text categorization이라고도 하며 문서가 특정 분류 또는 카테고리에 속하는 것을 예측하는 기법 감성 분석(Sentiment Analysis): 텍스트에서 나타나는 감정/판단/믿음/의견/기분 등의 주관적인 요소를 분석하는 기법을 총칭 텍스트 요약(Summarization): 텍스트 내에서 중요한 주제나 중심 사상을 추출하는 기법이며 대표적으로 토픽 모델링(Topic Modeling)이 있다. 텍스트 군집화(Text Clustering)와 유사도 측정: 비슷한 유형의 문서에 대해 군집화를 수행하는 기법 2. 텍스트 분석 수행 프로세스 머신러닝 기반의 텍스트 분석은 다음과 같은 프로세스 순으로 수행 ① 텍스트 사전 준비작..