research notes

다량의 말뭉치에 대한 의미와 문맥을 학습한 언어모델(language model)을 활용해 문서 분류, 개체명 인식 등 각종 태스크를 수행할 수 있으며, 요즘에는 트랜스포머(transformer) 기반의 언어모델이 각광받고 있으며 주로 자연어 처리에서 사용하는 딥러닝 아키텍처 중 하나이다. 현재 자연어 처리의 역사는 트랜스포머와 함께하고 있다고 해도 과언이 아니다. BERT, GPT 등 요즘 널리 쓰이는 모델 아키텍처가 모두 트랜스포머이다. 또한 자연어 처리 외에 비전, 음성 등 다양한 분야에 널리 활용되고 있다. ※ BERT, GPT 따위의 부류는 미리 학습된 언어 모델(pretrained language model)이라는 공통점이 있다. ※ 기존의 RNN 및 LSTM과 같은 네트워크는 장기 의존성 문제..

*** ratsgo's NLP blog (이기창) 내용 요약 *** 바이트 페어 인코딩(Byte Pair Encoding: BPE)은 원래 정보를 압축하는 알고리즘으로 제안되었으나 최근에는 자연어 처리 모델에서 널리 쓰이는 토큰화 기법 - GPT는 BPE 기법 토큰화 수행 - BERT는 BPE와 유사한 워드피스(Wordpiece) 토크나이저 사용 1. BPE란?(고빈도 바이그램 쌍 병합) BPE는 1994년 제안된 정보 압축 알고리즘으로 데이터에서 가장 많이 등장한 문자열을 병합해서 데이터를 압축하는 기법 aaabdaaabac → ZabdZabac ZabdZabac → ZYdZYac ZYdZYac → XdXac BPE 수행 이전에는 원래 데이터를 표현하기 위한 사전 크기가 4개(a, b, c, d)이나 ..

*** ratsgo's NLP blog (이기창) 내용 요약 *** 토큰화란 문장을 토큰 시퀸스로 나누는 것이며 크게 문자 단위 토큰화, 단어 단위 토큰화, 서브워드의 방법이 있다. 또한 토큰화를 수행하는 프로그램을 토크나이저(Tokenizer)라고 한다. ① 단어 단위 토큰화 단어 단위로 토큰화를 진행 할 수 있으며, 가장 간단한 방법은 공백을 기준으로 분리하는 것이다. 어제 카페 갔었어 → 어제, 카페, 갔었어 어제 카페 갔었는데요 → 어제, 카페, 갔었는데요 위와 같이 공백을 기준으로 분리하게 되면 따로 토크나이저 프로그램을 사용하지 않아도 된다는 장점이 있지만, 어휘 집합의 크기가 매우 커질 수도 있다. 예) '갔었어', '갔었는데요'처럼 표현이 살짝 바뀌어도 모든 경우의 수가 어휘 집합에 포함되..

*** 딥 러닝을 이용한 자연어 처리 입문 (위키북스) 내용 요약 *** 케라스는 임베딩 층의 입력이 원-핫 벡터가 아니어도 동작을 하는데 그 이유는 케라스는 단어를 정수 인덱스로 바꾸고 원-핫 벡터로 변환 후 임베딩 층의 입력으로 사용하는 것이 아니라, 단어를 정수 인코딩까지만 진행 후 임베딩 층의 입력으로 사용하기 때문이다. 임베딩 층은 입력 정수에 대해 밀집벡터(dense vector)로 맵핑하고 이 밀집 벡터는 인공 신경망의 학습 과정에서 가중치가 학습되는 것과 같은 방식으로 훈련되며, 이 밀집 벡터를 임베딩 벡터라고 부른다. 정수를 밀집벡터 또는 임베딩 벡터로 맵핑한다는 것은 특정 단어와 맵핑되는 정수를 인덱스로 가지는 테이블로부터 임베딩 벡터 값을 가져오는 룩업 테이블이라고 볼 수 있다. 그리..

*** 딥 러닝을 이용한 자연어 처리 입문 (위키북스) 내용 요약 *** 합성곱 신경망은 주로 비전 분야에서 사용되는 알고리즘이지만 이를 응용해서 자연어 처리에 사용하기 위한 방법들이 연구되고 있다. 각 문장은 임베딩 층(embedding layer)을 지나서 각 단어가 임베딩 벡터가 된 상태로 LSTM의 입력이 되며, 1D 합성곱 연산도 마찬가지로 1D 합성곱 연산의 입력이 되는 것은 각 단어가 벡터로 변환된 문장 행렬이다. (n: 문장의 길이, k: 임베딩 벡터 차원) 1D 합성곱 연산에서 커널의 너비는 문장 행렬에서의 임베딩 벡터의 차원과 동일하게 설정된다. 그렇기 때문에 1D 합성곱 연산에서는 커널의 높이만으로 해당 커널의 크기라고 간주한다. 가령, 커널의 크기가 2인 경우에는 아래의 그림과 같이..

텍스트를 컴퓨터가 이해하고, 효율적으로 처리하게 하기 위해서는 컴퓨터가 이해할 수 있도록 텍스트를 적절히 숫자로 변환해야 한다. 단어를 표현하는 방법에 따라서 자연어 처리의 성능이 크게 달라지기 때문에 단어를 수치화 하기 위한 많은 연구가 있었고, 현재에 이르러서는 각 단어를 인공 신경망 학습을 통해 벡터화하는 워드 임베딩이라는 방법이 가장 많이 사용되고 있다. 워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 방법으로 단어를 밀집(Dense) 표현으로 변환한다. 1. 희소 표현(Sparse Representation) 표현하고자 하는 단어의 인덱스의 값만 1이고, 나머지 인덱스에는 전부 0으로 표현되는 벡터 표현 방법. 이렇게 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되..

TTA는 2019년 초 지능정보기반 기술위원회(TC10)가 신설되면서 사물인터넷/스마트시티 플랫폼, 사물인터넷 네트워킹, 클라우드 컴퓨팅, 빅데이터, 인공지능, 블록체인 분야에 대한 표준화 활동을 추진하고 있다. 이 중에서, 인공지능기반기술프로젝트그룹(이하 PG1005)은 지능정보기반 기술 중에서 인공지능의 기반 기술과 관련한 국내 표준 개발을 담당하고 있으며, 동시에 관련 국제기구와의 표준화 협력을 위한 활동을 수행하고 있다. References: [1] 인공지능기반기술 프로젝트 그룹, 2020.01, TTA 저널 187호

1. 결정트리 개요 if-else(규칙조건)를 자동으로 찾아내 예측을 위한 규칙을 만드는 알고리즘으로 이해하면 된다. 결정트리는 정보의 ‘균일도’라는 룰을 기반으로 트리를 분할하며, 알고리즘이 쉽고 직관적이다. ‘균일도’를 측정하는 대표적인 방법은 엔트로피를 이용한 정보이득(Information Gain)지수와 지니 계수가 있다. 트리의 깊이(Depth)가 깊어질수록 결정 트리의 예측 성능이 저하될 가능성이 높다. 결정 트리 장점 결정 트리 단점 쉽다. 직관적이다 피처의 스케일링이나 정규화 등의 사전 가공 영향도가 크지 않음 과적합으로 알고리즘 성능이 떨어진다. 이를 극복하기 위해 트리의 크기를 사전에 제한하는 튜닝 필요 2. 균일도 결정트리를 분할할 때 최대한 균일한 데이터 셋을 구성할 수 있도록 분할..

1. PFI 개요 PFI는 각 feature의 값을 셔플한(shuffled) 후 예측 오류의(prediction error) 증가를 측정한다. PFI 이론은 만약 feature가 target varable와 강한 관계(strong realationship)가 있다면, shuffling 수행에 대한 결과로 예측 오류가 증가 할 것이라는 논리에 기초하고 있다. 만약 feature가 target variable과 강한 관계가 없는 경우에는 예측 오차가 많이 증가하지 않을 것이다. 따라서, 셔플링으로 인해 오류가 가장 많이 증가하는 feature를 기준으로 순위를 매기면 모델의 결과에 가장 많이 영향을 끼치는 feature가 무엇인지 알 수 있다. 2. PFI 계산 방법 3. Disadvantages ① 통상 ..

** "금융분야 AI 가이드라인 ('21.07, 금융위원회)"를 요약하여 작성 ** 1. 목적과 적용 범위 가이드라인은 금융 분야에서의 인공지능(이하 ‘AI’라 한다.) 시스템 의 개발, 사업화 및 활용과 관련한 기획·설계, 평가·검증, 도입·운영 및 모니터링의 전 과정에서 신뢰성을 제고하여 AI 활성화를 제고하고 금융 서비스에 대한 고객 신뢰를 확보하는데 기여하는 것을 목적으로 한다. 2. 거버넌스의 구축 금융회사 등은 AI 시스템의 전 과정에 걸쳐 AI 활용에 따라 나타날 수 있는 잠재적 위험을 인식·평가하고, 이를 관리·최소화하는 방안을 검토하는 등 AI 활용으로 인한 잠재적 위험을 관리하는데 필요한 위험 관리정책을 마련한다. 위험 관리정책은 소비자 권리 보장을 위한 시스템 운영, AI 모델 및 학..