research notes

★★ 의 주피터 노트북 내용 발췌 : 작은 이미지 데이터셋에 딥러닝을 적용하는 일반적이고 매우 효과적인 방법은 사전 훈련된 네트워크를 사용하는 것입니다. 사전 훈련된 네트워크는 일반적으로 대규모 이미지 분류 문제를 위해 대량의 데이터셋에서 미리 훈련되어 저장된 네트워크입니다. 원본 데이터셋이 충분히 크고 일반적이라면 사전 훈련된 네트워크에 의해 학습된 특성의 계층 구조는 실제 세상에 대한 일반적인 모델로 효율적인 역할을 할 수 있습니다. 새로운 문제가 원래 작업과 완전히 다른 클래스에 대한 것이더라도 이런 특성은 많은 컴퓨터 비전 문제에 유용합니다. 예를 들어 (대부분 동물이나 생활 용품으로 이루어진) ImageNet 데이터셋에 네트워크를 훈련합니다. 그다음 이 네트워크를 이미지에서 가구 아이템을 식별하..

*** 딥 러닝을 이용한 자연어 처리 입문 (위키북스) 내용 요약 *** 합성곱 신경망은 주로 비전 분야에서 사용되는 알고리즘이지만 이를 응용해서 자연어 처리에 사용하기 위한 방법들이 연구되고 있다. 각 문장은 임베딩 층(embedding layer)을 지나서 각 단어가 임베딩 벡터가 된 상태로 LSTM의 입력이 되며, 1D 합성곱 연산도 마찬가지로 1D 합성곱 연산의 입력이 되는 것은 각 단어가 벡터로 변환된 문장 행렬이다. (n: 문장의 길이, k: 임베딩 벡터 차원) 1D 합성곱 연산에서 커널의 너비는 문장 행렬에서의 임베딩 벡터의 차원과 동일하게 설정된다. 그렇기 때문에 1D 합성곱 연산에서는 커널의 높이만으로 해당 커널의 크기라고 간주한다. 가령, 커널의 크기가 2인 경우에는 아래의 그림과 같이..

1. Image-specific saliency 개요 컨볼루션 신경망의 attribution을 보여주기 위한 대표적인 수단이 ‘Saliency Map(현저성 맵)’이다. 보통 Saliency Map은 이미지 상의 두드러진 부분을 지칭하나, 컨볼루션 신경망의 예측 결과에 대한 설명의 맥락에서는 예측 결과를 이끌어낸 이미지 상의 주요한 부분을 표현하기 위한 목적으로 생성된다. 컨볼루션 신경망의 예측 결과로부터 Saliency Map을 도출하기 위한 가장 간단한 방법은, 예측 클래스의 입력 이미지 X에 대한 gradient ∂yc/∂X를(기여도) 계산하는 것이다. 2. Image-specific saliency 알고리즘 정리 Pixel들을 rank시켜 각 픽셀이 예측에 얼마나 영향을 주었는지 판단을 하기 위해..

1. Class Activation Map (CAM) 개요 학습된 네트워크가 이미지들을 판변할 때 각각 이미지에서 중요하게 생각하는 영역은 다를 것이다. 이를 시각화해주는 알고리즘이 바로 Class Activation Map(CAM) 관련 알고리즘들이다. 2. Class Activation Map (CAM) 구조 일반적으로 Flatten을 수행하여 Fully-Connected에 연결을 수행하는 CNN과는 달리 CAM에서는 Global Average Pooling (GAP) 기법을 사용 3. Class Activation Map (CAM) 관련 알고리즘 - Weakly Supervised Object Localization Computer vision 분야에서 널리 알려진 Object Detection 문..

1. Limitation of Class Activation Map (CAM) CAM은 간단히 계산할 수 있는 유용한 툴이지만, Global Average Pooling layer를 사용해야만 한다는 한계점을 갖는다. 즉, GAP으로 대치하게되면 뒷부분을 다시 또 fine tuning 해야하는 한계점이 있다. 따라서, 이번 논문에서 제시된 Grad-CAM은 GAP을 쓸 필요가 없다는 점에서(Fully-connected layer 사용가능) 일반화된 CAM (Generalized CAM) 이라고도 말할 수 있다. 2. Grad-CAM 알고리즘 Gard-CAM 수행 두 식의 차이점은 ReLU 함수가 추가되었다는 점과 w^ck가 a^ck로 변경되었다는 점이다. a^ck의 수식을 글로 풀어 설명해보면, k번째 ..