research notes

1. SHAP 개요 SHAP(SHapley Additive exPlanations)는 머신러닝 모델의 출력을 설명하기 위한 협력 게임 이론에 기반한 접근법이며 SHAP value를 통해 feature importance를 파악할 수 있다. ** A Unified Approach to Interpreting Model Predictions 논문 참조 ** 2. Additive Feature Attribution Method 선형회귀나 결정나무 같은 알고리즘은 그 자체로 출력 결과에 대한 설명이 가능하나, 앙상블 방식 혹은 딥러닝 등의 복잡한 모델의 경우는 블랙박스 특성상 설명하기가 매우 힘들다. 따라서, 복잡한 구조의 모델을 설명하기 위해서는 보다 단순한 모델을 활용하여 기존 모델을(original mod..

** "유네스코 인공지능 윤리 권고 ('21.12)" 및 "유네스코 AI 윤리 권고 주요 내용 및 시사점 (NIA, '21.12)"를 요약하여 작성 ** ◇ 유네스코 AI 윤리 권고의 추진 및 배경 (⇒ 국제적 AI 윤리 가이드라인의 필요성 대두) AI 윤리와 관련한 국가 및 지역 수준의 전략과 프레임워크는 개발되어 왔으나, 현재까지 국제적 수준의 기준은 마련되지 않음 이에 국가의 발전 정도, 문화적 차이, 공공과 민간의 다중 이해관계자 등 다양한 요인을 고려한 국제적 AI 윤리 가이드라인의 필요 부상 ◇ 유네스코 AI 윤리 권고의 특징 기존 권고안 및 가이드라인이 구속력 없는 원칙을 제시한 것의 한계를 인식하고, 국가별 상황에 맞게 규제 프레임워크의 도입과 개선을 요구 AI 시스템 전주기 및 관련 행위..

1. LIME 개요 LIME은 개별 예측을 설명하는 데 활용할 수 있는 시각화 기술 중 하나이며, Model-agnostic 하므로 특정 분류 또는 회귀 모델에 적용할 수 있다. 복잡한 모형을 해석이 가능한 심플한 모형(Surrogate Model*)으로 locally approximation을 수행하여 설명을 시도한다. 이름에서 알 수 있듯 전체 모델이 아닌 개별 prediction의 근방에서만 해석을 시도한다는 점과 어떠한 모델 (딥러닝, 랜덤 포레스트, SVM 등) 및 데이터 형식도(이미지, 텍스트, 수치형) 적용이 가능하다는 특징이 있다. 오늘날 신경망과 같이 복잡성이 높은 머신러닝 모델을 사용하는 일반적인 상황에서, 예측 결과에 대하여 전역적으로 완벽한 설명을 제시하는 것은 현실적으로 매우 어려..

1. Image-specific saliency 개요 컨볼루션 신경망의 attribution을 보여주기 위한 대표적인 수단이 ‘Saliency Map(현저성 맵)’이다. 보통 Saliency Map은 이미지 상의 두드러진 부분을 지칭하나, 컨볼루션 신경망의 예측 결과에 대한 설명의 맥락에서는 예측 결과를 이끌어낸 이미지 상의 주요한 부분을 표현하기 위한 목적으로 생성된다. 컨볼루션 신경망의 예측 결과로부터 Saliency Map을 도출하기 위한 가장 간단한 방법은, 예측 클래스의 입력 이미지 X에 대한 gradient ∂yc/∂X를(기여도) 계산하는 것이다. 2. Image-specific saliency 알고리즘 정리 Pixel들을 rank시켜 각 픽셀이 예측에 얼마나 영향을 주었는지 판단을 하기 위해..

1. Class Activation Map (CAM) 개요 학습된 네트워크가 이미지들을 판변할 때 각각 이미지에서 중요하게 생각하는 영역은 다를 것이다. 이를 시각화해주는 알고리즘이 바로 Class Activation Map(CAM) 관련 알고리즘들이다. 2. Class Activation Map (CAM) 구조 일반적으로 Flatten을 수행하여 Fully-Connected에 연결을 수행하는 CNN과는 달리 CAM에서는 Global Average Pooling (GAP) 기법을 사용 3. Class Activation Map (CAM) 관련 알고리즘 - Weakly Supervised Object Localization Computer vision 분야에서 널리 알려진 Object Detection 문..

1. Limitation of Class Activation Map (CAM) CAM은 간단히 계산할 수 있는 유용한 툴이지만, Global Average Pooling layer를 사용해야만 한다는 한계점을 갖는다. 즉, GAP으로 대치하게되면 뒷부분을 다시 또 fine tuning 해야하는 한계점이 있다. 따라서, 이번 논문에서 제시된 Grad-CAM은 GAP을 쓸 필요가 없다는 점에서(Fully-connected layer 사용가능) 일반화된 CAM (Generalized CAM) 이라고도 말할 수 있다. 2. Grad-CAM 알고리즘 Gard-CAM 수행 두 식의 차이점은 ReLU 함수가 추가되었다는 점과 w^ck가 a^ck로 변경되었다는 점이다. a^ck의 수식을 글로 풀어 설명해보면, k번째 ..

들어가기전에... - 화이트 박스 모델은 설계상 설명이 가능하다. 따라서 설명을 위한 추가 작업이 필요하지 않다. - 블랙박스 모델은 자체적으로 설명할 수 없다. 따라서 블랙박스 모델을 설명하려면 모델의 내부 논리 또는 출력에서 결정에 대한 이유를 추출하기 위한 여러 테크닉을 활용 해야한다. Interpretable Machine Learning (IML) 기술은 크게 3가지 관점에서 분류 할 수 있다. (Complexity, Scope, Dependency) 관점 분류 분류 설명 Complexity Intrinsic 내재적으로 해석력을 확보하고 있는 머신러닝 모델을 ‘intrinsic(본래 갖추어진)’하다고 지칭한다. (e.g. Decision Tree) Post-hoc 모델 자체가 해석력을 지니지 않..

해석가능성(Interpretability)은 모델의 입력 또는 알고리즘 매개변수의 변화 등에 따라 예측이 어떻게 변화하는지 확인 가능하게 하는 기능적 요소를 의미한다. 해석가능성은 인공지능 시스템을 구축하는 전문가에 의해 대부분 활용되며 설명가능성의 기본이 된다. 해석가능성 (Interpretability)의 범위는 인공지능 시스템에서 발생하는 결과의 원인을 이해하는 것이다. 반면에 설명가능성은 해석가능성을 뛰어넘어 인간-컴퓨터 상호 작용(HCI), 법률 및 윤리와 같은 다른 분야와의 결합을 통해 더 다양한 사용자들이 이해 할 수 있는(Understandable) 형태로 모델이 어떻게, 왜 예측을 내놓았는지 이해할 수 있게 도와준다. 설명가능성 (eXplainability)의 범위는 단순히 인공지능 기술..