research notes

* 다르파(DARPA, Defense Advanced Research Projects Agency)가 수행한 XAI Program에 대한 Summary 기고문 해석 1. Abstract DARPA는 사용자가 인공지능 시스템을 더 잘 이해하고(understand), 신뢰하며(trust) 효과적으로 관리할 수 있도록 하기 위해 2015년 설명가능한 인공지능(XAI) 프로그램 개발을 공식화하였으며, 2017년부터 4년 간의 XAI 연구 프로그램이 시작되었다. 그리고 XAI 연구 프로그램이 2021년에 종료됨에 따라 무엇이 성공하고 실패하였는지 그리고 무엇을 배웠는지에 대해 기술하였다. 2. Creation of XAI 머신러닝의 극적인 성공과 더불어 인공지능(AI) 기술에 대한 활용은 폭발적으로 증가하였고 점..

1. Partial Dependency Plot 개요 PDP는 관심 대상인 변수와(input features of interest) 타겟 간에 어떠한 관계가 있는지 두 대상간의 상호작용을 시각화하고 분석하는 방법이다. 이 때, 관심 대상인 변수는 최대 2개까지 함께 확인할 수 있는데 변수가 2개를 넘게 되면 타겟을 포함하여 시각화 해야하는 값이 3개를 넘어가면서 시각적으로 표현하기 매우 어렵기 때문이다. 여러개의 특징(features) 중에서 영향력을 보고 싶은 특징을(input features of interest) \(x_{s}\)(selected), 그 외 선택되지 않은 특징을 \(x_{c}\)(complement)라고 하자. PDP는 \(x_{s}\), \(x_{c}\) 간에 서로 독립임을 가정하..

1. PFI 개요 PFI는 각 feature의 값을 셔플한(shuffled) 후 예측 오류의(prediction error) 증가를 측정한다. PFI 이론은 만약 feature가 target varable와 강한 관계(strong realationship)가 있다면, shuffling 수행에 대한 결과로 예측 오류가 증가 할 것이라는 논리에 기초하고 있다. 만약 feature가 target variable과 강한 관계가 없는 경우에는 예측 오차가 많이 증가하지 않을 것이다. 따라서, 셔플링으로 인해 오류가 가장 많이 증가하는 feature를 기준으로 순위를 매기면 모델의 결과에 가장 많이 영향을 끼치는 feature가 무엇인지 알 수 있다. 2. PFI 계산 방법 3. Disadvantages ① 통상 ..

1. SHAP 개요 SHAP(SHapley Additive exPlanations)는 머신러닝 모델의 출력을 설명하기 위한 협력 게임 이론에 기반한 접근법이며 SHAP value를 통해 feature importance를 파악할 수 있다. ** A Unified Approach to Interpreting Model Predictions 논문 참조 ** 2. Additive Feature Attribution Method 선형회귀나 결정나무 같은 알고리즘은 그 자체로 출력 결과에 대한 설명이 가능하나, 앙상블 방식 혹은 딥러닝 등의 복잡한 모델의 경우는 블랙박스 특성상 설명하기가 매우 힘들다. 따라서, 복잡한 구조의 모델을 설명하기 위해서는 보다 단순한 모델을 활용하여 기존 모델을(original mod..

1. LIME 개요 LIME은 개별 예측을 설명하는 데 활용할 수 있는 시각화 기술 중 하나이며, Model-agnostic 하므로 특정 분류 또는 회귀 모델에 적용할 수 있다. 복잡한 모형을 해석이 가능한 심플한 모형(Surrogate Model*)으로 locally approximation을 수행하여 설명을 시도한다. 이름에서 알 수 있듯 전체 모델이 아닌 개별 prediction의 근방에서만 해석을 시도한다는 점과 어떠한 모델 (딥러닝, 랜덤 포레스트, SVM 등) 및 데이터 형식도(이미지, 텍스트, 수치형) 적용이 가능하다는 특징이 있다. 오늘날 신경망과 같이 복잡성이 높은 머신러닝 모델을 사용하는 일반적인 상황에서, 예측 결과에 대하여 전역적으로 완벽한 설명을 제시하는 것은 현실적으로 매우 어려..

1. Image-specific saliency 개요 컨볼루션 신경망의 attribution을 보여주기 위한 대표적인 수단이 ‘Saliency Map(현저성 맵)’이다. 보통 Saliency Map은 이미지 상의 두드러진 부분을 지칭하나, 컨볼루션 신경망의 예측 결과에 대한 설명의 맥락에서는 예측 결과를 이끌어낸 이미지 상의 주요한 부분을 표현하기 위한 목적으로 생성된다. 컨볼루션 신경망의 예측 결과로부터 Saliency Map을 도출하기 위한 가장 간단한 방법은, 예측 클래스의 입력 이미지 X에 대한 gradient ∂yc/∂X를(기여도) 계산하는 것이다. 2. Image-specific saliency 알고리즘 정리 Pixel들을 rank시켜 각 픽셀이 예측에 얼마나 영향을 주었는지 판단을 하기 위해..

1. Class Activation Map (CAM) 개요 학습된 네트워크가 이미지들을 판변할 때 각각 이미지에서 중요하게 생각하는 영역은 다를 것이다. 이를 시각화해주는 알고리즘이 바로 Class Activation Map(CAM) 관련 알고리즘들이다. 2. Class Activation Map (CAM) 구조 일반적으로 Flatten을 수행하여 Fully-Connected에 연결을 수행하는 CNN과는 달리 CAM에서는 Global Average Pooling (GAP) 기법을 사용 3. Class Activation Map (CAM) 관련 알고리즘 - Weakly Supervised Object Localization Computer vision 분야에서 널리 알려진 Object Detection 문..

1. Limitation of Class Activation Map (CAM) CAM은 간단히 계산할 수 있는 유용한 툴이지만, Global Average Pooling layer를 사용해야만 한다는 한계점을 갖는다. 즉, GAP으로 대치하게되면 뒷부분을 다시 또 fine tuning 해야하는 한계점이 있다. 따라서, 이번 논문에서 제시된 Grad-CAM은 GAP을 쓸 필요가 없다는 점에서(Fully-connected layer 사용가능) 일반화된 CAM (Generalized CAM) 이라고도 말할 수 있다. 2. Grad-CAM 알고리즘 Gard-CAM 수행 두 식의 차이점은 ReLU 함수가 추가되었다는 점과 w^ck가 a^ck로 변경되었다는 점이다. a^ck의 수식을 글로 풀어 설명해보면, k번째 ..

들어가기전에... - 화이트 박스 모델은 설계상 설명이 가능하다. 따라서 설명을 위한 추가 작업이 필요하지 않다. - 블랙박스 모델은 자체적으로 설명할 수 없다. 따라서 블랙박스 모델을 설명하려면 모델의 내부 논리 또는 출력에서 결정에 대한 이유를 추출하기 위한 여러 테크닉을 활용 해야한다. Interpretable Machine Learning (IML) 기술은 크게 3가지 관점에서 분류 할 수 있다. (Complexity, Scope, Dependency) 관점 분류 분류 설명 Complexity Intrinsic 내재적으로 해석력을 확보하고 있는 머신러닝 모델을 ‘intrinsic(본래 갖추어진)’하다고 지칭한다. (e.g. Decision Tree) Post-hoc 모델 자체가 해석력을 지니지 않..

해석가능성(Interpretability)은 모델의 입력 또는 알고리즘 매개변수의 변화 등에 따라 예측이 어떻게 변화하는지 확인 가능하게 하는 기능적 요소를 의미한다. 해석가능성은 인공지능 시스템을 구축하는 전문가에 의해 대부분 활용되며 설명가능성의 기본이 된다. 해석가능성 (Interpretability)의 범위는 인공지능 시스템에서 발생하는 결과의 원인을 이해하는 것이다. 반면에 설명가능성은 해석가능성을 뛰어넘어 인간-컴퓨터 상호 작용(HCI), 법률 및 윤리와 같은 다른 분야와의 결합을 통해 더 다양한 사용자들이 이해 할 수 있는(Understandable) 형태로 모델이 어떻게, 왜 예측을 내놓았는지 이해할 수 있게 도와준다. 설명가능성 (eXplainability)의 범위는 단순히 인공지능 기술..