research notes

* 다르파(DARPA, Defense Advanced Research Projects Agency)가 수행한 XAI Program에 대한 Summary 기고문 해석 1. Abstract DARPA는 사용자가 인공지능 시스템을 더 잘 이해하고(understand), 신뢰하며(trust) 효과적으로 관리할 수 있도록 하기 위해 2015년 설명가능한 인공지능(XAI) 프로그램 개발을 공식화하였으며, 2017년부터 4년 간의 XAI 연구 프로그램이 시작되었다. 그리고 XAI 연구 프로그램이 2021년에 종료됨에 따라 무엇이 성공하고 실패하였는지 그리고 무엇을 배웠는지에 대해 기술하였다. 2. Creation of XAI 머신러닝의 극적인 성공과 더불어 인공지능(AI) 기술에 대한 활용은 폭발적으로 증가하였고 점..

1. Partial Dependency Plot 개요 PDP는 관심 대상인 변수와(input features of interest) 타겟 간에 어떠한 관계가 있는지 두 대상간의 상호작용을 시각화하고 분석하는 방법이다. 이 때, 관심 대상인 변수는 최대 2개까지 함께 확인할 수 있는데 변수가 2개를 넘게 되면 타겟을 포함하여 시각화 해야하는 값이 3개를 넘어가면서 시각적으로 표현하기 매우 어렵기 때문이다. 여러개의 특징(features) 중에서 영향력을 보고 싶은 특징을(input features of interest) \(x_{s}\)(selected), 그 외 선택되지 않은 특징을 \(x_{c}\)(complement)라고 하자. PDP는 \(x_{s}\), \(x_{c}\) 간에 서로 독립임을 가정하..

1. PFI 개요 PFI는 각 feature의 값을 셔플한(shuffled) 후 예측 오류의(prediction error) 증가를 측정한다. PFI 이론은 만약 feature가 target varable와 강한 관계(strong realationship)가 있다면, shuffling 수행에 대한 결과로 예측 오류가 증가 할 것이라는 논리에 기초하고 있다. 만약 feature가 target variable과 강한 관계가 없는 경우에는 예측 오차가 많이 증가하지 않을 것이다. 따라서, 셔플링으로 인해 오류가 가장 많이 증가하는 feature를 기준으로 순위를 매기면 모델의 결과에 가장 많이 영향을 끼치는 feature가 무엇인지 알 수 있다. 2. PFI 계산 방법 3. Disadvantages ① 통상 ..

1. LIME 개요 LIME은 개별 예측을 설명하는 데 활용할 수 있는 시각화 기술 중 하나이며, Model-agnostic 하므로 특정 분류 또는 회귀 모델에 적용할 수 있다. 복잡한 모형을 해석이 가능한 심플한 모형(Surrogate Model*)으로 locally approximation을 수행하여 설명을 시도한다. 이름에서 알 수 있듯 전체 모델이 아닌 개별 prediction의 근방에서만 해석을 시도한다는 점과 어떠한 모델 (딥러닝, 랜덤 포레스트, SVM 등) 및 데이터 형식도(이미지, 텍스트, 수치형) 적용이 가능하다는 특징이 있다. 오늘날 신경망과 같이 복잡성이 높은 머신러닝 모델을 사용하는 일반적인 상황에서, 예측 결과에 대하여 전역적으로 완벽한 설명을 제시하는 것은 현실적으로 매우 어려..

들어가기전에... - 화이트 박스 모델은 설계상 설명이 가능하다. 따라서 설명을 위한 추가 작업이 필요하지 않다. - 블랙박스 모델은 자체적으로 설명할 수 없다. 따라서 블랙박스 모델을 설명하려면 모델의 내부 논리 또는 출력에서 결정에 대한 이유를 추출하기 위한 여러 테크닉을 활용 해야한다. Interpretable Machine Learning (IML) 기술은 크게 3가지 관점에서 분류 할 수 있다. (Complexity, Scope, Dependency) 관점 분류 분류 설명 Complexity Intrinsic 내재적으로 해석력을 확보하고 있는 머신러닝 모델을 ‘intrinsic(본래 갖추어진)’하다고 지칭한다. (e.g. Decision Tree) Post-hoc 모델 자체가 해석력을 지니지 않..

해석가능성(Interpretability)은 모델의 입력 또는 알고리즘 매개변수의 변화 등에 따라 예측이 어떻게 변화하는지 확인 가능하게 하는 기능적 요소를 의미한다. 해석가능성은 인공지능 시스템을 구축하는 전문가에 의해 대부분 활용되며 설명가능성의 기본이 된다. 해석가능성 (Interpretability)의 범위는 인공지능 시스템에서 발생하는 결과의 원인을 이해하는 것이다. 반면에 설명가능성은 해석가능성을 뛰어넘어 인간-컴퓨터 상호 작용(HCI), 법률 및 윤리와 같은 다른 분야와의 결합을 통해 더 다양한 사용자들이 이해 할 수 있는(Understandable) 형태로 모델이 어떻게, 왜 예측을 내놓았는지 이해할 수 있게 도와준다. 설명가능성 (eXplainability)의 범위는 단순히 인공지능 기술..