research notes

얼마 전 스캐터랩이 개발한 인공지능 챗봇 서비스인 ‘이루다’가 개인정보 유출 및 성차별 문제로 많은 이슈 속에 서비스를 중단하였으며, 2016년 3월에는 미국의 컴퓨터 소프트웨어 회사인 마이크로소프트가 ‘테이’라는 인공지능 챗봇을 공개했지만 테이가 인종차별적 발언을 하는 등 막말을 내뱉기 시작하여 많은 논란이 커지자 마이크로소프트는 서비스를 종료했다. 이를 계기로 인공지능 편향성에 대한 문제가 수면 위로 본격적으로 떠올랐으며 인공지능을 도입하기 위해서는 안전하고 신뢰할만한 개발과 알고리즘의 중요성이 높아지게 되었다. 인공지능과 관련되어 제기되는 윤리적인 이슈 중 하나가 바로 편향성(bias)의 문제이다. 실제로 편향성의 문제를 편견(prejudice, vorurteil)이나 고정관념의 문제와 혼동하는 경..

1. 공정성에 대한 지표와 개념, 원칙은 분야와 상황에 따라 달리 적용해야 하고, 산업계 차원의 합의가 이루어지지 않고 있다. 2. 위험평가 알고리즘인 COMPAS는 과거 유죄판결을 받은 사람들의 재범 가능성 추정 그러나 실제로 범죄를 저지르지 않았음에도 불구하고 흑인이 백인보다 높은 위험도 판정을 받을 확률이 두배에 이름 3. 기계학습이 이해하는 수학적 공정성의 한계 기계학습이 이해할 수 있는 공정성은 수학적으로 정의되어 정량 평가가 가능해야 한다. 이에 대한 공정성의 정의는 무려 20여가지이며 대부분 분배적 관점에서 통계적 공정성에 초점을 두고 있다. 즉, 통계적 공정성에 대한 단일한(혹은 최상의 정의에 대한) 합의가 존재 하지 않는다. 이 외에 아래와 같은 공정성 관련 한계들이 존재한다. 4. 사회..

* 다르파(DARPA, Defense Advanced Research Projects Agency)가 수행한 XAI Program에 대한 Summary 기고문 해석 1. Abstract DARPA는 사용자가 인공지능 시스템을 더 잘 이해하고(understand), 신뢰하며(trust) 효과적으로 관리할 수 있도록 하기 위해 2015년 설명가능한 인공지능(XAI) 프로그램 개발을 공식화하였으며, 2017년부터 4년 간의 XAI 연구 프로그램이 시작되었다. 그리고 XAI 연구 프로그램이 2021년에 종료됨에 따라 무엇이 성공하고 실패하였는지 그리고 무엇을 배웠는지에 대해 기술하였다. 2. Creation of XAI 머신러닝의 극적인 성공과 더불어 인공지능(AI) 기술에 대한 활용은 폭발적으로 증가하였고 점..

1. PFI 개요 PFI는 각 feature의 값을 셔플한(shuffled) 후 예측 오류의(prediction error) 증가를 측정한다. PFI 이론은 만약 feature가 target varable와 강한 관계(strong realationship)가 있다면, shuffling 수행에 대한 결과로 예측 오류가 증가 할 것이라는 논리에 기초하고 있다. 만약 feature가 target variable과 강한 관계가 없는 경우에는 예측 오차가 많이 증가하지 않을 것이다. 따라서, 셔플링으로 인해 오류가 가장 많이 증가하는 feature를 기준으로 순위를 매기면 모델의 결과에 가장 많이 영향을 끼치는 feature가 무엇인지 알 수 있다. 2. PFI 계산 방법 3. Disadvantages ① 통상 ..

REQ1. Human Agency and Oversight 1. Human Agency and Autonomy AI 시스템은 인간 또는 사회에 영향을 미치는 최종 사용자가 상호작용, 안내 또는 결정을 내리도록 설계 되었습니까? AI 시스템이 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과인지 여부에 대해 일부 또는 모든 최종 사용자 또는 주제에 대해 혼란을 일으킬 수 있습니까? 최종 사용자 또는 기타 주체가 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과임을 적절히 인식하고 있습니까? AI 시스템이 일부 또는 전체 최종 사용자 또는 대상이 인간 또는 AI 시스템과 상호 작용하는지에 대해 혼란을 일으킬 수 있습니까? 최종 사용자 또는 피험자가 AI 시스템과 상호 작용하고 있다는 정보를 받습니까?..

** "유네스코 인공지능 윤리 권고 ('21.12)" 및 "유네스코 AI 윤리 권고 주요 내용 및 시사점 (NIA, '21.12)"를 요약하여 작성 ** ◇ 유네스코 AI 윤리 권고의 추진 및 배경 (⇒ 국제적 AI 윤리 가이드라인의 필요성 대두) AI 윤리와 관련한 국가 및 지역 수준의 전략과 프레임워크는 개발되어 왔으나, 현재까지 국제적 수준의 기준은 마련되지 않음 이에 국가의 발전 정도, 문화적 차이, 공공과 민간의 다중 이해관계자 등 다양한 요인을 고려한 국제적 AI 윤리 가이드라인의 필요 부상 ◇ 유네스코 AI 윤리 권고의 특징 기존 권고안 및 가이드라인이 구속력 없는 원칙을 제시한 것의 한계를 인식하고, 국가별 상황에 맞게 규제 프레임워크의 도입과 개선을 요구 AI 시스템 전주기 및 관련 행위..

1. LIME 개요 LIME은 개별 예측을 설명하는 데 활용할 수 있는 시각화 기술 중 하나이며, Model-agnostic 하므로 특정 분류 또는 회귀 모델에 적용할 수 있다. 복잡한 모형을 해석이 가능한 심플한 모형(Surrogate Model*)으로 locally approximation을 수행하여 설명을 시도한다. 이름에서 알 수 있듯 전체 모델이 아닌 개별 prediction의 근방에서만 해석을 시도한다는 점과 어떠한 모델 (딥러닝, 랜덤 포레스트, SVM 등) 및 데이터 형식도(이미지, 텍스트, 수치형) 적용이 가능하다는 특징이 있다. 오늘날 신경망과 같이 복잡성이 높은 머신러닝 모델을 사용하는 일반적인 상황에서, 예측 결과에 대하여 전역적으로 완벽한 설명을 제시하는 것은 현실적으로 매우 어려..

해석가능성(Interpretability)은 모델의 입력 또는 알고리즘 매개변수의 변화 등에 따라 예측이 어떻게 변화하는지 확인 가능하게 하는 기능적 요소를 의미한다. 해석가능성은 인공지능 시스템을 구축하는 전문가에 의해 대부분 활용되며 설명가능성의 기본이 된다. 해석가능성 (Interpretability)의 범위는 인공지능 시스템에서 발생하는 결과의 원인을 이해하는 것이다. 반면에 설명가능성은 해석가능성을 뛰어넘어 인간-컴퓨터 상호 작용(HCI), 법률 및 윤리와 같은 다른 분야와의 결합을 통해 더 다양한 사용자들이 이해 할 수 있는(Understandable) 형태로 모델이 어떻게, 왜 예측을 내놓았는지 이해할 수 있게 도와준다. 설명가능성 (eXplainability)의 범위는 단순히 인공지능 기술..