research notes

* 다르파(DARPA, Defense Advanced Research Projects Agency)가 수행한 XAI Program에 대한 Summary 기고문 해석 1. Abstract DARPA는 사용자가 인공지능 시스템을 더 잘 이해하고(understand), 신뢰하며(trust) 효과적으로 관리할 수 있도록 하기 위해 2015년 설명가능한 인공지능(XAI) 프로그램 개발을 공식화하였으며, 2017년부터 4년 간의 XAI 연구 프로그램이 시작되었다. 그리고 XAI 연구 프로그램이 2021년에 종료됨에 따라 무엇이 성공하고 실패하였는지 그리고 무엇을 배웠는지에 대해 기술하였다. 2. Creation of XAI 머신러닝의 극적인 성공과 더불어 인공지능(AI) 기술에 대한 활용은 폭발적으로 증가하였고 점..

TTA는 2019년 초 지능정보기반 기술위원회(TC10)가 신설되면서 사물인터넷/스마트시티 플랫폼, 사물인터넷 네트워킹, 클라우드 컴퓨팅, 빅데이터, 인공지능, 블록체인 분야에 대한 표준화 활동을 추진하고 있다. 이 중에서, 인공지능기반기술프로젝트그룹(이하 PG1005)은 지능정보기반 기술 중에서 인공지능의 기반 기술과 관련한 국내 표준 개발을 담당하고 있으며, 동시에 관련 국제기구와의 표준화 협력을 위한 활동을 수행하고 있다. References: [1] 인공지능기반기술 프로젝트 그룹, 2020.01, TTA 저널 187호

1. PFI 개요 PFI는 각 feature의 값을 셔플한(shuffled) 후 예측 오류의(prediction error) 증가를 측정한다. PFI 이론은 만약 feature가 target varable와 강한 관계(strong realationship)가 있다면, shuffling 수행에 대한 결과로 예측 오류가 증가 할 것이라는 논리에 기초하고 있다. 만약 feature가 target variable과 강한 관계가 없는 경우에는 예측 오차가 많이 증가하지 않을 것이다. 따라서, 셔플링으로 인해 오류가 가장 많이 증가하는 feature를 기준으로 순위를 매기면 모델의 결과에 가장 많이 영향을 끼치는 feature가 무엇인지 알 수 있다. 2. PFI 계산 방법 3. Disadvantages ① 통상 ..

** "인공지능 기반 미디어 추천 서비스 이용자 보호 기본원칙 ('21.06, 방송통신위원회)"를 요약하여 작성 ** 1. 목적 본 기본원칙은 디지털 미디어 플랫폼에서 상용되는 인공지능 기반 추천 서비스의 투명성과 공정성을 제고하기 위하여 추천 서비스 제공자에게 권고되는 자율적인 실천규범이다. “인공지능 기반 추천 서비스”란 인공지능 알고리즘을 적용하여 완전히 또는 부분적으로 자동화된 콘텐츠 배열 시스템(이하 “추천 시스템”이라 한다)을 통하여 이용자에게 미디어 콘텐츠를 선별적으로 노출시키는 서비스(이하 “추천 서비스”라 한다)를 말한다. 2. 핵심원칙 ① 투명성 추천 서비스 제공자는 이용자가 이용 시작 시점에 그 제공 사실을 인지하고 서비스의 내용에 영향을 미치는 주된 요인과 효과를 이해할 수 있도록 ..

REQ1. Human Agency and Oversight 1. Human Agency and Autonomy AI 시스템은 인간 또는 사회에 영향을 미치는 최종 사용자가 상호작용, 안내 또는 결정을 내리도록 설계 되었습니까? AI 시스템이 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과인지 여부에 대해 일부 또는 모든 최종 사용자 또는 주제에 대해 혼란을 일으킬 수 있습니까? 최종 사용자 또는 기타 주체가 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과임을 적절히 인식하고 있습니까? AI 시스템이 일부 또는 전체 최종 사용자 또는 대상이 인간 또는 AI 시스템과 상호 작용하는지에 대해 혼란을 일으킬 수 있습니까? 최종 사용자 또는 피험자가 AI 시스템과 상호 작용하고 있다는 정보를 받습니까?..

** "유네스코 인공지능 윤리 권고 ('21.12)" 및 "유네스코 AI 윤리 권고 주요 내용 및 시사점 (NIA, '21.12)"를 요약하여 작성 ** ◇ 유네스코 AI 윤리 권고의 추진 및 배경 (⇒ 국제적 AI 윤리 가이드라인의 필요성 대두) AI 윤리와 관련한 국가 및 지역 수준의 전략과 프레임워크는 개발되어 왔으나, 현재까지 국제적 수준의 기준은 마련되지 않음 이에 국가의 발전 정도, 문화적 차이, 공공과 민간의 다중 이해관계자 등 다양한 요인을 고려한 국제적 AI 윤리 가이드라인의 필요 부상 ◇ 유네스코 AI 윤리 권고의 특징 기존 권고안 및 가이드라인이 구속력 없는 원칙을 제시한 것의 한계를 인식하고, 국가별 상황에 맞게 규제 프레임워크의 도입과 개선을 요구 AI 시스템 전주기 및 관련 행위..

해석가능성(Interpretability)은 모델의 입력 또는 알고리즘 매개변수의 변화 등에 따라 예측이 어떻게 변화하는지 확인 가능하게 하는 기능적 요소를 의미한다. 해석가능성은 인공지능 시스템을 구축하는 전문가에 의해 대부분 활용되며 설명가능성의 기본이 된다. 해석가능성 (Interpretability)의 범위는 인공지능 시스템에서 발생하는 결과의 원인을 이해하는 것이다. 반면에 설명가능성은 해석가능성을 뛰어넘어 인간-컴퓨터 상호 작용(HCI), 법률 및 윤리와 같은 다른 분야와의 결합을 통해 더 다양한 사용자들이 이해 할 수 있는(Understandable) 형태로 모델이 어떻게, 왜 예측을 내놓았는지 이해할 수 있게 도와준다. 설명가능성 (eXplainability)의 범위는 단순히 인공지능 기술..