research notes

얼마 전 스캐터랩이 개발한 인공지능 챗봇 서비스인 ‘이루다’가 개인정보 유출 및 성차별 문제로 많은 이슈 속에 서비스를 중단하였으며, 2016년 3월에는 미국의 컴퓨터 소프트웨어 회사인 마이크로소프트가 ‘테이’라는 인공지능 챗봇을 공개했지만 테이가 인종차별적 발언을 하는 등 막말을 내뱉기 시작하여 많은 논란이 커지자 마이크로소프트는 서비스를 종료했다. 이를 계기로 인공지능 편향성에 대한 문제가 수면 위로 본격적으로 떠올랐으며 인공지능을 도입하기 위해서는 안전하고 신뢰할만한 개발과 알고리즘의 중요성이 높아지게 되었다. 인공지능과 관련되어 제기되는 윤리적인 이슈 중 하나가 바로 편향성(bias)의 문제이다. 실제로 편향성의 문제를 편견(prejudice, vorurteil)이나 고정관념의 문제와 혼동하는 경..

1. 공정성에 대한 지표와 개념, 원칙은 분야와 상황에 따라 달리 적용해야 하고, 산업계 차원의 합의가 이루어지지 않고 있다. 2. 위험평가 알고리즘인 COMPAS는 과거 유죄판결을 받은 사람들의 재범 가능성 추정 그러나 실제로 범죄를 저지르지 않았음에도 불구하고 흑인이 백인보다 높은 위험도 판정을 받을 확률이 두배에 이름 3. 기계학습이 이해하는 수학적 공정성의 한계 기계학습이 이해할 수 있는 공정성은 수학적으로 정의되어 정량 평가가 가능해야 한다. 이에 대한 공정성의 정의는 무려 20여가지이며 대부분 분배적 관점에서 통계적 공정성에 초점을 두고 있다. 즉, 통계적 공정성에 대한 단일한(혹은 최상의 정의에 대한) 합의가 존재 하지 않는다. 이 외에 아래와 같은 공정성 관련 한계들이 존재한다. 4. 사회..

SPD는 그룹 공정성(Group fairness) 평가 알고리즘 중 하나이며 그룹 공정성은 특권 집단의(privileged group) 구성과 비특권 집단의(unprivileged group) 구성을 평균적으로 비교하는 것이다. SPD는 그룹 공정성을 측정하기 위한 매트릭이며 특권 그룹(𝑍 = priv; white)과 비특권 그룹(𝑍 = unpr; black) 사이의 유리한 레이블(favorable label) 𝑃(𝑦̂(𝑋) = fav)(특별한 보살핌을 받는 비율)의 선택 비율의 차이를 계산하여 불평등 효과(disparate impact)를 정량화한다. SPD의 값이 0이면 비특권 그룹(흑인)과 특권 그룹(백인)의 구성원이 동일한 비율로 favorable label로 선택되어 공정한 상황으로 간주된다. ..

* 다르파(DARPA, Defense Advanced Research Projects Agency)가 수행한 XAI Program에 대한 Summary 기고문 해석 1. Abstract DARPA는 사용자가 인공지능 시스템을 더 잘 이해하고(understand), 신뢰하며(trust) 효과적으로 관리할 수 있도록 하기 위해 2015년 설명가능한 인공지능(XAI) 프로그램 개발을 공식화하였으며, 2017년부터 4년 간의 XAI 연구 프로그램이 시작되었다. 그리고 XAI 연구 프로그램이 2021년에 종료됨에 따라 무엇이 성공하고 실패하였는지 그리고 무엇을 배웠는지에 대해 기술하였다. 2. Creation of XAI 머신러닝의 극적인 성공과 더불어 인공지능(AI) 기술에 대한 활용은 폭발적으로 증가하였고 점..

1. Partial Dependency Plot 개요 PDP는 관심 대상인 변수와(input features of interest) 타겟 간에 어떠한 관계가 있는지 두 대상간의 상호작용을 시각화하고 분석하는 방법이다. 이 때, 관심 대상인 변수는 최대 2개까지 함께 확인할 수 있는데 변수가 2개를 넘게 되면 타겟을 포함하여 시각화 해야하는 값이 3개를 넘어가면서 시각적으로 표현하기 매우 어렵기 때문이다. 여러개의 특징(features) 중에서 영향력을 보고 싶은 특징을(input features of interest) \(x_{s}\)(selected), 그 외 선택되지 않은 특징을 \(x_{c}\)(complement)라고 하자. PDP는 \(x_{s}\), \(x_{c}\) 간에 서로 독립임을 가정하..

TTA는 2019년 초 지능정보기반 기술위원회(TC10)가 신설되면서 사물인터넷/스마트시티 플랫폼, 사물인터넷 네트워킹, 클라우드 컴퓨팅, 빅데이터, 인공지능, 블록체인 분야에 대한 표준화 활동을 추진하고 있다. 이 중에서, 인공지능기반기술프로젝트그룹(이하 PG1005)은 지능정보기반 기술 중에서 인공지능의 기반 기술과 관련한 국내 표준 개발을 담당하고 있으며, 동시에 관련 국제기구와의 표준화 협력을 위한 활동을 수행하고 있다. References: [1] 인공지능기반기술 프로젝트 그룹, 2020.01, TTA 저널 187호

1. PFI 개요 PFI는 각 feature의 값을 셔플한(shuffled) 후 예측 오류의(prediction error) 증가를 측정한다. PFI 이론은 만약 feature가 target varable와 강한 관계(strong realationship)가 있다면, shuffling 수행에 대한 결과로 예측 오류가 증가 할 것이라는 논리에 기초하고 있다. 만약 feature가 target variable과 강한 관계가 없는 경우에는 예측 오차가 많이 증가하지 않을 것이다. 따라서, 셔플링으로 인해 오류가 가장 많이 증가하는 feature를 기준으로 순위를 매기면 모델의 결과에 가장 많이 영향을 끼치는 feature가 무엇인지 알 수 있다. 2. PFI 계산 방법 3. Disadvantages ① 통상 ..

** "금융분야 AI 가이드라인 ('21.07, 금융위원회)"를 요약하여 작성 ** 1. 목적과 적용 범위 가이드라인은 금융 분야에서의 인공지능(이하 ‘AI’라 한다.) 시스템 의 개발, 사업화 및 활용과 관련한 기획·설계, 평가·검증, 도입·운영 및 모니터링의 전 과정에서 신뢰성을 제고하여 AI 활성화를 제고하고 금융 서비스에 대한 고객 신뢰를 확보하는데 기여하는 것을 목적으로 한다. 2. 거버넌스의 구축 금융회사 등은 AI 시스템의 전 과정에 걸쳐 AI 활용에 따라 나타날 수 있는 잠재적 위험을 인식·평가하고, 이를 관리·최소화하는 방안을 검토하는 등 AI 활용으로 인한 잠재적 위험을 관리하는데 필요한 위험 관리정책을 마련한다. 위험 관리정책은 소비자 권리 보장을 위한 시스템 운영, AI 모델 및 학..

** "인공지능 기반 미디어 추천 서비스 이용자 보호 기본원칙 ('21.06, 방송통신위원회)"를 요약하여 작성 ** 1. 목적 본 기본원칙은 디지털 미디어 플랫폼에서 상용되는 인공지능 기반 추천 서비스의 투명성과 공정성을 제고하기 위하여 추천 서비스 제공자에게 권고되는 자율적인 실천규범이다. “인공지능 기반 추천 서비스”란 인공지능 알고리즘을 적용하여 완전히 또는 부분적으로 자동화된 콘텐츠 배열 시스템(이하 “추천 시스템”이라 한다)을 통하여 이용자에게 미디어 콘텐츠를 선별적으로 노출시키는 서비스(이하 “추천 서비스”라 한다)를 말한다. 2. 핵심원칙 ① 투명성 추천 서비스 제공자는 이용자가 이용 시작 시점에 그 제공 사실을 인지하고 서비스의 내용에 영향을 미치는 주된 요인과 효과를 이해할 수 있도록 ..

REQ1. Human Agency and Oversight 1. Human Agency and Autonomy AI 시스템은 인간 또는 사회에 영향을 미치는 최종 사용자가 상호작용, 안내 또는 결정을 내리도록 설계 되었습니까? AI 시스템이 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과인지 여부에 대해 일부 또는 모든 최종 사용자 또는 주제에 대해 혼란을 일으킬 수 있습니까? 최종 사용자 또는 기타 주체가 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과임을 적절히 인식하고 있습니까? AI 시스템이 일부 또는 전체 최종 사용자 또는 대상이 인간 또는 AI 시스템과 상호 작용하는지에 대해 혼란을 일으킬 수 있습니까? 최종 사용자 또는 피험자가 AI 시스템과 상호 작용하고 있다는 정보를 받습니까?..