ALTAI - The Assessment List on Trustworthy Artificial Intelligence

REQ1. Human Agency and Oversight

1. Human Agency and Autonomy

• AI 시스템은 인간 또는 사회에 영향을 미치는 최종 사용자가 상호작용, 안내 또는 결정을 내리도록 설계 되었습니까?
• AI 시스템이 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과인지 여부에 대해 일부 또는 모든 최종 사용자 또는 주제에 대해 혼란을 일으킬 수 있습니까?
• 최종 사용자 또는 기타 주체가 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과임을 적절히 인식하고 있습니까?
• AI 시스템이 일부 또는 전체 최종 사용자 또는 대상이 인간 또는 AI 시스템과 상호 작용하는지에 대해 혼란을 일으킬 수 있습니까?
• 최종 사용자 또는 피험자가 AI 시스템과 상호 작용하고 있다는 정보를 받습니까?
• AI 시스템이 최종 사용자의 과도한 의존을 생성하여 인간의 자율성에 영향을 미칠 수 있습니까?
• 최종 사용자가 AI 시스템에 과도하게 의존하지 않도록 절차를 마련했습니까?
• AI 시스템이 다른 의도하지 않고 바람직하지 않은 방식으로 최종 사용자의 의사 결정 프로세스를 방해함으로써 인간 자율성에 영향을 미칠 수 있습니까?
• AI 시스템이 우연히 인간의 자율성에 영향을주지 않도록 절차를 마련 했습니까?
• AI 시스템이 최종 사용자 또는 주제와의 사회적 상호 작용을 시뮬레이션합니까?
• AI 시스템이 인간의 애착을 유발하거나 중독성 행동을 자극하거나 사용자 행동을 조작 할 위험이 있습니까? 어떤 위험이 가능하거나 가능성이 있는지에 따라 아래 질문에 답하십시오.
• 최종 사용자 또는 피험자가 AI 시스템에 대한 불균형적인 애착을 개발할 경우 발생할 수있는 부정적인 결과를 처리하기위한 조치를 취했습니까?
• 중독 위험을 최소화하기위한 조치를 취했습니까?
• 조작 위험을 완화하기위한 조치를 취했습니까?

2. Human Oversight

• AI 시스템이 다음과 같은지 확인하십시오 (적절한만큼 선택하십시오).
• 자가 학습 또는 자율 시스템인지 여부
• Human-in-the-Loop이 감독합니다.
• Human-on-the-Loop가 감독합니다.
• Human-in-Command가 감독합니다.
• 인간 (Human-in-the-Loop, Human-on-the-Loop, Human-in-Command)에게 감독을 수행하는 방법에 대한 특정 교육을 받았습니까?
• 최종 사용자 또는 대상에 대한 AI 시스템의 바람직하지 않은 악영향에 대한 탐지 및 대응 메커니즘을 설정 했습니까?
• 필요할 때 작업을 안전하게 중단하기 위한 '중지 버튼' 또는 관련 절차를 마련하였는가?
• AI 시스템의 자가 학습 또는 자율적 특성을 반영하기 위해 특정 감독 및 통제 조치를 취했습니까?

REQ2. Technical Robustness and Safety

1. Resilience to Attack and Security

• AI 시스템은 설계 또는 기술적 결함, 결함, 중단, 공격, 오용, 부적절하거나 악의적인 사용과 같은 위험 또는 위협이 발생하는 경우 적대적, 치명적 또는 해로운 영향 (예 : 인간 또는 사회 안전)을 받을 수 있습니까?
• AI 시스템이 사이버 보안 인증을 받았습니까? (예 : 유럽의 사이버 보안법에 의해 생성 된 인증 체계) 또는 특정 보안 표준을 준수합니까?
• AI 시스템이 사이버 공격에 얼마나 노출되어 있습니까?
• AI 시스템이 취약 할 수 있는 잠재적 공격 형태를 평가 했습니까?
• 다음과 같은 다양한 유형의 취약성과 잠재적인 공격에 대해 고려했습니까?

    데이터 중독 (즉, 훈련 데이터 조작)

    모델 회피 (즉, 공격자의 의지에 따라 데이터 분류)

    모델 반전 (즉, 모델 매개 변수 추론)

• AI 시스템의 수명주기 동안 잠재적인 공격에 대해 AI 시스템의 무결성, 견고성 및 전반적인 보안을 보장하기 위한 조치를 취했습니까?
• AI 시스템에 대해 레드팀(Red-team)/침투시험(Pen-test)를 수행하였습니까?
• 최종 사용자(end-users)에게 보안 적용 및 업데이트 유효기간을 알려 주었습니까?

o AI 시스템에 대한 보안 업데이트를 제공하는 예상 기간은 얼마입니까?

 

2. Reliability, Fall-back plans and Reproducibility

• AI 시스템이 신뢰성 및 또는 재현성이 낮은 경우 치명적, 적대적 또는 해로운 결과 (예 : 인체 안전 관련)를 유발할 수 있습니까?

o AI 시스템이 의도 한 목표를 충족하는지 모니터링하기 위해 잘 정의 된 프로세스를 마련 했습니까?

o 재현성을 보장하기 위해 특정 상황이나 조건을 고려해야하는지 테스트 했습니까?

• AI 시스템의 신뢰성과 재현성의 다양한 측면을 평가하고 보장하기 위해 검증 및 검증 방법과 문서화 (예 : 로깅)를 배치했습니까?

o AI 시스템의 신뢰성 및 재현성 테스트 및 검증을 위한 프로세스를 명확하게 문서화하고 운영 했습니까?

• 모든 출처의 AI 시스템 오류를 해결하고 이를 트리거하기 위한 거버넌스 절차를 마련하기 위해 테스트 된 장애 안전 대비 계획을 정의 했습니까?
• AI 시스템이 낮은 신뢰도 점수로 결과를 산출하는 경우를 처리하기 위한 적절한 절차를 마련 했습니까?
• AI 시스템이 (온라인) 연속 학습을 사용하고 있습니까?

o AI 시스템의 객관적 기능에 대한 점수를 높이기 위해 새롭거나 특이한 방법을 학습하는 데 따른 잠재적 인 부정적인 결과를 고려했습니까?

 

3. General Safety

- 각 특정 유스케이스에서 AI 시스템의 위험, 위험 메트릭 및 위험 수준을 정의 했습니까?

o 위험을 지속적으로 측정하고 평가하는 프로세스를 마련했습니까?

o 최종 사용자와 대상에게 기존 또는 잠재적 위험을 알렸습니까?

• AI 시스템에 대한 가능한 위협 (설계 결함, 기술적 결함, 환경 위협) 및 가능한 결과를 식별 했습니까?

o AI 시스템의 악의적 인 사용, 오용 또는 부적절한 사용의 위험을 평가 했습니까?

o AI 시스템의 오류 또는 오용으로 인해 발생할 수 있는 결과의 안전 임계 수준 (예 : 인간 무결성 관련)을 정의 했습니까?

• 고위험 AI 시스템의 안정적이고 신뢰할 수 있는 동작에 대한 결정의 의존성을 평가 했습니까?

o 신뢰성 / 테스트 요구 사항을 적절한 수준의 안정성 및 신뢰성에 맞추었습니까?

• 다음을 통해 내결함성을 계획 했습니까? 중복 시스템 또는 다른 병렬 시스템 (AI 기반 또는 '기존')?
• AI 시스템의 기술적 견고성과 안전성에 대한 새로운 검토를 받기 위해 AI 시스템이 변경 된 시기를 평가하는 메커니즘을 개발 했습니까?

 

4. Accuracy

- AI 시스템의 낮은 정확도가 치명적이거나 적대적이거나 결과를 초래할 수 있습니까?

• AI 시스템을 개발하는 데 사용 된 데이터 (교육 데이터 포함)가 최신 상태이고 고품질이며 완전하며 시스템이 배포 될 환경을 대표하는지 확인하기 위한 조치를 취했습니까?
• AI 시스템의 정확성을 모니터링하고 문서화하기 위한 일련의 단계를 수행했습니까?
• AI 시스템의 작동이 학습 된 데이터 또는 가정을 무효화 할 수 있는지 여부와 이것이 어떻게 적대적 효과를 초래할 수 있는지 고려했습니까?
• 최종 사용자 및 / 또는 주체가 예상 할 수 있는 AI 시스템의 정확성 수준이 제대로 전달되도록 프로세스를 마련했습니까?

REQ3. Privacy and Data Governance

 

1. Privacy

• 개인 정보 보호권, 신체적, 정신적 및 / 또는 도덕적 무결성에 대한 권리 및 데이터 보호 권리에 대한 AI 시스템의 영향을 고려했습니까?
• 사용 사례에 따라 AI 시스템과 관련된 개인 정보 보호와 관련된 문제에 플래그를 지정할 수 있는 메커니즘을 설정 했습니까?

 

2. Data Governance

• AI 시스템이 개인 데이터 (특별한 범주의 개인 데이터 포함)를 사용하거나 처리하여 학습 되었거나 개발 되었습니까?
• GDPR (일반 데이터 보호 규정)에 따라 의무적으로 적용되는 다음 조치 중 일부를 시행했거나 유럽 이외 지역에서 이에 상응하는 조치를 취했습니까?

• 데이터 보호 영향 평가 (DPIA)
• 데이터 보호 책임자 (DPO)를 지정하고 AI 시스템의 개발, 조달 또는 사용 단계의 초기 상태에 포함시킵니다.
• 데이터 처리를 위한 감독 메커니즘 (유자격 직원에 대한 액세스 제한, 데이터 액세스 로깅 및 수정을 위한 메커니즘 포함)
• 설계 및 기본 개인 정보 보호를 위한 조치 (예 : 암호화, 가명 화, 집계, 익명화)
• 데이터 최소화, 특히 개인 데이터 (특수 범주의 데이터 포함)

o 동의 철회권, 이의 제기 권, AI 시스템 개발에 잊혀 질 권리를 구현 했습니까?

o AI 시스템의 수명주기 동안 수집, 생성 또는 처리 된 데이터의 개인 정보 보호 및 데이터 보호 영향을 고려 했습니까?

 

• AI 시스템의 비개인적 교육 데이터 또는 기타 처리 된 비 개인 데이터의 개인 정보 보호 및 데이터 보호 의미를 고려했습니까?

 

• AI 시스템을 관련 표준 (예 : ISO, IEEE) 또는 데이터 관리 및 거버넌스를 위해 널리 채택 된 규약에 맞게 조정 했습니까?

REQ4. Transparency

 

1. Traceability

• 전체 수명주기 동안 AI 시스템의 추적성을 해결하는 조치를 취했습니까?

• AI 시스템에 대한 입력 데이터의 품질을 지속적으로 평가하기 위한 조치를 취했습니까?
• AI 시스템에서 특정 결정 또는 권장 사항을 내리기 위해 어떤 데이터를 사용했는지 추적 할 수 있습니까?
• 어떤 AI 모델 또는 규칙이 AI 시스템의 결정 또는 권장 사항을 이끌어 냈는지 추적 할 수 있습니까?
• AI 시스템의 출력 품질을 지속적으로 평가하기 위한 조치를 취했습니까?
• AI 시스템의 결정(들) 또는 권장 사항을 기록하기 위해 적절한 로깅 방안을 마련했습니까?

 

2. Explainability

• AI 시스템의 결정을 사용자에게 설명했습니까?
• 사용자가 AI 시스템의 결정을 이해하고 있는지 지속적으로 조사합니까?

 

3. Communication

• 대화 형 AI 시스템 (예 : 챗봇, 로봇 변호사)의 경우 사용자가 사람이 아닌 AI 시스템과 상호 작용하고 있다는 사실을 사용자에게 전달합니까?
• AI 시스템에 의해 생성 된 결정의 목적, 기준 및 한계를 사용자에게 알리는 메커니즘을 설정 했습니까?
• AI 시스템의 이점을 사용자에게 전달했습니까?
• 정확도 수준 및 / 또는 오류율과 같은 AI 시스템의 기술적 한계 및 잠재적 위험을 사용자에게 전달했습니까?
• AI 시스템을 적절히 사용하는 방법에 대해 사용자에게 적절한 교육 자료와 면책 조항을 제공 했습니까?

REQ5. Diversity, Non-discrimination and Fairness

 

1. Avoidance of Unfair Bias

• AI 시스템에서 사용하는 입력데이터 및 알고리즘 설계와 관련하여 불공정한 편견을 만들거나 강화하지 않도록 전략 또는 절차를 설정하였는가?
• 데이터에서 최종 사용자 또는 주제의 다양성과 대표성을 고려했습니까? 

• 특정 대상 그룹이나 문제가 있는 사용 사례를 테스트 했습니까?
• 데이터 및 모델에 성능에 대한 이해를 높이기 위해 최신 기술이 적용된 기술 도구를 조사하고 활용하였는가?
• AI 시스템의 전체 수명주기 동안 잠재적인 편향을 테스트하고 모니터링하는 프로세스를 평가하고 배치했습니까? (예 : 사용 된 데이터 세트의 구성 형태의 제한에 따른 편향 (다양성 부족, 대표성이 없음))
• 관련이 있는 경우, 최종 사용자 또는 데이터 주제의 다양성과 대표성을 고려했습니까?

• AI 설계자와 AI 개발자가 AI 시스템을 설계하고 개발할 때 주입 할 수 있는 편견을 더 잘 인식 할 수 있도록 교육 및 인식 이니셔티브를 마련했습니까?
• AI 시스템의 편견, 차별 또는 성능 저하와 관련된 문제를 신고 할 수 있는 메커니즘을 확보 했습니까?

• 그러한 문제를 누구에게 어떻게 제기 할 수 있는지에 대한 명확한 단계와 의사소통 방법을 설정 했습니까?
• (최종) 사용자 또는 피험자 외에도 AI 시스템에 의해 잠재적으로 (간접) 영향을 받을 수 있는 피험자를 식별하였는가?

• 공정성에 대한 정의가 AI 시스템 설정 프로세스의 모든 단계에서 일반적으로 사용되고 구현됩니까?

• 이것을 선택하기 전에 공정성의 다른 정의를 고려했습니까?
• 공정성에 대한 올바른 정의 (예 : 노인 또는 장애인 대표)에 대해 영향을 받는 지역 사회와 상의를 하였는가?
• 적용된 공정성의 정의를 측정하고 테스트하기 위해 정량적분석 또는 메트릭을 제공 하였는가?
• AI 시스템의 공정성을 보장하기 위한 메커니즘을 설정했습니까?

 

2. Accessibility and Universal Design

• AI 시스템이 사회의 다양한 선호도와 능력에 부합하는지 확인 했습니까?
• AI 시스템의 사용자 인터페이스를 특별한 필요나 장애가 있는 사람 또는 배제 위험이 있는 사람이 사용할 수 있는지 평가 했습니까?

• AI 시스템에 대한 정보와 AI 시스템의 사용자 인터페이스가 보조 기술 (예 : 스크린 리더) 사용자도 액세스하고 사용할 수 있는지 확인했습니까?
• AI 시스템의 계획 및 개발 단계에서 보조 기술이 필요한 최종 사용자 또는 주제를 포함하거나 협의 했습니까?

• 계획 및 개발 프로세스의 모든 단계에서 유니버설 디자인 원칙이 고려되었는지 확인 했습니까?
• AI 시스템이 잠재적인 최종 사용자 또는 주제에 미치는 영향을 고려했습니까?

• AI 시스템 구축에 참여한 팀이 가능한 대상 최종 사용자 또는 대상에 관여했는지 평가 하였는가?
• AI 시스템의 결과로 인해 불균형하게 영향을 받을 수 있는 그룹이 있는지 평가 했습니까?
• 최종 사용자 또는 주체의 커뮤니티에 대한 시스템의 불공평성 위험을 평가 했습니까?

 

3. 이해 관계자 참여

• AI 시스템의 설계 및 개발에 가능한 가장 광범위한 이해 관계자의 참여를 포함하는 것을 고려하였는가?

 

REQ7. Accountability

 

1. Auditability

• AI 시스템의 감사 가능성 (예 : 개발 프로세스의 추적, 교육 데이터 소싱 및 AI 시스템의 프로세스, 결과, 긍정적 및 부정적 영향의 로깅)을 활용하는 메커니즘을 구성 및 연구 하였는가?
• 독립적인 제3자가 AI 시스템을 감사 할 수 있는지 확인했습니까?

 

 

2. Risk Management

• 윤리적 문제와 책임 조치를 감독하기 위한 외부 지침이나 제3자 감사 프로세스를 미리 확인하였습니까?

• 이러한 제 3 자의 참여가 개발 단계를 넘어가는가?

• 위험 교육을 조직 했습니까? 그렇다면 AI 시스템에 적용 할 수 있는 잠재적인 법적 프레임 워크에 대한 정보도 제공합니까?
• 잠재적으로 불명확 한 영역을 포함하여 전반적인 책임 및 윤리 관행을 논의하기 위해 AI 윤리 검토위원회 또는 유사한 메커니즘을 구축하는 것을 고려하였는가?
• ALTAI를 기반으로 AI 시스템의 준수 여부를 논의하고 지속적으로 모니터링하고 평가하는 프로세스를 마련하였는가?

• 이 프로세스에는 앞서 언급 한 6 가지 요구사항 사이 또는 서로 다른 윤리 원칙 사이의 충돌에 대한 식별 및 문서화가 포함됩니까?
• 그러한 프로세스에 관련된 사람들에게 적절한 교육을 제공했으며 AI 시스템에 적용 할 수 있는 법적 프레임워크도 포함합니까?

• 제3자 (예 : 공급 업체, 최종 사용자, 주체, 유통 업체 / 공급 업체 또는 근로자)에게 AI 시스템의 잠재적인 취약성, 위험 또는 편견을 보고 할 수 있는 프로세스를 마련하였는가?

• 이 프로세스가 위험 관리 프로세스의 개정을 촉진합니까?
• 개인에게 부정적인 영향을 미칠 수 있는 응용 프로그램의 경우 설계 메커니즘에 의한 교정이 시행 되었습니까?