연구 목록
책임 있는 AI
책임 있는 AI — 틀렸을 때 누가 대가를 치르는가
AI가 잘못했을 때, 그 결과는 누구에게 가는가
책임 있는 AI는 모델의 성능이 아니라 그 모델이 틀렸을 때 일어나는 일을 기준으로 시스템을 보는 관점이다. 평가 지표에서의 오차율과 그 오차를 실제로 겪는 사람의 손해는 같은 크기가 아니며, 그 차이를 누가 떠안는지가 핵심 질문이다.
평가와 결과 사이의 간격
정확도 95%는 좋은 숫자로 보인다. 그런데 나머지 5%가 균등하게 흩어지지 않고 특정한 사람들에게 몰린다면, 그 사람들에게 이 시스템의 정확도는 95%가 아니다. 총량 지표는 이 사실을 감춘다.
설계에서 물어야 하는 것
이 기능이 틀렸을 때 사용자는 그 사실을 알 수 있는가. 알았을 때 되돌릴 수 있는가. 되돌릴 수 없다면 애초에 사람의 확인을 거치게 되어 있는가. 이 세 질문에 답이 없는 자동화는 성능과 무관하게 책임을 사용자에게 떠넘기고 있는 것이다.