AI 공정성을 「측정」하려면 먼저 「공정함이란 무엇인가」를 정의해야 합니다.
그런데 학자들은 공정함의 수학적 정의가 적어도 20가지 이상 가능하며, 그중 일부는 「동시에 만족시킬 수 없다」는 사실을 증명했습니다.
가장 흔한 세 가지 정의는 다음과 같습니다.
1) 「인구통계적 동등성(demographic parity)」 — 보호 집단과 비보호 집단의 양성 분류 비율이 같아야 함.
2) 「기회 균등(equal opportunity)」 — 진짜 양성 중 양성으로 분류된 비율(재현율)이 두 집단에서 같아야 함.
3) 「예측 동등성(predictive parity)」 — 양성으로 분류된 사람 중 진짜 양성 비율(정밀도)이 두 집단에서 같아야 함.
이 세 정의는 「실제 양성 비율이 두 집단에서 다르면」 동시에 만족할 수 없다는 사실이 수학적으로 증명됐습니다.
COMPAS(미국 형사 사법 AI) 논쟁이 이 모순을 가장 잘 보여 줍니다 — 한 정의로는 공정해 보이지만 다른 정의로는 인종 차별로 보입니다.
비유하자면 공정성 측정은 「"공정한 분배"의 의미를 두고 일어나는 오랜 윤리 논쟁」과 같습니다.
「모두에게 같은 양」, 「필요에 따라 다르게」, 「기여에 따라 다르게」 — 모두 「공정」의 한 정의이지만 서로 충돌합니다.
AI 공정성도 같은 구조의 어려움을 가집니다.
현장에서는 이 트레이드오프를 인정하고 「우리 시스템에서 가장 중요한 정의는 무엇인가」를 명시적으로 결정하는 것이 표준이 되어 가고 있습니다.
IBM의 AI Fairness 360, 구글의 What-If Tool, Microsoft의 Fairlearn 같은 도구들이 다양한 공정성 지표를 함께 보여 주어 선택을 돕습니다.
한 줄 요약
AI 공정성은 인구통계적 동등성·기회 균등·예측 동등성 등 20+ 정의가 있으며, 일부는 동시에 만족 불가능합니다.
「우리에게 가장 중요한 공정함이 무엇인가」를 명시적으로 결정해야 합니다.
더 알아볼 것
- COMPAS 논쟁 — 두 공정성의 충돌
- AI Fairness 360 — IBM의 공정성 도구
- Disparate Impact 분석
