AI의 편향성과 공정성
이전에 스터디하면서 들었던 내용인데 흥미롭기도 하고 이쪽으로 갈 생각도 있기 때문에 블로그에 따로 정리해보았다.
💡 AI 편향성이란 무엇인가?
편향성: 의사결정 과정에서 발생하는 체계적 오류. 불공정한 결과를 초래하는 현상
- AI 시스템에서의 편향성은 데이터 수집/알고리즘 설계/인간의 해석 등 다양한 단계에서 발생
- 머신러닝 모델은 학습 데이터에 존재하는 편향된 패턴을 학습/복제하여 불공정하거나 차별적인 결과 초래.
✅ AI 편향성의 유형
| 유형 | 정의 | 특징 및 발생 원인 |
|---|---|---|
| 데이터 편향 (Data Bias) | 학습 데이터가 현실 세계를 불균형하게 또는 대표성 없이 반영할 때 발생 | 특정 집단이 과소 또는 과대 표현되어 모델 예측에 불균형한 영향 |
| 알고리즘 편향 (Algorithmic Bias) | 알고리즘 설계 자체에 내재된 편향으로, 특정 속성이나 기준을 과도하게 우선시할 때 발생 | 설계자의 의도와 다르게 모델이 차별적인 결론을 도출 |
| 사용자 편향 (User Bias) | AI 시스템의 사용자나 개발자가 의식적 또는 무의식적으로 자신의 편견을 시스템에 반영할 때 발생 | 주로 주석 달기(Annotation)나 시스템 활용 방식에서 나타남 |
| 생성적 편향 (Generative Bias) | 생성형 AI 모델이 학습 데이터의 편향된 패턴을 반영하여 편향된 콘텐츠를 생성할 때 발생 | 텍스트-이미지 생성 시 고정관념을 강화하는 결과물을 내놓는 것이 대표적 |
📌 AI 편향성 관련 주요 사례
의료 AI 시스템 : 환자 사망률 예측 AI가 아프리카계 미국인 환자에게 더 높은 위험 점수를 부여하는 편향 발견.(출처: Obermeyer et al., 2019)
생성형 AI 편향 텍스트-이미지 모델이 'CEO' 이미지 생성 시 주로 남성을, '범죄자' 이미지 생성 시 유색인종을 더 많이 표현.(출처: Nicoletti & Bass, 2023)
💡 AI 공정성이란 무엇인가?
공정성: AI 시스템에서 차별이나 편향이 없이 모든 개인과 집단을 공평하게 대우하는 특성
- AI 시스템이 사회적 가치와 윤리적 기준에 부합하는 결정은 내리도록 보장하는 것을 목표로 함
✅ AI 공정성의 유형
| 유형 | 정의 | 목표 및 주요 개념 |
|---|---|---|
| 그룹 공정성 (Group Fairness) | 서로 다른 인구통계학적 집단이 AI 시스템에서 동등하게 또는 비례적으로 대우받도록 보장 | 인구통계학적 동등성(Demographic Parity), 기회 균등(Equal Opportunity) 등 |
| 개인 공정성 (Individual Fairness) | 집단 소속과 관계없이 유사한 개인들이 AI 시스템에서 유사한 대우를 받도록 보장 | 유사성 기반 측정 (Similarity-based Measures)을 통해 측정 |
| 반사실적 공정성 (Counterfactual Fairness) | 개인의 민감 속성(예: 성별, 인종)이 달랐다고 하더라도 AI 시스템이 동일한 결정을 내렸을 것임을 보장 | 원인-결과 관계를 기반으로 편향을 식별 |
| 인과적 공정성 (Causal Fairness) | 역사적 편향과 불평등을 영속화하지 않도록, 의사결정 과정에서 인과 관계를 고려하여 공정성을 달성 | 장기적인 관점에서 사회적 정의를 실현. |
🛠️ 공정한 AI를 만들기 위한 구체적인 노력과 방안
1. 기술적 편향 완화 노력 (Efforts to Reduce AI Bias)
| 개발 단계 | 주요 목표 | 구체적 기법 및 예시 |
|---|---|---|
| 데이터 전처리 (Pre-processing) | 학습 데이터에서 편향을 식별하고 제거하여 대표성 있는 데이터셋 구성 | 오버샘플링 (Over-sampling), 언더샘플링 (Under-sampling), 합성 데이터 생성 |
| 모델 선택 및 학습 (In-processing) | 공정성을 우선시하는 알고리즘 설계 및 학습 과정에서 편향 완화 | 정규화 (Regularization), 앙상블 방법 (Ensemble Methods) |
| 후처리 (Post-processing) | 모델의 출력을 조정하여 편향을 제거하고 공정성 확보 | 임계값 조정 (Threshold Adjustment), 결과 재조정 |
| 생성형 AI 완화 | 다양한 데이터 소스 활용, 투명한 알고리즘, 지속적인 모니터링 | AI 가드레일, 공정성 제약 조건 등 |
2. 공정한 AI 구축을 위한 시스템적 접근
- 다양하고 대표성 있는 데이터셋 구축: 다양한 인구 집단과 현실 세계를 포괄하는 데이터셋을 구축하여 학습 데이터 편향을 최소화.
- 공정성 메트릭 정의 및 측정: 그룹 공정성, 개인 공정성 등 상황에 맞는 다양한 공정성 지표를 정의하고, 개발 및 운영 단계에서 지속적으로 모니터링
- 투명성과 설명 가능성(XAI) 확보: AI 시스템의 의사결정 과정을 이해하기 쉽고 투명하게 공개하고, 설명 가능한 모델(Explainable AI, XAI)을 개발.
- 다양한 개발팀 구성: 다양한 배경과 관점을 가진 개발자들이 프로젝트에 참여하여, 시스템 설계 단계부터 다양한 시각을 반영하고 편향을 사전에 검토.
🔮 공정한 AI를 향한 과제와 미래
- 공정성 정의의 어려움: 다양한 공정성 정의(그룹 vs. 개인) 간의 **상충관계(Trade-offs)**가 존재하며, 특정 맥락에서 어떤 공정성 정의가 적절한지 선택하기 어려움
- 데이터 부족 및 대표성 문제: 소외된 집단에 대한 데이터 부족 문제와 역사적 불평등이 반영된 기존 데이터를 어떻게 정화하고 활용할 것인지에 대한 근본적인 문제 존재.
- 기술적 한계: 공정성 확보가 종종 모델의 정확성(Accuracy) 하락을 초래하는 기술적 한계와, 복잡한 사회적 맥락과 미묘한 차이를 AI가 이해하기 어려움