알고리즘 편향은 우리가 온라인에서 접하는 콘텐츠 추천부터 직업 탐색, 재정적 결정에 이르기까지 광범위한 영역에 걸쳐 영향을 미칠 수 있는 문제입니다.
인간은 고유한 편견을 가지고 있습니다. 각 개인은 성별, 인종, 성장 환경, 교육 수준, 문화적 배경, 신념, 그리고 다양한 경험을 통해 세상을 바라보는 독특한 관점을 형성합니다.
이러한 개인적인 차이로 인해 그들의 의견, 생각, 선호도는 서로 다를 수밖에 없습니다. 특정 집단에 대해 고정관념이나 편견을 가질 가능성이 있습니다.
기계도 예외는 아닙니다. 알고리즘에 내재된 편향으로 인해 특정 사람, 사물, 사건을 다르게 인식할 수 있습니다. 이러한 편견은 인공지능(AI) 및 머신러닝(ML) 시스템이 불공정한 결과를 도출하게 만들고, 여러 측면에서 사람들에게 불이익을 줄 수 있습니다.
이 글에서는 알고리즘 편향이 무엇인지, 그 유형은 어떤 것이 있는지, 그리고 결과의 공정성을 높이기 위해 이러한 편향을 어떻게 감지하고 줄일 수 있는지에 대해 심층적으로 논의하고자 합니다.
자, 그럼 시작해 볼까요!
알고리즘 편향이란 무엇인가요?
알고리즘 편향은 머신러닝(ML) 및 인공지능(AI) 알고리즘이 인간과 유사한 편견을 반영하여 공정하지 않은 결과를 생성하는 경향을 의미합니다. 이러한 편견은 성별, 나이, 인종, 종교, 민족, 문화적 배경 등 다양한 요인에 의해 발생할 수 있습니다.
인공지능 및 머신러닝 분야에서 알고리즘 편향은 불공정한 결과를 초래하는 시스템에 도입된 체계적이고 반복적인 오류를 의미합니다.
알고리즘의 편향은 데이터 수집, 선택, 코딩 방법, 알고리즘 학습에 사용되는 데이터, 알고리즘의 목적, 알고리즘 설계 등과 관련된 다양한 결정 과정에서 발생할 수 있습니다.
예를 들어, 검색 엔진 결과에서 알고리즘 편향이 나타나 개인 정보 침해나 사회적 편견을 유발할 수 있습니다.
알고리즘 편향의 사례는 선거 결과, 온라인 혐오 표현 확산, 의료, 형사 사법, 채용 등 다양한 분야에서 찾아볼 수 있습니다. 이러한 편견은 기존의 성별, 인종, 경제적, 사회적 불평등을 더욱 심화시키는 경향이 있습니다.
알고리즘 편향의 다양한 유형
#1. 데이터 편향
데이터 편향은 AI 모델 학습에 사용되는 데이터가 실제 상황이나 모집단을 정확하게 반영하지 못할 때 발생합니다. 이로 인해 데이터 세트가 불균형하거나 왜곡될 수 있습니다.
출처: 텔러스 인터내셔널
예를 들어, 안면 인식 소프트웨어가 주로 백인 인구를 대상으로 학습되었다면, 피부색이 어두운 사람들을 인식하는 데 어려움을 겪을 수 있습니다.
#2. 측정 편향
측정 편향은 데이터 측정이나 수집 과정에서 발생하는 오류로 인해 발생할 수 있습니다.
예를 들어, 의료 진단 알고리즘이 과거 진료 기록과 같은 특정 지표를 기반으로 질병을 감지하도록 학습되었다면, 실제 증상을 간과하여 판단 오류가 발생하고 편견이 생길 수 있습니다.
#3. 모델 편향
모델 편향은 알고리즘이나 AI 모델을 설계하는 과정에서 발생합니다.
예를 들어, AI 시스템이 어떤 방식으로든 이익을 극대화하도록 설계된 경우, 비즈니스 윤리, 안전, 공정성 등을 희생하면서 금전적 이익을 우선시할 수 있습니다.
#4. 평가 편향
평가 편향은 AI 시스템의 성능을 평가하는 요소나 기준이 편향될 때 발생할 수 있습니다.
출처: 클리어 리뷰
예를 들어, 성과 평가 AI 시스템이 특정 직군을 선호하는 표준화된 테스트를 사용한다면 불평등을 조장할 수 있습니다.
#5. 보고 편향
보고 편향은 학습 데이터 세트에서 특정 사건 발생 빈도가 실제와 다를 때 발생할 수 있습니다.
예를 들어, AI 보안 도구가 특정 범주에서 제대로 작동하지 않는 경우, 해당 범주 전체를 의심스러운 것으로 간주할 수 있습니다. 이는 시스템이 학습된 데이터 세트에서 해당 범주와 관련된 과거 사건이 더 높은 빈도로 발생했기 때문입니다.
#6. 선택 편향
선택 편향은 학습 데이터가 적절한 무작위화 없이 선택되거나 전체 모집단을 제대로 대표하지 못할 때 발생합니다.
예를 들어, 안면 인식 도구가 제한적인 데이터로 학습된 경우, 정치 분야에서 남성보다 유색인종 여성이나 밝은 피부색의 사람들을 더 쉽게 식별하는 등 차별적인 결과를 보일 수 있습니다.
#7. 암묵적 편견
암묵적 편견은 AI 알고리즘이 특정 개인적인 경험을 바탕으로 가정을 할 때 발생합니다. 이러한 가정은 더 넓은 범주나 사람들에게 명시적으로 적용되지 않을 수 있습니다.
예를 들어, AI 알고리즘을 설계하는 데이터 과학자가 여성이 주로 분홍색을 좋아한다고 믿는 경우, 시스템은 그에 따라 제품을 추천할 수 있지만 이는 모든 여성에게 적용되는 일반적인 사실은 아닙니다. 많은 여성이 파란색이나 검은색을 선호할 수 있습니다.
#8. 집단 귀인 편향
집단 귀인 편향은 알고리즘 설계자가 특정 개인에게 적용되어야 할 것을 해당 개인이 속한 그룹 전체에 적용할 때 발생할 수 있습니다. 이러한 편향은 주로 채용 및 입학 도구에서 흔히 나타납니다.
예를 들어, 입학 도구가 특정 학교 출신 지원자를 선호하고, 다른 학교 출신 지원자를 차별할 수 있습니다.
#9. 역사적 편견
머신러닝 알고리즘 학습에 필요한 데이터 세트를 수집할 때, 과거 데이터를 사용하는 것은 중요합니다. 하지만 주의하지 않으면 과거 데이터에 존재하는 편견이 알고리즘에 그대로 반영될 수 있습니다.
예를 들어, 10년간의 과거 데이터를 기반으로 AI 모델을 학습시켜 기술직 후보자를 최종 선발하는 경우, 학습 데이터에 남성 지원자가 여성보다 많으면 남성 지원자에게 유리한 결과를 초래할 수 있습니다.
#10. 레이블 편향
머신러닝 알고리즘 학습 과정에서 데이터에 레이블을 지정하는 것은 데이터를 유용하게 만드는 데 중요합니다. 하지만 데이터에 레이블을 지정하는 과정은 매우 다양하며, 일관성이 없으면 AI 시스템에 편견을 유발할 수 있습니다.
예를 들어, 이미지 속 고양이를 식별하는 AI 알고리즘을 학습시키기 위해 박스 형태의 레이블을 사용하여 고양이를 표시한다고 가정해 봅시다. 주의하지 않으면 고양이 얼굴이 보이지 않는 이미지에서는 알고리즘이 고양이를 식별하지 못할 수 있지만, 고양이 얼굴이 보이는 이미지만 식별할 수 있습니다. 이 경우 알고리즘은 정면을 향한 고양이 이미지에 편향되어 있다는 것을 의미하며, 얼굴이 보이지 않는 다양한 각도의 고양이 이미지를 식별하지 못할 수 있습니다.
#11. 배제 편향
출처: 리서치게이트
배제 편향은 특정 개인, 집단, 범주가 데이터 수집 과정에서 관련성이 없다고 판단되어 의도적으로 또는 의도치 않게 제외될 때 발생합니다. 이러한 편향은 주로 머신러닝 수명 주기의 데이터 준비 단계에서 데이터를 정리하고 사용하기 위한 과정 중에 발생합니다.
예를 들어, AI 기반 예측 시스템이 구매율을 기반으로 겨울철 특정 제품의 인기를 예측한다고 가정해 봅시다. 데이터 과학자가 10월에 발생한 일부 구매를 잘못된 데이터로 간주하고 제거하면, 시스템은 11월부터 1월까지를 겨울 기간으로 인식하게 됩니다. 하지만 겨울이 1월 이후까지 지속되는 지역도 있습니다. 따라서 알고리즘은 11월부터 1월까지 겨울을 맞는 국가에 편향될 수 있습니다.
편향은 어떻게 알고리즘에 유입되는가?
학습 데이터
알고리즘 편향의 주요 원인 중 하나는 AI 및 ML 알고리즘 학습에 사용되는 편향된 데이터입니다. 학습 데이터 자체에 불평등과 편견 요소가 포함되어 있으면 알고리즘은 이러한 요소를 학습하고 편견을 지속시킵니다.
설계
알고리즘 설계 과정에서 개발자는 의도적이든 무의식적이든 개인적인 생각이나 선호도를 AI 시스템에 반영할 수 있습니다. 이로 인해 AI 시스템은 특정 범주에 편향될 수 있습니다.
의사 결정
데이터 과학자와 리더들은 종종 개인적인 경험, 주변 환경, 신념 등을 바탕으로 의사 결정을 내립니다. 이러한 결정이 알고리즘에 반영되면 편향이 발생할 수 있습니다.
다양성 부족
개발팀 내 다양성 부족은 팀 구성원이 전체 인구를 제대로 대표하지 못하는 알고리즘을 만들게 할 수 있습니다. 다양한 문화, 배경, 신념, 생활 방식에 대한 경험이나 노출 부족은 알고리즘을 특정 방식으로 편향시킬 수 있습니다.
데이터 전처리
데이터를 정리하고 처리하는 데 사용되는 방법 또한 알고리즘 편향을 유발할 수 있습니다. 이러한 방법이 편향을 방지하도록 신중하게 설계되지 않으면 AI 모델에서 편향이 심각해질 수 있습니다.
구조
선택한 모델 구조와 머신러닝 알고리즘 유형에 따라 편향이 발생할 수도 있습니다. 일부 알고리즘은 다른 알고리즘보다 더 많은 편견을 일으키는 경향이 있습니다.
특성 선택
AI 알고리즘 학습에 사용되는 특성을 선택하는 과정도 편향을 유발할 수 있습니다. 출력의 공정성에 미치는 영향을 고려하지 않고 특성을 선택하면 일부 범주를 선호하는 편향이 발생할 수 있습니다.
역사와 문화
알고리즘이 특정 역사적 또는 문화적 배경을 가진 데이터를 사용하고 학습하면 기존의 편견, 신념, 규범 등을 물려받을 수 있습니다. 이러한 편견은 현재 시점에서는 부적절하거나 관련이 없을지라도 AI 결과에 영향을 미칠 수 있습니다.
데이터 드리프트
AI 알고리즘 학습에 사용되는 현재 데이터는 기술이나 사회 변화로 인해 미래에는 적절하지 않거나 유용하지 않을 수 있습니다. 이러한 데이터 세트는 여전히 편향을 유발하고 성능을 저하시킬 수 있습니다.
피드백 루프
일부 AI 시스템은 사용자와 상호작용하고 사용자의 행동에 적응할 수 있습니다. 이러한 방식으로 알고리즘은 기존 편견을 강화할 수 있습니다. 사용자의 개인적인 편견이 AI 시스템에 입력되면 편향된 피드백 루프가 생성될 수 있습니다.
알고리즘 편향을 감지하는 방법은 무엇인가?
“공정함”을 정의하세요
알고리즘의 불공정한 결과나 편향을 감지하려면, AI 시스템에서 “공정함”이 정확히 무엇을 의미하는지 명확하게 정의해야 합니다. 이를 위해 성별, 나이, 인종, 성적 지향, 지역, 문화 등 다양한 요소를 고려해야 합니다.
기회 균등, 예측적 동등성, 영향 등과 같이 공정성을 측정하기 위한 기준을 설정해야 합니다. “공정함”에 대한 정의가 명확해지면 불공정한 결과를 더 쉽게 감지하고 해결할 수 있습니다.
학습 데이터 감사
학습 데이터를 철저히 분석하여 다양한 범주를 대표하는 불균형과 불일치를 찾아야 합니다. 특성 분포를 조사하고 이것이 실제 인구 통계를 반영하는지 확인해야 합니다.
데이터 시각화를 위해 히스토그램, 히트맵, 산점도 등을 생성하여 통계 분석만으로는 드러낼 수 없는 차이와 패턴을 강조할 수 있습니다.
내부 감사 외에도 외부 전문가와 감사자를 참여시켜 시스템 편향을 평가할 수 있습니다.
모델 성능 측정
편향을 감지하려면 다양한 인구 통계 및 범주에 걸쳐 AI 모델의 성능을 측정해야 합니다. 인종, 성별 등 다양한 그룹으로 학습 데이터를 나누어 분석하면 도움이 될 수 있습니다. 공정성 지표를 사용하여 결과의 차이를 계산할 수도 있습니다.
적합한 알고리즘 사용
공정한 결과를 도출하고 AI 모델 학습에서 편향을 해결할 수 있는 알고리즘을 선택해야 합니다. 공정성을 고려한 알고리즘은 편견을 방지하는 동시에 다양한 범주에서 일관된 예측을 하는 것을 목표로 합니다.
편향 감지 소프트웨어
공정성을 인식하는 특수 도구와 라이브러리를 사용하여 편향을 감지할 수 있습니다. 이러한 도구는 편향을 감지하기 위한 공정성 측정 지표, 시각화, 통계적 테스트 등을 제공합니다. 대표적인 도구로는 AI Fairness 360과 IBM Fairness 360이 있습니다.
사용자 피드백 수집
사용자와 고객에게 AI 시스템에 대한 피드백을 요청해야 합니다. AI 시스템에서 부당한 대우나 편견을 경험했다면 솔직한 의견을 제공하도록 독려해야 합니다. 이러한 피드백은 자동화된 도구나 다른 감지 절차에서 놓칠 수 있는 문제를 파악하는 데 도움이 될 수 있습니다.
알고리즘의 편향을 완화하는 방법
회사 내 다양성 확보
회사와 개발팀 내에서 다양성을 확보하면 편견을 더 빠르게 감지하고 제거할 수 있습니다. 편견의 영향을 받는 사용자가 편견을 더 빠르게 알아차릴 수 있기 때문입니다.
따라서 인구 통계뿐만 아니라 기술과 전문 지식 측면에서도 회사 구성원을 다양화해야 합니다. 다양한 성별, 정체성, 인종, 피부색, 경제적 배경을 가진 사람들과 더불어 다양한 교육 경험과 배경을 가진 사람들을 포함해야 합니다.
이를 통해 다양한 관점, 경험, 문화적 가치, 선호도 등을 수집할 수 있습니다. 이는 AI 알고리즘의 공정성을 높이고 편견을 줄이는 데 도움이 됩니다.
투명성 강화
AI 시스템과 관련된 목표, 알고리즘, 데이터 소스, 의사 결정 과정에 대해 팀에 투명하게 공개해야 합니다. 이를 통해 사용자는 AI 시스템이 어떻게 작동하는지, 특정 결과를 도출하는 이유를 이해할 수 있으며, 신뢰를 쌓을 수 있습니다.
공정성을 고려한 알고리즘 사용
모델을 개발할 때, 다양한 범주에 걸쳐 공정한 결과를 보장할 수 있도록 공정성을 고려한 알고리즘을 사용해야 합니다. 이는 금융이나 의료 등 규제가 엄격한 산업에서 AI 시스템을 개발할 때 특히 중요합니다.
모델 성능 평가
모델을 테스트하여 다양한 그룹과 하위 그룹에 걸쳐 AI의 성능을 평가해야 합니다. 집계 측정 지표에서는 드러나지 않는 문제를 이해하는 데 도움이 될 것입니다. 또한 복잡한 시나리오를 포함한 다양한 시나리오를 시뮬레이션하여 성능을 확인할 수도 있습니다.
윤리적 지침 준수
공정성, 개인 정보 보호, 안전, 인권을 존중하면서 AI 시스템 개발을 위한 윤리적 지침을 수립해야 합니다. 이러한 지침은 조직 전체에서 공정성이 향상되고 AI 시스템의 결과에 반영될 수 있도록 적용해야 합니다.
통제 및 책임 설정
AI 시스템의 설계, 개발, 유지 관리 및 배포를 담당하는 모든 팀 구성원에게 명확한 책임을 부여해야 합니다. 또한 편향, 오류 및 기타 문제를 해결하기 위한 엄격한 프로토콜과 프레임워크를 사용하여 적절한 통제 시스템을 구축해야 합니다.
이 외에도 편견을 줄이고 지속적인 개선을 위해 정기적인 감사를 실시해야 합니다. 기술, 인구 통계 및 기타 요인의 최신 변화에 대한 정보를 계속 업데이트해야 합니다.
알고리즘 편향의 실제 사례
#1. 아마존의 알고리즘
아마존은 전자 상거래 분야의 선두주자입니다. 하지만 아마존의 채용 도구는 AI를 활용해 지원자를 평가하는 과정에서 성별 편견을 드러냈습니다. 이 AI 시스템은 과거 기술직 지원자의 이력서를 사용하여 학습되었습니다.
안타깝게도 데이터에는 남성 지원자의 수가 더 많았고, AI는 이를 학습했습니다. 이로 인해 기술 분야에서 소외된 여성 지원자보다 남성 지원자를 선호하는 결과가 나타났습니다. 아마존은 편견을 줄이기 위해 노력했지만, 2017년에 이 도구를 중단해야 했습니다.
#2. 인종 차별적인 미국 의료 알고리즘
미국 병원에서 추가 치료가 필요한 환자를 예측하는 데 사용한 알고리즘은 백인 환자에 대한 편견을 보여주었습니다. 이 시스템은 과거 의료 비용 지출 내역을 기반으로 환자의 의료 요구도를 평가하고, 비용과 의료 요구도를 연관시켰습니다.
시스템 알고리즘은 백인 환자와 흑인 환자가 의료 요구 사항에 대해 어떻게 비용을 지불하는지를 고려하지 않았습니다. 통제 불가능한 질병에도 불구하고, 흑인 환자들은 대부분 응급 상황에 대한 비용을 지불했습니다. 따라서 이들은 건강한 환자로 분류되어 백인 환자에 비해 추가 치료를 받을 자격이 부족하다고 판단되었습니다.
#3. Google의 차별적인 알고리즘
Google의 온라인 광고 시스템도 차별적인 경향을 보였습니다. CEO와 같은 고임금 직위의 광고가 여성보다 남성에게 훨씬 더 많이 노출되었습니다. 미국 CEO 중 27%가 여성이지만, Google에서는 이 비율이 약 11%에 불과했습니다.
알고리즘은 고임금 직위 광고를 보고 클릭하는 사람들의 대부분이 남성이라는 사용자 행동을 학습하여 결과를 표시할 수 있었습니다. AI 알고리즘은 이러한 광고를 여성보다 남성에게 더 많이 노출했습니다.
결론
머신러닝(ML) 및 인공지능(AI) 시스템의 알고리즘 편향은 불공정한 결과를 초래할 수 있습니다. 이러한 결과는 의료, 사이버 보안, 전자 상거래, 선거, 고용 등 다양한 분야의 개인에게 영향을 미칠 수 있습니다. 성별, 인종, 인구 통계, 성적 지향 등 다양한 요인에 근거한 차별로 이어질 수 있습니다.
따라서 AI 및 머신러닝 알고리즘의 편향을 줄여 결과의 공정성을 높이는 것은 매우 중요합니다. 위에서 논의한 정보가 편견을 감지하고 줄여 사용자에게 공정한 AI 시스템을 만드는 데 도움이 되기를 바랍니다.
AI 거버넌스에 대한 글도 읽어보시면 좋을 것 같습니다.