**알고리즘 편향**은 알고리즘이 원래 의도한 기능과는 다르게 한 범주를 다른 범주보다 "특혜"를 주는 등 "불공정"한 결과를 만드는 컴퓨터 시스템의 체계적이고 반복 가능한 오류를 말한다.

편향은 알고리즘의 설계, 의도하지 않았거나 예상치 못한 사용, 또는 알고리즘을 훈련시키기 위해 데이터를 코딩, 수집, 선택, 사용하는 방식과 관련된 결정을 포함한 그밖의 다양한 요인으로 인해 발생할 수 있다. 검색 엔진 결과와 소셜 미디어 플랫폼 등에서 알고리즘 편향이 관찰되었다. 이러한 편향은 의도치 않은 개인정보 침해부터 인종, 성별, 젠더, 민족성에 대한 사회적 편견 강화에 이르기까지 다양한 영향을 미칠 수 있다. 알고리즘 편향에 대한 연구는 "체계적이고 불공정한" 차별을 반영하는 알고리즘에 가장 큰 관심을 두고 있다. 이러한 편향은 최근에 와서야 유럽연합의 "일반 데이터 보호 규정"(2018) 및 제안된 "인공지능법"(2021)과 같은 법적 틀에서 다루어지고 있다.

알고리즘이 사회, 정치, 제도 및 행동을 조직하는 능력을 확장함에 따라 사회학자들은 예상치 못한 데이터의 출력과 조작이 실제 세계에 어떤 영향을 미칠 수 있는지에 대해 관심을 갖게 되었다. 알고리즘은 종종 중립적이고 편견이 없는 것으로 간주되기 때문에 (부분적으로는 자동화 편향이라는 심리적 현상으로 인해) 인간의 전문 지식보다 더 큰 권위를 부정확하게 투영할 수 있으며, 경우에 따라 알고리즘에 대한 의존이 결과에 대한 인간의 책임을 대체할 수 있다. 편향은 기존의 문화적, 사회적 또는 제도적 기대의 결과로 알고리즘에 유입될 수 있다. 알고리즘 설계의 기술적 한계, 또는 예상치 못한 상황에서의 사용, 소프트웨어의 초기 설계에서 고려되지 않은 잠재 고객의 사용 등도 원인이 될 수 있다.

알고리즘 편향은 선거 결과에서 온라인 혐오 발언의 확산에 이르기까지 다양한 사례에서 언급되었다. 또한 형사 사법, 의료, 채용 분야에서도 알고리즘 편향이 발생하여 기존의 인종적, 사회경제적, 성별 편견을 더욱 심화시키고 있다. 불균형한 학습 데이터세트 때문에 얼굴 인식 기술이 상대적으로 어두운 피부색의 얼굴을 정확하게 식별하지 못하는 현상은 여러 건의 흑인 남성의 부당한 체포와 관련이 있다. 일반적으로 영업 비밀로 취급되는 알고리즘의 독점적 특성으로 인해 알고리즘 편향을 이해하고, 연구하고, 발견하는 데 지속적으로 문제가 되고 있다. 완전한 투명성이 제공되더라도 특정 알고리즘의 복잡성은 그 기능을 이해하는 데 장애가 될 수 있다. 또한 알고리즘은 분석을 위해 예상하거나 쉽게 재현할 수 없는 방식으로 변경되거나 입력 또는 출력에 응답할 수 있다. 단일 웹사이트나 애플리케이션 내에서도 조사해야 할 단일 "알고리즘"이 없으며, 동일한 서비스 사용자 간에도 상호 관련된 많은 프로그램과 데이터 입력으로 구성된 네트워크가 존재하는 경우가 많다.

## 정의
알고리즘은 정의하기 어렵지만,

현대 사회과학자들은 하드웨어 및 소프트웨어 애플리케이션에 내장된 알고리즘 프로세스가 정치적, 사회적으로 미치는 영향에 관심을 갖고 알고리즘의 중립성에 대한 근본적인 가정에 의문을 제기한다. 이러한 편향은 의도적이거나 의도적이지 않을 수 있다.

## 방법
편향은 여러 방법으로 알고리즘에 도입될 수 있다. 데이터세트를 수집하는 동안 사람이 설계한 카탈로그 작성 기준에 따라 데이터를 수집, 디지털화, 조정 및 데이터베이스에 입력할 수 있다.

데이터를 수집하고 처리하는 것 외에도 설계의 결과로 편향성이 나타날 수 있다.

## 역사

### 초기 비평
초기의 컴퓨터 프로그램은 인간의 추론과 연역을 모방하도록 설계되었으며, 이러한 인간의 논리를 성공적으로 일관되게 재현할 때 제대로 작동하는 것으로 간주되었다. 인공지능의 선구자인 요제프 바이첸바움은 1976년 저서 '컴퓨터의 힘과 인간의 이성(Computer Power and Human Reason)'에서 편향성이 프로그램에 사용된 데이터 뿐만 아니라 프로그램이 코딩되는 방식에서도 발생할 수 있다고 제안했다.

바이첸바움은 프로그램은 컴퓨터가 따라야 할 인간이 만든 일련의 규칙이라고 썼다. 이러한 규칙을 일관되게 따름으로써 이러한 프로그램은 "규칙을 구현"한다.

마지막으로 그는 사용자가 결과를 해석하는 방법을 잘 모를 경우 기계가 의도하지 않은 결과로 좋은 정보를 전달할 수도 있다고 지적했다.

알고리즘 편향의 초기 사례로 1982년부터 1986년까지 세인트 조지 의과대학에서 60 여명의 여성과 소수 민족이 입학을 거부당한 경우가 있는데, 이는 과거 입학 경향에 따라 "외국어로 들리는 이름"을 가진 여성과 남성의 입학을 거부하는 새로운 컴퓨터 안내 평가 시스템을 도입했기 때문이다. 당시 많은 학교가 선발 과정에서 유사한 편향을 사용했지만 세인트 조지 대학교는 알고리즘을 사용하여 이러한 편향을 자동화한 것으로 알려져 훨씬 더 많은 사람들의 관심을 끌었다.

최근에는 실제 데이터에 기계 학습 기법을 사용하는 알고리즘이 늘어나면서 데이터에 존재하는 편향성으로 인해 알고리즘 편향이 더 자주 발견될 수 있다.

### 현대의 비평과 대응
잘 설계된 알고리즘은 종종 인간의 결정과 동등하거나 그 이상의 공평한 결과를 결정하지만, 편향성인 사례는 여전히 발생하며 예측 및 분석이 어렵다.

알고리즘 프로그램의 결정은 알고리즘이 돕고자 하는 인간의 결정보다 더 권위 있는 것으로 간주될 수 있으며,

알고리즘은 그 편리함과 권위 때문에 인간으로부터 책임을 위임하는 수단으로 이론화된다.

알고리즘이 사회에 미치는 영향에 대한 우려로 인해 구글과 마이크로소프트와 같은 조직에서 기계 학습의 공정성, 책임성, 투명성이라는 이름의 워킹 그룹을 공동으로 만들었다.

이러한 형태의 편향의 예로는 1981년 영국 국적법 이후 새로운 영국 시민에 대한 평가를 자동화하기 위해 설계된 영국 국적법 프로그램이 있다.

"레이블 선택 편향"이라고 불리는

### 기계 학습 편향
기계 학습 편향이란 기계 학습 알고리즘의 결과물에 체계적이고 불공정한 불균형이 발생하는 것을 말한다. 이러한 편향은 다양한 방식으로 나타날 수 있으며 알고리즘을 학습시키는 데 사용되는 데이터를 반영하는 경우가 많다. 다음은 몇 가지 주요 측면이다:

#### 언어 편향
언어 편향은 질의 언어와 관련된 통계적 샘플링 편향의 한 유형으로, "샘플링 정보의 체계적인 편차로 인해 저장소에서 사용 가능한 주제와 견해의 실제 범위를 정확하게 나타내지 못하게 하는 것"을 말한다.

#### 성별 편향
성별 편향은 이러한 모형이 특정 성별에 대해 부당하게 편견이 있는 결과를 산출하는 경향을 말한다. 이러한 편향은 일반적으로 이러한 모델이 학습된 데이터에서 발생한다. 예를 들어, 대규모 언어 모델은 종종 전통적인 성별 규범에 따라 역할과 특성을 할당하기 때문에 간호사나 비서는 주로 여성, 엔지니어나 CEO는 남성과 연관시킬 수 있다.

#### 고정관념 편향
이러한 모형은 성별과 인종 외에도 연령, 국적, 종교, 직업 등 다양한 고정관념을 강화할 수 있다. 이로 인해 특정 집단을 부당하게 일반화하거나 때로는 해롭거나 경멸적인 방식으로 풍자하는 결과물이 나올 수 있다.

#### 정치적 편향
정치적 편향이란 알고리즘이 특정 정치적 관점, 이념 또는 결과를 다른 것보다 체계적으로 선호하는 경향을 말한다. 언어 모델도 정치적 편향을 보일 수 있다. 학습 데이터에는 다양한 정치적 의견과 범위가 포함되어 있기 때문에 데이터에서 이러한 견해가 얼마나 널리 퍼져 있는지에 따라 모델이 특정 정치적 이념이나 관점에 치우친 응답을 생성할 수 있다.

### 기술적 제약
기술적 편향은 프로그램, 계산 능력, 설계 또는 그 밖의 시스템의 제약으로 인해 발생한다.

탈맥락화 알고리즘은 관련 없는 정보를 사용하여 결과를 정렬한다. 예를 들어 알파벳 순서로 결과를 정렬하는 항공권 가격 알고리즘은 유나이티드 항공(United Airlines)보다 아메리칸 항공(American Airlines)에 유리하도록 편향될 수 있다.

마지막으로, 기술적 편향은 인간의 행동이 동일한 방식으로 작동한다는 가정 하에 의사 결정을 구체적인 단계로 공식화하려고 시도함으로써 발생할 수 있다.

### 창발적
창발 편향은 새롭거나 예상치 못한 상황에서 알고리즘을 사용하고 의존한 결과이다.

1990년, 미국 의대생을 레지던트로 배치하는 데 사용되는 소프트웨어인 "국립 레지던트 매치 프로그램(National Residency Match Program; NRMP)에서 창발 편향의 예가 확인되었다.

그 외에도 창발 편향은 아래를 포함한다:

#### 상관관계
대규모 데이터 세트를 서로 비교할 때 예측할 수 없는 상관관계가 나타날 수 있다. 예를 들어, 웹 브라우징 패턴에 대해 수집된 데이터가 (예컨데 인종 또는 성적 취향 등의) 민감한 데이터를 나타내는 신호와 일치할 수 있다. 특정 행동이나 검색 패턴에 따라 선택하면 최종 효과는 직접적으로 인종 또는 성적 지향 데이터를 사용한 차별과 거의 동일할 것이다.

#### 예상하지 못한 사용
예기치 못한 사용자가 알고리즘을 사용될 때 창발 편향이 발생할 수 있다. 예를 들어, 기계는 사용자가 숫자를 읽고, 쓰고, 이해할 수 있기를 요구하거나, 은유적인 인터페이스를 이해하지 못하는 것과 관련될 수 있다.

배제와는 별개로, 예상치 못한 사용은 최종 사용자가 자신의 지식이 아닌 소프트웨어에 의존하여 예상치 못한 사용이 발생할 수 있다. 한 예로, 영국에서 컴퓨터 과학자와 이민 변호사가 영국 시민권에 대한 적합성을 평가하기 위해 개념 증명으로 영국 국적법 프로그램을 만들 때, 예상치 못한 사용자 그룹이 알고리즘 편향으로 이어진 사례가 있다. 소프트웨어와 이민법에 대한 이해도가 높지 않은 출입국 관리 사무소의 최종 사용자와는 달리, 설계자들은 이를 넘어서는 법률 전문 지식에 접근할 수 있었다. 질문을 관리하는 상담원들은 시민권을 취득할 수 있는 다른 경로를 배제한 채 전적으로 소프트웨어에만 의존했으며, 새로운 판례와 법률 해석으로 인해 알고리즘이 구식이 된 후에도 소프트웨어를 사용했다. 이민법에 대해 법적으로 잘 알고 있다고 가정한 사용자를 위해 알고리즘을 설계한 결과, 소프트웨어의 알고리즘은 간접적으로 영국 이민법의 보다 광범위한 기준이 아닌 알고리즘이 설정한 매우 좁은 법적 기준에 부합하는 신청자를 선호하는 편향된 결과로 이어졌다.

#### 피드백 루프
알고리즘을 위해 수집된 데이터가 실제 반응을 이끌어내고, 다시 알고리즘에 피드백되는 경우, 창발 편향은 피드백 루프 또는 재귀를 생성할 수 있다. 시뮬레이션을 수행한 인권 데이터 분석 그룹은 인종 차별이 체포의 요인이 되는 지역에서 이러한 피드백 루프가 치안 유지에서 인종 차별을 강화하고 영속화할 수 있다고 경고했다. 이러한 행동을 보이는 알고리즘의 또 다른 잘 알려진 예로는 개인이 범죄자가 될 가능성을 판단하는 소프트웨어인 COMPAS가 있다. 이 소프트웨어는 흑인 개인을 다른 사람보다 범죄자로 분류할 가능성이 훨씬 높다는 비판을 받고 있으며, 개인이 범죄자로 등록될 경우 해당 데이터를 다시 피드백하여 알고리즘이 작동하는 데이터 세트에 의해 생성된 편견을 더욱 강화한다.

온라인 동영상이나 뉴스 기사를 추천하는 데 사용되는 것과 같은 추천 시스템은 피드백 루프를 생성할 수 있다.

## 영향

### 상업적 영향
알고리즘이 공정하다고 착각할 수 있는 사용자에 대해 알지 못하다면, 기업 알고리즘은 기업 간의 재무 약정이나 계약을 눈에 보이지 않게 선호하도록 왜곡될 수 있다. 예를 들어, 아메리칸 항공은 1980년대에 항공편 검색 알고리즘을 만들었다. 이 소프트웨어는 다양한 항공사의 다양한 항공편을 고객에게 제공했지만, 가격이나 편의성에 관계없이 자사 항공편의 선호도를 높이는 요소에 가중치를 두었다. 미국 의회 증언에서 아메리칸 항공의 사장은 우대 조치를 통해 경쟁 우위를 확보하려는 의도로 시스템이 만들어졌다고 솔직하게 밝혔다.

구글을 설명하는 1998년 논문에서 구글의 창립자들은 "광고의 지원을 받는 검색 엔진은 본질적으로 광고주에게 편향되고 소비자의 요구에서 벗어날 수 있다"고 주장하면서 유료 게제와 관련하여 검색 결과를 투명하게 공개하는 정책을 채택했다.

### 투표 행동
미국과 인도의 부동층 유권자에 대한 일련의 연구에 따르면 검색 엔진 결과가 투표 결과를 약 20%까지 변화시킬 수 있는 것으로 나타났다. 연구자들은 의도가 있든 없든 알고리즘이 상대 후보의 검색 결과 순위를 높이면 다른 후보자들은 "경쟁할 수단이 없다"고 결론지었다.

### 성차별
2016년, 전문 네트워킹 사이트 링크드인은 검색어에 대한 응답으로 여성 이름의 남성 변형 이름을 추천하는 것이 발견되었다. 이 사이트는 남성 이름을 검색할 때는 이와 유사한 추천을 하지 않았다. 예를 들어, "Andrea"(안드레아)를 검색하면 사용자가 "Andrew"(앤드류)를 의미하는지 묻는 메시지가 표시되었지만, "Andreww"를 검색하면 사용자가 "Andrea"를 찾는 것인지 묻지 않았다. 링크드인은 이것이 사용자들이 사이트와 상호 작용을 분석한 결과라고 말했다.

2012년에는 백화점 프랜차이즈 타깃이 여성 고객이 임신 사실을 알리지 않았더라도 임신 여부를 유추할 수 있는 데이터 포인트를 수집한 후 해당 정보를 마케팅 파트너와 공유한 사실이 알려졌다.

웹 검색 알고리즘도 편향적이라는 비난을 받고 있다. 구글의 검색 결과는 "레즈비언"과 같은 성 관련 검색어에서 음란물 콘텐츠에 우선순위를 둘 수 있다. 이러한 편향성은 검색 엔진이 중립적인 검색에서 인기 있지만 성적인 콘텐츠를 표시하는 데까지 확장된다. 예를 들어, "여자 운동 선수"를 검색하면 "가장 섹시한 25명의 여자 운동 선수" 기사가 첫 페이지 결과로 표시된다. 연구자들은 또한 기계 번역이 남성 편향적인 경향을 보인다는 사실을 확인했다.

2015년에 아마존닷컴은 여성에게 불리하게 편향되어 있다는 사실을 알고, 입사 지원서를 선별하기 위해 개발한 인공지능 시스템을 중단했다. 스포티파이의 노래 추천에서 여성 아티스트보다 남성 아티스트를 더 많이 추천했다.

### 인종 및 민족 차별
알고리즘은 의사 결정에서 인종적 편견을 모호하게 하는 방법이라는 비판을 받아왔다. 과거에 특정 인종과 민족이 취급받아온 방식 때문에 데이터에는 종종 숨겨진 편견이 포함될 수 있다. 이는 잠재적으로 시스템이 데이터의 원래 편견을 증폭시킨다는 것을 의미할 수 있다.

2015년, 구글은 흑인 사용자가 사진 애플리케이션의 이미지 식별 알고리즘이 자신을 고릴라로 식별했다고 불평하자 사과했다. 음성 인식 기술은 사용자의 억양에 따라 정확도가 다를 수 있다. 이는 해당 억양을 사용하는 화자에 대한 학습 데이터가 부족하기 때문일 수 있다.

인종에 대한 생체 인식 데이터도 관찰되지 않고 추론될 수도 있다. 예를 들어, 2012년 연구에 따르면, 일반적으로 흑인과 연관된 이름은 해당 개인의 이름에 대한 경찰 기록이 있는지 여부와 관계없이 체포 기록을 암시하는 검색 결과가 나올 가능성이 더 높았다. 또한 2015년 연구에 따르면, 인종 및 직업 노출 데이터가 예측 알고리즘의 폐 기능 모형에 통합되지 않아 흑인과 아시아인의 폐 기능이 더 떨어진다고 추정한다는 사실을 발견했다.

2019년 연구에 따르면, 옵텀(Optum)에서 판매하는 의료 알고리즘이 아픈 흑인 환자보다 백인 환자를 선호한다는 사실이 밝혀졌다. 이 알고리즘은 환자가 향후 의료 시스템에 얼마나 많은 비용을 지불할 것인지를 예측한다. 그러나 흑인 환자는 같은 수의 만성 질환을 앓고 있는 백인 환자보다 연간 약 1,800달러의 의료비를 덜 부담했기 때문에, 알고리즘은 백인 환자를 훨씬 더 많은 질병을 앓고 있는 흑인 환자와 향후 비슷한 건강 문제의 위험이 있는 것으로 점수를 매겼다.

2019년 11월 UC 버클리의 연구진이 실시한 연구에 따르면 모기지 알고리즘이 라틴계와 아프리카계 미국인을 차별하는 것으로 나타났는데, 이는 대출 기관이 개인이 대출을 받을 자격이 있는지 판단하기 위해 신원 확인 수단을 사용할 수 있도록 하는 미국 공정 대출법에 근거한 '신용도'에 따라 소수 민족을 차별한 것이다. 이러한 특정 알고리즘은 핀테크 회사에 존재하며 소수 민족을 차별하는 것으로 나타났다.

#### 법 집행 및 법적 절차
알고리즘은 이미 법률 시스템에서 다양하게 활용되고 있다. 그 예로 미국 법원에서 피고인의 재범 가능성을 평가하는 데 널리 사용되는 상용 프로그램인 COMPAS를 들 수 있다. 프로퍼블리카는 흑인 피고인의 평균 COMPA 배정 재범 위험도가 백인 피고인보다 훨씬 높으며, 흑인 피고인이 백인 피고인에 비해 '고위험'이라는 꼬리표를 잘못 할당받을 가능성이 두 배나 높다고 주장했다.

한 가지 예가 미국의 형사 판결 및 가석방 심의 위원회에서 위험 평가를 사용하는 것이다. 판사는 수감자가 범죄를 반복할 위험을 반영하기 위해 알고리즘으로 생성된 점수를 제시받는다.

"위험, 인종 및 재범 : 예측 편향 및 이질적인 영향"을 사하기 위해 시작된 한 연구에 따르면 2년의 관찰 기간 동안 객관적으로 문서화된 재범 기록이 없음에도 불구하고 흑인 피고인이 백인 피고인보다 더 높은 위험성을 지닌 것으로 잘못 분류될 가능성이 2배(45% 대 23%) 더 높다고 주장한다.

재판 전 구금 상황에서, 한 법률 리뷰 기사는 알고리즘 위험 평가가 안면 차별적이고, 불균등한 대우를 초래하며, 좁게 조정되지 않았다고 주장하며, 이 때문에 인종에 근거한 미국 수정 헌법 제14조 평등보호조항을 위반한다고 주장했다.

#### 온라인 혐오 발언
2017년 페이스북 내부 문서에 따르면 온라인 혐오 발언을 제거하기 위해 설계된 페이스북 알고리즘이 불쾌한 콘텐츠를 평가할 때 흑인 어린이보다 백인 남성에게 유리하게 작용하는 것으로 나타났다.

혐오 발언을 추적하고 차단하는 데 알고리즘이 사용되지만, 일부 알고리즘은 흑인 사용자가 게시한 정보를 혐오 발언으로 표시할 가능성이 1.5배 높고, 아프리카계 미국인 영어로 작성된 경우 2.2배 더 높은 것으로 나타났다.

#### 감시
감시 카메라 소프트웨어는 정상적인 행동과 비정상적인 행동을 구분하고 특정 시간에 특정 위치에 누가 속해 있는지 판단하는 알고리즘이 필요하기 때문에 본질적으로 정치적인 것으로 간주될 수 있다.

### 성소수자 공동체에 대한 차별
2011년 게이 연결 애플리케이션인 Grindr 사용자들은 안드로이드 스토어의 추천 알고리즘이 Grindr를 성범죄자를 찾기 위해 설계된 애플리케이션과 연결하고 있다고 보고했으며, 비평가들은 동성애와 소아 성애를 부정확하게 연관시켰다고 말했다. 작가 마이크 아나니는 디 애틀랜틱애서 이러한 연관성이 동성애자들을 더욱 낙인찍는다고 주장하면서 이러한 연관성을 비판했다.

2019년 페이스북에서 "내 여자 친구 사진"을 검색하면 "비키니 차림" 또는 "해변에서"와 같은 제안이 표시되는 것으로 나타났다. 반대로 "내 남자 친구의 사진"을 검색하면 결과가 나오지 않았다.

얼굴 인식 기술은 트랜스젠더 개인에게 문제를 일으키는 것으로 나타났다. 2018년에 우버가 내장 보안 조치로 구현한 얼굴 인식 소프트웨어로 인해 트랜스젠더 또는 성전환 중인 우버 운전자들이 어려움을 겪고 있다는 보고가 있었다. 이로 인해 트랜스젠더 우버 드라이버의 일부 계정이 정지되어 요금이 발생하고 일자리를 잃을 가능성도 있었는데, 이는 모두 얼굴 인식 소프트웨어가 트랜스젠더 드라이버의 얼굴을 인식하는 데 어려움을 겪었기 때문이다.

또한 2017년 스탠퍼드 대학교에서는 얼굴 이미지를 기반으로 개인의 성적 지향을 감지할 수 있다고 알려진 기계 학습 시스템의 알고리즘을 테스트한 연구가 진행되었다.

### 장애 차별
알고리즘 공정성의 양상은 성별, 인종, 사회경제적 지위 등 다양한 편견의 측면을 기준으로 판단되지만, 장애는 종종 목록에서 제외된다.

장애의 변화하는 성격과 주관적인 특성으로 인해 계산을 통해 해결하는 것을 더 어렵게 한다. 장애를 정의하고, 설문조사를 통해 장애의 발생률과 유병률을 수집하고, 인식을 확립하는 데 있어 역사적 깊이가 부족하기 때문에 정량화 및 계산에서의 논란과 모호성이 더해진다. 장애의 정의는 의학적 모델에서 사회적 모델로 전환하는 것으로 오랫동안 논의되어 왔는데, 이는 장애가 장애와 건강 상태보다는 사람들의 상호 작용과 환경의 장벽 사이의 불일치로 인한 결과라는 것을 입증한다. 장애는 또한 상황적 또는 일시적일 수 있으며, 예를 들어, 음성 제어 기능 및 스마트 AI 비서 훈련에 언어 장애가 있는 사람이 포함되지 않으면 해당 기능을 사용할 수 없거나 적절한 응답을 받을 수 없게 된다.

장애를 둘러싼 고정 관념과 낙인이 여전히 존재한다는 점을 고려할 때, 이러한 식별 특성을 드러내는 민감한 특성은 방대한 사생활 침해 문제를 수반한다. 장애 정보를 공개하는 것이 금기시되고 장애인에 대한 차별을 조장할 수 있기 때문에, 알고리즘 시스템이 상호 작용할 수 있는 명시적인 장애 데이터가 부족하다. 장애인은 장애 상태를 공개할 경우 사회적 지원, 의료보험 비용, 직장 내 차별 및 기타 기본적인 필수품과 관련하여 추가적인 피해와 위험에 직면하게 된다. 알고리즘은 사회 시스템과 구조에 이미 존재하는 편견을 재현함으로써 이러한 격차를 더욱 악화시키고 있다.

### 구글 검색
사용자가 최종 결과를 자동으로 생성하는 동안, 구글은 성차별적, 인종차별적 자동완성 텍스트를 삭제하지 않았다. 예를 들어, 책 구글은 어떻게 여성을 차별하는가에서 사피야 노블은 "흑인 소녀"를 검색하면 포르노 이미지를 표시되는 사례를 예로 들었다. 구글은 불법으로 간주되지 않는 한 해당 페이지를 삭제할 수 없다고 주장했다.

## 연구의 장애물
몇몇 문제가 대규모 알고리즘 편향 연구를 방해하여 학문적으로 엄격한 연구의 적용과 대중의 이해를 지연시킨다.

### 공정성의 정의
알고리즘 편향에 관한 문헌은 공정성의 개선에 초점을 맞춰 왔지만, 공정성의 정의는 종종 서로 호환되지 않으며 기계 학습 최적화의 현실과 호환되지 않는다. 예를 들어, 공정성을 "결과의 평등"으로 정의한다면 단순히 모든 사람에게 동일한 결과를 산출하는 시스템을 의미하겠지만, "대우의 평등"으로 정의한다면 개인 간의 차이를 명시적으로 고려할 수 있을 것이다.

### 복잡성
알고리즘 프로세스는 이를 사용하는 사람들의 이해를 넘어서는 복잡계이다. 사회과학자 브뤼노 라투르는 이 과정을 "과학적이고 기술적인 작업이 그 자체의 성공으로 인해 보이지 않게되는 과정"인 블랙박스화라고 했다. "기계가 효율적으로 작동할 때, 사실 문제가 해결되면 내부 복잡성이 아닌 입력과 출력에만 집중하면 된다. 따라서 역설적으로 과학기술이 성공할수록 더 불투명하고 모호해진다."

이러한 복잡성의 예는 피드백 사용자 정의에 대한 입력 범위에서 찾을 수 있다. 소셜 미디어 사이트 페이스북은 2013년에 사용자의 소셜 미디어 제공 배치 순서를 결정하기 위해 최소 10만 개의 데이터 포인트를 고려했다.

클릭 수, 사이트 체류 시간 및 기타 지표와 같은 사용자 상호 작용을 기반으로 한 기계 학습 및 알고리즘의 개인화를 통해 추가적인 복잡성이 발생한다.

### 투명성 부족
상업적 알고리즘은 독점적이며 영업 비밀로 취급될 수 있다. 변호사이자 활동가인 Katarzyna Szymielewicz와 같은 다른 비평가들은 투명성 부족이 종종 알고리즘 복잡성의 결과로 위장되어 기업이 자체 알고리즘 프로세스를 공개하거나 조사하지 못하도록 보호한다고 주장했다.

### 민감한 범주에 대한 데이터 부족
실제로 편견 문제를 이해하는 데 있어 중요한 장벽은 차별 금지법에 의해 보호되는 개인의 인구 통계와 같은 범주가 데이터를 수집하고 처리할 때 명시적으로 고려되지 않는 경우가 많다는 점이다. 장치 지문 인식, 유비쿼터스 컴퓨팅 및 사물 인터넷과 같이 이러한 데이터를 명시적으로 수집할 기회가 거의 없는 경우도 있다. 다른 경우에는 데이터를 제어하는 쪽에서 평판 상의 이유, 또는 책임 및 보안 위험의 증가 때문에 이러한 데이터 수집을 원하지 않을 수 있다. 또한 적어도 유럽 연합의 일반 데이터 보호 규정과 관련하여 이러한 데이터가 '특별 범주' 조항(제9조)에 해당하여 잠재적인 수집 및 처리에 더 많은 제한이 따를 수도 있다.

일부 실무자들은 편향성을 완화하기 위해 이러한 누락된 민감한 분류를 추정하고 대입하려고 시도해왔다. 예를 들자면 이름에서 민족을 추론하는 시스템을 구축하는 것이다.

알고리즘 편향은 보호되는 범주 뿐만 아니라 정치적 견해와 같이 쉽게 관찰하거나 코드화할 수 없는 특성에도 영향을 줄 수 있다. 이러한 경우 쉽게 접근 가능하거나 논란의 여지가 없는 근거 진실이 거의 없으며 그러한 시스템에서 편향을 제거하는 것은 더 어렵다.

## 해결 방법
윤리적 AI에 관한 84개의 정책 가이드라인에 대한 연구에 따르면, 공정성과 '원치 않는 편견의 완화'가 공통적인 관심사였고, 기술적 솔루션, 투명성 및 모니터링, 구제 권리 및 감독 강화, 다양성 및 포용성 노력의 조합을 통해 해결된다는 사실을 발견했다.

### 기술적 해법
알고리즘 내에서 편향을 감지하고 관찰할 수 있는 방법과 도구를 만들려는 시도가 몇 가지 시도가 있었다. 이러한 새로운 분야는 일반적으로 알고리즘의 내부 프로세스가 아닌 프로그램에서 사용하는 학습 데이터에 일반적으로 적용되는 도구에 중점을 둔다. 이러한 방법은 프로그램의 출력과 유용성을 분석할 수도 있으므로 혼동 행렬 분석을 포함할 수 있다.

현재 알고리즘 제작자가 편향성 문제를 제거하고 알고리즘의 기능과 가능한 효과에 대해 (당국 또는 최종 사용자에게) 투명성을 명확히 설명하는 데 도움이 되는 방법론을 지정하는 것을 목표로 하는 새로운 IEEE 표준 초안이 작성되고 있다. 이 프로젝트는 2017년 2월에 승인되었으며 IEEE 컴퓨터 학회에서 공인한 위원회인 소프트웨어 및 시스템 엔지니어링 표준 위원회에서 후원하고 있다. 표준 초안은 2019년 6월에 투표를 위해 제출될 것으로 예상된다.

### 투명성 및 모니터링
AI에 대한 윤리 지침은 책임의 필요성을 지적하며, 결과의 해석 가능성을 개선하기 위한 조치를 취할 것을 권고한다.

투명성을 향한 초기 접근 방식에는 알고리즘의 오픈 소스화가 포함되었다.

### 구제받을 권리
규제 관점에서 토론토 선언은 알고리즘 편향으로 인한 피해에 인권 프레임워크를 적용할 것을 요구한다.

### 다양성 및 포용성
인공지능 시스템의 설계가 주로 백인 남성 엔지니어의 영역이라는 우려 속에서

### 학제간 협업 및 협력
AI 시스템 개발에서 학제간 통합과 협업은 알고리즘 편향을 해결하는 데 중요한 역할을 할 수 있다. 컴퓨터 과학 이외의 분야에서 얻은 통찰, 전문 지식, 관점을 통합하면 데이터 기반 솔루션이 사회에 미치는 영향을 보다 잘 이해할 수 있다. 인공지능 연구에서 이러한 예로는 사회적 영향과 관련된 AI 기반 솔루션을 개발할 때 협업을 촉진하기 위해 제안된 프레임워크인 PACT가 있다.

외부 전문가 및 다양한 이해 관계자와의 협업을 통해 윤리적이고 포용적이며 책임감 있는 지능형 시스템 개발을 용이하게 한다. 윤리적 고려 사항을 통합하고, 사회적, 문화적 맥락을 이해하고, 인간 중심의 설계를 촉진하고, 기술 전문 지식을 활용하며, 정책 및 법적 고려 사항을 다룬다. AI 시스템의 편향을 효과적으로 완화하고 AI 기술이 공정하고 투명하며 책임감 있게 작동하도록 보장하려면 여러 분야 간의 협업이 필수적이다.

## 규정

### 유럽
2018년에 시행된 유럽 연합의 개정된 데이터 보호 제도인 일반 데이터 보호 규정(GDPR)은 제22조에서 "프로파일링을 포함한 자동화된 개인 의사 결정"을 다루고 있다. 이 규정은 동의, 계약 또는 회원국 법률에 의해 명시적으로 승인되지 않는 한 개인에게 '중대한' 또는 '법적' 영향을 미치는 자동화된 결정을 '전적으로' 금지하고 있다. 허용되는 경우, 휴먼인더루프(human-in-the-loop)에 대한 권리, 도달한 결정에 대한 설명에 대한 구속력이 없는 권리 등의 안전장치를 마련해야 한다. 이러한 규정은 일반적으로 새로운 규정으로 간주되지만, 1995년부터 유럽 전역에 걸쳐 데이터 보호 지침 제15조에 거의 동일한 조항이 존재해 왔다. 1970년대 후반부터 프랑스 법률에 자동화된 결정 규칙과 안전장치가 존재했다.

GDPR은 프로파일링 시스템에서 알고리즘 편향을 다루며, 71조에서 이를 제거할 수있는 통계적 접근 방식을 직접 다루고 있다.
71조의 설명을 요구할 권리에 구속력이 없는 것과 마찬가지로, 이 조항의 문제는 구속력이 없다는 것이다.

### 미국
미국에는 알고리즘 편향을 통제하는 일반 법률이 없으며 산업과 업종별로 알고리즘 사용 방법에 따라 다를 수 있는 다양한 주 및 연방법을 통해 문제에 접근한다.

2017년 뉴욕시는 미국 최초의 알고리즘 책임 법안을 통과시켰다.

### 인도
2018년 7월 31일, 개인 데이터 법안 초안이 발표되었다.