추천 시스템이 결정을 내리는 과정을 보여주는 순서도, 2001년 무렵
**알고리즘 편향**(영어: algorithmic bias)은 알고리즘이 원래 의도한 기능과는 다르게 한 범주를 다른 범주보다 "특혜"를 주는 등 "불공정"한 결과를 만들는 컴퓨터 시스템의 체계적이고 반복 가능한 오류를 말한다.

편향은 알고리즘의 설계, 의도하지 않았거나 예상치 못한 사용, 또는 알고리즘을 훈련시키기 위해 데이터를 코딩, 수집, 선택, 사용하는 방식과 관련된 결정을 포함한 그밖의 다양한 요인으로 인해 발생할 수 있다. 검색 엔진 결과와 소셜 미디어 플랫폼 등에서 알고리즘 편향이 관찰되었다. 이러한 편향은 의도치 않은 개인정보 침해부터 인종, 성별, 젠더, 민족성에 대한 사회적 편견 강화에 이르기까지 다양한 영향을 미칠 수 있다. 알고리즘 편향에 대한 연구는 "체계적이고 불공정한" 차별을 반영하는 알고리즘에 가장 큰 관심을 두고 있다. 이러한 편향은 최근에 와서야 유럽연합의 "일반 데이터 보호 규정"(2018) 및 제안된 "인공지능법"(2021)과 같은 법적 틀에서 다루어지고 있다.

알고리즘이 사회, 정치, 제도 및 행동을 조직하는 능력을 확장함에 따라 사회학자들은 예상치 못한 데이터의 출력과 조작이 실제 세계에 어떤 영향을 미칠 수 있는지에 대해 관심을 갖게 되었다. 알고리즘은 종종 중립적이고 편견이 없는 것으로 간주되기 때문에 (부분적으로는 자동화 편향이라는 심리적 현상으로 인해) 인간의 전문 지식보다 더 큰 권위를 부정확하게 투영할 수 있으며, 경우에 따라 알고리즘에 대한 의존이 결과에 대한 인간의 책임을 대체할 수 있다. 편향은 기존의 문화적, 사회적 또는 제도적 기대의 결과로 얼고리즘에 유입될 수 있다. 알고리즘 설계의 기술적 한계, 또는 예상치 못한 상황에서의 사용, 소프트웨어의 초기 설계에서 고려되지 않은 잠재 고객의 사용 등도 원인이 될 수 있다.

알고리즘 편향은 선거 결과에서 온라인 혐오 발언의 확산에 이르기까지 다양한 사례에서 언급되었다. 또한 형사 사법, 의료, 채용 분야에서도 알고리즘 편향이 발생하여 기존의 인종적, 사회경제적, 성별 편견을 더욱 심화시키고 있다. 불균형한 학습 데이터세트 때문에 얼굴 인식 기술이 상대적으로 어두운 피부색의 얼굴을 정확하게 식별하지 못하는 현상은 여러 건의 흑인 남성의 부당한 체포와 관련이 있다. 일반적으로 영업 비밀로 취급되는 알고리즘의 독점적 특성으로 인해 알고리즘 편향을 이해하고, 연구하고, 발견하는 데 지속적으로 문제가 되고 있다. 완전한 투명성이 제공되더라도 특정 알고리즘의 복잡성은 그 기능을 이해하는 데 장애가 될 수 있다. 또한 알고리즘은 분석을 위해 예상하거나 쉽게 재현할 수 없는 방식으로 변경되거나 입력 또는 출력에 응답할 수 있다. 단일 웹사이트나 애플리케이션 내에서도 조사해야 할 단일 "알고리즘"이 없으며, 동일한 서비스 사용자 간에도 상호 관련된 많은 프로그램과 데이터 입력으로 구성된 네트워크가 존재하는 경우가 많다.

정의
--

간단한 컴퓨터 프로그램이 의사 결정을 내리는 방법을 보여주는 1969년 다이어그램으로, 매우 간단한 알고리즘을 보여준다.
알고리즘은 정의하기 어렵지만, 일반적으로 프로그램이 데이터를 읽고, 수집하고, 처리하고, 분석하여 출력을 생성하는 방법을 결정하는 명령 목록으로 이해할 수 있다.:13 컴퓨터 하드웨어의 발전으로 데이터를 처리, 저장히거 전송하는 능력이 향상되었다. 이에 따라 기계 학습 및 인공지능과 같은 기술의 설계와 채택이 활발해졌다.:14–15 데이터를 분석하고 처리함으로써 알고리즘은 검색 엔진, 소셜 미디어 웹사이트, 추천 엔진, 온라인 리테일, 온라인 광고 등의 핵심이 된다.

현대 사회과학자들은 하드웨어 및 소프트웨어 애플리케이션에 내장된 알고리즘 프로세스가 정치적, 사회적으로 미치는 영향에 관심을 갖고 알고리즘의 중립성에 대한 근본적인 가정에 의문을 제기한다.:2:563:294 "알고리즘 편향"이라는 용어는 임의의 사용자 그룹에 다른 사용자 그룹보다 특혜를 부여하는 등 불공정한 결과를 초래하는 체계적이고 반복 가능한 오류를 말한다. 예를 들어, 신용 점수 알고리즘은 관련 재무 기준을 일관되게 평가하는 경우 불공정하지 않게 대출을 거부할 수 있다. 알고리즘이 한 사용자 그룹에는 대출을 추천하지만 거의 동일한 다른 사용자 그룹에는 관련 없는 기준에 따라 대출을 거부하는 경우, 그리고 이러한 행동이 여러 번 반복될 수 있는 경우 알고리즘이 편향된 것으로 설명할 수 있다.:332 이러한 편향은 의도적이거나 의도적이지 않을 수 있다.

방법
--

편향은 여러 방법으로 알고리즘에 도입될 수 있다. 데이터세트를 수집하는 동안 사람이 설계한 카탈로그 작성 기준에 따라 데이터를 수집, 디지털화, 조정 및 데이터베이스에 입력할 수 있다.:3 다음으로 프로그래머는 프로그램에서 데이터를 평가하고 분류하는 방법에 대한 우선순위 또는 계층을 할당한다. 이를 위해서는 데이터를 분류하는 방법과 어떤 데이터를 포함하거나 폐기할 것인지에 대한 사람의 결정이 필요하다.:4 일부 알고리즘은 사람이 선택한 기준에 따라 자체 데이터를 수집하며, 이는 인간 설계자의 편향을 반영할 수도 있다.:8 다른 알고리즘은, 예를 들어 유사한 사용자 또는 사용자 그룹의 이전 선택에 따라 정보를 선택하는 방식으로. 인간 사용자와 "연관된" 데이터를 처리할 때 고정관념과 선호도를 강화할 수 있다.:6

데이터를 수집하고 처리하는 것 외에도 설계의 결과로 편향성이 나타날 수 있다. 예를 들어, (학교 배정 결정 같은) 자원 할당이나 조사를 결정하는 알고리즘은 유사한 사용자를 기반으로 위험을 결정할 때 (신용 점수에서와 같이) 의도치 않게 특정 범주를 차별할 수 있다.:36 한편, 사용자를 유사한 사용자와 연결하여 작동하거나 추론된 마케팅 특성을 이용하는 추천 엔진은 광범위한 민족, 성별, 사회경제적 또는 인종적 고정관념을 반영하는 부정확한 연관성에 의존할 수 있다. 또 다른 예는 결과에 포함할 항목과 제외할 항목에 대한 기준을 결정하는 데서 생긴다. 이러한 기준은 후원하는 항공사의 비행 경로를 따르지 않는 항공편을 생략하는 항공편 추천 소프트웨어와 같이 검색 결과에 예상치 못한 결과를 제시할 수 있다. 또한 알고리즘은 불확실성 편향을 표시하여 더 큰 데이터세트를 사용할 수 있을 때 더 확신있는 평가를 제공할 수 있다. 이는 알고리즘 프로세스를 더 큰 표본과 더 밀접하게 일치하는 결과로 왜곡할 수 있으며, 이는 덜 대표되는 모집단의 데이터를 무시할 수 있다.:4

역사
--

### 초기 비평

이 천공카드는 오래된 메인프레임 컴퓨터에 소프트웨어를 로드하는 데 사용되었다. 각 바이트(예: 문자 'A')는 구멍을 뚫어 입력한다. 현대의 컴퓨터는 더 복잡하지만, 데이터를 수집하고 처리할 때 이러한 인간의 의사 결정 과정을 반영한다.:70:16
초기의 컴퓨터 프로그램은 인간의 추론과 연역을 모방하도록 설계되었으며, 이러한 인간의 논리를 성공적으로 일관되게 재현할 때 제대로 작동하는 것으로 간주되었다. 인공지능의 선구자인 요제프 바이첸바움은 1976년 저서 '컴퓨터의 힘과 인간의 이성(Computer Power and Human Reason)'에서 편향성이 프로그램에 사용된 데이터 뿐만 아니라 프로그램이 코딩되는 방식에서도 발생할 수 있다고 제안했다.:149

바이첸바움은 프로그램은 컴퓨터가 따라야 할 인간이 만든 일련의 규칙이라고 썼다. 이러한 규칙을 일관되게 따름으로써 이러한 프로그램은 "규칙을 구현"한다.:40 즉, 문제를 해결하기 위한 특정 방법을 시행한다. 컴퓨터가 따르는 규칙은 이러한 문제를 해결하는 방법에 대한 컴퓨터 프로그래머의 가정을 기반으로 한다. 즉, 코드에는 편견과 기대를 포함하여 세계가 어떻게 작동하는지에 대한 프로그래머의 상상력이 포함될 수 있다.:109 바이첸바움은 컴퓨터 프로그램이 이러한 방식으로 편견을 통합할 수 있지만, 또한 기계에 공급되는 모든 데이터는 데이터가 선택될 때 "인간의 의사 결정 과정"을 추가로 반영한다고 언급했다.:70, 105

마지막으로 그는 사용자가 결과를 해석하는 방법을 잘 모를 경우 기계가 의도하지 않은 결과로 좋은 정보를 전달할 수도 있다고 지적했다.:65 바이첸바움은 사용자가 이해하지 못하는 컴퓨터 프로그램의 결정을 신뢰하는 것에 대해 경고했는데, 이를 동전 던지기 결과만 가지고 왼쪽이나 오른쪽으로 돌면서 호텔 방으로 가는 길을 찾으려는 관광객과 비교했다. 결정적으로, 관광객은 목적지에 어떻게 또는 왜 도착했는지 이해할 근거가 없으며, 성공적으로 도착했다고 해서 그 과정이 정확하거나 신뢰할 수 있다는 것을 의미하지는 않는다.:226

알고리즘 편향의 초기 사례로 1982년부터 1986년까지 세인트 조지 의과대학에서 60 여명의 여성과 소수 민족이 입학을 거부당한 경우가 있는데, 이는 과거 입학 경향에 따라 "외국어로 들리는 이름"을 가진 여성과 남성의 입학을 거부하는 새로운 컴퓨터 안내 평가 시스템을 도입했기 때문이다. 당시 많은 학교가 선발 과정에서 유사한 편향을 사용했지만 세인트 조지 대학교는 알고리즘을 사용하여 이러한 편향을 자동화한 것으로 알려져 훨씬 더 많은 사람들의 관심을 끌었다.

최근에는 실제 데이터에 기계 학습 기법을 사용하는 알고리즘이 늘어나면서 데이터에 존재하는 편향성으로 인해 알고리즘 편향이 더 자주 발견될 수 있다.

### 현대의 비평과 대응

잘 설계된 알고리즘은 종종 인간의 결정과 동등하거나 그 이상의 공평한 결과를 결정하지만, 편향성인 사례는 여전히 발생하며 예측 및 분석이 어렵다. 알고리즘 편향성 분석의 복잡성은 프로그램과 그 설계의 복잡성과 함께 증가해 왔다. 한 명의 설계자 또는 설계자 팀이 내린 결정은 단일 프로그램을 위해 작성된 많은 코드 조각들로 가려질 수 있으며, 시간이 지남에 따라 이러한 결정과 프로그램 출력에 대한 총체적 영향은 잊혀질 수 있다.:115 이론적으로 이러한 편향은 코드가 사회의 다른 요소와 상호 작용할 때 특정 기술과 관련하여 새로운 행동 패턴, 즉 "대본"을 만들 수 있다. 편향은 알고리즘이 요구하는 데이터 포인트를 중심으로 사회가 어떻게 형성되는지에도 영향을 미칠 수 있다. 예를 들어, 데이터에 특정 지역에서 체포 건수가 많은 것으로 나타나면 알고리즘은 해당 지역에 더 많은 경찰 순찰을 배정하여 더 많은 체포로 이어질 수 있다.:180

알고리즘 프로그램의 결정은 알고리즘이 돕고자 하는 인간의 결정보다 더 권위 있는 것으로 간주될 수 있으며,:15 이 과정을 저자 클레이 셔키는 "알고리즘 권위"(algorithmic authority)라고 설명했다. 셔키는 이 용어를 사용하여 검색 결과와 같이 "다양하고 신뢰할 수 없는 출처에서 가치를 추출하는 관리되지 않는 프로세스를 권위있는 것으로 간주하는 결정"을 설명했다. 이러한 중립성은 결과가 대중에게 공개 될 때 전문가와 언론이 사용하는 언어로 인해 잘못 표현될 수도 있다. 예를 들어, "경향" 또는 "인기"로 표시되는 뉴스 항목 목록은 단순한 인기도보다 훨씬 더 광범위한 기준에 따라 작성될 수 있다.:14

알고리즘은 그 편리함과 권위 때문에 인간으로부터 책임을 위임하는 수단으로 이론화된다.:16:6 이는 대안, 타협 또는 유연성을 감소시키는 효과를 가져올 수 있다.:16 사회학자 스콧 래시는 알고리즘이 실제 목적을 달성하기 위한 가상의 수단이라는 점에서 알고리즘을 새로운 형태의 '생성적 권력'이라고 비판했다. 이전에는 인간의 행동이 수집하고 연구할 데이터를 생성했다면, 강력한 알고리즘이 점점 더 인간의 행동을 형성하고 정의할 수 있게 되었다.:71

알고리즘이 사회에 미치는 영향에 대한 우려로 인해 구글과 마이크로소프트와 같은 조직에서 기계 학습의 공정성, 책임성, 투명성이라는 이름의 워킹 그룹을 공동으로 만들었다.:115 구글의 아이디어에는 알고리즘의 결과를 순찰하고 부정적인 결과를 초래할 수 있다고 판단되는 결과를 제어하거나 제한하기 위해 투표하는 커뮤니티 그룹이 포함되었다.:117 최근 몇 년 동안 알고리즘의 공정성, 책임성 및 투명성(Fairness, Accountability, and Transparency; FAT)에 대한 연구는 FAccT라는 연례 회의를 통해 자체 학제 간 연구 영역으로 부상했다. 비평가들은 많은 사람들이 연구중인 시스템을 구축하는 기업으로부터 자금을 지원받을 때 FAT 이니셔티브가 독립적인 감시자 역할을 효과적으로 수행 할 수 없다고 제안했다.

종류
--

### 기존 편향

알고리즘의 기존 편향은 근본적인 사회적 및 제도적 이데올로기의 결과이다. 이러한 아이디어는 개별 설계자나 프로그래머에게 개인적 편향에 영향을 미치거나 만들 수 있다. 이러한 편향은 명시적이고 의식적일 수도 있고, 암묵적이고 무의식적일 수도 있다.:334:294 잘못 선택된 입력 데이터 또는 단순히 편향된 출처의 데이터는 기계에 의해 생성된 결과에 영향을 미친다.:17 기존의 편향을 소프트웨어로 인코딩하면 사회적 및 제도적 편향을 보존할 수 있으며, 수정 없이 해당 알고리즘의 향후 모든 사용에 복제될 수 있다.:116:8

이러한 형태의 편향의 예로는 1981년 영국 국적법 이후 새로운 영국 시민에 대한 평가를 자동화하기 위해 설계된 영국 국적법 프로그램이 있다.:341 이 프로그램은 "남자는 자신의 합법적인 자녀에게만 아버지이고, 여자는 합법적이든 아니든 자신의 모든 자녀의 어머니"라는 법의 원칙을 정확하게 반영한다.:341:375 특정 논리를 알고리즘 프로세스로 옮기려는 시도에서 프로그램은 영국 국적법의 논리를 알고리즘에 새겨 넣었으며, 이 논리는 결국 법률이 폐지되더라도 영구적으로 남을 것이다.:342

"레이블 선택 편향"이라고 불리는 또 다른 편향의 원인은 특정 그룹에 대한 편견을 구축하는 알고리즘을 훈련하는 데 대리 척도를 사용할 때 발생한다. 예를 들어, 널리 사용되는 알고리즘은 의료 수요에 대한 대용으로 의료 비용을 예측하고, 이 예측을 사용하여 복잡한 의료 소유가 있는 환자를 돕기 위한 자원을 할당했다. 이로 인해 흑인 환자는 백인 환자만큼 건강하지 않더라도 더 적은 의료 비용을 사용하기 때문에 편향이 발생했다. "레이블 선택 편향"에 대한 해결책은 (알고리즘이 예측하는) 실제 목표를 (연구자들이 예즉하기를 원하는) 이상적인 목표에 더 가깝게 일치시키는 것을 목표로 기 때문에, 이전 예에서 연구자는 의료 비용을 예측하는 대신에 훨씬 더 중요한 의료 요구라는 변수에 초점을 맞출 것이다. 목표를 조정한 결과 프로그램이 선정한 흑인 환자 수가 거의 두 배로 증가했다.

### 기계 학습 편향

기계 학습 편향이란 기계 학습 알고리즘의 결과물에 체계적이고 불공정한 불균형이 발생하는 것을 말한다. 이러한 편향은 다양한 방식으로 나타날 수 있으며 알고리즘을 학습시키는 데 사용되는 데이터를 반영하는 경우가 많다. 다음은 몇 가지 주요 측면이다:

#### 언어 편향

언어 편향은 질의 언어와 관련된 통계적 샘플링 편향의 한 유형으로, "샘플링 정보의 체계적인 편차로 인해 저장소에서 사용 가능한 주제와 견해의 실제 범위를 정확하게 나타내지 못하게 하는 것"을 말한다. Luo 등의 연구에 따르면 현재의 대규모 언어 모델은 주로 영어 데이터에 대해 학습되기 때문에 종종 영미권의 관점을 진실로 제시하면서 비영어권의 관점은 관련성이 없거나 잘못되거나 잡음으로 체계적으로 경시하는 것으로 나타났다. "자유주의란 무엇인가요?"와 같은 정치 이데올로기로 질문했을 때, 영어 중심의 데이터로 학습된 ChatGPT는 영미권의 관점에서 자유주의를 설명하며 인권과 평등의 측면을 강조하는 반면, 베트남의 지배적인 관점에서 "개인 및 경제 생활에 대한 국가 개입 반대"와 중국의 지배적인 관점에서 "정부 권력의 제한"과 같은 똑같이 타당한 측면은 빠져 있다.

#### 성별 편향

성별 편향은 이러한 모형이 특정 성별에 대해 부당하게 편견이 있는 결과를 산출하는 경향을 말한다. 이러한 편향은 일반적으로 이러한 모델이 학습된 데이터에서 발생한다. 예를 들어, 대규모 언어 모델은 종종 전통적인 성별 규범에 따라 역할과 특성을 할당하기 때문에 간호사나 비서는 주로 여성, 엔지니어나 CEO는 남성과 연관시킬 수 있다.

#### 고정관념 편향

이러한 모형은 성별과 인종 외에도 연령, 국적, 종교, 직업 등 다양한 고정관념을 강화할 수 있다. 이로 인해 특정 집단을 부당하게 일반화하거나 때로는 해롭거나 경멸적인 방식으로 풍자하는 결과물이 나올 수 있다.

#### 정치적 편향

정치적 편향이란 알고리즘이 특정 정치적 관점, 이념 또는 결과를 다른 것보다 체계적으로 선호하는 경향을 말한다. 언어 모델도 정치적 편향을 보일 수 있다. 학습 데이터에는 다양한 정치적 의견과 범위가 포함되어 있기 때문에 데이터에서 이러한 견해가 얼마나 널리 퍼져 있는지에 따라 모델이 특정 정치적 이념이나 관점에 치우친 응답을 생성할 수 있다.

### 기술적 제약

감시 카메라에 사용되는 얼굴 인식 소프트웨어는 백인보다 아시아인과 흑인을 인식하는 데 편향을 보이는 것으로 밝혀졌다.:191
기술적 편향은 프로그램, 계산 능력, 설계 또는 그 밖의 시스템의 제약으로 인해 발생한다.:332 이러한 편향은 설계 상의 제약일 수도 있다. 예를 들어 한 화면에 3개의 결과를 표시하는 검색 엔진은 항공사 가격 표시에서 상위 3개의 결과를 다음 3개보다 약간 더 우선시하는 것으로 이해될 수 있다.:336 또 다른 사례는 결과의 공정한 분배를 위해 무작위성에 의존하는 소프트웨어이이다. 난수 생성 방식이 살제로 무작위가 아닌 경우, 예를 들어 목록의 끝이나 시작 부분에 있는 항목으로 선택이 치우침으로써 편향을 유발할 수 있다.:332

탈맥락화 알고리즘은 관련 없는 정보를 사용하여 결과를 정렬한다. 예를 들어 알파벳 순서로 결과를 정렬하는 항공권 가격 알고리즘은 유나이티드 항공(United Airlines)보다 아메리칸 항공(American Airlines)에 유리하도록 편향될 수 있다.:332 반대의 경우로, 결과가 수집된 맥락과 다른 맥락에서 평가되는 경우에도 적용될 수 있다. 예를 들어, 감시 카메라에서 얼굴 인식 소프트웨어를 사용하지만 다른 국가나 지역의 원격 직원이 평가하거나 카메라 시야 밖에서 일어나는 일을 인식하지 못하는 비인간 알고리즘에 의해 평가되는 등 중요한 외부 맥락 없이 데이터가 수집될 수 있다. 이로 인해 범죄 현장에 대한 불완전한 이해를 만들 수 있다. 예를 들어 지나가는 행인을 범죄를 저지른 사람으로 오인할 가능성이 있다.:574

마지막으로, 기술적 편향은 인간의 행동이 동일한 방식으로 작동한다는 가정 하에 의사 결정을 구체적인 단계로 공식화하려고 시도함으로써 발생할 수 있다.:332 예를 들어, 소프트웨어는 배심원의 감정에 미치는 영향을 무시한 채, 피고가 형량 협상을 받아들여야 하는지 여부를 결정하기 위해 데이터 포인트에 가중치를 부여한다. 이러한 형태의 편향의 또 다른 의도하지 않은 결과는 학생이 작성한 텍스트를 온라인에서 찾은 정보와 비교하여 학생의 작품이 표절되었을 확률 점수를 반환하는 표절 탐지 소프트웨어 Turnitin에서 발견되었다. 이 소프트웨어는 긴 텍스트 문자열을 비교하기 때문에 원어민보다 영어가 모국어가 아닌 비원어민을 식별할 가능성이 더 높다. 원어민의 경우, 개별 단어를 변경하거나 표절된 텍스트 문자열을 분리하거나 동의어를 통해 복사된 구절을 모호하게 만들 수 있기 때문이다. 소프트웨어의 기술적 제약으로 인해 원어민은 탐지를 회피하기가 더 쉽기 때문에 Turnitin이 영어가 모국어가 이난 외국인의 표절을 식별하는 동시에 더 많은 원어민이 탐지를 회피하는 시나리오가 만들어진다.:21–22

### 창발적

창발 편향은 새롭거나 예상치 못한 상황에서 알고리즘을 사용하고 의존한 결과이다.:334 알고리즘이 신약이나 의학적 혁신, 새로운 법률, 비즈니스 모델 또는 변화하는 문화적 규범과 같은 새로운 형태의 지식을 고려하도록 조정되지 않았을 수 있다.:334,336 누가 그들의 배제에 대한 책임이 있는지 이해하기 위한 명확한 개요를 제공하지 않고 기술을 통해 특정 집단을 배제할 수 있다.:179:294 마찬가지로, 학습 데이터(특정 결론을 모델링하기 위해 기계에 "공급"되는 샘플)가 알고리즘이 실제 세계에서 직면하는 맥락과 일치하지 않을 때 문제가 발생할 수 있다.

1990년, 미국 의대생을 레지던트로 배치하는 데 사용되는 소프트웨어인 "국립 레지던트 매치 프로그램(National Residency Match Program; NRMP)에서 창발 편향의 예가 확인되었다.:338 이 알고리즘은 부부가 함께 레지던트를 구하는 경우가 거의 없던 시절에 설계되었다. 더 많은 여성이 의과 대학에 입학함에 따라 더 많은 학생들이 그들의 파트너와 함께 레지던트를 신청할 가능성이 높았다. 절차에 따라 각 지원자는 미국 전역의 선호 배치 목록을 제공하도록 요구했으며, 병원과 지원자가 모두 배정에 동의하도록 분류 및 배정되었다. 둘 다 레지던트를 희망하는 부부의경우, 알고리즘은 높은 점수를 받은 파트너의 위치 선택에 가중치를 두었다. 그 결과 선호도가 높은 학교를 첫 번째 파트너에게, 선호도가 낮은 학교를 두 번째 파트너에게 배정되는 경우가 많았으며, 배치 선호도 타협을 위한 분류가 이루어지지 않았다.:338

그 외에도 창발 편향은 아래를 포함한다:

#### 상관관계

대규모 데이터 세트를 서로 비교할 때 예측할 수 없는 상관관계가 나타날 수 있다. 예를 들어, 웹 브라우징 패턴에 대해 수집된 데이터가 (예컨데 인종 또는 성적 취향 등의) 민감한 데이터를 나타내는 신호와 일치할 수 있다. 특정 행동이나 검색 패턴에 따라 선택하면 최종 효과는 직접적으로 인종 또는 성적 지향 데이터를 사용한 차별과 거의 동일할 것이다.:6 다른 경우에는 알고리즘이 상관관계를 이해하지 못한 채 상관관계를 통해 결론을 도출한다. 예를 들어, 한 분류 프로그램은 폐렴이 없는 천식 환자보다 폐렴이 있는 천식 환자에게 더 낮은 우선순위를 부여한다. 이 프로그램 알고리즘은 단순히 생존율을 비교했기 때문에 폐렴이 있는 천식 환자가 가장 위험하다고 판단했다. 역사적으로, 이와 같은 이유로 병원은 일반적으로 이러한 천식 환자에게 가장 즉각적인 최선의 치료를 제공한다.[모호한 표현]

#### 예상하지 못한 사용

예기치 못한 사용자가 알고리즘을 사용될 때 창발 편향이 발생할 수 있다. 예를 들어, 기계는 사용자가 숫자를 읽고, 쓰고, 이해할 수 있기를 요구하거나, 은유적인 인터페이스를 이해하지 못하는 것과 관련될 수 있다.:334 이러한 배제는 편향적이거나 배타적인 기술이 사회에 더욱 깊숙이 통합됨에 따라 더욱 심화될 수 있다.:179

배제와는 별개로, 예상치 못한 사용은 최종 사용자가 자신의 지식이 아닌 소프트웨어에 의존하여 예상치 못한 사용이 발생할 수 있다. 한 예로, 영국에서 컴퓨터 과학자와 이민 변호사가 영국 시민권에 대한 적합성을 평가하기 위해 개념 증명으로 영국 국적법 프로그램을 만들 때, 예상치 못한 사용자 그룹이 알고리즘 편향으로 이어진 사례가 있다. 소프트웨어와 이민법에 대한 이해도가 높지 않은 출입국 관리 사무소의 최종 사용자와는 달리, 설계자들은 이를 넘어서는 법률 전문 지식에 접근할 수 있었다. 질문을 관리하는 상담원들은 시민권을 취득할 수 있는 다른 경로를 배제한 채 전적으로 소프트웨어에만 의존했으며, 새로운 판례와 법률 해석으로 인해 알고리즘이 구식이 된 후에도 소프트웨어를 사용했다. 이민법에 대해 법적으로 잘 알고 있다고 가정한 사용자를 위해 알고리즘을 설계한 결과, 소프트웨어의 알고리즘은 간접적으로 영국 이민법의 보다 광범위한 기준이 아닌 알고리즘이 설정한 매우 좁은 법적 기준에 부합하는 신청자를 선호하는 편향된 결과로 이어졌다.:342

#### 피드백 루프

알고리즘을 위해 수집된 데이터가 실제 반응을 이끌어내고, 다시 알고리즘에 피드백되는 경우, 창발 편향은 피드백 루프 또는 재귀를 생성할 수 있다. 예를 들어, 미국 캘리포니아주 오클랜드에 배포된 예측 치안 소프트웨어(PredPol)의 시뮬레이션은 대중이 신고한 범죄 데이터를 기반으로 흑인 거주 지역에 경찰 배치를 증가시킬 것을 제안했다. 시뮬레이션은 대중이 경찰이 무엇을 하고 있는지에 상관없이 경찰차를 보고 범죄를 신고한 것으로 나타났다. 이 시뮬레이션은 범죄 예측을 모델링할 때 경찰차 목격을 해석했으며, 그 결과 해당 지역에 경찰이 더 많이 배치되는 것으로 나타났다. 시뮬레이션을 수행한 인권 데이터 분석 그룹은 인종 차별이 체포의 요인이 되는 지역에서 이러한 피드백 루프가 치안 유지에서 인종 차별을 강화하고 영속화할 수 있다고 경고했다. 이러한 행동을 보이는 알고리즘의 또 다른 잘 알려진 예로는 개인이 범죄자가 될 가능성을 판단하는 소프트웨어인 COMPAS가 있다. 이 소프트웨어는 흑인 개인을 다른 사람보다 범죄자로 분류할 가능성이 훨씬 높다는 비판을 받고 있으며, 개인이 범죄자로 등록될 경우 해당 데이터를 다시 피드백하여 알고리즘이 작동하는 데이터 세트에 의해 생성된 편견을 더욱 강화한다.

온라인 동영상이나 뉴스 기사를 추천하는 데 사용되는 것과 같은 추천 시스템은 피드백 루프를 생성할 수 있다. 사용자가 알고리즘이 추천하는 콘텐츠를 클릭하면 다음 추천 콘텐츠에 영향을 미친다. 시간이 지남에 따라 사용자가 필터 버블에 빠져 중요하거나 유용한 콘텐츠를 인식하지 못하게 될 수 있다.

영향
--

### 상업적 영향

알고리즘이 공정하다고 착각할 수 있는 사용자에 대해 알지 못하다면, 기업 알고리즘은 기업 간의 재무 약정이나 계약을 눈에 보이지 않게 선호하도록 왜곡될 수 있다. 예를 들어, 아메리칸 항공은 1980년대에 항공편 검색 알고리즘을 만들었다. 이 소프트웨어는 다양한 항공사의 다양한 항공편을 고객에게 제공했지만, 가격이나 편의성에 관계없이 자사 항공편의 선호도를 높이는 요소에 가중치를 두었다. 미국 의회 증언에서 아메리칸 항공의 사장은 우대 조치를 통해 경쟁 우위를 확보하려는 의도로 시스템이 만들어졌다고 솔직하게 밝혔다.:2:331

구글을 설명하는 1998년 논문에서 구글의 창립자들은 "광고의 지원을 받는 검색 엔진은 본질적으로 광고주에게 편향되고 소비자의 요구에서 벗어날 수 있다"고 주장하면서 유료 게제와 관련하여 검색 결과를 투명하게 공개하는 정책을 채택했다. 이러한 편향은 사용자에 대한 "보이지 않는" 조작이 될 것이다.:3

### 투표 행동

미국과 인도의 부동층 유권자에 대한 일련의 연구에 따르면 검색 엔진 결과가 투표 결과를 약 20%까지 변화시킬 수 있는 것으로 나타났다. 연구자들은 의도가 있든 없든 알고리즘이 상대 후보의 검색 결과 순위를 높이면 다른 후보자들은 "경쟁할 수단이 없다"고 결론지었다. 투표와 관련된 메시지를 본 페이스북 사용자는 투표할 가능성이 더 높았다. 2010 년 페이스북 사용자를 대상으로 한 무작위 시험에 따르면 투표를 장려하는 메시지와 투표한 친구의 이미지를 본 사용자들 사이에서 투표율이 20% 증가(34 만 표)한 것으로 나타났다. 법학자 조너선 지트레인은 의도적으로 조작된 경우, 선거에서 "중개자가 사용자에게 서비스를 제공하는 것이 아니라, 의제를 충족시키기 위해 선택적으로 정보를 제시하는" "디지털 게리맨더링" 효과가 발샐할 수 있다고 경고했다.:335

### 성차별

2016년, 전문 네트워킹 사이트 링크드인은 검색어에 대한 응답으로 여성 이름의 남성 변형 이름을 추천하는 것이 발견되었다. 이 사이트는 남성 이름을 검색할 때는 이와 유사한 추천을 하지 않았다. 예를 들어, "Andrea"(안드레아)를 검색하면 사용자가 "Andrew"(앤드류)를 의미하는지 묻는 메시지가 표시되었지만, "Andreww"를 검색하면 사용자가 "Andrea"를 찾는 것인지 묻지 않았다. 링크드인은 이것이 사용자들이 사이트와 상호 작용을 분석한 결과라고 말했다.

2012년에는 백화점 프랜차이즈 타깃이 여성 고객이 임신 사실을 알리지 않았더라도 임신 여부를 유추할 수 있는 데이터 포인트를 수집한 후 해당 정보를 마케팅 파트너와 공유한 사실이 알려졌다.:94 데이터가 직접 관찰되거나 보고된 것이 아니라 예측된 것이기 때문에 회사는 해당 고객의 개인정보를 보호할 법적 의무가 없었다.:98

웹 검색 알고리즘도 편향적이라는 비난을 받고 있다. 구글의 검색 결과는 "레즈비언"과 같은 성 관련 검색어에서 음란물 콘텐츠에 우선순위를 둘 수 있다. 이러한 편향성은 검색 엔진이 중립적인 검색에서 인기 있지만 성적인 콘텐츠를 표시하는 데까지 확장된다. 예를 들어, "여자 운동 선수"를 검색하면 "가장 섹시한 25명의 여자 운동 선수" 기사가 첫 페이지 결과로 표시된다.:31 2017년 구글은 혐오 단체, 인종 차별적 견해, 아동 학대 및 음란물, 기타 불쾌하고 모욕적인 콘텐츠를 노출하는 경우에 검색 결과를 조정했다. 다른 예로는 구직 웹사이트에서 남성 지원자에게 더 높은 임금을 주는 일자리를 보여주는 것이 있다. 연구자들은 또한 기계 번역이 남성 편향적인 경향을 보인다는 사실을 확인했다. 특히 STEM 직종을 포함하여 불균형한 성별 분포와 관련된 분야에서 이러한 현상이 관찰된다. 실제로 현재 기계 번역 시스템은 여성 근로자의 실제 분포를 재현하지 못한다.

2015년에 아마존닷컴은 여성에게 불리하게 편향되어 있다는 사실을 알고, 입사 지원서를 선별하기 위해 개발한 인공지능 시스템을 중단했다. 이 채용 도구는 모든 여자 대학을 다닌 지원자와 '여성'이라는 단어가 포함된 이력서를 제외했다. 음악 스트리밍 서비스에서도 비슷한 문제가 나타났는데, 2019년 스포티파이에서 사용하는 추천 시스템 알고리즘이 여성 아티스트에 대한 편향이 있는 것으로 밝혀졌다. 스포티파이의 노래 추천에서 여성 아티스트보다 남성 아티스트를 더 많이 추천했다.

### 인종 및 민족 차별

알고리즘은 의사 결정에서 인종적 편견을 모호하게 하는 방법이라는 비판을 받아왔다.:158 과거에 특정 인종과 민족이 취급받아온 방식 때문에 데이터에는 종종 숨겨진 편견이 포함될 수 있다. 예를 들어, 흑인은 같은 범죄를 저지른 백인보다 더 긴 형량을 받을 가능성이 높다. 이는 잠재적으로 시스템이 데이터의 원래 편견을 증폭시킨다는 것을 의미할 수 있다.

2015년, 구글은 흑인 사용자가 사진 애플리케이션의 이미지 식별 알고리즘이 자신을 고릴라로 식별했다고 불평하자 사과했다. 2010년, 니콘 카메라는 이미지 인식 알고리즘이 아시아 사용자에게 계속해서 눈을 깜박이는지를 물어 비판을 받았다. 이러한 사례는 생체 인식 데이터 세트의 편향의 산물이다. 생체 인식 데이터는 관찰되거나 추론된 인종적 특징을 포함하여 신체 측면에서 추출되며, 다음 데이터 요소로 전송될 수 있다.:154 음성 인식 기술은 사용자의 억양에 따라 정확도가 다를 수 있다. 이는 해당 억양을 사용하는 화자에 대한 학습 데이터가 부족하기 때문일 수 있다.

인종에 대한 생체 인식 데이터도 관찰되지 않고 추론될 수도 있다. 예를 들어, 2012년 연구에 따르면, 일반적으로 흑인과 연관된 이름은 해당 개인의 이름에 대한 경찰 기록이 있는지 여부와 관계없이 체포 기록을 암시하는 검색 결과가 나올 가능성이 더 높았다. 또한 2015년 연구에 따르면, 인종 및 직업 노출 데이터가 예측 알고리즘의 폐 기능 모형에 통합되지 않아 흑인과 아시아인의 폐 기능이 더 떨어진다고 추정한다는 사실을 발견했다.

2019년 연구에 따르면, 옵텀(Optum)에서 판매하는 의료 알고리즘이 아픈 흑인 환자보다 백인 환자를 선호한다는 사실이 밝혀졌다. 이 알고리즘은 환자가 향후 의료 시스템에 얼마나 많은 비용을 지불할 것인지를 예측한다. 그러나 흑인 환자는 같은 수의 만성 질환을 앓고 있는 백인 환자보다 연간 약 1,800달러의 의료비를 덜 부담했기 때문에, 알고리즘은 백인 환자를 훨씬 더 많은 질병을 앓고 있는 흑인 환자와 향후 비슷한 건강 문제의 위험이 있는 것으로 점수를 매겼다.

2019년 11월 UC 버클리의 연구진이 실시한 연구에 따르면 모기지 알고리즘이 라틴계와 아프리카계 미국인을 차별하는 것으로 나타났는데, 이는 대출 기관이 개인이 대출을 받을 자격이 있는지 판단하기 위해 신원 확인 수단을 사용할 수 있도록 하는 미국 공정 대출법에 근거한 '신용도'에 따라 소수 민족을 차별한 것이다. 이러한 특정 알고리즘은 핀테크 회사에 존재하며 소수 민족을 차별하는 것으로 나타났다.

#### 법 집행 및 법적 절차

알고리즘은 이미 법률 시스템에서 다양하게 활용되고 있다. 그 예로 미국 법원에서 피고인의 재범 가능성을 평가하는 데 널리 사용되는 상용 프로그램인 COMPAS를 들 수 있다. 프로퍼블리카는 흑인 피고인의 평균 COMPA 배정 재범 위험도가 백인 피고인보다 훨씬 높으며, 흑인 피고인이 백인 피고인에 비해 '고위험'이라는 꼬리표를 잘못 할당받을 가능성이 두 배나 높다고 주장했다.

한 가지 예가 미국의 형사 판결 및 가석방 심의 위원회에서 위험 평가를 사용하는 것이다. 판사는 수감자가 범죄를 반복할 위험을 반영하기 위해 알고리즘으로 생성된 점수를 제시받는다. 1920년부터 1970년까지 범죄자 아버지의 국적은 위험 평가 점수의 고려 대상이었다..:4 오늘날 이 점수는 애리조나, 콜로라도, 델라웨어, 켄터키주, 루이지애나, 오클라호마, 버지니아, 워싱턴, 위스콘신의 판사들에게 공유된다. 프로퍼블리카의 독립적인 조사에 따르면 이 점수는 80%가 부정확하며, 흑인이 백인보다 77% 더 자주 재발할 위험이 있다고 불균형적으로 왜곡되어 있는 것으로 나타났다.

"위험, 인종 및 재범 : 예측 편향 및 이질적인 영향"을 사하기 위해 시작된 한 연구에 따르면 2년의 관찰 기간 동안 객관적으로 문서화된 재범 기록이 없음에도 불구하고 흑인 피고인이 백인 피고인보다 더 높은 위험성을 지닌 것으로 잘못 분류될 가능성이 2배(45% 대 23%) 더 높다고 주장한다.

재판 전 구금 상황에서, 한 법률 리뷰 기사는 알고리즘 위험 평가가 안면 차별적이고, 불균등한 대우를 초래하며, 좁게 조정되지 않았다고 주장하며, 이 때문에 인종에 근거한 미국 수정 헌법 제14조 평등보호조항을 위반한다고 주장했다.

#### 온라인 혐오 발언

2017년 페이스북 내부 문서에 따르면 온라인 혐오 발언을 제거하기 위해 설계된 페이스북 알고리즘이 불쾌한 콘텐츠를 평가할 때 흑인 어린이보다 백인 남성에게 유리하게 작용하는 것으로 나타났다. 컴퓨터 프로그램과 인간 콘텐츠 검토자의 조합으로 이루어진 이 알고리즘은 특정 하위 범주가 아닌 광범위한 범주를 보호하기 위해 만들어졌다. 예를 들어, "무슬림"을 비난하는 게시물은 차단되는 반면, "급진 무슬림"을 비난하는 게시물은 허용된다. 알고리즘의 예상치 못한 결과는 흑인 어린이에 대한 혐오 발언을 허용하는 것인데, 이는 "모든 흑인"이 아닌 흑인 "어린이" 하위 집합을 비난하기 때문이며, "모든 백인 남성"은 백인과 남성의 하위 집합으로 간주되지 않기 때문에 차단을 유발한다. 페이스북은 또한 광고 구매자가 "유대인 혐오자"를 사용자 범주로 지정할 수 있는 것으로 밝혀졌는데, 회사는 데이터 평가 및 분류에 사용되는 알고리즘의 의도하지 않은 결과라고 말했다. 또한 광고 구매자가 아프리카계 미국인이 주택 광고를 보는 것을 막을 수 있도록 설계되다.

혐오 발언을 추적하고 차단하는 데 알고리즘이 사용되지만, 일부 알고리즘은 흑인 사용자가 게시한 정보를 혐오 발언으로 표시할 가능성이 1.5배 높고, 아프리카계 미국인 영어로 작성된 경우 2.2배 더 높은 것으로 나타났다. 비방과 욕설에 대한 맥락이 없이, 심지어 그것을 해당 공동체에 다시 올렸을 때에도 표시가 붙었다.

#### 감시

감시 카메라 소프트웨어는 정상적인 행동과 비정상적인 행동을 구분하고 특정 시간에 특정 위치에 누가 속해 있는지 판단하는 알고리즘이 필요하기 때문에 본질적으로 정치적인 것으로 간주될 수 있다. 이러한 알고리즘이 인종적 스펙트럼에 걸쳐 얼굴을 인식하는 능력은 훈련 데이터베이스에 있는 이미지의 인종적 다양성에 의해 제한되는 것으로 나타났다. 대부분의 사진이 한 인종 또는 한 성별에 속한다면, 소프트웨어는 해당 인종 또는 성별의 다른 구성원을 더 잘 인식하는 것으로 나타났다. 그러나 이러한 이미지 인식 시스템에 대한 감사조차도 윤리적 위험성이 있으며 일부 학자들은 이 기술의 맥락이 항상 과도한 감시를 받는 커뮤니티에 불균형적인 영향을 미칠 것이라고 제안했다. 예를 들어, 2002년에 CCTV 이미지에서 개인을 식별하는 데 사용되는 소프트웨어를 분석한 결과, 범죄 데이터베이스에 대해 실행했을 때 편향성의 몇 가지 예가 발견되었다. 이 소프트웨어는 여성보다 남성을, 젊은이보다 노인을 더 자주 식별하고, 백인보다 아시아인, 아프리카계 미국인 및 기타 인종을 더 자주 식별하는 것으로 평가되었다.:190 2018년의 연구에 따르면, 얼굴 인식 소프트웨어는 밝은 피부(일반적으로 유럽인)의 남성을 가장 정확하게 식별하는 것으로 나타났으며, 밝은 피부의 여성은 정확도가 약간 낮았다. 피부색이 어두운 남성과 여성은 얼굴 인식 소프트웨어가 정확하게 식별할 확률이 현저히 낮았다. 이러한 차이는 이 소프트웨어를 개발하는 데 사용된 데이터 세트에서 피부색이 어두운 참가자가 과소 대표되었기 때문이다.

### 성소수자 공동체에 대한 차별

2011년 게이 연결 애플리케이션인 Grindr 사용자들은 안드로이드 스토어의 추천 알고리즘이 Grindr를 성범죄자를 찾기 위해 설계된 애플리케이션과 연결하고 있다고 보고했으며, 비평가들은 동성애와 소아 성애를 부정확하게 연관시켰다고 말했다. 작가 마이크 아나니는 디 애틀랜틱애서 이러한 연관성이 동성애자들을 더욱 낙인찍는다고 주장하면서 이러한 연관성을 비판했다. 2009년 온라인 소매 업체 아마존은 알고리즘 변경으로 "성인용 콘텐츠" 블랙리스트에 성 또는 동성애 주제를 다루는 모든 책을 포함하도록 확장하여 57,000 권의 책 목록을 삭제했는데, 이 중에는 비평가들의 찬사를 받은 소설 "브로크백 마운틴" 같은 작품이 포함되었다.:5

2019년 페이스북에서 "내 여자 친구 사진"을 검색하면 "비키니 차림" 또는 "해변에서"와 같은 제안이 표시되는 것으로 나타났다. 반대로 "내 남자 친구의 사진"을 검색하면 결과가 나오지 않았다.

얼굴 인식 기술은 트랜스젠더 개인에게 문제를 일으키는 것으로 나타났다. 2018년에 우버가 내장 보안 조치로 구현한 얼굴 인식 소프트웨어로 인해 트랜스젠더 또는 성전환 중인 우버 운전자들이 어려움을 겪고 있다는 보고가 있었다. 이로 인해 트랜스젠더 우버 드라이버의 일부 계정이 정지되어 요금이 발생하고 일자리를 잃을 가능성도 있었는데, 이는 모두 얼굴 인식 소프트웨어가 트랜스젠더 드라이버의 얼굴을 인식하는 데 어려움을 겪었기 때문이다. 이 문제에 대한 해결책은 기계 학습 모델의 훈련 세트에 트랜스젠더를 포함하는 것으로 보이지만, 훈련 데이터에 사용하기 위해 수집된 트랜스젠더 유튜브 동영상의 경우 동영상에 포함된 트랜스젠더의 동의를 받지 않아 개인정보 침해 문제가 제기된 사례도 있었다.

  

또한 2017년 스탠퍼드 대학교에서는 얼굴 이미지를 기반으로 개인의 성적 지향을 감지할 수 있다고 알려진 기계 학습 시스템의 알고리즘을 테스트한 연구가 진행되었다. 이 연구의 모델은 게이와 이성애자 남성을 81%, 게이와 이성애자 여성을 74% 정확하게 구분해냈다. 이 연구는 성소수자 공동체의 반발을 불러일으켰는데, 성소수자 공동체는 이 인공지능 시스템이 개인을 자신의 의지에 반하여 "아웃팅"될 위험에 처하게 함으로써 성소수자 개인에게 미칠 수 있는 부정적인 영향에 대해 우려했다.

### 장애 차별

알고리즘 공정성의 양상은 성별, 인종, 사회경제적 지위 등 다양한 편견의 측면을 기준으로 판단되지만, 장애는 종종 목록에서 제외된다. 현재 사회에서 장애인들이 직면하는 소외는 AI 시스템과 알고리즘으로 옮겨져 더 많은 배제를 야기하고 있다.

장애의 변화하는 성격과 주관적인 특성으로 인해 계산을 통해 해결하는 것을 더 어렵게 한다. 장애를 정의하고, 설문조사를 통해 장애의 발생률과 유병률을 수집하고, 인식을 확립하는 데 있어 역사적 깊이가 부족하기 때문에 정량화 및 계산에서의 논란과 모호성이 더해진다. 장애의 정의는 의학적 모델에서 사회적 모델로 전환하는 것으로 오랫동안 논의되어 왔는데, 이는 장애가 장애와 건강 상태보다는 사람들의 상호 작용과 환경의 장벽 사이의 불일치로 인한 결과라는 것을 입증한다. 장애는 또한 상황적 또는 일시적일 수 있으며, 지속적인 유동 상태로 간주된다. 장애는 놀랍도록 다양하며, 넓은 스펙트럼에 속하며, 각 개인에게 고유할 수 있다. 사람들의 정체성은 그들이 경험하는 특정 유형의 장애, 보조 기술의 사용 방법, 그리고 그들이 지원하는 사람에 따라 달라질 수 있다. 사람들의 경험 전반에 걸친 높은 수준의 다양성은 장애가 어떻게 나타날 수 있는지를 크게 개인화한다. 중복되는 정체성과 교차 경험은 통계와 데이터 세트에서 제외되므로, 훈련 데이터에서 과소 대표되고 존재하지 않는다. 따라서 기계 학습 모델은 불평등하게 훈련되고 인공지능 시스템은 더 많은 알고리즘 편견을 지속시킨다. 예를 들어, 음성 제어 기능 및 스마트 AI 비서 훈련에 언어 장애가 있는 사람이 포함되지 않으면 해당 기능을 사용할 수 없거나 적절한 응답을 받을 수 없게 된다.

장애를 둘러싼 고정 관념과 낙인이 여전히 존재한다는 점을 고려할 때, 이러한 식별 특성을 드러내는 민감한 특성은 방대한 사생활 침해 문제를 수반한다. 장애 정보를 공개하는 것이 금기시되고 장애인에 대한 차별을 조장할 수 있기 때문에, 알고리즘 시스템이 상호 작용할 수 있는 명시적인 장애 데이터가 부족하다. 장애인은 장애 상태를 공개할 경우 사회적 지원, 의료보험 비용, 직장 내 차별 및 기타 기본적인 필수품과 관련하여 추가적인 피해와 위험에 직면하게 된다. 알고리즘은 사회 시스템과 구조에 이미 존재하는 편견을 재현함으로써 이러한 격차를 더욱 악화시키고 있다.

### 구글 검색

사용자가 최종 결과를 자동으로 생성하는 동안, 구글은 성차별적, 인종차별적 자동완성 텍스트를 삭제하지 않았다. 예를 들어, 책 《구글은 어떻게 여성을 차별하는가》에서 사피야 노블은 "흑인 소녀"를 검색하면 포르노 이미지를 표시되는 사례를 예로 들었다. 구글은 불법으로 간주되지 않는 한 해당 페이지를 삭제할 수 없다고 주장했다.

연구의 장애물
-------

몇몇 문제가 대규모 알고리즘 편향 연구를 방해하여 학문적으로 엄격한 연구의 적용과 대중의 이해를 지연시킨다.:5

### 공정성의 정의

알고리즘 편향에 관한 문헌은 공정성의 개선에 초점을 맞춰 왔지만, 공정성의 정의는 종종 서로 호환되지 않으며 기계 학습 최적화의 현실과 호환되지 않는다. 예를 들어, 공정성을 "결과의 평등"으로 정의한다면 단순히 모든 사람에게 동일한 결과를 산출하는 시스템을 의미하겠지만, "대우의 평등"으로 정의한다면 개인 간의 차이를 명시적으로 고려할 수 있을 것이다.:2 결과적으로 공정성은 때때로 모델의 정확성과 상충되는 것으로 묘사되며, 이는 사회 복지의 우선 순위와 이러한 시스템을 설계하는 공급업체의 우선 순위 사이에 태생적인 긴장이 있음을 시사한다.:2 이러한 긴장에 대응하여 연구자들은 특정 응용과 상황에 맞춰 정의된 "공정성"과 함께 잠재적으로 편향된 알고리즘을 사용하는 시스템의 설계 및 사용에 더 많은 주의를 기울일 것을 제안했다.

### 복잡성

알고리즘 프로세스는 이를 사용하는 사람들의 이해를 넘어서는 복잡계이다.:2:7 대규모 연산은 이를 만든 사람조차도 이해하지 못할 수 있다. 현대 프로그램의 방법과 프로세스는 코드의 입력 또는 출력의 모든 순열을 알 수 없기 때문에 모호한 경우가 많다.:183 사회과학자 브뤼노 라투르는 이 과정을 "과학적이고 기술적인 작업이 그 자체의 성공으로 인해 보이지 않게되는 과정"인 블랙박스화라고 했다. "기계가 효율적으로 작동할 때, 사실 문제가 해결되면 내부 복잡성이 아닌 입력과 출력에만 집중하면 된다. 따라서 역설적으로 과학기술이 성공할수록 더 불투명하고 모호해진다." 다른 사람들은 블랙박스 비유를 비판하며 현재의 알고리즘은 하나의 블랙박스가 아니라 서로 연결된 알고리즘의 네트워크에 불과하다고 말한다.:92

이러한 복잡성의 예는 피드백 사용자 정의에 대한 입력 범위에서 찾을 수 있다. 소셜 미디어 사이트 페이스북은 2013년에 사용자의 소셜 미디어 제공 배치 순서를 결정하기 위해 최소 10만 개의 데이터 포인트를 고려했다. 또한 대규모 프로그래머 팀은 서로 상대적으로 고립되어 운영될 수 있으며, 연결된 정교한 알고리즘 내에서 작은 결정의 누적 효과를 인식하지 못할 수 있다.:118 모든 코드가 독창적인 것은 아니며 다른 라이브러리를 사용할 수 있으므로 데이터 처리와 데이터 입력 시스템 사이에 복잡한 관계의 집합이 만들어진다.:22

클릭 수, 사이트 체류 시간 및 기타 지표와 같은 사용자 상호 작용을 기반으로 한 기계 학습 및 알고리즘의 개인화를 통해 추가적인 복잡성이 발생한다.:367:7 이러한 개인적인 조정은 알고리즘을 이해하려는 일반적인 시도를 혼란스럽게 할 수 있다. 한 정체를 밝히지 않은 스트리밍 라디오 서비스는 사용자의 행동에 따라 5가지 고유의 음악 선택 알고리즘을 사용한다고 보고했다. 이로 인해 사용자마다 동일한 스트리밍 서비스에 대한 서로 다른 경험을 만들어내며, 이러한 알고리즘의 기능을 이해하기 어렵게 만든다.:5 기업들은 또한 사용자 반응에 따라 알고리즘을 미세 조정하기 위해 빈번한 A/B 테스트를 실행한다. 예를 들어, 검색 엔진 빙은 하루에 최대 천만 개의 미묘한 서비스 변형을 실행하여 각 사용 또는 사용자 간에 서로 다른 서비스 경험을 만들 수 있다.:5

### 투명성 부족

상업적 알고리즘은 독점적이며 영업 비밀로 취급될 수 있다.:2:7:183 알고리즘을 영업 비밀로 취급하는 것은 투명한 알고리즘을 통해 검색 순위를 조작하는 전술이 가능해지는 검색 엔진 같은 기업을 보호할 수 있다.:366 이로 인해 연구자들이 알고리즘이 어떻게 작동하는지 알아보기 위해 인터뷰나 분석을 수행하기 어렵게 만든다.:20 비평가들은 이러한 비밀이 알고리즘 결과물을 생성하거나 처리하는 데 사용되는 비윤리적인 방법을 모호하게 만들 수 있다고 제안한다.:369 변호사이자 활동가인 Katarzyna Szymielewicz와 같은 다른 비평가들은 투명성 부족이 종종 알고리즘 복잡성의 결과로 위장되어 기업이 자체 알고리즘 프로세스를 공개하거나 조사하지 못하도록 보호한다고 주장했다.

### 민감한 범주에 대한 데이터 부족

실제로 편견 문제를 이해하는 데 있어 중요한 장벽은 차별 금지법에 의해 보호되는 개인의 인구 통계와 같은 범주가 데이터를 수집하고 처리할 때 명시적으로 고려되지 않는 경우가 많다는 점이다. 장치 지문 인식, 유비쿼터스 컴퓨팅 및 사물 인터넷과 같이 이러한 데이터를 명시적으로 수집할 기회가 거의 없는 경우도 있다. 다른 경우에는 데이터를 제어하는 쪽에서 평판 상의 이유, 또는 책임 및 보안 위험의 증가 때문에 이러한 데이터 수집을 원하지 않을 수 있다. 또한 적어도 유럽 연합의 일반 데이터 보호 규정과 관련하여 이러한 데이터가 '특별 범주' 조항(제9조)에 해당하여 잠재적인 수집 및 처리에 더 많은 제한이 따를 수도 있다.

일부 실무자들은 편향성을 완화하기 위해 이러한 누락된 민감한 분류를 추정하고 대입하려고 시도해왔다. 예를 들자면 이름에서 민족을 추론하는 시스템을 구축하는 것이다. 그러나 이는 신중하게 수행하지 않으면 다른 형태의 편향성을 유발할 수 있다. 기계 학습 연구자들은 안전한 다자간 계산과 같은 암호화 개인 정보 보호 강화 기술을 활용하여 모델러가 이러한 데이터를 명확한 텍스트로 사용할 수 없이 알고리즘 편향을 평가하거나 완화할 수 있는 방법을 제안했다.

알고리즘 편향은 보호되는 범주 뿐만 아니라 정치적 견해와 같이 쉽게 관찰하거나 코드화할 수 없는 특성에도 영향을 줄 수 있다. 이러한 경우 쉽게 접근 가능하거나 논란의 여지가 없는 근거 진실이 거의 없으며 그러한 시스템에서 편향을 제거하는 것은 더 어렵다. 또한, 보호 범주에 대한 이해 부족으로 인해 우연에 의해 소수 민족의 주거 집단과 겹칠 수있는 자동차 사고의 과거 데이터를 기반으로 한 보험 요율과 같이 잘못된 및 우연한 상관 관계가 나타날 수 있다.

해결 방법
-----

윤리적 AI에 관한 84개의 정책 가이드라인에 대한 연구에 따르면, 공정성과 '원치 않는 편견의 완화'가 공통적인 관심사였고, 기술적 솔루션, 투명성 및 모니터링, 구제 권리 및 감독 강화, 다양성 및 포용성 노력의 조합을 통해 해결된다는 사실을 발견했다.

### 기술적 해법

알고리즘 내에서 편향을 감지하고 관찰할 수 있는 방법과 도구를 만들려는 시도가 몇 가지 시도가 있었다. 이러한 새로운 분야는 일반적으로 알고리즘의 내부 프로세스가 아닌 프로그램에서 사용하는 학습 데이터에 일반적으로 적용되는 도구에 중점을 둔다. 이러한 방법은 프로그램의 출력과 유용성을 분석할 수도 있으므로 혼동 행렬 분석을 포함할 수 있다. 알고리즘의 편향성을 감지하고 위한 설명 가능한 AI 알고리즘 또는 학습 모델에서 편향성의 존재를 감지하는 방법으로 제안되었다. 기계 학습을 사용하여 편향을 감지하는 것을 "AI 감사 수행"이라고 하는데, 여기서 "감사자"는 편향을 식별하기 위해 AI 모델과 학습 데이터를 통과하는 알고리즘이다. 분류기와 같은 AI 도구에 편향이 없는지 확인하는 것은 일반적으로 다른 신호에 내포되어 있기 때문에 입력 신호에서 민감한 정보를 제거하는 것보다 더 어렵다. 예를 들어, 지원자의 취미, 스포츠, 재학 중인 학교는 분석에서 제거하더라도 소프트웨어에 성별을 드러낼 수 있다. 이 문제에 대한 해결책은 딥러닝 네트워크가 동시에 작업을 학습하도록 훈련된 대상에 대한 보호 대상 및 민감한 정보를 재구성하는 데 사용될 수 있는 정보를 지능형 에이전트가 갖지 않도록 하는 동시에 보호 대상에 대해 완전히 무관심하도록 하는 것이다. 단어 임베딩의 맥락에서 더 간단한 방법이 제안되었는데, 보호된 특성과 상관 관계가 있는 정보를 제거하는 것이다.

현재 알고리즘 제작자가 편향성 문제를 제거하고 알고리즘의 기능과 가능한 효과에 대해 (당국 또는 최종 사용자에게) 투명성을 명확히 설명하는 데 도움이 되는 방법론을 지정하는 것을 목표로 하는 새로운 IEEE 표준 초안이 작성되고 있다. 이 프로젝트는 2017년 2월에 승인되었으며 IEEE 컴퓨터 학회에서 공인한 위원회인 소프트웨어 및 시스템 엔지니어링 표준 위원회에서 후원하고 있다. 표준 초안은 2019년 6월에 투표를 위해 제출될 것으로 예상된다.

### 투명성 및 모니터링

 알고리즘 투명성 문서를 참고하십시오.
AI에 대한 윤리 지침은 책임의 필요성을 지적하며, 결과의 해석 가능성을 개선하기 위한 조치를 취할 것을 권고한다. 이러한 해결책에는 기계 학습 알고리즘에서 "이해할 권리"를 고려하고 결정이 설명되거나 검토될 수 없는 상황에서 기계 학습 배포를 거부하는 것을 포함한다. 이를 위해 편향성 문제를 해결하는 것 이상의 이유로 "설명 가능한 AI"를 위한 움직임이 이미 DARPA와 같은 조직 내에서 진행되고 있다. 예를 들어, 프라이스워터하우스쿠퍼스(PwC)는 결과 결과를 모니터링하는 것이 시스템의 단독 구성 요소가 결과를 왜곡할 경우 격리 및 종료할 수 있도록 시스템을 설계하는 것을 의미한다고 제안한다.

투명성을 향한 초기 접근 방식에는 알고리즘의 오픈 소스화가 포함되었다. 소스 코드 호스팅 시설을 통해 소프트웨어 코드를 조사하고 개선 사항을 제안할 수 있다. 그러나 이러한 접근 방식이 반드시 의도한 효과를 내는 것은 아니다. 기업과 조직은 가능한 모든 문서와 코드를 공유할 수 있지만, 청중이 주어진 정보를 이해하지 못하면 투명성이 확립되지 않는다. 따라서 투명성과 관련하여 관심 있는 비판적 청중의 역할을 살펴볼 가치가 있다. 알고리즘은 비판적 청중 없이는 책임을 질 수 없다.

### 구제받을 권리

규제 관점에서 토론토 선언은 알고리즘 편향으로 인한 피해에 인권 프레임워크를 적용할 것을 요구한다. 여기에는 이러한 알고리즘 설계자를 대신하여 실사에 대한 기대를 법제화하고, 사적 행위자가 공익을 보호하지 못할 때 책임을 지는 것을 포함하며, 이러한 권리는 복잡하게 얽혀 있는 프로세스 내에서 책임을 결정하는 복잡성으로 인해 가려질 수 있음을 지적한다. 다른 사람들은 명확한 책임 보험 메커니즘의 필요성을 제안한다.

### 다양성 및 포용성

인공지능 시스템의 설계가 주로 백인 남성 엔지니어의 영역이라는 우려 속에서 많은 학자들은 인공지능 시스템을 설계하는 사람들의 범위를 넓혀 알고리즘 편향을 최소화할 수 있다고 제안했다. 예를 들어, 기계 학습 엔지니어의 12%만이 여성이며, 흑인 인공지능 리더들은 이 분야의 "다양성 위기"를 지적하고 있다. Black in AI나 Queer in AI 같은 그룹은 AI 커뮤니티보다 포용적인 공간을 만들고 AI 연구의 궤적을 통제하는 기업의 종종 유해한 욕구에 맞서기 위해 노력하고 있다. 단순한 포용성 노력에 대한 비판은 다양성 프로그램이 중복되는 형태의 불평등을 해결할 수 없으며 알고리즘 설계에 보다 신중한 교차 성 렌즈를 적용 할 것을 촉구했다.:4 케임브리지 대학의 연구원들은 인종적 다양성을 다루는 것이 인공지능 문화의 "백인성"으로 인해 방해받았다고 주장했다.

### 학제간 협업 및 협력

AI 시스템 개발에서 학제간 통합과 협업은 알고리즘 편향을 해결하는 데 중요한 역할을 할 수 있다. 컴퓨터 과학 이외의 분야에서 얻은 통찰, 전문 지식, 관점을 통합하면 데이터 기반 솔루션이 사회에 미치는 영향을 보다 잘 이해할 수 있다. 인공지능 연구에서 이러한 예로는 사회적 영향과 관련된 AI 기반 솔루션을 개발할 때 협업을 촉진하기 위해 제안된 프레임워크인 PACT(Participatory Approach to enable Capabilities in communiTies, 커뮤니티의 역량 강화를 위한 참여적 접근법)가 있다. 이 프레임워크는 AI4SG(AI for Social Good) 프로젝트 작업 시 이해 관계자 참여에 대한 기본 원칙을 식별한다. PACT는 인간 중심의 AI 솔루션 설계에서 탈식민화와 권력 이동 노력의 중요성을 재확인하려고 시도한다. 이와 관련한 학술적 이니셔티브로는 다학제간 협력을 촉진하는 것을 목표로 하는 스탠포드 대학교의 인간 중심 인공지능 연구소(Institute for Human-Centered Artificial Intelligence)가 있다. 이 연구소의 사명은 인간의 조건을 개선하기 위해 인공지능 연구, 교육, 정책 및 실습을 발전시키는 것이다.

외부 전문가 및 다양한 이해 관계자와의 협업을 통해 윤리적이고 포용적이며 책임감 있는 지능형 시스템 개발을 용이하게 한다. 윤리적 고려 사항을 통합하고, 사회적, 문화적 맥락을 이해하고, 인간 중심의 설계를 촉진하고, 기술 전문 지식을 활용하며, 정책 및 법적 고려 사항을 다룬다. AI 시스템의 편향을 효과적으로 완화하고 AI 기술이 공정하고 투명하며 책임감 있게 작동하도록 보장하려면 여러 분야 간의 협업이 필수적이다.

규정
--

### 유럽

2018년에 시행된 유럽 연합의 개정된 데이터 보호 제도인 일반 데이터 보호 규정(GDPR)은 제22조에서 "프로파일링을 포함한 자동화된 개인 의사 결정"을 다루고 있다. 이 규정은 동의, 계약 또는 회원국 법률에 의해 명시적으로 승인되지 않는 한 개인에게 '중대한' 또는 '법적' 영향을 미치는 자동화된 결정을 '전적으로' 금지하고 있다. 허용되는 경우, 휴먼인더루프(human-in-the-loop)에 대한 권리, 도달한 결정에 대한 설명에 대한 구속력이 없는 권리 등의 안전장치를 마련해야 한다. 이러한 규정은 일반적으로 새로운 규정으로 간주되지만, 1995년부터 유럽 전역에 걸쳐 데이터 보호 지침 제15조에 거의 동일한 조항이 존재해 왔다. 1970년대 후반부터 프랑스 법률에 자동화된 결정 규칙과 안전장치가 존재했다.

GDPR은 프로파일링 시스템에서 알고리즘 편향을 다루며, 71조에서 이를 제거할 수있는 통계적 접근 방식을 직접 다루고 있다. 

> 통제자는 프로파일링에 적절한 수학적 또는 통계적 절차를 사용하고, 특히 출신 인종 또는 민족, 정치적 견해, 종교 또는 신념, 노동 조합 가입, 유전적 또는 건강 상태 또는 성적 지향에 근거하여 자연인에 대한 차별적 영향을 방지하는 적절한 기술적 및 조직적 조치를 시행해야 한다.
> 
> 

71조의 설명을 요구할 권리에 구속력이 없는 것과 마찬가지로, 이 조항의 문제는 구속력이 없다는 것이다. 이는 데이터 보호법 이행에 대해 조언한 29조 작업반에 의해 요구 사항으로 취급되었지만, 실질적인 차원은 분명하지 않다. 고위험 데이터 프로파일링에 대한 데이터 보호 영향 평가(데이터 보호 내의 다른 선제적 조치와 함께)는 소비자가 불만을 제기하거나 변경을 요청하는 대신 알고리즘을 배포하는 사람들의 행동을 제한하기 때문에 알고리즘 차별 문제를 해결하는 더 나은 방법일 수 있다는 주장이 제기되었다.

### 미국

미국에는 알고리즘 편향을 통제하는 일반 법률이 없으며 산업과 업종별로 알고리즘 사용 방법에 따라 다를 수 있는 다양한 주 및 연방법을 통해 문제에 접근한다. 많은 정책이 자체적으로 시행되거나 연방거래위원회에 의해 통제된다. 2016년 오바마 행정부는 정책 입안자들이 알고리즘에 대한 비판적 평가를 하도록 안내하기 위한 "국가 인공지능 연구 및 개발 전략 계획"을 발표했다. 이 계획은 연구자들에게 "이러한 시스템의 행동과 의사 결정이 투명하고 인간이 쉽게 해석할 수 있도록 설계하여 이러한 편견을 학습하고 반복하는 것이 아니라 포함할 수있는 편견이 있는지 검사할 수 있도록 설계"할 것을 권장했다. 이 보고서는 지침으로만 활용될 뿐 법적 선례를 만들지는 못했다.:26

2017년 뉴욕시는 미국 최초의 알고리즘 책임 법안을 통과시켰다. 2018년 1월 1일에 발효된 이 법안은 "기관 자동화된 의사 결정 시스템에 대한 정보를 대중과 공유하는 방법과 기관 자동 결정 시스템에 의해 사람들이 피해를 입는 사례를 해결하는 방법에 대한 권고 사항을 제공하는 전문 위윈회의 구성"을 요구했다. 전문 위원회는 2019년에 추가 규제 조치를 위한 조사 결과와 권장 사항을 제시해야 한다.

### 인도

2018년 7월 31일, 개인 데이터 법안 초안이 발표되었다. 이 초안은 데이터의 저장, 처리 및 전송에 대한 표준을 제안한다. 알고리즘이라는 용어를 사용하지 않았지만 "수탁자가 수행한 모든 처리 또는 모든 종류의 처리로 인한 피해"에 대한 조항을 규정하고 있다. 또한 부적절한 데이터 사용으로 인해 발생할 수 있는 피해의 원인으로 "데이터 주체에 대한 평가 결정으로 인한 서비스, 혜택 또는 이익의 거부 또는 철회" 또는 "차별적 대우"를 정의하고 있다. 또한 "인터섹스 상태"의 사람들에 대한 특별 조항도 있다.