アルゴリズムの意図された働きからの差異によって他に対するひとつの範疇を「特権（あるいはえこひいき）」するような、「不公平」な結果を生み出す、コンピュータシステムにおける体系的、反復的な誤りをアルゴリズムバイアスは説明する。

アルゴリズムの設計や、意図しないまたは予期せぬ利用またはデータがコードされる方法に関係する決定、集積、選択、またはアルゴリズムを学習させる利用だけに限らないものを含む、さまざまな要因からバイアスは生じうる。例えば、アルゴリズムバイアスは、検索エンジンの結果や
において観察されてきた。このバイアスは人種、性別、'性的指向'（）や民族の社会的偏見の強化による、プライバシーの侵害において慎重さを欠いた打撃を有しうる。アルゴリズムバイアスの研究は「体系的かつ不正な」差別を反映するところのアルゴリズムについて多分に関わる。このバイアスは専（もっぱ）ら最近ではヨーロッパ連合のEU一般データ保護規則（2018）や提案された（2021）のような法律の枠組みにおいて位置づけられる。

アルゴリズムがそれらの社会、政治、制度、ならびに慣習を組織づける能力を拡げるにつれ、社会学者は実際の世界に打撃を与えうる予期しない結果やデータの操作における方法に関わるようになった。アルゴリズムは多分に中立的かつ非バイアスであると考えられるので、（ の心理的現象に従うという部分において  ）それらは人間の経験よりも過大に先例を不正確に投影しうる、そして幾つかの場合では、アルゴリズムの信頼性は　それらの結果に対する人間の責任と置換しうる。バイアスは既存の文化的、社会的もしくは制度的、予想の結果としてとしてアルゴリズムのシステムの中へと混入しうる；それらの設計の技術的限界のせいで；または先行する文脈での利用にあることによって、またはソフトウェアの最初の設計に考慮されていなかった人々によって。

の広がる選挙結果に至るまでの場合においてアルゴリズムバイアスは引用されてきた。既存の人種的、社会経済的、性別のバイアスが複合した、刑事裁判、医療、治療においてもそれは起きている。不均衡なデータ集合から起因する、暗色の皮膚の顔を正確に識別する顔認識技術（）の相対的な不可能性は黒人の累犯者と結び付けてきた。アルゴリズムバイアスの、理解、研究、そして発見における問題は、取引の秘密としてたいてい扱われるものである、アルゴリズムの私的所有である性質により残る。完全な透明性が与えられた場合でも、一定のアルゴリズムの複雑さはそれらの機能の理解の障害として対峙する。さらに、アルゴリズムは変化するかもしれない、または分析するには、予想されたまたは容易に再現されない方法での入力や出力に応答するかもしれない。多くの場合、単一のウェブサイトまたはアプリケーションであっても、検証するような単一の「アルゴリズム」はない、しかし、その同じようなサービスの利用者の間で、横断的に関係する多くのプログラムとデータ入力のネットワークはある。

定義 

アルゴリズムは 、しかしプログラムが出力を生むデータをどう読み、集め、処理そして分析するのかを指示するリストとして普通は理解されるかもしれない。

ソフトウェアの応用物とハードウェアに組み込まれたアルゴリズムの処理の政治的、社会的な打撃的影響、およびアルゴリズムの中立性の横たわる仮定についての問題の理由で、今日の社会科学者らはそれらに関わっている。'アルゴリズムの偏見'（）という用語は、その他の者よりも恣意的にある集団を特権づけるような、'不公平な'（）結果を生み出すものである、系統的反復的'誤り'（）をいう。たとえば、アルゴリズムは、財務的な範囲に関わる矛盾のない計測であれば、不公平でなく分割払いを拒むかもしれない。

方法 

いくつかの道筋でアルゴリズムに偏見が入りうる。データの一揃いを組み立てる際に、データは集められ、計数化され、適合されて、人為的に設計された範疇に応じたデータベースに編入される。次に、それらのデータをどう評価して並べるかのために、プログラマーは優先順位、または階層構造を割り当てる。これは、データをどう範疇化するか、そしてどのデータを含めるかまたは取り去るかについての、人間の判断を必要とする。幾つかのアルゴリズムは人間が選んだ規準に基づいてそれら自身のデータを集める。それは人間の設計者の偏見を反映しうる。

打撃

商業上の影響 

部分的なものとして存在するそのアルゴリズムを間違うかもしれない利用者の知識なしには、法人のアルゴリズムは金融上の取り決めや会社間の契約での見えない優遇で歪められる。たとえば、アメリカン航空は1980年代に飛行調査アルゴリズム（）をつくった。そのソフトウェアは顧客へ多くの航空路から飛行の範囲を提示した。
しかし、価格や利便性の考慮なしに、その自らの飛行を押しあげる要因を重みづけた。

投票行動 

アメリカ合衆国とインドでの浮動層に関する一連の研究は、おおよそ20％の割合で検索エンジンの結果が投票結果を動かせたことを見出した。

性差別 

2016年に、職業のネットワークサイトのLinkedInは、検索質問についての応答において女性の名前の男性への変更をすすめるような、発見をされた。

人種や民族の差別 

アルゴリズムは意思決定における人種的な権利侵害をあいまいにさせる方法として批判されつづけてきたどのように特定の人種と民族の集団が過去に扱われていたかによって、データはしばしば隠れたバイアスを含んでいるからである。たとえば、黒人の人々は同じ犯罪を犯した者である白人の人々よりも長い刑を受けやすい。これはデータにおいて元の偏見をシステムが増長したことを意味する可能性がある。

監視 

異常な振る舞いから正常な振る舞いを見分け、そして誰が特定の時刻に特定の場所にいたかを確認するアルゴリズムを要求するから、監視カメラソフトウェアは本来政治的かもしれない。人種的な帯域から顔面を認知する、そのようなアルゴリズムの能力は、その学習データベースでの画像の人種的多様性によって制限されることを示されてきた；もし写真の多数がひとつの人種または性別に属するのであれば、そのソフトウェアはそのほかの人種または性別の認知よりも優る。

グーグル検索 

利用者が「完全に」自動的なものである検索結果を生じさせる場合に、グーグルは性差別や人種差別の'自動完了'（）の文献を取り除くことに失敗した。たとえば、Algorithms of Oppression: How Search Engines Reinforce Racismのサフィヤ・ノーブルは、ポルノ画像での結果を報告したものである、「黒人の少女」についての検索の事例に注目する。グーグルは、それらが非合法と考えられることなしに、これらのページを消すことはできないと主張した。

研究の障害 

学術的に厳密な研究と公衆の理解への適用の邪魔をする、大規模なアルゴリズムバイアスの研究を幾つかの問題が妨げる。

公平性の定義 

アルゴリズムバイアスに関する文献は公平性を直すことにおいて焦点を合わせる、しかし公平性の定義は多分にお互いに、そして機械学習の最適化を実現するには両立しない。たとえば、「処理の平等性（）」として公平性を定義することが個人の間の相違を積極的に考慮するかもしれないのに対して、「結果の平等性（）」として公平性を定義することは、すべての人々に対して同じ結果を作り出すシステムを単に意味するかもしれない。

複雑さ 

アルゴリズム的処理は、しばしばそれを使う人々の理解を超える複雑系である。大規模な運用はそれらが作られるうちにこれらが込み入ることによっていっそう解明できないかもしれない。今時のプログラムの方法と処理はコードの入力や出力のそれぞれの置き換えを知ることができないことによってしばしば不明瞭になってしまう。
社会学者のブルーノ・ラトゥールはこの過程を、「科学的かつ技術的な作業はそれ自体の成功により不可視にされる。効率的に機械が動くとき、事実上解決済みのとき、人はそれの入力と出力においてのみ注意が必要となる、そしてその内部の複雑さには必要ではない。よって、逆説的には、科学と技術が成功するにつれ、それらは不透明であいまいになる」もののなかのひとつの過程のブラックボックス化として見定めた 。

複雑さの一例は、カスタマイズされたフィードバックのなかへの入力のその範囲に見出しうる。ソーシャルメディアサイトフェイスブックは利用者へのソーシャルメディアの提供の配列順を決定するために、2013には少なくとも100,000データポイントが織り込まれている。

機械学習や、クリックのような利用者の相互作用、サイト滞在時間、その他の測定にもとづく
アルゴリズムの個人化（）を通した複雑さがさらに加わる。これらの個人的な調節は　アルゴリズムを理解するおおもとの注意を紛らわしくさせる。

透明性の欠如 

商用のアルゴリズムは私的所有であり、企業秘密として扱われるかもしれない。

機微な範疇におけるデータの欠如 

実際のバイアスの追跡を理解する際の著しい障壁は、多分に積極的にデータを集めたり処理するときに考えたりしない、によって保護される個人の人口統計のような、ものである範疇である。

法的規制

アメリカ合衆国 

産業、セクター、そしてどのようにアルゴリズムが使われるかによって異なり、多くの州と連邦の法律を通して問題に取り掛かる、アルゴリズムバイアスを規制する、一般的な法制を、アメリカ合衆国は有しない。

インド 

2018年7月31日で、Personal Data Bill （）の法案が提示された。法案は、データの記憶、処理、移転についての標準を扱う。それはアルゴリズムの用語を用いないけれども、「任意の処理又は受託者によって請け負われた任意の処理の類（たぐい）の、結果としての危害」についての条項を成す。

ヨーロッパ連合 

2018年に施行されたデータ保護の制度をヨーロッパ連合が改定したものである、EU一般データ保護規則（GDPR）は、「を含む自動的な個人の意思決定」を22条で述べる。

関連項目 
 公平性 (機械学習)
 人工知能の倫理
 商湯科技（センスタイム）

脚注または引用文献

ウェブサイト

ウェブアーカイブ

書籍 

 
 （上記の和訳書。）

新聞

雑誌

参考文献 

 

機械学習
コンピューターと社会
差別
情報倫理
人工知能の哲学
バイアス