アルゴリズムバイアス
(18 August 2015). “The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections”. Proceedings of the National Academy of Sciences 112 (33): E4512–E4521.
Graham, Stephen D.N. (July 2016). “Software-sorted geographies”. Progress in Human Geography 29 (5): 562–580.
Buolamwini, Joy; Gebru, Timnit (21 January 2018). “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. Proceedings of Machine Learning Research 81 (2018): 77–91.
Marco Marabelli; Sue Newell; Valerie Handunge (2021). “The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges”. Journal of Strategic Information Systems 30 (3): 1–15.
アルゴリズムは意思決定における人種的な権利侵害をあいまいにさせる方法として批判されつづけてきたどのように特定の人種と民族の集団が過去に扱われていたかによって、データはしばしば隠れたバイアスを含んでいるからである。たとえば、黒人の人々は同じ犯罪を犯した者である白人の人々よりも長い刑を受けやすい。これはデータにおいて元の偏見をシステムが増長したことを意味する可能性がある。
異常な振る舞いから正常な振る舞いを見分け、そして誰が特定の時刻に特定の場所にいたかを確認するアルゴリズムを要求するから、監視カメラソフトウェアは本来政治的かもしれない。人種的な帯域から顔面を認知する、そのようなアルゴリズムの能力は、その学習データベースでの画像の人種的多様性によって制限されることを示されてきた;もし写真の多数がひとつの人種または性別に属するのであれば、そのソフトウェアはそのほかの人種または性別の認知よりも優る。
バイアスは既存の文化的、社会的もしくは制度的、予想の結果としてとしてアルゴリズムのシステムの中へと混入しうる;それらの設計の技術的限界のせいで;または先行する文脈での利用にあることによって、またはソフトウェアの最初の設計に考慮されていなかった人々によって。
オンラインヘイトスピーチ(英語: online hate speech)の広がる選挙結果に至るまでの場合においてアルゴリズムバイアスは引用されてきた。既存の人種的、社会経済的、性別のバイアスが複合した、刑事裁判、医療、治療においてもそれは起きている。不均衡なデータ集合から起因する、暗色の皮膚の顔を正確に識別する顔認識技術(英: facial recognition technology)の相対的な不可能性は黒人の累犯者と結び付けてきた。アルゴリズムバイアスの、理解、研究、そして発見における問題は、取引の秘密としてたいてい扱われるものである、アルゴリズムの私的所有である性質により残る。完全な透明性が与えられた場合でも、一定のアルゴリズムの複雑さはそれらの機能の理解の障害として対峙する。さらに、アルゴリズムは変化するかもしれない、または分析するには、予想されたまたは容易に再現されない方法での入力や出力に応答するかもしれない。多くの場合、単一のウェブサイトまたはアプリケーションであっても、検証するような単一の「アルゴリズム」はない、しかし、その同じようなサービスの利用者の間で、横断的に関係する多くのプログラムとデータ入力のネットワークはある。