アルゴリズムバイアス

アルゴリズムの意図された働きからの差異によって他に対するひとつの範疇を「特権（あるいはえこひいき）」するような、「不公平」な結果を生み出す、コンピュータシステムにおける体系的、反復的な誤りを**アルゴリズムバイアス**は説明する。

アルゴリズムの設計や、意図しないまたは予期せぬ利用またはデータがコードされる方法に関係する決定、集積、選択、またはアルゴリズムを学習させる利用だけに限らないものを含む、さまざまな要因からバイアスは生じうる。例えば、アルゴリズムバイアスは、検索エンジンの結果や
において観察されてきた。このバイアスは人種、性別、*（）や民族の[[思い込み|社会的偏見]]の強化による、プライバシーの侵害において慎重さを欠いた打撃を有しうる。アルゴリズムバイアスの研究は「体系的かつ不正な」差別を反映するところのアルゴリズムについて多分に関わる。このバイアスは専（もっぱ）ら最近ではヨーロッパ連合の[[EU一般データ保護規則]]（2018）や提案された（2021）のような法律の枠組みにおいて位置づけられる。

アルゴリズムがそれらの社会、政治、制度、ならびに慣習を組織づける能力を拡げるにつれ、社会学者は実際の世界に打撃を与えうる予期しない結果やデータの操作における方法に関わるようになった。アルゴリズムは多分に中立的かつ非バイアスであると考えられるので、（ の心理的現象に従うという部分において  ）それらは人間の経験よりも過大に先例を不正確に投影しうる、そして幾つかの場合では、アルゴリズムの信頼性は　それらの結果に対する人間の責任と置換しうる。バイアスは既存の文化的、社会的もしくは制度的、予想の結果としてとしてアルゴリズムのシステムの中へと混入しうる；それらの設計の技術的限界のせいで；または先行する文脈での利用にあることによって、またはソフトウェアの最初の設計に考慮されていなかった人々によって。

の広がる選挙結果に至るまでの場合においてアルゴリズムバイアスは引用されてきた。既存の人種的、社会経済的、性別のバイアスが複合した、刑事裁判、医療、治療においてもそれは起きている。不均衡なデータ集合から起因する、暗色の皮膚の顔を正確に識別する[[顔認証|顔認識技術]]（）の相対的な不可能性は黒人の累犯者と結び付けてきた。アルゴリズムバイアスの、理解、研究、そして発見における問題は、取引の秘密としてたいてい扱われるものである、アルゴリズムの私的所有である性質により残る。完全な透明性が与えられた場合でも、一定のアルゴリズムの複雑さはそれらの機能の理解の障害として対峙する。さらに、アルゴリズムは変化するかもしれない、または分析するには、予想されたまたは容易に再現されない方法での入力や出力に応答するかもしれない。多くの場合、単一のウェブサイトまたはアプリケーションであっても、検証するような単一の「アルゴリズム」はない、しかし、その同じようなサービスの利用者の間で、横断的に関係する多くのプログラムとデータ入力のネットワークはある。

== 定義 ==


アルゴリズムは 、しかしプログラムが出力を生む[[データ]]をどう読み、集め、処理そして分析するのかを指示するリストとして普通は理解されるかもしれない。

ソフトウェアの応用物とハードウェアに組み込まれたアルゴリズムの処理の政治的、社会的な打撃的影響、およびアルゴリズムの中立性の横たわる仮定についての問題の理由で、今日の[[社会科学|社会科学者]]らはそれらに関わっている。'アルゴリズムの偏見'（）という用語は、その他の者よりも恣意的にある集団を特権づけるような、'不公平な'（）結果を生み出すものである、系統的反復的'誤り'（）をいう。たとえば、アルゴリズムは、財務的な範囲に関わる矛盾のない計測であれば、不公平でなく分割払いを拒むかもしれない。

== 方法 ==

いくつかの道筋でアルゴリズムに偏見が入りうる。データの一揃いを組み立てる際に、データは集められ、計数化され、適合されて、人為的に設計された範疇に応じた[[データベース]]に編入される。次に、それらのデータをどう評価して並べるかのために、プログラマーは優先順位、または[[階層構造]]を割り当てる。これは、データをどう範疇化するか、そしてどのデータを含めるかまたは取り去るかについての、人間の判断を必要とする。幾つかのアルゴリズムは人間が選んだ規準に基づいてそれら自身のデータを集める。それは人間の設計者の偏見を反映しうる。

== 打撃 ==

=== 商業上の影響 ===

部分的なものとして存在するそのアルゴリズムを間違うかもしれない利用者の知識なしには、法人のアルゴリズムは金融上の取り決めや会社間の契約での見えない優遇で歪められる。たとえば、[[アメリカン航空]]は1980年代に飛行調査アルゴリズム（）をつくった。そのソフトウェアは顧客へ多くの航空路から飛行の範囲を提示した。
しかし、価格や利便性の考慮なしに、その自らの飛行を押しあげる要因を重みづけた。

=== 投票行動 ===

アメリカ合衆国とインドでの浮動層に関する一連の研究は、おおよそ20％の割合で検索エンジンの結果が投票結果を動かせたことを見出した。

=== 性差別 ===

2016年に、職業のネットワークサイトの[[LinkedIn]]は、検索質問についての応答において女性の名前の男性への変更をすすめるような、発見をされた。

=== 人種や民族の差別 ===

アルゴリズムは意思決定における人種的な権利侵害をあいまいにさせる方法として批判されつづけてきたどのように特定の人種と民族の集団が過去に扱われていたかによって、データはしばしば隠れたバイアスを含んでいるからである。たとえば、黒人の人々は同じ犯罪を犯した者である白人の人々よりも長い刑を受けやすい。これはデータにおいて元の偏見をシステムが増長したことを意味する可能性がある。

==== 監視 ====

異常な振る舞いから正常な振る舞いを見分け、そして誰が特定の時刻に特定の場所にいたかを確認するアルゴリズムを要求するから、[[監視カメラ]]ソフトウェアは本来政治的かもしれない。人種的な帯域から顔面を認知する、そのようなアルゴリズムの能力は、その学習データベースでの画像の人種的多様性によって制限されることを示されてきた；もし写真の多数がひとつの人種または性別に属するのであれば、そのソフトウェアはそのほかの人種または性別の認知よりも優る。

=== グーグル検索 ===

利用者が「完全に」自動的なものである検索結果を生じさせる場合に、[[グーグル]]は性差別や人種差別の'自動完了'（）の文献を取り除くことに失敗した。たとえば、[[w:en:Algorithms of Oppression |*Algorithms of Oppression: How Search Engines Reinforce Racism*]]のサフィヤ・ノーブルは、ポルノ画像での結果を報告したものである、「黒人の少女」についての検索の事例に注目する。グーグルは、それらが非合法と考えられることなしに、これらのページを消すことはできないと主張した。

== 研究の障害 ==

学術的に厳密な研究と公衆の理解への適用の邪魔をする、大規模なアルゴリズムバイアスの研究を幾つかの問題が妨げる。 

=== 公平性の定義 ===



アルゴリズムバイアスに関する文献は公平性を直すことにおいて焦点を合わせる、しかし公平性の定義は多分にお互いに、そして機械学習の最適化を実現するには両立しない。たとえば、「処理の平等性（）」として公平性を定義することが個人の間の相違を積極的に考慮するかもしれないのに対して、「結果の平等性（）」として公平性を定義することは、すべての人々に対して同じ結果を作り出すシステムを単に意味するかもしれない。

=== 複雑さ ===

アルゴリズム的処理は、しばしばそれを使う人々の理解を超える[[複雑系]]である。大規模な運用はそれらが作られるうちにこれらが込み入ることによっていっそう解明できないかもしれない。今時のプログラムの方法と処理はコードの入力や出力のそれぞれの置き換えを知ることができないことによってしばしば不明瞭になってしまう。
社会学者の[[ブルーノ・ラトゥール]]はこの過程を、「科学的かつ技術的な作業はそれ自体の成功により不可視にされる。効率的に機械が動くとき、事実上解決済みのとき、人はそれの入力と出力においてのみ注意が必要となる、そしてその内部の複雑さには必要ではない。よって、逆説的には、科学と技術が成功するにつれ、それらは不透明であいまいになる」もののなかのひとつの過程の[[ブラックボックス化]]として見定めた 。

複雑さの一例は、カスタマイズされたフィードバックのなかへの入力のその範囲に見出しうる。ソーシャルメディアサイト[[フェイスブック]]は利用者へのソーシャルメディアの提供の配列順を決定するために、2013には少なくとも100,000データポイントが織り込まれている。

[[機械学習]]や、クリックのような利用者の相互作用、サイト滞在時間、その他の測定にもとづく
アルゴリズムの個人化（）を通した複雑さがさらに加わる。これらの個人的な調節は　アルゴリズムを理解するおおもとの注意を紛らわしくさせる。

=== 透明性の欠如 ===

商用のアルゴリズムは私的所有であり、[[トレードシークレット|企業秘密]]として扱われるかもしれない。

=== 監査と継続的評価 ===
研究者は、企業が[[ソースコード]]や学習用データを全面開示しない場合でも、入力条件を統制して出力の差を比較するアルゴリズム監査によって、差別的影響や恣意的な順位付けの有無を検証してきた。個別の体験談や単発の試行ではなく、同じサービスに対して多数のテスト入力を与え、その結果を統計的に比較することで、個人化やブラックボックス化の下でも偏りの傾向を推定できる。この方法は、検索順位、推薦、広告配信のように外部から入出力を観察できるサービスで、内部仕様の全容が不明でも検証可能性を確保するための基礎的な方法とみなされている。ただし、監査は内部の判断規則そのものを直接に証明する方法ではなく、観察可能な出力差から不利益の偏在を推定する手法であるため、比較対象となる利用者像、観測時点、入力履歴をそろえた再現可能な設計が不可欠である。推薦や広告配信のように結果が利用者ごとに変わるサービスでは、試験用アカウントの属性や行動履歴を統制しなければ、偏りと個人化の効果を切り分けにくい。さらに、同じ入力でも地域、端末、時間帯、仕様変更の有無によって結果が変わりうるため、監査結果の解釈には観測条件の差を織り込む必要がある。単一時点の観測だけで結論を固定せず、条件をそろえた反復観測で傾向を確かめることが重要である。

また、[[顔認証|顔認識]]や分類器の評価では、平均精度だけでは見えない偏りを捉えるため、属性群ごとに誤り率を分解して比較する必要がある。既存の評価用[[データセット]]は明るい肌の被写体に偏っており、商用の性別分類器では肌色と性別の交差群ごとに誤差が拡大することが示されている。偏りの管理では、学習データとAIモデルに含まれるバイアスへの配慮、代表的なデータセットによる点検、入出力や判断結果の定期的評価、作業記録の保存を継続的に行う必要がある。さらに、利用環境や入力分布が変われば同じモデルでも差別的影響の現れ方は変化しうるため、一度のベンチマークだけで公平性が確定するわけではない。したがって、公平性の議論はモデル単体の精度比較では完結せず、評価条件の開示と再試行可能性を伴う実験設計と一体で論じられる。そのため、研究上の検証可能性は、公開されたモデル仕様の有無だけでなく、誰がどのデータで評価し、どの閾値で運用を更新したかを追跡できる記録の有無にも左右される。

=== 機微な範疇におけるデータの欠如 ===

実際のバイアスの追跡を理解する際の著しい障壁は、多分に積極的にデータを集めたり処理するときに考えたりしない、によって保護される個人の人口統計のような、ものである範疇である。

== 法的規制 ==


=== アメリカ合衆国 ===

産業、セクター、そしてどのようにアルゴリズムが使われるかによって異なり、多くの州と連邦の法律を通して問題に取り掛かる、アルゴリズムバイアスを規制する、一般的な法制を、アメリカ合衆国は有しない。

=== インド ===

2018年7月31日で、*Personal Data Bill ''（）の法案が提示された。法案は、データの記憶、処理、移転についての標準を扱う。それはアルゴリズムの用語を用いないけれども、「任意の処理又は受託者によって請け負われた任意の処理の類（たぐい）の、結果としての危害」についての条項を成す。

### ヨーロッパ連合

2018年に施行されたデータ保護の制度をヨーロッパ連合が改定したものである、EU一般データ保護規則（GDPR）は、「を含む自動的な個人の意思決定」を22条で述べる。2024年3月に施行されたAI法では、生成AIの顔認識や生体認証による個人の特徴、社会経済地位のランク付けなど差別的な利用を「許容できないリスク」に位置付け、禁止している。

## 関連項目
* 公平性 (機械学習)
* 人工知能の倫理
* 商湯科技（センスタイム）
* 

## 脚注または引用文献

### ウェブサイト

* 
* 
* 
* 
* 
* 
* 

### ウェブアーカイブ

* 

### 書籍

* 
** （上記の和訳書。）
* 
* 
*  
* 

### 新聞

* 

### 雑誌

* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 

## 参考文献

*