学術会議公開シンポジウム

2023年11月25日「AI時代における哲学・美学・倫理学・宗教学」- AI における公平性 -理化学研究所 革新知能統合研究センター
上田 修功

Instruct-GPT

arXiv:2203.02155v1 [cs.CL] 4 Mar 2022

・ 主に有害情報関係に言及
・ 人手評価と自動評価によりGPT-3より改善
人間のフィードバックによる微調整が、言語モデルを人間の意図に合わせるための有望な方向性である

世界各国の公的文書にみるAI５原則

主にシステムやデータに係る原則

参考文献：

A Unified Framework of Five Principles for AI in Society
https://hdsr.mitpress.mit.edu/pub/l0jsh9d1/release/7
AI 原則とは？｜信頼できるAI のために世界各国が注目する基本理念
https://www.nri-secure.co.jp/blog/ai-principle

AIにおける(性)差別関連事例■ 機械翻訳で代名詞に性別の差がないトルコ語をhe/sheの差のある英語に翻訳すると，職業との共起に差が生じる。
https://medium.com/coinmonks/ai-doesnt-have-to-be-conscious-to-beharmful-385d143bd311■ AmazonのAI（人工知能）を活用した人材採用システム（履歴書に書かれた約5万個のキーワードを抽出・分析）は、女性を差別するという機械学習面の欠陥が判明し、運用を取りやめる結果になった。
https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN■ 2019年UNESCO（ユネスコ：国連教育科学文化機関）は、AI音声アシスタントのデフォルトの声が女性となっていることはジェンダーの偏りを強めると主張する報告書を発表した。

■ 顔認識ソフトウェアにおける人種差別: Googleフォトのソフトウェアは、写真に写っている物体や顔を認識して、人や動物などに基づいて分類し、写真を保存・整理するが、ある男性、ジャッキー・アルシネは、アフリカ系アメリカ人の友人の一人が写真の中でゴリラと表示されていた。
https://medium.com/coinmonks/ai-doesnt-have-to-be-conscious-to-be-harmful385d143bd311■ アフリカ系アメリカ人の人名でGoogle検索すると、逮捕記録を示唆する広告が表示される。その広告には個人の逮捕記録をチェックできるサービスを提供するリンク(Instant Checkmate)が設定されていた。
https://queue.acm.org/detail.cfm?id=2460278

何故AIで(性)差別が生じるのか
機械学習タスクは、学習データ作成（特徴量の選定、データの収集）および、目的関数の設定からなるが、これらに(暗に)差別が混入するAIが差別を生み出すのではなく、むしろ社会の差別や偏見が差別的なAIを生み出している
例：SNSのAIチャボットが差別的な発言をする

データ駆動型アプローチであるAI技術においては、個々人の（性）差別を解消しない限り、差別の根絶は困難

人間中心のAI社会原則

内閣府AI戦略

https://www8.cao.go.jp/cstp/ai/aigensoku.pdf

機械学習と公平性に関する声明

2019年12月10日人工知能学会 倫理委員会
日本ソフトウェア科学会 機械学習高額研究会
電子情報通信学会 情報論的学習理論と機械学習研究会

１．機械学習は道具にすぎず人間の意思決定を補助するものであること
２．私たちは、公平性に寄与できる機械学習を研究し、社会に貢献できるよう取り組んでいること

関連シンポジウム：

機械学習と公平性に関するシンポジウム（2020年1月9日）

１．機械学習は道具にすぎません

１．機械学習は道具に過ぎません

引用元：http://ai-elsi.org/wp-content/uploads/2019/12/20191210MLFairness.pdf

2．私たちは機械学習で公平性に寄与します

引用元：http://ai-elsi.org/wp-content/uploads/2019/12/20191210MLFairness.pdf

Fairness-aware Machine Learning
公平性を配慮した機械学習技術2017年ごろより研究が加速（EUのGDPRの影響？）
Note: Bugbears or Legitimate Threats? (Social) Scientists' Criticisms of Machine Learning各種のバイアス Barocas, 2016■

データバイアス： データ作成者の偏見や認知バイアスなどにより学習データに偏りが生じる■

標本選択バイアス： 予測対象の集団が学習データに含まれていないことによるバイアス■

帰納バイアス： 少数事例を例外、外れ値として扱うことによるバイアス（例：データの大半が男性データ）

Biased algorithms are easier to fix than biased people

Mullainathan 2019

公平性の形式的定義
S：モデル中のセンシティブ特徴（性別，年齢，人種，宗教，政治指向 など）

S=1: 配慮が必要
S=0: 配慮が不要

X : その他の特徴
Y : Y=1: 不利な判定
Y=0: 有利な判定

� AIによる予測値
𝑌𝑌:

データバイアスの解消
� Sが統計的に独立）（𝑌𝑌と不利な判定と有利な判定がなされる割合をSと独立に同じとすることでバイアスを解消する��
P(𝑌𝑌=1|X,S=1)= P(𝑌𝑌=1|X,S=0)
��P(𝑌𝑌=0|X,S=1)= P(𝑌𝑌=0|X,S=0)

Note: Red-Lining Effect
Calders, 2010

ローン貸付の人種差別
住居情報が間接的に人種情報として使われている
XとSの統計的独立性が重要選択バイアスの解消
ランダムサンプリング，層別化
観測データセットが母集団の代表となるようにする■ 多用なデータを収集する■ 不均衡なデータセットを調整し，均等なサンプルを確保する

解釈可能性と透明性の向上(XAI)が重要

帰納バイアスの解消（Yの値は正しいと仮定） Zafar, 2017
��
P(𝑌𝑌=1|Y=0,X,S=1) = P(𝑌𝑌=1|Y=0,X,S=0) かつ��
P(𝑌𝑌=1|Y=1,X,S=1) = P(𝑌𝑌=1|Y=1,X,S=0)

偽陽性率（Y = 0を𝑌𝑌� =1と誤る率）と真陽性率（Y =1
�
を 𝑌𝑌=1と正しく判定する率）をS=0,1の両者のケースで等しくする
Ex. 出所後の再犯予測において，白人は真陽性率が高く，黒人は偽陽性率が高い
Angwin et al., 2016

集団公平性と個人公平性
集団公平性：

個々人は集団として公平に扱われる

P(Y | S=s) = P(Y ) for all s in S
例：

男性と女性の各グループで平均的に取り扱いが等しければOK

個人公平性：

個々人が公平に扱われる

P(Y | S, X=x) = P(Y |X=x) for all x in X
Xが所与の下で、YとSが統計的に独立

例：性別以外の特徴が全て同じであれば、同一に扱われるべきデータマイニング，機械学習における公平性関連国際会議■

ICDM2012併設WS：

Discriminant and Privacy-aware Data Mining■

NIPS2013, ICML2014 併設WS:■

NIPS2016シンポジウム：■

ICDM2016併設WS:■

KDD2019 チュートリアル:■

Fairness, Accountability, and Transparency in Machine Learning
Machine Leaning and Law

Privacy and Discriminant in Data Mining

Fairness-aware Machine Learning: Practical Challenges andLessons Learned

ACM 2020
Conference on Fairness, Accountability, and Transparency

まとめ■ AI(機械学習）は道具に過ぎず，データ収集，アルゴリズム設計，運用面で人間を介して差別が生まれ得る■ AIにおける公平性の議論は2017年代より活発化し，機械学習の国際会議でもWSやチュートリアル等で不公平性を防ぐ技術の研究が進行している■ 公平性とは何か，公平性の在り方についての議論が必要