修士論文 要旨

Convex Fairness Constrained Model Using Causal Eﬀect Estimators(因果効果推定量を用いた 公平性制約について)
数理情報学専攻 48-186203
指導教員

小倉 輝
武田 朗子 教授

験的に性能を検証した。

1 序論
近年、多くの機械学習における公平性に関する研究が行われている。機械学習の実システムへの応用の際、学習に用いるデータがバイアスを含んでいたり、学習に用いるモデルやアルゴリズムによっては学習したモデルが特定の特徴を持つデータに対して差別的な予測を行うことがある。バイアスを含んでいる可能性のあるデータセットから、精度の低下を抑えつつ性別や人種といったセンシティブ特徴と呼ばれる特徴について差別

図 1. 直接差別、間接差別、説明可能な差異 [1] の関係図。

的でないモデルを学習することが公平性を考慮した機械学習の目標の一つである。本研究ではセンシティブ特徴が 2 値 (男/女, 白人/黒人など) である設定を考える。公平性考慮型機械学習の応用先には与信審査や再犯予測などがある。
機械学習における差別には、センシティブ特徴が予測に直接与える影響 (直接差別) とセンシティブ特徴と相関のある特徴を経由して生じる間接的な影響 (間接差別) がある。間接差別の中には説明可能な差異という差異がある。これはセンシティブ特徴と相関があるものの、予測へ影響しても差別的でないと考えられる特徴(説明可能な特徴) を生じる差異である。例えば、与信審査を行う機械学習モデルが人種に関して差別的かを考えるとき、予測値に生じる人種間の差のうち年収の差

2 提案手法
本研究では、因果効果 [2] を差別の定量化と関連付けることで提案手法を設計した。因果効果は介入 (新薬の投与や広告の実施など) が結果に与える影響を定量化することに用いられる。因果効果の推定では介入と結果の両方に相関のある特徴である共変量の影響を取り除くことで推定を行う。本研究では介入をセンシティブ特徴、共変量を説明可能な特徴とすることで因果効果推定を差別の定量化に用いる。具体的には、因果効果推定量である IPW [3]、DR 推定量 [4] を用いて差別を定量化し、これを制約に用いることで説明可能な差異を残しつつ差別を除去している。

による差異は許容し、差別ではないと考える。図 1 にこDefinition 2.1 (IPW 推定量 [3]). zi を i 番目の入力

れらの関係図を示す。
予測の公平さを評価する指標に、センシティブ特の傾向スコア [5], ŷi を i 番目のデータの予測値とする。

徴ごとに分けた各集団の予測平均の差である Mean

IPW 推定量は以下のように定義される。

Diﬀerence (MD) [1] があるが、MD は説明可能な差異∑Nも差別に含めて定量化するため、MD=0 を制約にする

IPW =モデルでは逆差別を引き起こす可能性がある。今回の研究では、MD のうち説明可能な差異を除いた以下の差異を差別とし、この差別を防ぐような手法を考える。

Discrim. = MD - 説明可能な差異.

∑N 1−sisi
i=1 zi ŷii=1 1−zi ŷi∑N si − ∑N 1−si .
i=1 zii=1 1−zi

(2)IPW 推定量を制約に用いた FairCEE-IPW を以下のように定式化する。(L は損失関数である)(1)

説明可能な差異を残しつつ差別を除去する既存手法に

min

L(w)

Multi MD[1] があるが、幾つかの状況下で性能が悪化

s.t.

h⊤ Xw = 0,する。本研究では既存手法が正しく動作しない状況でも性能の良いモデル FairCEEs を提案し、理論的かつ実w(3)Convex Fairness Constrained Model Using Causal Eﬀect Estimators(因果効果推定量を用いた 公平性制約について) (小倉 輝)

CASE 1

CASE 2

CASE 3

図 2. 人工データでの提案手法と既存手法の比較。横軸は Discrim. (1) を表し 縦軸は RMSE を表す。既存手法の適用が困難な 3 つの CASE において、FairCEE-DR の RMSE, Discrim. ともに既存手法である Multi MD よりも小さく、精度と公平性の両面で既存手法よりも優れていることがわかる。

ただし

IPW 推定量を用いて説明可能な差異を考慮して差別

h=abs1 s2sN ⊤− ⊤ , a = ( , , ...,) ,⊤1 a 1 bz 1 z2zN
1 − s1 1 − s2
1 − sN ⊤b=(,, ...,) .
1 − z1 1 − z2
1 − zNを定量化する FairCEE-IPW の訓練誤差が、考慮しな

(4)
(5)

DR 推定量の定義は以下である。
Definition 2.2 (DR 推定量 [4]). zi を i 番目の入力の傾向スコア [5], ŷi を i 番目のデータの予測値とし、

gi+ , gi− を i 番目のデータの潜在結果変数 [2] の推定値とする。DR 推定量は以下のように定義される。

い MD=0 制約よりも小さくなることを示している。これは逆差別を防ぐことで精度の悪化を緩和していると解釈できる。なお本研究では既存手法 [1] についても類似した定理を示すことができた。

4 結論
本研究では、差別の定量化に因果効果を用いるアイデ
アのもとに、因果効果推定量である IPW, DR 推定量を制約に用いることで、説明可能な差異を考慮した公平なsi
1 − si −1 ∑ si 1 − si[( −)ŷi +(1− )gi+ −(1−)g ]. 機械学習モデル FairCEEs を提案した。また目的関数
DR =N i=1 zi 1 − zizi
1 − zi iに L(w) に二乗損失を用いた場合に、ある仮定のもとでDR 推定量を制約に用いたモデル FairCEE-DR を以FairCEE-IPW (3) の最適解が説明可能な差異を考慮しN下のように定式化する。

ない MD=0 制約を用いた場合よりも訓練誤差を小さくmin L(w)することを理論的に示した。最後に、既存手法の適用がws.t.

(a − b)⊤ Xw + (1 − a)⊤ g + − (1 − b)⊤ g − = 0(6)ただし困難な状況下において提案手法が既存手法よりも優れていることを数値実験によって示した。

参考文献

+ ⊤
g + = (g1+ , g2+ , ..., gN) ,− ⊤g − = (g1− , g2− , ..., gN) .

3 理論保証本研究では、FairCEE-IPW について以下の定理を示した。

Theorem 3.1 (FairCEE-IPW Loss). 目的関数を最小二乗誤差とする。L∗md を MD=0 制約での目的関数の最適値、L∗ipw を FairCEE-IPW (3) の目的関数の最適値とする。

0 ≤ IPW ≤ M Dの仮定が成り立つとき、以下の不等式が成り立つ。

L∗ipw ≤ L∗md .

[1] Toon Calders, Asim Karim, Faisal Kamiran, Wasif
Ali, and Xiangliang Zhang. Controlling attribute effect in linear regression. 2013 IEEE 13th International
Conference on Data Mining, pp. 71–80, 2013.
[2] Donald B. Rubin. Estimating causal eﬀects of treatments in randomized and nonrandomized studies.
Journal of Educational Psychology, Vol. 66, pp. 688–701, 10 1974.
[3] Donald. B. Rubin. The use of propensity scores in applied Bayesian inference. In Bayesian Statistics 2, pp.
463–472. North-Holland/Elsevier (Amsterdam; NewYork), 1985.
[4] Heejung Bang and James M. Robins. Doubly robust
estimation in missing data and causal inference models. Biometrics, Vol. 61, pp. 692–972, 2005.
[5] Paul R. Rosenbaum and Donald B. Rubin. The central role of the propensity score in observational studies for causal eﬀects. Biometrika, Vol. 70, No. 1, pp.
41–55, 04 1983.