【AAAI-22論文メモ】アルゴリズムの公平性について「判断を覆すのに必要なアクションのコスト」の観点で定量化する手法

AAAI-22に採録された、AIの公平性に関する論文[On the Fairness of Causal Algorithmic Recourse](https://arxiv.org/abs/2010.06529)を読んだので内容を紹介したいと思います。

# 要約
- カードの審査を「通す」「通さない」のような2値の判断をおこなうアルゴリズムの公平性に関する論文。従来の公平性に関する議論においては、属性間で不公平が生じないように分類器の側を修正するといったアプローチが主流であったが、本稿では分類器は固定とした上で、「判断を覆すのに必要なアクション（algorithmic recourse）のコスト」が属性間で公平になることを目指す（例：カードの審査を通すために年収をいくら上げる必要があるか）
- algorithmic recourseに関する既存研究はいくつかあるが、そこでは特徴量の間に存在する因果関係が考慮されていないという課題があった（例：年収がもっと高かったら、貯蓄額だってもっと高かったはず）。本稿では既存のalgorithmic recourseを、特徴量間の因果関係を考慮したモデルに拡張
- 公平性の実現に向けて、algorithmic recourseに不利が生じている個人に対して、コストが公平になるような**社会的介入**をおこなうアプローチを提案（例：カードの審査を通すためにより多く年収を上げないといけない側の属性に、補助金を付与）

# 所感
- アルゴリズムの公平性については様々な尺度があり、かつそれらは原理的に相反しうるといった問題が以前から指摘されていたが、その源泉となっている属性／特徴量間の因果関係に着目し、さらにその上で、分類器側の修正ではなく社会的なアプローチに基づくデータ側の修正によって公平性の担保を目指すという、非常に面白い論文であった
- とは言えDiscussionの章でも議論されているように、技術レベルではない本質的な課題もまだまだ残されていそう
    - 補助金の付与によってカードの審査に通った人が、その後支払いを継続させることは可能なのか
    - 異なるrecourseのコストをどのように定量化するのか（Table 2のように、「学歴」を変えるコストと「労働時間」のコストを同じメトリックで定量化してよいのか）

# 論文メモ
## 1. Introduction
- 年齢・性別・民族性など、それらの間で差別が生じてはならない属性（legally protected groups）を含むデータと、データから2値の判断をおこなう分類器（例：クレジットカードの審査を通す or 通さない）が存在する場合に、従来の公平性の議論の多くで前提となっていた*predictive fairness*の考え方では、事前に不公平性の尺度を定めた上で、この尺度について属性間で差が出ないように分類器の方を修正するという方針であった（すなわち、データは固定であるとみなす）
- 一方、*algorithmic recourse*は、分類器は固定であるとみなし、分類器の判断が好ましい結果に変わるように個々のデータの方を変える(*recourse*)という考え方
- 異なる属性間における*algorithmic recourse*の内容やコストと公平性の関係について考えると、興味深い特性が見えてくる。例えばFigure 1のように、所得に応じてカードの審査を通す／通さないの判断をおこなう分類器について考える。所得が属性A内での平均以上であれば審査を通し、平均未満であれば審査を通さないという分類器であった場合、この分類器は様々な*predictive fairness*の条件を満たすが、*algorithmic recourse*の考え方に基づいて、審査を通らなかった人が審査を通すためにどの程度所得を増やす必要があるかについて見ると、属性A=1のグループよりも属性A=0のグループの方がそのボリュームが大きく、属性間で公平でないとみなすこともできる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/a0fb8858-55a2-0b4c-d2a2-ad90247da071.png)
- このような観点に立ち、分類器の判断を変えるために必要となる平均的なコストが、属性間で等しくなるように分類器を学習するようなアプローチが研究されているが、**既存のアプローチは所得などの特徴量間に存在する因果関係を考慮しておらず**、実態を反映したアルゴリズムになっていないといった課題がある
- 本稿では、特徴量間の因果関係を考慮した*algorithmic recourse*について提案

## 2. Preliminaries & Background
各種前提条件や背景知識。多い。
### Notation
数式が非常に多いので、必要最低限の物のみ...
- $x$: 観測された、保護の対象でない特徴量
- $a$: 年齢・性別など、保護の対象となる属性
- $v = (x, a)$: $x$, $a$合わせた全ての観測された特徴量
- $h$: 分類器。±1の判断結果を返す（+1が良い判断、-1が悪い判断）

### Counterfactual Explanations
- 「反実仮想的な説明」（CE: Counterfactual Explanations）は、ある特徴量$x^\textrm{F}$に対して分類器が悪い判断をした場合（$h(x^\textrm{F})=-1)$に、判断を良い結果に変えられる仮想の特徴量$x$のうち、最も$x^\textrm{F}$に距離が近いものであり、式(1)の解として得られる。定性的には、最小限の特徴量の*recourse*で分類器の出力を良い判断に変える方法を示しているが、現実的には不可能な結果が出ることもある（女性→男性に変える、など）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/345f2fb0-a8c6-28ac-f77b-c9c26919fc17.png)

### Recourse with Independently-Manupulable Features
- 現実的に可能な特徴量の修正$\delta$を用いて(1)を表現すると、(2)のようになる。ここで$c$はコスト関数であり、実際に特徴量の*recourse*をおこなうために要するコストを表す（例：$\delta$が「年収+50万」であった場合、それに必要な努力の量）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/6369ea02-a21d-1aad-2554-b01018bc8a21.png)
- (2)は(1)と異なり現実的に不可能ではない特徴量の*recourse*を考えているが、特徴量間の因果関係を考慮しておらず、全ての特徴量は独立に*recourse*可能であるという前提に基づいている（IMF: independently-manipulable features)。しかし、これも現実世界を無視した仮定であるといった問題がある（例：所得と貯蓄という変数があった場合、所得が増えれば貯蓄も増えるはずである）

### Structual Causal Models
- 特徴量間の因果関係を表現したモデル（SCM: Structual Causal Model)。変数間の因果関係を有向グラフで表現している
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/e15ff6d7-d238-71cf-4434-e646ca6ee112.png)
- SCMがモデル化できていれば、ある特徴量を*recourse*した（介入した）場合に他の特徴量がどのようになるかを計算することができる

### Causal Recourse
- 特徴量間の因果関係を考慮した上で、(1)について「距離が最小となるCE」から「最小限の介入」に切り替えると、式(3)が得られる。これによって、現実的に可能でかつ特徴量間の因果関係も考慮した*recourse*が求められる
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/077e0137-f4e5-8dc2-7f84-0f8f1090176d.png)

### Algorithmic and Counterfactual Fairness
- 公平性の尺度は様々にあるが、これらは互いに両立しないことがあると知られており、その問題の中心には属性が与える因果効果があるとされている。そのため、公平性の実現において、因果の問題を考えることは必要不可欠である
    - （記事著者理解）例えば、「属性に基づいて判断をおこなってはいけない」という公平性の基準と「属性間で判断結果の分布が異なってはいけない」という基準は両立しないことがある。カード審査アルゴリズムに性別の情報を入れなかったとしても、年収などに対して性別の因果効果があるため、審査結果の分布は性別間で異なってしまう。この分布を揃えるためには、基本的には性別に基づいて審査結果の判断を調整する必要がある
- 特に、本稿において注目するのが以下で表される*counterfactual fairness*である。これは、分類器による判断結果が、保護の対象となる属性の変更、およびその属性から因果効果を受ける他の特徴量の変化を受けても変わらないということを示している
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/389b2a44-ae1b-eda1-85c1-aa88a141a340.png)
変更された属性$a$と、因果効果による影響まで考慮した特徴量を持つデータ$\boldsymbol{\mathrm{v}}_a(\boldsymbol{\mathrm{u}^\mathrm{F}})$を**counterfactual twin**と呼ぶ（what if...?の世界）

### Equalizing Recourse Across Groups
- もう一つ本稿で着目するのが以下の*fairness of recourse actions*。まず、分類器の判断をネガティブからポジティブに変える事ができる、recourse可能な特徴量の最短距離(4)を考える（(2)においてコスト関数を距離とみなした場合と同等）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/fda1d7d9-cb59-9a75-2714-9bac23fb5ecb.png)
次に、保護された属性のグループ毎に、上記最短距離の平均を求める(5)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/10730d10-c48d-6f1f-2f41-603eb2a4f9a3.png)
このようにすると、*recourse action*に基づいた公平性のメトリックであるGroup-level fair IMF-recourseとして、Definition 2.1を定義することができる。これは(5)の属性間での差分の最大値であり、定性的には、アルゴリズムの判断結果をネガティブからポジティブに変えるために必要な努力の量の、属性間での最大格差とみなせる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/6f9785f3-160b-43e5-87af-b701497c42ad.png)
このように不公平性を定量化し、分類器を学習する際の制約条件として加えることで、"公平な"判断をおこなうモデルを作成することができる。

## 3. Fair Causal Recourse
ここからが本論文による提案手法
- Definition 2.1は、IMF（各特徴量を独立にrecourse可能）であるという前提に基づいており、特徴量間の因果関係を無視している。本稿では、SCMを用いた因果モデルを用いてDefinition 2.1の拡張をおこなう

### 3.1 Group-Level Fair Causal Recourse
- Definition 2.1の「特徴量の最短距離」の部分を、(3)同様に「最小限の介入」に置き換える
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/fc05239c-cb9e-ef1d-b21e-d91f7276afe9.png)
(5)と同様に属性グループ毎に平均を取ることで、因果効果を考慮してDefinition 2.1を拡張したGroup-level fair causal recourseをDefinition 3.1のように定義できる
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/d1341d16-f4e2-1c7f-0ee9-261906a0ca44.png)
- しかし、Definition 2.1も3.1も、グループ内での平均を対象とした定義であるが、**公平性はあくまで個人レベルで評価されるべきであり、グループレベルでの評価では依然として不公平性は解消されない**といった指摘がある（グループ内で得をする人と損をする人が出てきた場合に、それらが相殺されて評価されてしまうため）。そこで、*counterfactual fairness*の考え方を用いて、Definition 3.1をさらに個人レベルの公平性まで拡張させる

### 3.2 Individually Fair Causal Recourse
- *counterfactual fairness*の概念に基づき、「ある個人が要するrecourseのコストが、仮に異なるグループに属していたとしても同じである場合に、公平性が満たされている」とした上で、individually fair causal recourseをDefinition 3.2のように定義する。これは、ある個人の実際のrecourseのコストと、その個人のcounterfactual twinのrecourseコストとの最大格差を示している
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/b6cd00d9-b633-d81f-a8b6-8f55ddf01ced.png)
これはDefinition 2.1や3.1よりも強い定義であり、2.1や3.1が満たされていたとしても3.2が満たされないケースはある。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/3d286753-79be-431a-f45e-4496c1b97d43.png)
これは、分類器がcounterfactually fairではない場合を反例として証明できる（詳細は省略）

### 3.3 Relation to Counterfactual Fairness
- では、分類器がcounterfactually fairであれば各種fair recourseは満足されるかというと、答えはNoである
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/e8acba85-2917-9287-2902-c0f00a9fa177.png)
これはFigure 1の例で示したとおりで、属性Aが変わっても分類器によってpositiveに判断される確率は変わらないが、ネガティブに判断された人が結果をポジティブに変えるために必要なrecourseのコストは属性によって異なる
  - ちなみに、Figure 1で分類器がcounterfactually fairであるというのは判断が決定的（Incomeが平均以上であったら必ず+1、そうでなければ-1）であるためであり、ロジスティック回帰などのように出力が確率値としてでるような分類器であった場合は、属性によってpositiveに判断される確率値が変わってしまうためcounterfactually fairであるとは言えない

### 3.4 Achieving Fair Causal Recourse
いかにしてfair recourseを実現するか

#### Constrained Optimisation
- 既存のDefinition 2.1でおこなわれていたように、分類器を学習する際に定量化された不公平性を制約条件として加える方法が考えられるが、(3)においては　「どの特徴量に介入するか」の組み合わせを最適化する必要があり、分類器の学習時に制約条件として加えるのは難しい可能性がある（微分可能でないため）

#### Restricting the Classifier Inputs
- 特徴量間の因果関係に関する定性的な知識に基づいて、**属性から因果効果を受ける特徴量を分類器の入力に加えない**という方法もある。その場合、individually CAU-fairは満たされる
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/ad33fc63-1127-8187-75f2-0697a3e07391.png)
分類器の入力が属性から因果効果を受けないものに絞られているので、属性が変わっても分類器の出力を変化させるために取りうるrecourseとそれに要するコストは変わらないため

- Proposition 3.6は、「属性が変わっても分類器の出力を変化させるために取りうるrecourseとそれに要するコストは変わらない」という前提を置いていたが、これは必ずしも成り立つとは限らない。例えば、特定の仕事や職務に就くことがrecourseの候補になったとしても、属性によってはそれが禁止されていたり困難であったりするという場合もある
    - （それは属性からの因果効果がある特徴量とみなせるのでは...？）
- また、保護された属性は年齢・性別など社会的な性質を表した物であるのが通常であり、これらはしばしば多くの特徴量に影響を与える。そのため、それらを分類器の入力から排除するのは精度の低下に繋がりかねない

#### Abduction / Representation Learning
- 属性からの因果効果を受ける特徴量を使わないことで精度が低下してしまうため、代わりに属性からの因果効果を受けていない**未観測の変数U**を推論し、特徴量に加えるといった方法もある。例えばある特徴量$X$が$X=f(A)+U$のような形で表される場合に、$X$は属性$A$の因果効果を受ける特徴量であるためそのまま使えないが、外部の変数である$U$は$A$に依存しないため、$U$は$X$の**fair representation**としてみなし特徴量に用いることができる。しかし、$U$は直接観測できる変数ではないため推論によって求める必要があり、その推論においては注意を要する必要がある

## 4. Experiments
シミュレーションで生成したデータを用いた精度評価（4.1）と、実際のデータセットを用いた評価（4.2）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/0bd19a3b-9731-c5f3-8b1c-b671fcde9acd.png)


### 4.1 Numerical Simulations
- シミュレーションによって、事前に与えたSCMの構造に基づいた下記2種のデータを生成
    - IMF: 特徴量は属性からのみ因果効果を受け、互いに因果効果を与えることはない（Figure 3-(a)）
    - CAU: 特徴量は属性からも他の特徴量からも因果効果を受けうる（Figure 3-(b)）。因果関係が線形なCAU-LINと非線形なCAU-ANMの2種を用意
- 特徴量の数は3個、属性Aは0,1の2値。ラベルはロジスティック回帰（LR）の値を平均としたベルヌーイ分布でランダムに付与
- 分類器についてはロジスティック回帰およびサポートベクターマシン（SVM）をベースとした下記のモデルについて評価
    - $\mathrm{LR/SVM}(\boldsymbol{\mathrm{X}},A)$: 属性含む全ての特徴量で学習（naive baseline）
    - $\mathrm{LR/SVM}(\boldsymbol{\mathrm{X}})$: 属性以外の全ての特徴量で学習(unaware baseline)
    - $\mathrm{FairSVM}(\boldsymbol{\mathrm{X}},A)$: Gupta et al.(2019)による手法。分類境界までの距離の平均が属性間で等しくなるように学習する(Definition 2.1のGroup-level fair IMF-recourseを目指した手法)
    - $\mathrm{LR/SVM}(\boldsymbol{\mathrm{X}}_{\mathrm{nd}})$: SCMにおいてAの子孫にある特徴量を覗いた全特徴量で学習(3.4の**Restricting the Classifier Inputs**)
    - $\mathrm{LR/SVM}(\boldsymbol{\mathrm{X}_{\mathrm{nd}}, \mathrm{U}_d})$: 上記に加えて、Aの子孫にある特徴量に影響する未観測特徴量Uを推定した上で特徴量に追加(3.4の**Abduction / Representation Learning**)
- ラベル付けに用いたLRと分類器について、線形にした場合と非線形にした場合のそれぞれを評価
- SCMについては人工データなので真のモデルは分かっているが、Karimi et al. (2020c)による手法を用いて改めて推定した結果を使用
    - conditional variational autoencoderを用いた手法
    - 真のSCMを用いて評価した場合も傾向は同じであった
- 評価メトリックとしてはAccuracy(Acc)に加えて、公平性の尺度として「分類境界までの平均的な距離の格差（$\Delta_{\boldsymbol{\mathrm{dist}}}$, Definition 2.1）」「因果効果を考慮した、グループ間のrecourseの格差（$\Delta_{\boldsymbol{\mathrm{cost}}}$, Definition 3.1）」「因果効果を考慮した、個人間のrecourseの格差（$\Delta_{\boldsymbol{\mathrm{ind}}}$, Definition 3.1）」を評価（Accは高いほど、公平性の格差は低いほど良い）
    - $\Delta_{\boldsymbol{\mathrm{dist}}}$, $\Delta_{\boldsymbol{\mathrm{ind}}}$におけるcausal recourseのコスト関数については、現実の特徴量に対する介入ベクトルのL2距離を使用
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/3f0e77c2-f69e-7f71-77e7-e7267862b18c.png)
- Table 1が評価結果
    - 2つのbaseline手法については、Accは高いものの公平性の観点で見ると格差の大きい結果に。特に、**属性を特徴量から除く事は公平性の改善に繋がっていない**ことが分かる
    - FairSVMは（もともと最小化の対象となっている）$\Delta_{\boldsymbol{\mathrm{dist}}}$が、特にIMFデータにおいて低く抑えられているが、線形のデータセットに対してはAccが低くなってしまっている
    - Aの子孫を除いた各手法については、Proposition 3.6で想定していた通り$\Delta_{\boldsymbol{\mathrm{ind}}}$がゼロになっている。特に、未観測変数Uを推定して特徴量に加えた手法ではAccの低下を抑えられている
        - ただし、この精度は3.4で述べたとおりUをどれだけ正しく推定できるかに依るので、この値はupper boundとして捉えるべきである（そもそもここではUをどのように推定している...？）
    - 公平性の尺度間で明確な関係性は見られなかった。これは、因果効果を考慮した公平性の尺度を考える必要性を示している

### 4.2 Case Study on the Adult Dataset
- 実際の調査データであるAdult dataset (Lichman et al. 2013)を用いた評価
    - 3種の保護されるべき属性特徴量（性別・年齢・国籍）
    - 5種のそれ以外の特徴量（婚姻・学歴・労働者階級・職業・労働時間）
        - （「保護されるべき特徴量」と「それ以外」をどのような基準で分けている...？）
    - 年収が5万ドルを超えるか否かの予測
    - 45,000件以上のサンプル
- 3種の属性+婚姻についてはrecourse不可能な特徴量とみなし、それ以外をrecourse可能な特徴量として探索の対象とした
- SCMについては4.1と同様に推定
- 非線形の$\mathrm{LR}(\boldsymbol{\mathrm{X}})$（属性以外の特徴量で予測）でモデルを構築（accuracy=78.4%）。その後、ネガティブな予測をされた10サンプルについて、(3)を最適化するcausal recourseを探索（因果効果を考慮したrecourse）。探索は、8種の属性グループ（$2^3$。3種の属性の組み合わせ）について、それぞれのcounterfactual twin7種も含めて実施
    - 例えば「女性」「高齢」「非米国籍」のcausal recourseと、各属性が「男性」「若者」「米国籍」だった場合に、その因果効果を受けた特徴量の変更も考慮した上でのcausal recourseも評価している
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/5158ad60-ab8a-6505-f18b-4394c09c63d1.png)
- 評価結果
    - グループレベルの格差については、$\Delta_{\mathrm{dist}}=0.89, \Delta_{\mathrm{cost}}=33.32$。$\Delta_{\mathrm{dist}}$で最大の格差が生じたのは「男性」「高齢」「米国籍」と「女性」「高齢」「非米国籍」との間であったが（後者の方がrecourseコスト大）、$\Delta_{\mathrm{cost}}$については「女性」「高齢」「米国籍」と「女性」「高齢」「非米国籍」との間であった。この結果も、因果効果を考慮した公平性の尺度を考える必要性を示している
    - 個人レベルでは、counterfactual twin間におけるrecourseの格差$\Delta_{\mathrm{ind}}$の平均は24.32、最大で61.53であった（Table 2）
        - 図では、青が実際のデータ、それ以外がcounterfactual twinについてSCMに基づいて算出したデータに対する結果で、赤が最も実際と格差の大きかったcounterfactual twin。これを見ると、ある非米国籍の高齢女性が年収5万ドルを超えるためには、労働時間を25→92に増やさなければいけなかったのが（コスト67）、もし彼女が「米国籍の高齢男性」であったら、（その属性から労働者階級など他の特徴量も因果効果を受けて変わるため）必要なrecourseは学歴を学士→専門学校に変えるだけで良く、そのコストは5.5であって、61.5の格差が生じてしまっている
    - このように、現実の調査データにおいても、recourseの不公平性が確認できた

## 5. On Societal Interventions
- これまで見てきたようにcausal recourseの公平性には、分類器の性質だけではなく元々のデータセット、その間に存在する因果モデル、recourseに必要なコストなど複数の要素が影響してくる。既存の機械学習における公平性の議論においては、主に分類器に補正をかけることで公平性の実現を目指していたが、分類器自体を補正してしまうことは実用に対する干渉にもなりうる
    - 例えばクレジットカードの発行について、本来発行したくない人にも発行するようになってしまう
- 新たなアプローチとして、データセットと因果モデルに着目し、**社会的介入（sociental intervention）によりデータ生成プロセスの側を変えてしまう**ことで、分類器については手を入れないまま公平性を実現する方法を提案する。例えば、年収が低くcausal recourseの大きい人達に対しては補助金を与えるなど
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/a0fb8858-55a2-0b4c-d2a2-ad90247da071.png)
- Figure 1の例においては、因果モデル（SCM）$\mathcal{M}$に基づいたデータ生成プロセスとして$X := (2-A)U_X, U_X 〜 \mathcal{N}(0,1)$としているが、これを社会的介入$i_k$によって$\mathcal{M'}_k=i_k(\mathcal{M})$に変換することを考える。例えば以下のように、属性$A=0$でかつ$U_X$が閾値$t$未満の個人に対し、確率$p$で補助金$s$を与えるという介入を考える
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/f77b9645-076b-4469-8188-c26660478985.png)
    - Figure 1の通り、属性$A=0$は年収の分布が広く、クレジットカードの審査に落ちた人が審査を通すために上げる必要のある収入の量が多いため、そのような人たちに対して補助金を与えることで、recourseの量が$A=0$と$A=1$とで公平になるようにしている
    - ランダムに補助金を付与するのが公平なのか？という議論もあるが、その辺りは(Grgic-Hlaca et al. 2017)を参考にとの事
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2533248/376f9921-1b15-7b90-8115-a2233b38291c.png)
- $(p, t, s)=(1,-0.75,1.5)$とした時の分布の変化がFig. 4(a)。審査に落ちた人（$X<0$）たちが収入$X$を上げる必要のある量（Boundaryまでの距離）が、$A=0$と$A=1$で近くなっている、すなわちfair recourseであると言える
- 社会的介入$i_k$は、必要なコストと得られる利得によって評価される。Figure 4(b)は、$t$を変化させた時のコスト（Subsidies spent。必要な補助金の額）と利得（Recourse difference。属性間でのrecourseの格差。少ないほど良い）について評価している（$s=-2t$は分類器の予測の変化を避けるための条件(?)）。$t \approx 0.75$においてコストは最大になる一方、属性間の格差も最小となっており利得が最大化している
- このように社会的介入を用いることで、分類器に手を加えることなくfair recourseを実現できる。上記の例はtoy exampleであるが、Definition 3.2のような個人レベルでのcausal recourseの格差に着目することで、counterfactualな不公平性を考慮したよりきめ細かい介入について検討できる可能性がある
    - （例えばTable 2での評価のように、非米国籍の高齢女性はもし「米国籍の高齢男性」であった場合と比べて61.5のrecourseコストの格差があるため、その分の補助を与えるなど？）

## 6. Discussion
- 本稿ではアルゴリズムの公平性について、分類器のみに着目するのではなく、背後にあるデータの生成プロセスも含めたより大きなシステムにおいて考慮べきものとして議論してきた
- その上で、アルゴリズムの不公平性を解消する手段としての社会的介入について提案をおこなったが、このような社会的介入についてはさらなる議論が必要である。例えば、補助金によってクレジットカードの審査を通過した人々が、その後毎月期日通りに支払いをおこなえるのか、支払いができなかった場合に生じるコストについてはどうするのか、といった問題はある。このような問題については経済学の方面においても議論がなされており、そちらも参考にしながらフレームワークの拡充をおこなうのが今後の課題である