KYOTO UNIVERSITY

介入効果推定の方法
鹿島 久嗣
京都大学

DEPARTMENT OF INTELLIGENCE SCIENCEAND TECHNOLOGY

1/32

KYOTO UNIVERSITY

目次：
介入効果推定の方法
1. 介入効果推定問題
2. 介入効果推定法

近頃、機械学習界隈でも話題の因果推論が…

3. 反事実の欠損への対処

4. 傾向スコアによる偏り補正

深層学習の技術と合体して…

5. 偏り補正な表現学習
6. グラフ上での介入効果推定

2/32

同じく話題のグラフ学習と合体

KYOTO UNIVERSITY

介入効果推定問題

3/32

KYOTO UNIVERSITY

機械学習の目的：
予測 と 発見 による意思決定の自動化あるいは補助予測型の機械学習▪

• 過去のデータをもとに、将来のデータについて予測する• 「これから何が起こるのか？」 がわかれば、それに基づく意思決定ができるより意思決定に発見型の機械学習▪

つながりやすい• 過去のデータから、何らかの知見を得る• 「いま何が起きているのか？」がわかれば、正しい認識に基づく意思決定ができる
4/32

KYOTO UNIVERSITY

一般的な予測モデリングの問題点：
意思決定（介入）のもたらす効果を考慮していない▪ 一般的な予測モデリングにもとづく意思決定：
1. 各ユーザ𝐱 (𝑖) に対して、購入確率𝑓 𝐱 𝑖を推定する

2. 𝑓 𝐱 𝑖 が大きいユーザ𝐱 (𝑖) にキャンペーンを打つ（クーポン発行など）▪ 問題点：別にキャンペーンを打たなくても買う人はいるのでは？
• キャンペーンによる効果（＝購買可能性の増分）をみていないキャンペーンを打つ必要はなかった

キャンペーンを打ってよかった
キャンペーンを…

打たない 打つ打たない 打つ

ときの購入確率

両方ともキャンペーンを打った結果は良いが…

5/32

KYOTO UNIVERSITY

介入効果推定の目的：
意思決定（介入）の効果を考慮した予測モデリング▪ 対象（人）に何らかの働きかけを行い、特定の結果（行動など）を促したい場面：• ユーザに対して、キャンペーンを打つことで、購買行動を期待• 患者に対して、ある治療を行うことで、治癒を期待• 顧客に対して、サービスの更新を打診することで、更新を期待• 有権者に対して、投票を促すことで、投票行動を期待▪ それぞれの対象に対して、適切な働きかけ（介入）を行いたい：• どの対象に介入すべきか？ ある対象に介入すべきか否か？
▪ 働きかけの「効果」を考えた予測モデル化が必要
6/32

KYOTO UNIVERSITY

意思決定のあるべき姿：
介入効果のある対象に介入すべき▪ 対象は介入／非介入に対する反応によって4タイプに分けられる
購入する

確実（Sure Thing）

説得可能（Persuadable）

買わない

あまのじゃく（Do-Not-Disturb）

見込みナシ（Lost Cause）

購入する

買わない

介入した場合の結果

介入しなかった場合の結果▪ 「説得可能」カテゴリに介入するべき▪ 「あまのじゃく」に介入してはいけない▪ その他は介入しても意味がない（介入するだけ無駄）：
従来の予測モデリングだと「確実」カテゴリにも介入している可能性
7/32

KYOTO UNIVERSITY

介入効果推定と通常の予測モデリングの違い：
過去の介入結果を含むデータから介入の効果を予測▪ 介入効果推定：▪ 通常の予測モデリング：
⚫

⚫

⚫

𝑦：結果

⚫

𝑧：介入の有無⚫

𝑦：結果が訓練データとして与えられ、対象と結果の関係を予測

𝑖

𝐱 ,𝑦8/32

𝐱：対象の表現（性別、年齢など）

𝐱：対象の表現（性別、年齢など）

𝑖

𝑁𝑖=1

訓練データ

購入の有無
or 購入金額

が訓練データとして与えられ、介入の効果を予測𝑖𝑖𝐱 ,𝑧 ,𝑦𝑖𝑁
𝑖=1

KYOTO UNIVERSITY

介入効果推定問題：
介入の有無を伴うデータから介入効果の予測モデルを得る▪ データ：𝑖𝑖

𝐱 ,𝑧 ,𝑦𝑖𝑁
𝑖=1𝑖番目の対象𝐱 (𝑖) に対して介入をした／しなかった (𝑧 (𝑖) ∈ {0,1})
ところ、結果が𝑦 𝑖 （購入の有無 or 購入金額）だった▪ 目的：対象𝐱への介入効果 𝜏 = 𝑦1 − 𝑦0 を予測したい• 介入した場合の結果を𝑦1 、しなかった場合の結果を𝑦0 とする▪ ただし： 𝐱 に対して𝜏
(𝑖)

•

(𝑖)

(𝑖)
(𝑖)
= 𝑦1 − 𝑦0 は直接は観測されない(𝑖)(𝑖)
観測されるのは𝑦0 か𝑦1 のいずれか一方のみ「反事実」• 本質的なデータ欠損：原理的に両方ともは観測できない
9/32

KYOTO UNIVERSITY

介入効果推定法

10/32

KYOTO UNIVERSITY

介入効果推定問題における技術的課題：
反事実の欠損 と 観測の偏り(𝑖)(𝑖)に対して、介入結果𝑦1 か非介入結果𝑦0 の▪ 前提： 𝐱いずれか一方のみが観測される(𝑖)• （我々の知りたい）介入効果𝜏

(𝑖)

(𝑖)
(𝑖)
= 𝑦1 − 𝑦0 は観測不可▪ 介入効果推定に立ちはだかる２つの技術的課題：
1. 反事実の欠損：
介入結果と非介入結果のいずれか一方しか観測できない

2. 観測の偏り：
介入結果と非介入結果のいずれか一方に偏って観測される

11/32

KYOTO UNIVERSITY

介入効果推定法：
反事実の欠損 と 観測の偏り への対処
▪ 介入効果推定に立ちはだかる２つの技術的課題：
1. 反事実の欠損：
介入結果と非介入結果のいずれか一方しか観測できない
なんとか推定したらよいのでは？
2. 観測の偏り：
介入結果と非介入結果のいずれか一方に偏って観測されるなんとか偏りを補正したらよいのでは？
12/32

KYOTO UNIVERSITY

反事実の欠損への対処

13/32

KYOTO UNIVERSITY

反事実の欠損への対処：
2モデルアプローチと目的変数の変換アプローチ▪ 介入効果を測るには、実際の結果と反事実を比較する必要がある▪ 反事実の欠損に対処するための方法：
1. 2モデルアプローチ：反事実を補完する•

介入・非介入それぞれに予測モデルをつくる

2. 目的変数を変換するアプローチ：介入効果を直接推定する• 単一の予測モデルで介入効果を直接推定する

14/32

KYOTO UNIVERSITY

2モデルアプローチ：
介入・非介入それぞれの結果をモデル化して、差をとる▪ 2モデルのアプローチ：介入・非介入それぞれの予測モデルをつくる
1. 介入ありの場合のモデル：𝑓1 (𝐱)••から推定𝑧 (𝑖) = 1の場合の訓練データ 𝐱 (𝑖) , 𝑧 (𝑖) , 𝑦 (𝑖)𝑖:𝑧 (𝑖) =1𝑧 (𝑖) = 0の場合の介入効果の推定は 𝜏 𝑖 = 𝑓1 (𝐱 (𝑖) ) − 𝑦 (𝑖)2. 介入なしの場合のモデル：𝑓0 (𝐱)から推定•𝑧 (𝑖) = 0の場合の訓練データ 𝐱 (𝑖) , 𝑧 (𝑖) , 𝑦 (𝑖)•𝑧 (𝑖) = 1の場合の介入効果の推定は 𝜏 𝑖 = 𝑦 (𝑖) − 𝑓0 (𝐱 (𝑖) )𝑖:𝑧 (𝑖) =0▪ 将来のデータ𝐱の介入効果の推定は 𝜏 𝐱 = 𝑓1 𝐱 − 𝑓0 (𝐱)※ 𝑓0 (𝐱)と𝑓1 (𝐱)をまとめて一つのモデル𝑓(𝐱, 𝑧)としてもよい
15/32

KYOTO UNIVERSITY

目的変数の変換アプローチ：
介入効果を直接推定するモデル(𝑖)(𝑖)▪ 結果変数の変換：𝜂(𝑖) = 2 𝑧 (𝑖) 𝑦1 − (1 − 𝑧 (𝑖) )𝑦0▪ お気持ち：介入𝑧 (𝑖) が「ランダムに決められていたとしたら」
𝑧 (𝑖) の期待値は1/2なので、 𝜂(𝑖) の期待値は E 𝜂(𝑖) = 𝜏 𝑖

ランダム化試験
A/Bテスト▪ 訓練データの変換：
𝑖𝑖𝐱 ,𝑧 ,𝑦𝑖

𝑁
𝑖=1

𝑖𝐱 ,𝜂

𝑖

𝑁
𝑖=1

▪ 𝜂(𝑖) を予測するモデル 𝜂(𝑖) ≈ 𝑓(𝐱 𝑖 ) をつくる
• 入力から介入効果を直接推定するモデル

16/32

KYOTO UNIVERSITY

介入効果に基づく決定：
予測介入効果の高い順に介入する▪ 新たな対象に対して、介入すべきかどうかを決めたい▪ 介入効果推定に基づく介入決定：
1. すべての対象 𝐱 に対して介入効果 𝜏 𝐱 を推定する：
2. 𝜏 𝐱 が大きい順に介入する•𝜏 𝐱 > 0 であるものは介入効果がプラスなので基本的には介入すればよい•コストとの兼ね合いでどこまで介入するかを決定する

17/32

KYOTO UNIVERSITY

傾向スコアによる観測の偏りの補正

18/32

KYOTO UNIVERSITY

観測の偏り：
観測データの偏りは推定の偏りを生む
(𝑖)

(𝑖)

▪ 𝜂(𝑖) = 2 𝑧 (𝑖) 𝑦1 − (1 − 𝑧 (𝑖) )𝑦0

は介入効果𝜏 𝑖 のよい推定• 介入 𝑧 (𝑖) が「ランダムに決められていたとしたら」 E 𝜂(𝑖) = 𝜏 𝑖▪ もし、𝑧 (𝑖) がランダム（ Pr 𝑧 (𝑖) = 1 = 1/2 ）でなかったら？
• 営業担当は買いそうな客にキャンペーンを打つ傾向がある• 医者は効きそうな患者に薬を与える傾向がある▪ 例えば Pr 𝑧(𝑖)= 1 = 2/3のとき 𝜂(𝑖)=2Pr 𝑧 (𝑖) = 1 を傾向スコアと呼ぶ

2 (𝑖)
1 𝑖
𝑦1 − 𝑦033>𝜏𝑖介入効果を過大評価（ 𝜂(𝑖) > 𝜏 𝑖 ）している
19/32

KYOTO UNIVERSITY

観測の偏りを取り除く：
逆確率重みづけによる偏りの除去▪ 介入𝑧 𝑖 がランダムならOK、そうでなければ過大評価・過小評価▪ もし、𝑧 (𝑖) がランダムでなかったら？
「あたかもランダム」に介入したと見えるよう補正する▪ 逆確率重みづけ法：傾向スコアPr 𝑧 (𝑖) = 1 の逆数をかけて補正▪ 例： Pr 𝑧(𝑖)= 1 = 2/3のとき 𝜂「あたかもランダム」補正=2× 1/2Pr 𝑧 (𝑖) = 1

𝜂
20/32

(𝑖)

(𝑖)

=22 (𝑖)1 𝑖𝑦1 − 𝑦033>𝜏𝑖

× 1/2Pr 𝑧 (𝑖) = 01 (𝑖)1 𝑖𝑦1 − 𝑦022>𝜏 𝑖KYOTO UNIVERSITY逆重みづけによる介入効果推定の手続き：
傾向スコア推定と介入効果モデル推定の2段階
1. 傾向スコアの推定：
𝑁

訓練データ 𝐱 , 𝑧から、傾向スコアのモデル
𝑖=1
𝑔 𝐱 = Pr 𝑧 = 1|𝐱 を推定する
𝑖𝑖• 適当な 確率的二値分類器（ロジスティック回帰、NN、…）を利用可能
2. 介入効果モデルの推定：𝜂෤(𝑖)𝑖𝑖=𝑧 𝑖 𝑦1𝑔 𝐱𝑖−1−𝑧 𝑖 𝑦01−𝑔 𝐱 𝑖(𝑖)から介入効果モデル 𝜂෤

21/32

として、訓練データ

𝑖𝐱 , 𝜂෤

(𝑖)

𝑁𝑖=1≈ 𝑓(𝐱 𝑖 )を推定する

KYOTO UNIVERSITY

偏り補正な表現学習
Learning Representations for Counterfactual Inference
Johansson et al. (ICML2016)
Estimating Individual Treatment Effect: Generalization Bounds and Algorithms
Shalit et al. (ICML2017)

22/32

KYOTO UNIVERSITY

深層学習による介入効果推定：
介入効果推定に適した表現学習は可能か？
▪ 期待：深層学習なら、「表現学習」で、反実仮想をなんかいい感じで補完してくれるはずだ（?）
想定されるネットワーク構造
介入𝑧

対象𝐱

結果𝑦を当てられるように
𝑓R と 𝑓P を学習する

𝑓R

𝝓𝑓P

𝑦

結果

なんかイイ感じの表現

23/32

KYOTO UNIVERSITY

介入効果測定のための表現学習：「あたかもランダム」な介入を実現する表現の獲得▪ 逆重みづけにおける「あたかもランダム」補正：
介入・非介入が「あたかもランダム」（＝半々）で決定されたかのような状況を作り上げた
言い換えると𝐱 を見ても 𝑧 = 1 なのか 𝑧 = 0 なのか分からない▪ 「あたかもランダム」な介入を実現する𝐱の表現𝝓とは：𝝓 を見ても 𝑧 = 1 なのか 𝑧 = 0 なのか分からないこと（あるいは、 𝝓 | 𝑧 = 1 の分布と 𝝓 | 𝑧 = 0 の分布が同じ）

24/32

KYOTO UNIVERSITY

あたかもランダム介入な表現学習：
介入が予測できないような表現を獲得するよう学習▪ 𝝓 を見ても 𝑧 = 1 なのか 𝑧 = 0 なのか分からないように、表現抽出器𝑓R を学習する （識別器𝑓D は介入𝑧を当てようと頑張る）

𝝓 | 𝑧 = 1 の分布と 𝝓 | 𝑧 = 0 の分布間距離を最小化する

介入𝑧
結果𝑦を当てられるように
𝑓R と 𝑓P を学習する

対象𝐱𝑓R

𝝓𝑓P

𝑦

結果介入𝑧を当てられるように
𝑓D を学習する
なんかイイ感じの表現

𝑓D𝑧
介入𝑧を当てられないよう
𝑓R を学習する

25/32

Estimating Individual Treatment Effect: Generalization Bounds and Algorithms
Shalit et al. (ICML2017)

KYOTO UNIVERSITYグラフ上での介入効果推定
Learning Individual Causal Effects from Networked Observational Data
Guo et al. (WSDM2020)

26/32

KYOTO UNIVERSITYグラフ上で介入効果推定問題：
従来の介入効果推定問題 ＋ （ソーシャル）ネットワーク▪ 介入効果推定問題：⚫

• 対象間のつながり

𝐱：対象の表現（性別、年齢など）⚫

𝑧：介入の有無⚫

𝑦：結果+が訓練データとして与えられ、介入の効果を予測𝑖𝑖𝐱 ,𝑧 ,𝑦𝑖𝑁

𝐺 = (𝑉, 𝐸)

𝑖=1
𝑉 = {1,2, … , 𝑁}

27/32

KYOTO UNIVERSITY

グラフ深層学習：
近年のグラフ機械学習の発展▪ グラフ構造からの特徴抽出にニューラルネットワークを利用▪ グラフ畳み込みニューラルネットワーク（GCN／GNN）• 画像畳み込みニューラルネットワーク（CNN）：
各ピクセルがその近傍ピクセルの情報を取り込む• グラフ畳み込み：各ノードが周辺ノードの情報を取り込む

画像畳み込み28/32

グラフ畳み込み
KYOTO UNIVERSITY

グラフ畳み込みニューラルネットワーク：
周辺構造を取り込んだノード表現の獲得▪ 周辺の情報を取り込む畳み込み操作：
𝑖 番目のピクセル（ノード）の ℓ 層目の表現(ℓ)
𝐡𝑖 = 𝜎𝑽

ℓ−1

𝐡𝑖

ℓ−1+෍

𝑾

ℓ−1𝑗∈𝑁𝑖𝐡𝑗ℓ−1

𝑖 番のピクセル（ノード）の 近傍ピクセル（ノード）集合

𝑖𝑁𝑖
画像畳み込み
29/32

𝑖𝑁𝑖
グラフ畳み込み
KYOTO UNIVERSITY

グラフニューラルネットワークの学習：
特徴抽出と予測モデルの一気通貫学習▪ グラフNNは誤差逆伝播（自動微分）によって学習可能
各層の操作は入力・パラメータで微分可能

入力から出力を予測

30/32

誤差逆伝播

Pope et al. (2019)

KYOTO UNIVERSITY

グラフ深層学習によるグラフ上での介入効果推定問題：「あたかもランダム」表現学習＋グラフNN▪ 枠組みは「あたかもランダム」表現学習と同じグラフからの表現抽出にグラフNNを用いる（だけ）
結果が当たりますように…

対象

結果
グラフNN
介入が当たりませんように…
介入が当たりますように…

介入

31/32

介入予測

Learning Individual Causal Effects from Networked Observational Data
Guo et al. (WSDM2020)

KYOTO UNIVERSITY

まとめ：
介入効果推定の方法
1. 介入効果推定問題
2. 介入効果推定法

近頃、機械学習界隈でも話題の因果推論が…

3. 反事実の欠損への対処

4. 傾向スコアによる偏り補正

深層学習の技術と合体して…

5. 偏り補正な表現学習
6. グラフ上での介入効果推定

32/32

同じく話題のグラフ学習と合体

KYOTO UNIVERSITY