修士論文 要旨

情報幾何のピタゴラス関係に基づく指標を用いた因果推論
細井 一成

数理情報学専攻 48206231

駒木 文保 教授

指導教員

1 はじめに統計的因果推論は，観測されたデータに基づき，変数間の因果関係を推論する問題である．経済学や，神経科学，医学などの様々な学問に応用されている分野であり，多くの種類の因果関係に対して，正しい推論結果を出すより一般的な手法が存在しないか，盛んに研究が行われている [2]．
そ の よ う な 手 法 の う ち ，Information-Geometric

図 1. (1) と (2) の対応関係 ([4] からの引用．) 双方

Causal Inference(IGCI) は情報幾何学的な観点に着目とも情報幾何的ピタゴラスの関係であり，f −1した手法 [4] であるが，変数間の非確率的な関係性を仮による変数変換で移り変わる関係性がある．

定していた．本研究ではこの情報幾何学的観点に基づいた上で，より一般的な変数に対し用いることができる因果推論の手法を提案し，数値実験を通じて IGCI とのウス分布族を用い，h(x) として以下のような KL ダイ
バージェンス D を用いた構造関数に注目した．ここで，→比較を行った．

P Y (y) :=∫P (y|x)UY (x)dx とおく．
∫2 既存研究h3 (x) :=因果推論の代表的なモデルの一つに，以下のような加→= D(PY |x ∥UY ) − D(PY |x ∥ P Y )算ノイズモデル (Addictive Noise Model, ANM) が存在する [3, 5]．

→P Y (y)log
P (y|x)dy
U (y)このとき，以下の性質が成り立つ．

Y = f (X) + E
ここで，X が原因変数，Y が結果変数，E がノイズで定理 1. (Janzing et al. (2012))∫ある．この加算ノイズモデルの X = x で条件付けた Y∫h3 (x)PX (x)dx =h3 (x)UX (x)dx は，以下と同値:→→D(PY ∥UY ) = D(PY ∥ P Y ) + D(P Y ∥UY ).の確率分布の性質を考えると，その確率分布 PY |x のエントロピー SY |x について，以下の等式が成り立つ．

さらに，単調増加関数 f に関して，Y = f (X) とい

SY |x = SN (const.)

う非確率的な関係性を仮定すれば，以下のような情報←

幾何学的な関係性を導き出せる．ただし，P X (x) :=この性質に着目し，[4] では，より一般的なモデルに対し適応されうる，以下のような因果関係 X → Y を定∫P (x|y)UX (y)dy とおく．
←←D(PX ∥ P X ) = D(PX ∥UX ) + D(UX ∥ P X ), (1)

義している．

→D(PY ∥UY ) = D(PX ∥UX ) + D(P Y ∥UY ),仮定 1. X → Y は以下と同値.

h(x) が X = x における PY |X の状態を表している”←→→D(PX ∥ P X ) = D(PY ∥ P Y ) + D(P Y(2)∥UY ). (3)←構造関数”とする．この時，参照確率分布 UX を用いて式 (3) に着目すると，X → Y を仮定すると D(PX ∥ P X

以下が成り立つ:) > D(PY ∥ P Y ) であり，同様に Y → X を仮定すると∫→∫h(x)PX (x)dx ≈←h(x)UX (x)dx.

→D(PX ∥ P X ) < D(PY ∥ P Y ) であるとわかる．この点に着目し，[4] では以下のような因果指標 Information-h(x) や UX の定義により，この因果関係 X → Y は

Geometric Causal Inference (IGCI) を提案している．

様々な性質をとりうるが，[4] では UX に一様分布やガCX→Y := D(PX ∥UX ) − D(PY ∥UY )(4)

情報幾何のピタゴラス関係に基づく指標を用いた因果推論 (細井 一成)

X → Y , CX→Y > 0 ならばCX→Y < 0 ならばY → X と推論する．

3 提案手法IGCI には Y = f (X) という仮定が存在した．さらに一般的な確率分布に対して用いることができる情報幾何学的因果指標を考えるため，以下の点に着目した．

∫定 理 2. Y = f (X) で あ る 時 ， h3 (x)PX (x)dx =∫図 2. ノイズのない実験:青，緑が既存手法 [4] で橙，赤が提案手法．

h3 (x)UX (x)dx は以下と同値:
D(PX,Y ∥UY PX|Y ) =D(PX,Y ∥UX PY |X )+D(UX PY |X ∥UY PX|Y ).
以下のような新しい構造関数 h4 (x) を提案する．

∫h4 (x) =log

UX PY |X
PY |X (y)dy
UY PX|Y

この h4 には，以下のような情報幾何学的関係性が備わっている．
定理 3.

∫

図 3. ノイズのある実験:青，緑が既存手法 [4] で橙，h4 (x)PX (x)dx =∫赤が提案手法．

h4 (x)UX (x)dx であることと，以下が同値:

D(PX,Y ∥UY PX|Y ) =D(PX,Y ∥UX PY |X )+D(UX PY |X ∥UY PX|Y )h4 による因果関係は，Y = f (X) を仮定した，h3 による因果関係の拡張となっている．
定理 3 に基づき，以下のような因果指標 CX→Y を提に，その正解率 (Accuracy) がどう変化するかを示した
図が図 2 である．青，橙では参照確率分布 UX , UY に一様分布，赤，緑にはガウス分布族を用いている．提案
手法と IGCI が同様の精度を持つことがわかる．一方，加算ノイズ E を追加し，Xi = f (Xj ) + E の関係性でデータを生成した図 3 では，IGCI では z が小さい時にAccuracy が低下した一方，提案手法では比較的正確に案する．

CX→Y :=log(|D(PX,Y ∥UY PX|Y )因果推論ができていることがわかる．

−D(PX,Y ∥UX PY |X ) − D(UX PY |X ∥UY PX|Y )|)− log(|D(PX,Y ∥UX PY |X ) − D(PX,Y ∥UY PX|Y )−D(UY PX|Y ∥UX PY |X )|)4 数値実験
提 案 手 法 の 性 質 を 確 認 す る た め ，デ ー タ セ ッ ト

X1 , · · · X70 を乱数，および Xj = Xi2 などの関係式を用いて生成し，Xi , Xj の間に Xj = f (Xi ) の生成式による因果関係 Xi → Xj があるかどうかを推定する課題を行った．IGCI, 提案指標の推定値 ĈX→Y , ĈX→Yを用いて，100 サンプルを用いた課題を，100 回行い正解率 (Accuracy) を集計した．ĈX→Y , ĈX→Y < −z ならば X → Y ,ĈX→Y , ĈX→Y > z ならば Y → X と推測したとき，z を調整して X → Y または Y → X と因果を判定したデータの率 (Decision rate) を調整した時

参考文献[1] S. Amari: Information geometry on hierarchy ofprobability distributions. IEEE Transactions on Information Theory, Vol. 47, pp. 1701–1711, 2001.
[2] A. Dawid: Beware of the DAG!. Causality: objectives
and assessment, PMLR, pp. 59–86, 2010.
[3] P. Hoyer, D. Janzing, J. Mooij, J. Peters, and B.
Schölkopf: Nonlinear causal discovery with additivenoise models. NIPS, Vol. 21, 2008.
[4] D. Janzing, J. Mooij, K. Zhang, J. Lemeire,
J. Zscheischler, P. Daniušis, B. Steudel, and B.
Schölkopf: Information-geometric approach to inferring causal directions. Artiﬁcial Intelligence, Vol.
182, pp. 1–31, 2012.
[5] J. Peters, D. Janzing, and B. Schölkopf: Elementsof causal inference: foundations and learning algorithms, The MIT Press, 2017.