修士論文 要旨

ダイバージェンスを用いた外れ値に頑健な因果探索手法
数理情報学専攻 48166226
指導教員

野間 修平
駒木 文保 教授

3. L の末尾に j ∗ を追加

1 はじめに

4. V ← V \ {j ∗ }本研究では外れ値が混入したデータから変数間の因果関係を推測する手法を提案する．

∗5. xi ← rij (i ∈ V ) として 2 へ
因果的順序 k が推定されれば，係数行列 B の各成分は2 因果探索問題

回帰を用いて推定することが出来る [4] ．確率変数の独因果探索問題とは，データから変数間の因果関係を推測する問題である．因果探索問題を定式化する代表的立性は相互情報量を用いて評価するのが一般的である．
確率変数 v, ξ の相互情報量は次のように定義される：
defなモデルとして，Linear Non-Gaussian Acyclic Models(以下 LiNGAM) がある [4] ．これは変数間の因果関係をデータの生成過程として定義するモデルであり，効率的な推定アルゴリズムが提案されている [2, 5] ．

LiNGAM から生成される p 次元の確率ベクトル x は∫I (v, ξ) =p (v, ξ) logp (v, ξ)
dvdξ
p (v) p (ξ)

相互情報量は非負であり，引数が独立であるときに限り0 となる．相互情報量はカーネル密度推定によって推定された密度 p̂ を用いて次のように推定される：

I (v, ξ) ≈B を p 次の正方行列，e を p 次元の確率ベクトルとした
とき，

1 ∑p̂ (v, ξ)log.
np̂ (v) p̂ (ξ)
i∈[n]x = Bx + e ⇐⇒ x = (Ip − B)−1

しかし，一般に 2 変数以上の同時分布を精度よく推定す

eることは難しいという問題がある．Hyvärinen らは [5]に従って生成される．ただし，e は外生変数と呼ばれ，で，相互情報量の差て P ⊤ BP が対角成分が全て 0 である下三角行列とな())
def (m (xj → xi ) = I xi , rji − I xj , rij
(1)
()
( )
= H (xi ) + H rji − H (xj ) − H rij

る．係数行列 B を隣接行列にもつ有向グラフを因果グを独立性の指標とすることで，同時分布の推定を回避

ラフと呼ぶ．このとき，係数行列 B の性質から，因果した．

各成分は互いに独立に連続型非ガウス分布に従う．また，B は係数行列と呼ばれ，ある置換行列 P が存在しグラフは有向非巡回となり，トポロジカル順序（到達可能性から定義される半順序）が存在する．トポロジカル順序と矛盾しない全順序 k を LiNGAM の因果的順序と呼ぶ．LiNGAM について次の定理が成り立つ．
定理 1p 次元の確率ベクトル x が LiNGAM に従うとする．いま，相異なる i, j ∈ [p] 及び因果的順序 k を任

3 ロバスト推定
ロバスト推定とは外れ値に対して頑健な推定手法の総称である．いま，興味のある分布の密度を fθ = f (·|θ)，
外れ値が従う密度を ρ，混入する外れ値の割合を ϵ としたとき，観測は密度意にとる．このとき，k (i) > k (j) であるならば xi を

g = (1 − ϵ) fθ + ϵρ

Cov(x ,x )xj で回帰したときの残差 rij = xi − V[xij ] j xj と xjに従って生成されるものとする．このとき，ロバスト推は独立である [2] ．

定とは g から生成された観測を用いて興味のある分布j

この定理より，任意の i ∈ [p] に対して xj と残差 ri が独のパラメータ θ を推定することを指す．ここで，ダイ立であるならば，ある因果的順序 k が存在して k (j) = 1バージェンスに基づくロバスト推定の手法を紹介する．

が成り立つ．この性質を用いることで Hyvärinen らはg, f を任意の密度としたとき，γ-ダイバージェンス [3]LiNGAM の因果的順序を推定する次のようなアルゴリ

及び β-ダイバージェンス [1] はそれぞれ∫
11+γlog g (x)dxDγ [g|f ] =γ (1 + γ)∫∫
1. V ← [p]( ，L ← (空リスト) と初期化) − 1 log g (x) f (x)γ dx + 1 log f (x)1+γ dx
γ1+γ
2. j ∗ ← 任意の i ∈ V \ {j} に対し xj ⊥⊥ rij を満たす jズムを提案している [5] ．

defダイバージェンスを用いた外れ値に頑健な因果探索手法 (野間 修平)∫1def1+βDβ [g|f ] =g (x)dx
β (1 + β)∫∫11
β1+β−g (x) f (x) dx +f (x)dx
β1+β0.3

正答率

1.00
0.750.50

θ の関数とみたとき，その最小点を θ の推定量として定義する．

●●

残差の計算方法

●

●

●

●

●

● 通常の回帰●0.250.00で定義される．また，Dγ [g|fθ ]，Dβ [g|fθ ] の推定値を0.5

G‑DIV

B‑DIV

A‑MI 既存手法

G‑DIV

B‑DIV

ロバスト回帰A‑MI 既存手法

手法

図 1. 人工データに対して各推定手法を適用した際の正答率．横軸は推定手法，縦軸は正答率を表す．左図は θMI = 0.3，右図は θMI = 0.5 とし4 提案手法た場合に対応する．また，残差を通常の回帰と本研 究で は LiNGAM に従う 確 率ベ ク ト ルが 外れ値が混入するかたちで観測されたとき，LiNGAM の同様に計算したものを実線で，γ-ダイバージェンスを用いて推定したものを破線で表す．

因果的順序を外れ値に対して頑健に推定する手法を提案する．相互情報量は同時分布から周辺分布の積への距離を Kullback-Leibler ダイバージェンスを用いて測った値である．この関係から類推し，γ-相互 情 報 量 Iβ (·, ·) 及 び β-相 互 情 報 量 Iγ (·, ·) を そ れ
defdef

ぞれ Iγ (v, ξ) = Dγ [p (v, ξ)|p (v) p (ξ)]，Iβ (v, ξ) =Dβ [p (v, ξ)|p (v) p (ξ)] で定義する．一方，相互情報量はエントロピー H (·) を用いて I (v, ξ) = H (v) + H (ξ) −H (v, ξ) と書くことが出来た．右辺のエントロピーをエントロピーの拡張である Rényi エントロピー
defHα (u) =1log1−α∫αp (u) du従う．推定は N = 100 回行った．各手法の正答率 (因果的順序を正しく推定できた推定の割合) を図 1 に示した．独立性の指標の計算に用いるハイパーパラメータθMI = γ, β, α − 1 は 0.3, 0.5 の 2 通りに設定した．残差の推定に用いるハイパーパラメータ γreg は 0.7 とした．
独立性の指標をそのままに残差をロバスト推定する手法と，残差を通常と同様に計算しながら独立性の指標を頑健なものに置き換えた手法はどちらも正答率で既存手法を上回り，θMI = 0.3 とした実験では全ての提案手法が既存手法を優越した．しかし，B-DIV の正答率は θMI = 0.5 とした実験で既存手法の正答率を下回り，で置き換えたものを α-相互情報量と定義する．
本研究では新たな独立性の指標として，式 1 の右辺にある相互情報量 I (·, ·) を，これら 3 種類の量で置き換えることを提案する．このように定義した独立性の指標は推定に際して同時分布の推定を必要としない．これらの手法をそれぞれ G-DIV, B-DIV, A-MI と呼ぶことにする．ただし，どの手法も独立性の指標はカーネルj

密度推定を用いて推定し，残差 ri は γ-ダイバージェンスを用いて推定する．従って，どの提案手法も独立性の指標の計算に用いる γ, β, α と，残差の推定に用いる

γreg の 2 種類のハイパーパラメータを設定する必要がある．

5 数値実験
人工データに対してこれら 3 種類の手法を適用した．
ただし，観測の次元及び個数はそれぞれ p = 3，n = 200とし，外生変数の各成分 ei はそれぞれ独立に分散 1 のラプラス分布に従う．外れ値は混合正規分布 ( 混合比1 : 1，平均 −5, 5，分散 12 , 12 ) に従い，汚染率は ϵ = 0.05とする．係数行列 B は対角成分が 0 である下三角行列で，非零成分は一様分布 U ((−0.6, 0.2) ∪ (0.2, 0.6)) にハイパーパラメータの設定に強く影響されることが観察される．

参考文献[1] A. Basu, I. Harris, N. Hjort and M. Jones: Robustand eﬃcient estimation by minimising a density power
divergence. Biometrika, vol. 85, (1998), pp. 549–559.
[2] S. Shimizu, T. Inazumi, Y. Sogawa, A. Hyvärinen,Y. Kawahara, T. Washio, P. Hoyer and K. Bollen:
DirectLiNGAM: A direct method for learning a linear
non-Gaussian structural equation model. Journal ofMachine Learning Research, vol. 12, (2011), pp. 1225–1248.
[3] H. Fujisawa and S. Eguchi: Robust parameter estimation with a small bias against heavy contamination.
Journal of Multivariate Analysis, vol. 99, (2008), pp.
2053–2081.
[4] S. Shimizu, P. Hoyer, A. Hyvärinen and A. Kerminen: A linear non-Gaussian acyclic model for causal
discovery. Journal of Machine Learning Research, vol.
7, (2006), pp. 2003–2030.
[5] A. Hyvärinen and M. Stephen: Pairwise likelihood
ratios for estimation of non-Gaussian structural equation models. Journal of Machine Learning Research,
vol. 14, (2013), pp. 111–152.
[6] A. Rényi: On measures of entropy and information.
Proceedings of the Fourth Berkeley Symposium on
Mathematical Statistics and Probability, vol. 1, (1961).