修士論文 要旨

独立成分分析を用いた潜在変数をもつグラフィカルモデルの構造推定
数理情報学専攻 48196204
指導教員

石濱 和樹
駒木 文保 教授

Algorithm 1 偏差除去 ICA アルゴリズム [1]1: 観測 x に中心化と準白色化を行い z を得る

1 はじめにグラフィカルモデリングは，多変量データの関係構

2: p = 1 とする造を表現する統計モデルをグラフによって表現する多3: wp をノルムが 1 となるように乱数で初期化変量解析手法である．観測データから構造や変数間の4: w ← E[zg(w⊤ z)] − (I + Σ̃)wE[g ′ (w⊤ z)]

依存関係を推定する様々な手法が研究されており，ノ5: wp ← wp −イズ分布に非ガウス性を仮定した線形モデルである

6: wp ← wp /∥wp ∥∑p−1⊤j=1 (wp wj )wj

7: 収束していなければ 4 に戻る

LiNGAM[4] もその推定対象の一つである．
本研究では，潜在変数を含むグラフィカルモデルの一8: p < m ならば p = p + 1 として 3 に戻る

つである線形潜在モデルを対象として，LiNGAM モデルに対する推定手法と独立成分分析の性質を援用する

3 LiNGAMことで，既存手法の改善を提案した．

LiNGAM(Linear Non-Gaussian Acyclic Model)[4]2 独立成分分析

は加法性と線形性，非巡回性を仮定し，ノイズ分布と独立成分分析 (Independent Component Analysis)して非ガウス分布を仮定した構造方程式モデルである．

は信号成分が互いに独立であるという情報を基に，信号LiNGAM の構造方程式は変数を因果的順序に並べ替えの混合から元の成分を復元する手法である．ICA モデ

ることにより，厳密な下三角正方行列 B を用いて以下

ルは観測 x が独立成分 s の A による線形混合として得のように表現される．

られる以下のように定義される．

x = Bx + ex = As

(1)

(3)

e は互いに独立な非ガウス分布に従う．この式は変形す

簡単のため混合行列 A は正方とする．右辺の分解は一ることにより，ICA モデルとして表現することが可能意ではないため，ICA の解は行の置換とスケールの自由である．

度を持つ．ICA モデルの混合行列の推定は，独立性の規準を導入し，各成分の独立性が最大となるような観測

x = Bx + e⇐⇒

x = (I − B)−1 ex の射影 w⊤ x を逐次的に求める手順となる．主要な推B − I は対角成分が 1 である下三角行列となるため，定アルゴリズムとしては，不動点法を用いた fastICA[2]この ICA モデルは一意に解くことが可能となる．したが提唱されている．

がって，LiNGAM は識別可能なモデルとなる．

応用的な ICA モデルとして，観測に分散共分散行列

Σ が既知のガイウスノイズ n が乗った以下の Noisy-本研究で推定の対象とする線形潜在モデルは各潜在ICA モデルを考えることができる．
x = As + n4 提案手法

(2)

変数から 3 つ以上の観測変数が得られる構造である．

NoisyICA モデルにおける混合行列の推定は，前処理として中心化と準白色化を行ったデータに対して，fas-tICA と同様の導出で得られる偏差除去アルゴリズム(Algorithm 1) を用いて行うことが可能である．
図 1. 線形潜在モデル．

独立成分分析を用いた潜在変数をもつグラフィカルモデルの構造推定 (石濱 和樹)

潜在変数間の構造方程式ではノイズが非ガウス分布に従い，観測ノイズをガウス分布とした場合，このモデルの構造方程式は以下の表現が可能となる．

5 数値実験
提案手法の性質を確認するため，既存手法 [3] との比

f = Bf + d(4)x = Gf + e(5)d, e は非ガウス分布とガウス分布にそれぞれ従うノイズで，(4) 式は潜在変数の関係を表現する LiNGAM モデルであり，(5) 式は観測モデルを表す．A = G(I−B)−1

較実験を行った．一様乱数から生成したパス係数の行列 B と G を用いて図 1 の構造に従う人工データを生成し，潜在変数間のパス係数の推定を行った．なお，Gの推定結果は両手法で同じものを用いている．標本数の変化に対する係数の RMSE (500 回の試行の平均) をプロットした結果を示す．とすると，この 2 式から

x = Ad + e(6)という表現が得られ，これは NoisyICA モデルとなる．
既存手法 [3] では，PCA により次元削減を行ったうえで近似的に fastICA アルゴリズムを利用して A の推定を行う．
提案手法においては，(6) 式が PCA を行った上でもNoisyICA モデルに従う性質を利用し，偏差除去アルゴリズム [1] を援用する．この際，各観測ノイズの分散 σiの推定が必要となるため，確認的因子分析による G の図 2. 標本数を変化させた場合の推定精度の変化．赤推定結果を用いてσ̂i = V[Xi ] − ∥gˆi ∥線は既存手法 [3] で緑線は提案手法．
2(7)として計算する．ただし，gˆi は Ĝ の i 行目である．
以上の計算に基づき，本研究では以下のアルゴリズムを提案した．なお，実際に構造推定を行う場合はこの前の手順として因果探索手法である BPC アルゴリズム[5] を用いるが，本研究の改善部分に関与しないため省略する．

Algorithm 2 線形潜在構造方程式モデルの推定
1: 確認的因子分析により，G の推定量 Ĝ を得る
2: PCA の射影行列 E を計算
3: (7) 式に基づき次元削減後の観測ノイズの分散共分散行列を計算
4: 潜在因子の数の次元に削減を行い，Algorithm 1 を利用し A の推定量 Â を得る
5: W̃ = (Ĝ⊤ Â)−1 (Ĝ⊤ Ĝ)
6: W̃ を適切に行置換，スケール変換を行い I − B の推定量 Ŵ を得る．
7: B̂ = I − Ŵ

図 2 の結果から，既存手法と比較して提案手法の方が推定誤差が小さく，標本数の増加とともに推定精度が向上することが確認された．

参考文献[1] A. Hyvärinen. Fast ICA for noisy data using gaussian moments. IEEE International Symposium onCircuits and Systems, Vol 5, pp. 57–61, 1999.
[2] A. Hyvärinen. Fast and robust ﬁxed-point algorithms for independent component analysis. IEEE
transactions on Neural Networks, Vol. 10, No. 3, pp.
626–634, 1999.
[3] S. Shimizu, P. O. Hoyer and A. Hyvärinen. Estimation of linear non-Gaussian acyclic models for latentfactors. Neurocomputing, Vol 72, No. 7-9, pp. 2024–2027, 2009.
[4] S. Shimizu, P. O. Hoyer, A. Hyvärinen and A. Kerminen. A linear non-Gaussian acyclic model for causal
discovery. Journal of Machine Learning Research,
Vol. 7, pp. 2003–2030, 2006.
[5] R. Silva, R. Scheine, C. Glymour and P. Spirtes.
Learning the structure of linear latent variable models. Journal of Machine Learning Research, Vol 7,
Feb, pp. 191–246, 2006.