ヒルベルト - シュミット独立基準とランダム行列理論によるノイズ変数の推定
理学専攻・情報科学コース

1

川久保秀子

はじめに

4

本研究では，ヒルベルト-シュミット独立基準とランダム行列理論とを組み合わせて Pure Free Meixner 分
布の台を推定することにより，標本データに含まれるノイズ変数の集合を推定する方法を提案する. 提案手法により，回帰問題において意味のある変数の最小部分集合を抽出することが可能となる．

22 つの n 次元確率ベクトル Vj (j = 1, · · · , p) と Y の関係を調べるとき，共分散や相関を用いても線形な関係しか考慮することができないが，再生核ヒルベルト空間（RKHS）への特徴写像 Φ(Vj ), Φ(Y ) は高次の情報を含むため，その共分散を考えることによって，もとの確率変数の高次の独立性を調べることができる．
このアイデアに基づき，特性的な正定値カーネル（Gaussian カーネル）による相互共分散作用素を用いて確率変数の独立性や依存性を調べる方法が，ヒルベ
ルト-シュミット独立基準（HSIC）[1] である．
経験的 HSIC は以下により求めることができる．

また，Free Meixner 分布族の台は()√√(γ− , γ+ ) = a − 2 1 + b, a + 2 1 + b[]
1
Tr K Vj K Y (j = 1, . . . , p)2(n − 1)で表される．なお，b > 0 かつ a2 < 4b のとき PFM分布の確率密度関数を表し，b = 0 かつ a ̸= 0 のとき，MP 分布の確率密度関数を表す．
提案手法では RMT に MP 分布ではなく PFM 分布を採用し，ノイズ変数の推定を行う．

ここで，K Vj , K Y は中心化グラム行列を表す．

3

提案手法のアイデア

いま，Vj (j = 1, . . . , p) が独立に同一分布に従い，全変数が Y と関係を持たないノイズ変数であるとすると，K Vj , K Y の固有値分布はそれぞれ MP 分布に近{ []}pい分布に従うことが推測され， Tr K Vj K Y j=1 の分布もまた同様に MP 分布に近い分布に従うことが推測される．
検 証 の 結 果 ，HSIC に よ る ノ イ ズ 変 数 の 評 価 値
p{HSICj }j=1 は，図 1 のように MP 分布を含む Free
Meixner 分布族に属する Pure Free Meixner 分布（PFM 分布）[2] に従うことが推測された．ここで，平均 0，分散 1 の Free Meixner 分布族の確率密度関数を以下に示す．
 √
4(1 + b) − (t − a)2(γ− < t < γ+ )q(t) =2π(bt2 + at + 1) 0(otherwise)

ヒルベルト-シュミット独立基準（HSIC）

HSICj =(指導教員：吉田裕亮)ランダム行列理論（RMT）

N × P 長方行列 A の成分がそれぞれ独立に同一分布に従うとき，C = (1/n)AAT を相関行列とよぶ．相関行列は N × N 対称ランダム行列である．
相関行列の漸近固有値分布は Q = P/N の比を一定に保ちながら，N → ∞, P → ∞ とした極限でMarcenko-Pastur 分布（MP 分布） √
(λ+ − t)(t − λ− )(λ− < t < λ+ )p(t) =2πQt 0(otherwise)5

提案手法のアルゴリズム(1) S ‡ = ∅ とする．
(2) X = [V1 , . . . , Vj , . . . , Vp ] と Y を標準化し，HSICによって Vj と Y の独立性を調べる．
(3) 得られた HSIC の評価値 {HSICj }pj=1 を降順に並べ，sp , · · · , s1 とする．
(4) Sd = {sp−d , . . . , s1 } (d = 0, . . . , p − 1) を考え，各 Sd をそれぞれ標準化して 4 次標本モーメントまでを求める．

(√ )2に従う．ただし，λ± = 1 ± Q とする．

(d)(5) sp−d = γ+ と 仮 定 し ，3 次 標 本 モ ー メ ン ト(d)m3 = ã(d) を用いて b̃(d) を求める．

ま た ，相 関 行 列 C の 各 行 ベ ク ト ル ci (i =1, . . . , N ) を Gaussian カーネルで RKHS に写像すると，Ki,j = exp{− ∥ ci − cj ∥2 /2σ 2 } となり，その固有値分布は非常に大きな値を持つ固有値 1 つを除けば，ほぼ MP 分布の aﬃne 変換となる．
MP 分布はランダム性と密接な関わりを持つため，ランダム行列理論（RMT）をデータに対して用いた時，データのノイズ部は MP 分布にほぼ一致する．一方，MP 分布から外れる部分はランダム性と関わりが無いので，特に λ+ < t の部分はデータの構造部と考えることができる．MP 分布の台を推定することができればノイズ部と構造部の境界を推定することができ，構造部のみを抽出することが可能となる．

(6) ã(d) と b̃(d) を用いて 4 次モーメントの推定値()2(d)me 4 = ã(d) + b̃(d) + 2 を求める．
()2(d)(7) (条件 1) b̃(d) = θ1 > 0, (条件 2) 4b̃(d) − ã(d)(d)(d)(d)(d)= θ2 > 0, (条件 3) m4 − me 4 = θ3 < 1,(d)(d+1)(d)(条件 4) m4 /m4= θ4 ≈ 1 とし，条件 1 と条件 2 を満たし，かつ，条件 3 を満たす min d と条件 4 を満たす min d が一致するとき，その d をd† とする．推定により d† が定まらないときは，
Gaussian カーネルのパラメータの値を変えて (2)から (7) を再度試行する．
1

p

図 1: {HSICi }i=1 の分布

図 2: データ 1 の実験結果(8) S ‡ ∪ Sd† を新たに S ‡ とし，S † = S0 \ Sd† とおく．

るケースにおいても，提案手法が有効であることがわかる．また，正答率の違いは回帰モデルによって多少あるものの，提案手法と HSICLasso の精度は同程度であることがわかる．HSICLasso ではパラメータの設定や正答率の計算方法に正解を知っているという有利な前提を入れて実験を行なっているが，提案手法は正解を知らない前提で精度を落とさず自動的に有用な変数の最小部分集合を推定することができるので，付加価値を持つと考えることができる．また，実験では正答率は NOCCO よりも HSIC の方が良いので，NOCCOの計算ではパラメータが増えることや逆行列を計算する必要があることを考慮すると，提案手法に用いる独立性の評価は HSIC で十分であることもわかった．

(9) s†max = max {s|s ∈ S † } に対応する変数を Y ′ とおく．X の各変数と Y ′ の独立性を HSIC によって調べ，(3) から((7) を実行する．ここでṠ = S0 \ Sd†)とし，S ‡ ∪ Ṡ ∩ S † \ {s†max } を新たに S ‡ とす()る．また，S † \ Ṡ ∩ S † を新たに S † とする．
(10) S † = ∅ になるまで (3) から (9)（ただし (8) は飛ばす）を繰り返す．
以 上 に よ り，S ‡ に 対 応 す る 変 数 を ノ イ ズ 変 数 ，S0 \ S ‡ に対応する変数を Y と関係を持つ変数の最小部分集合として認識することができるようになる．

6

図 3: データ 2 の実験結果

実験

7

独立な変数が同一分布に従うデータを用意して，提案手法の有効性を検証する．実験ではサンプル数を20 ずつ増やしていき，正答率を観察する．目的変数と説明変数の独立性をより直接的に調べるためには，正規化された相互共分散作用素である NOCCO を用いるのが適切であるが，NOCCO による評価値の分布もまた Pure Free Meixner 分布に従うことが推測されたため，提案手法アルゴリズム (3) の HSIC による評価を NOCCO による評価に変更したものも実験に加えた．なお，比較手法に HSICLasso を採用する．
データ 1（加法モデル）
Yi = vi1 exp(−vi2 ) + 2vi3 log |3vi4 | + E,
Y = [y1 , . . . , yi , . . . , yn ]T , E ∼ N (0, 1),
TX = [X1 , . . . , Xi , . . . , Xn ] = [V1 , . . . , Vj , . . . , Vp ],Xi = [vi1 , . . . , vij , . . . , vip ], Vi1 ∼ N (0.5, 1.5)i.i.d.,
Vi2 = cos (Vi1 ), Vi3 ∼ N (0.3, 1.2)i.i.d.,Vi4 ∼ N (0, 1)i.i.d., Vi5 = 3Vi4 , Vi6 ∼ N (0, 1)i.i.d.,
Vij = 2Vi6 + E (j = 7, . . . , 10),Vij ∼ N (0, 1)i.i.d. (j = 11, . . . , 256).
データ 2（非加法モデル）
2
Yi = vi1 exp{2vi2 } + vi3+ E. vi1 ∼ N (0.5, 1.5)i.i.d.,vi2 = cos (vi1 ), vi3 ∼ N (0.3, 1.2)i.i.d.,2vi4 ∼ N (0, 1)i.i.d., vi5 = vi4, vi6 ∼ N (0, 1)i.i.d.,vij = 2vi6 + E (j = 7, . . . , 10),vij ∼ N (0, 1)i.i.d. (j = 11, . . . , 1000), E ∼ N (0, 1)
データ 1 の実験結果は図 2，データ 2 の実験結果は図 3 のようになった．図 2，図 3 から，データ X の独立な変数が同一分布に従っていれば，変数ごとに成分の単位が異なるケースや X に独立でない変数が含まれまとめ

本研究では，回帰問題に対してヒルベルト - シュミッ
ト独立基準と Pure Free Meixner 分布に基づくランダム行列理論とを組み合わせて用いることにより，目的変数と関係を持つ説明変数の最小部分集合を抽出する方法を提案した．提案手法は HSIC のパラメータ最適化に関する 1 つの指標になっていると考えることもできる．既存の変数選択法では選択する変数の数を人為的に決定してから変数選択を行うのが一般的であるが，提案手法ではそのような人為的決定なしで，既存手法の精度と同程度の精度を保ちつつ，有用な変数の最小部分集合を自動的に抽出することができることが実験により確認された．また，独立な変数が同一分布に従っていれば，変数ごとに成分の単位が異なるケースや変数集合に独立でない変数が含まれるケースにおいても，提案手法が有効であることが確認された．
今後の課題として，{HSICj }pj=1 の分布が PFM 分
布に従うという予想に対して数学的証明を与えたいと考えている．

参考文献[1] Gretton, A. and Bousquet, O. and Smola, A. andSchölkopf, B.：Measuring statistical dependencewith Hilbert-Schmidt norms，Algorithmic learning theory，pp.63–77，Springer (2005).
[2] Anshelevich, M.：Bochner-Pearson-type characterization of the free Meixner class，Adv. in App.
Math., vol.46 (2011), pp.24–45.
2