ランダム行列理論を用いた Gaussian カーネルにおける雑音の推定
理学専攻 情報科学コース 伊藤里江

1

ここで, X を Wishart 行列のスペクトル密度関数を確率密度関数に持つ確率変数, Y を Gaussian カーネ
ル行列のスペクトル分布を確率密度関数に持つ確率変数とすると, Y = a X + b という関係にある. したがって, 推定したい Gaussian カーネル行列のスペクトル密度関数の台の最大値, 最小値は (1) 式よりはじめに多変量観測データの分散共分散行列のスペクトル密度分布から Marcenko-Pastur 分布に対応する部分を推定することにより, データのより本質的な部分を取り出すことが可能となると考えられる. 観測されたデータのスペクトル分布から Marcenko-Pastur 分布部分の台 (support) の最小値および最大値を推定できたな
らば, 最大値の側がデータの本質的な構造部と雑音部の切り分けを行う境界値となるはずである.
しかし, 実際のデータに適用した際, どの固有値までが Marcenko-Pastur 分布の台に含まれるのかを見た目で推測する難しい. そこで, 本研究では MarcenkoPastur 分布の aﬃne 変換により合理的に導き出す手法について考え, 独立正規雑音がついたデータ行列にGaussian カーネルを施した際に, その雑音部を特定することは可能であるかを検証する.

2ランダム行列理論

2.1Wishart 行列

 2
pmax

+bλmin = a 1 ±n√ 2=1±λλmax
min3

r1 =µ1 ,r2 = µ2 − µ21 ,r3 =µ3 − 3µ2 µ1 + 2µ31 ,r4 =µ4 − 4µ3 µ1 − 2µ22 + 10µ2 µ1 − 5µ41 ,..
.
Marcenko-Pastur 分布の場合, 自由確率論においてはポアソン分布の役割を果たす分布であるため rk = λ(k ≥ 1) となり, すべての次数の自由キュムラントが等しくなる.
また, 確率変数 X の k 次の自由キュムラントをrk (X) とし, Y = aX + b の k 次の自由キュムラン
トを rk (Y ) とあらわすと,
r1 (Y ) = ar1 (X) + b,rk (Y ) = ak rk (X) k ≥ 2であることも分かる.
ここで, Marcenko-Pastur 分布の自由キュムラント
を rk = λ とすると, Gaussian カーネル行列のスペク
トル分布の自由キュムラントは(1)Gaussian カーネル

r1 = aλ + b,

カーネルはパターン認識において使われる手法の 1つである. カーネルには様々な種類のものがあるが, その中で Gaussian カーネル行列は相関行列と同じような振る舞いをすることが知られている.
行列 C の各行ベクトル xi ; (i = 1, 2, . . . , n) を
Gaussian カーネルで写像すると, 特徴空間におけるn × n 行列 Mij は||xi − xj ||2Mij = K(i, j) = exp −A

自由キュムラント

自由キュムラント rm をモーメント µm を用いて最初のいくつかを書き出すと, 以下のようになる.

この確率密度関数を持つ確率分布が Marcenko-Pastur分布である.

2.2(3)となり, n は与えられるので, この式中の a, b, p が推定できれば, 最適な密度関数の台の最大値, 最小値を求められることになる.

その性質が良く調べられているランダム行列のひとつとして Wishart 行列がある.
各成分が独立に標準正規分布 N (0, 1) に従う確率変数からなる n × p の長方形行列 C とする. このランダム行列 C から
1S = C tCnとして得られる n × n 対称ランダム行列 S は Wishart行列と呼ばれている. p/n = λ ≥ 1 を保ったまま
n → ∞, p → ∞ の極限をとると, S の固有値の経験分布は以下の確率密度関数に収束することが知られている.
−(t − λmax )(t − λmin )1
ρ(t) =2πλt
ここで,(指導教員：吉田裕亮)

r2 = a2 λ,r3 = a3 λ,

r4 = a4 λ,..
.
これらの式から, パラメータである a, b, λ の値を推定することが可能である.

4分散 σ 2 の推定
nXi i=1 を各成分が独立に標準正規分布 N (0, 1) に従う p 次元ランダムベクトルとする. N. El Karoui
は適当な微分可能性の要件を満たす関数 f を用いて(i, j) 成分が t Xi Xj
Mij = fp(2)となる. ただし, || · ||2 は通常のユークリッド 2 乗距離で, A ∈ R は適当なパラメータである.

1

で与えられるような n × n カーネルランダム行列のスペクトル分布の n → ∞ の漸近挙動を調べた. [1]
その結果 M = Mij のスペクトル分布は, 以下の5.1.2

1 ∼ 300 行が (10, 0, 0, 0, · · · , 0), 301 ∼ 600 行が(0, 10, 0, 0, · · · , 0), 601 ∼ 900 行が (0, 0, 10, 0, · · · , 0)であるような構造データを 900 × 1200 行列として用意した. そこに N (0, 4) の正規雑音を加え, Gaussian
カーネルを用いて写像を行った. 先の実験同様, 上位の固有値を 3 個取り除くと LL = −6.28, 4 個取り除
くと LL = −6.34 となり, Marcenko-Pastur 分布に対応するのは 3 個取り除いた際の分布であることが分かる. また, このときの標準偏差は σ = 1.86 と推定できる. スペクトルを 3 個取り除いた際の分布は図 2 のようになる.

式で与えられる M のスペクトル分布に漸近的に等しくなることが示された.

M = f (0)1t1 + f  (0)X tX+ vp Idnp

構造データに正規ノイズを加えた数値実験(4)

ただし, X は第 i 行が Xi で与えられる n × p 行列で
Trace(Σ)
Trace(Σ),
vp = f− f (0) − f  (0)ppnである. さらに, Σ は Xi i=1 の共分散行列, Idn はn 次元単位行列を表す.
ここで 1t1 はすべての成分が 1 の行列である 1 つの固有値に対応するが, ランク落ちを防ぐためのものであり, 漸近的なスペクトル分布には影響しない.
式 (4) を見ると X t X の項から dilation パラメータa が, 単位行列の項から shift パラメータ b が導かれることが分かる.
n
実際, Xi i=1 を各成分が独立に N (0, σ 2 ) に従う p次元ランダムベクトルとし, (i, j) 成分が Mij で与えられるような n × n Gaussian カーネル行列の場合 (4)式より a, b の値は

2pσ 22pexp −a=AA
2−2pσ + 2p2pσ 2b = exp− exp −AA
22pσ2pexp −−AA

図 1: N (0, 4) のスペクトル分布と表すことができる. この式により, 先に推定されたλ すなわち p と a, b から σ 2 の推定ができる.

5実験

5.1

実験概要
図 2: 構造データ +N (0, 4) のスペクトル分布

Marcenko-Pastur 分布の台の最大値, 最小値の推定にあたっては, 上位のスペクトルを取り除きながら見つけることにし, その評価基準として, 平均対数尤度6

ランダム行列理論を Gaussian カーネルで写像したデータに応用することで, そのデータのノイズに対応するスペクトル分布を推定した. さらに, 構造データにノイズを加えた場合でも同様に応用することは可能
か, という検証も行ったが, 前節図 1 と図 2 のヒストグラムの形状は非常に似ており, 構造データに加えられたノイズ部を取り出すことができたと思われる. また, いずれの場合でもノイズの標準偏差を推測することができ, ランダム行列理論を応用することは有効であったといえる.

N

LL =1log ρ(xi )N i=1を用いる. ただし, N は n − ( 取り除いた固有値の数). この平均対数尤度を大きくするものが最適な台の範囲と推定する.

5.1.1

まとめN (0, 4) の数値実験

各成分に平均 0, 標準偏差 2 の正規乱数を発生させた
900 × 1200 行列を生成. 式 (2) 中の A の値は A = 1500として, その行列を Gaussian カーネルで写像し, 実験を行った. 第 1 最大固有値を取り除いた 899 個の固有値のみでは LL = −5.96, そこから固有値を 1 個取り除
くと LL = −5.99, 2 個取り除くと LL = −6.01 となった. よって第 1 最大ベクトルを取り除いたスペクトル分布が Marcenko-Pastur 分布に対応する部分であると考えられ, その際の標準偏差については σ = 1.87 と推定される. また, このときのスペクトル分布は図 1のようになる.

参考文献[1] El Karoui, N. The spectrum of kernel randommatrices, Technical Report 748, Department ofStatistics, UC Berkeley. To appear in The Annalsof Statistics, (2007).

2