ランダム行列の非線形手法によるパターン認識への応用
理学専攻・情報科学コース 2040653 廣田
はじめに

1

3.2

近年, コンピュータやインターネットが発達し, 大量のデータを集めることが容易になった. ランダムに収集された大量のデータは, 本来何らかの目的をもって集められる一方で, データの大きさや乱雑さが邪魔をして,重要な特徴を抽出するのが難しい. クラスタリングは,機械学習における教師なし学習の一種で, データ間の類似度に基づいて, データをグループ分けする手法である. これにより, 大規模かつ複雑なデータの特徴を把握することができる. 本研究では, カーネル行列にランダム行列の理論を応用することで, クラスタリングにおける最適なクラスタ数を推定する手法を提案する. 具体的には, ランダムなガウスカーネル行列を Wishart 行列とみなし, Marchenko-Pastur 則を適用する. これにより, 識別の難しい非線形データに対しても, データの特徴を把握し, 最適なグループ分けが可能になると考えられる.

2

ガウスカーネルとカーネル行列

2.1ガウスカーネル

梨那

Marchenko-Pastur 則

Wishart 行 列 の 漸 近 固 有 値 分 布 は MarchenkoPastur 分布であり, N × M の Ginibre 行列の漸近N的縦横比, つまり λ = Mのとき, その漸近固有値分布は以下の式で与えられる.
√−(x − λ− )(x − λ+ )dπλ (x) =1[λ− ,λ+ ] (x)dx
2πλx+ max{0, 1 − λ}δ0 (x),√ただし, λ± = (1 ± λ)2 とする.
ランダム行列の行列サイズが十分に大きい時に, 固有値経験分布が一定の分布に近づく. これを漸近固有値分布という.
3.3

Catalan 数

Marchenko-Pastur 分布において, λ = 1 のとき, その n 次モーメントは Catalan 数 Cn と呼ばれる自然数列となる.
( )1(2n)!
2nCn ==,nn+1(n + 1)!n!
= 1, 2, 5, 14, 42, 132, 429, · · · .

n≥1

ガウスカーネルとは, 以下の式で表される 2 変数関数である. ただし, β は正の定数であらかじめ適当に定められるパラメータである.

4

最適なクラスタ数推定の手法について

k(x, y) = exp − β||x − y|| ,

4.1

実験概要

(2)

ガウスカーネルを用いて特徴空間に写像した行列は相関行列と同じような振る舞いをすることが知られている.

2.2

ガウスカーネルのパラメータ β の変化によるカーネル行列の鎖が TDA のフィルトレーションの候補になり得るのではないかと考えている. TDA は位相的データ解析のことで, 与えられたノイズを含む幾何学的データから単体複体のフィルトレーションを考え, 位相的性質に重要度を割り当てることにより, データの本質部とノイズ部を識別するものである. これは, ランダム行列によりノイズ部を除去し, データモデルを明らかにする
流れと共通していると考えられる. つまり, カーネルのパラメータ β とデータ半径 r の関係性を考えることが,最適なクラスタ数を推定することに繋がるのではと考えている.

カーネル行列k(x1 , x1 )
 k(x1 , x2 )
K=
..

.

k(x2 , x1 )k(x2 , x2 )..
.

······..
.

k(xn , x1 )k(xn , x2 ) 
,..

.

k(x1 , xn )k(x2 , xn )···k(xn , xn )ガウスカーネルの二次形式は以下のように常に非負, つまり正定値性を持っている.
n∑4.2αi αj Kij ≥ 0,∀n ∈ N, ∀αi ∈ R

先行研究 [1] より, ランダムカーネル行列に内在するノイズは適当なスケーリング変換により MarchenkoPastur 分布を用いて推定可能であり, 固有値分布とMarchenko-Pastur 分布とを比較することによりノイズ部を推定できる. すなわち優固有値を取り除き, 残りの固有値のモーメントが Catalan 数に近づけるようにβ を変化させることで, データの本質的次元部とノイズ部を切り分けることが可能であると考えられる. 具体的には, 取り除く優固有値の個数とクラスタ数が一致することを利用する.

i,j=13

手順 1: クラスタ数と優固有値の一致

Wishart 行列と Marchenko-Pastur 則

Wishart 行列
一般にランダム行列とは確率変数を要素にもつ行列であり, その代表例として Wishart 行列が挙げられる.
GN,M を N × M の Ginibre 行列, つまり平均 0 分散
1 の標準ガウス分布に従う変数を要素に持つランダム行列とし, その N × N の共分散行列を,3.1

1
GN,M T GN,MNとする. これは Wishart 行列と呼ばれる.
WN =1

いた際に残りの固有値のモーメントが Catalan 数に近づくように β を動かしている. 表 1, 表 2より, 回帰分1析を用いると r は β − 2 に近似されることが分かる. 表3は, 図 2のデータに対して, r を抽出せず β の値のみから最適なクラスタ数を推定したものである. この場合,最適なクラスタ数は 2, 次に 3 と読み取れる.

4.3 手順 2: パラメータ β とデータ半径 r の関係
シミュレーションデータを用いた以下の数値計算により, パラメータ β とデータ半径 r には − 12 の冪乗則が成り立つことが明らかになった. これにより, β からr を算出して最適なクラスタ数を推定できると考えられる.

表3 最適なクラスタ数推定

4.4 実験例

50-100C6→ 55→ 44→ 33→ 22→ 1

β0.0220.0140.0092

0.00195

0.000066r

6.74200

8.45154

10.4257

22.6455

123.091

50-50-50
6-10042

図1 パラメータ β: 0.00001∼0.002-42-24-2

表1 β と r の関係

C

6→ 55→ 44→ 3

3→ 2

β

0.000350.000130.000045

0.0000125

r

8.3

8.9

15.9

29.6

図3 パラメータ β: 0.001∼0.03

表4 最適なクラスタ数推定

log r = −0.5032 log β + Const.

C

6→ 55→ 44→ 3

3→ 22→ 1

β0.02840.02510.02350.001260.00113r

5.93391

6.311946.5232828.171829.7482r ∝ β− 21

表 4は, 図 3のデータに対して, r を抽出せず β の値のみから最適なクラスタ数を推定したものである. この場合, 最適なクラスタ数は 3 と読み取れる. r の値が大きく変化してもクラスタ数が変化しないところが最適なクラスタ数と推定できる. このデータは実際に正三角形の頂点に対してノイズを入れて作成したデータである
ため, この実験結果は事前の予想とも一致している.

10524681012145

図2 パラメータ β: 0.00001∼0.03

先行研究 [1] で得られた結果, 今回の数値計算で得られた結果を合わせて, 実際の r の値を調べることなく,カーネル行列のパラメータ β の動きを見ることで, 最適なクラスタ数を推定できることが分かった.
数値計算により, パラメータ β とデータ半径 r には − 12の冪乗則が成り立つことを明らかにしたことは, 本研究の独創的な部分である. TDA では, 幾何データはPersistent Homology を経由して, Persistent 図に展開される. 今後の課題としては, Persitent 図のプロットをランダム行列の言葉で記述することを目指す.

表2 β と r の関係

C4→ 33→ 22→ 1

β0.00920.00195

0.000066

r

0.2

1.31

2.56

おわりにlog r = −0.4646 log β + Const.
r ∝ β− 21

参考文献
図 1, 図 2のデータに対してクラスタリングを行った.
データの点の周りに小さい円を描き, その半径を r とする. r を大きくすればするほど, 隣の円と重なり, クラスタ数が少なくなり最後は一つの塊になる. 何個の塊の状態が続くかを捉えることで自動的にクラスタ数を決定することができる. β の見つけ方は, 優固有値を取り除[1] 根本優花, ” パラメータの変動に伴うガウス型カー
ネル行列の固有値の挙動”, お茶の水女子大学理学専
攻修士論文, 2020.

2