ランダム行列のリッジ回帰への応用
大谷 有美

1(指導教員：吉田 裕亮)

はじめに0 分散 1 の標準 Gauss 分布に従う確率変数を要素に持つランダム行列のとき Ginibre 行列と呼ばれる. また, このとき N × N の共分散行列

線形回帰モデルにおいて独立変量 (説明変数) の数が多くなると, 過学習と呼ばれる訓練データ (与えられたデータ) に過度にフィットする状況がしばしば発生する. 与えられたデータへの過度なフィッティングは汎化性が悪く予測モデルとしての精度は良くない.
回帰モデルにおいて過学習を抑える手法のひとつにとして, 回帰係数の L2 ノルムによる罰則項を付けて,正則化を行うリッジ回帰がある. リッジ回帰においては, L2 罰則項の最適な重み λ を定めることは重要である.
本研究では, このパラメータ λ の最適な値の選択を行う手法へのランダム行列の応用を試みる. すなわち,ランダム行列の中でも Wishart 行列に着目し, 1 次の漸近挙動であるモーメントと 2 次の漸近挙動であるモーメントのゆらぎ用いてパラメータ λ の選択に利用する手法の検討を行う.

2WN =は Wishart 行列と呼ばれる.
WN は N 個の固有値を持つが, 固有値漸近分布を考える. ただし, 極限 N → ∞ においては N × M のGinibre 行列の漸近縦横比を M/N → γ とする. この極限における固有値漸近分布は, パラメータ γ のMarchenko-Pastur 分布と呼ばれ√−(x − γ− )(x − γ+ )dπγ (x) =1[γ− ,γ+ ] (x)dx
2πγx+ max{0, 1 − γ}δ0 (x)√で与えられる. ただし,γ± (γ) = (1± γ)2 .
この極限分布は Wishart 行列のモーメントの極限から定まるものである。すなわち, Wishart 行列の k 次モーメント mk

線形回帰モデルとリッジ回帰

線形回帰は, 応答変数 Y を予測変数 Xj (j = 1, 2,. . ., p) に基づいて予測する手法で, 下記のようにモデル化される.

()
1 ( k)
Tr WN = lim tr WNk
N →∞ NN →∞

mk = lim

Y = β1 X1 + β2 X2 + . . . + βp Xp + εが分布 πγ の k 次モーメントで与えられることである。

各 βi は各予測変数 Xi の回帰係数である. また ε は誤差項で独立に Gauss 分布に従うものと仮定される{}N .
通常の最小 2 乗法では, 観測データ yi , (xij )pj=1 i=1に基づき回帰係数は,

S=N∑(yi −i=1p∑βj xij3.1)2

j=1= 1, 1, 2, 5, 14, 42, 132, 429, · · ·残差平方和 S の最小化のみを評価関数とした場合,過学習が発生する. そこで回帰係数 {βj } の L2 ノル
ムを罰則項として加えた

yi −i=1p∑

βj xijj=1)2+λp∑となる自然数列である.

3.2βj2(λ ≥ 0)

Wishart 行列のモーメントのゆらぎ

Wishart 行列のゆらぎモーメントとは，mp と mqの共分散の情報で[ () ()]
αp,q = lim Cov Tr WNp , Tr WNq

j=1を最小化することにより, 過学習を抑える手法がリッジ(Ridge) 回帰である. ここで λ > 0 は罰則項を制御するパラメータである. なお リッジ回帰では, {βj } が解析的に求められるという( )( ,)メリットもある。すなわ
ち, X = xij N ×p , y = yj N として, 最適解 β は,N →∞と定義される. この αp,q は 2 次の漸近挙動でモーメントより, 詳細な漸近情報を含む. 例えば
αk,k は 極( k)
限 N → ∞ における tr WN− mk · I の収束のゆらぎを与えることになる. Wishart 行列の漸近的縦横比
γ = 1 のときの、ゆらぎモーメントは、以下の式で与えられる.
()()
2pq 2p − 1 2q − 1αp,q = 2p+qpq()−1Xy
β = X T X + λ1と与えられる.

3Catalan 数

Marchenko-Pastur 分布において, γ = 1 の時, つまり Wishart 行列が正方の Ginibre 行列のとき, そのモーメント列は Catalan 数 Ck で与えられる. ここで
Ck は,( )12n(2n)!
Cn =(n ≥ 0)
=n+1 n(n + 1)!n!

を最小化をする {βj }pj=1 として推定される.

N∑(1GN,M tGN,MN

Wishart 行列

確率変数を要素とする行列は、一般にランダム行列と呼ばれる。特に、GN,M が N × M で, 独立に平均116 次までの場合を挙げると、以下のようになる.
2830144
600
2400
9450
36960


836
 30 144
 112 560

 420 2160
1584

48316

112560
2400
9800
39200
155232

420
2160
9450
39200
158760635040λ = 0.1 の場合, 罰則項の影響が強すぎるため図 2 のように過度に滑らかな曲線を描いてしまう.

1584
8316 

36960 

155232 635040 2561328

21

本研究での手法-0.4-0.20.2

本研究では以下の手順で行う.

0.4-11. ある関数にノイズを加えたシュミレーションデー
タを用いて, 多項式回帰モデルを用い様々なパラメータ λ でリッジ回帰を行う-2

図 2: λ = 0.1 の場合

2. 各 λ においてデータの残差 (各データと推定値の誤差) を求める

この時 6 次までのモーメント列は,{0.968, 1.885, 4.603, 12.624, 37.196, 115.129} になる.

3. 残差からランダムリサンプリングをして 50 × 50の Ginibre 行列を構成し, γ = 1 の Wishart 行列を作る

様々な λ で比較し最適と推定されるのは, λ = 10−12であり, 6 次までのモーメント列は,{0.968, 1.901, 4.695, 13.046, 38.997, 122.575}
ゆらぎモーメントは以下のようになる.


4. この Wishart 行列の 6 次までのモーメント列を求める
5. 手順 3.4 を多数 (N =100,000) 回繰り返す

2.3059 9.0594
 33.529
 124.15
 463.71

6. N サンプルの平均によりモーメントを求め, Catalan 数と比較
7. N サンプルの共分散行列を求め, 6 次までのゆらぎのモーメントと比較する

1748.59.059439.312
154.13592.672274.18751.833.529154.13628.072483.19730.738080.

124.15592.672483.1
10028.
39968.
158602463.712274.19730.739968.
1615426486351748.58751.8 38080. 158602 648635 2631160

またリッジ回帰曲線は図 3 のようになる.

1〜7 までの手順で最適な λ の値を選択することが可能かを実験する. また, モーメント (1 次漸近挙動) に大差がない場合でもゆらぎモーメント (2 次漸近挙動)により判定可能であることをみる.

215

実験例

関数 sin 4πx(−0.5 ≤ x ≤ 0.5) の標本点にノイズを加えた 31 個のシミュレーションデータを用いる. それらのデータに対して 31 次の多項式回帰モデルを用いてリッジ回帰を行う.
λ = 10−27 の場合, 罰則項がほとんど 0 になり通常の回帰を行うことになり図 1 のように過学習を起こす.

-0.4

-0.2

0.2

0.4

-1-2

図 3: λ = 10−12 の場合
26

本研究では, リッジ回帰におけるパラメータ λ の最適な値の選択にランダム行列のひとつである Wishart行列に着目し, 1 次漸近挙動であるモーメント列と 2次漸近挙動であるゆらぎモーメントを利用する手法を提案した.
今回行った実験より, モーメント列とゆらぎモーメントがパラメータ λ の値の選択に利用可能であること,そしてモーメント列に大差がない場合, ゆらぎモーメントが利用可能であることが分かった.
今後の課題としては, 今回扱った関数以外の他の関数でも更なる実験を行い, また Cross-Validation との比較検討も行う必要がある.

1-0.4-0.2

0.2

まとめ0.4-1-2

図 1: λ = 10−27 の場合

6 次のモーメント列は,{1.056, 2.840, 11.743, 63.519, 401.428, 2759.873}になり, Catalan 数とは明らかにかけ離れている.
12