Wishart 行列のゆらぎモーメントによる回帰モデルの残差分析
大谷 有美

1(指導教員：吉田 裕亮)

はじめにカーネル法はカーネル関数を利用し, 観測データを高次元のベクトル空間に写像し, 変換後のデータに線形の手法を用いることで, 非線形の統計解析を実現するものである.
本研究では, カーネル回帰の正則化パラメーター λに関して, 残差からのリサンプリングにより大量のWishart 行列を構成し, そのゆらぎモーメントと比較することにより最適な λ の値を選択することを試みる.

2

カーネル回帰とリッジ正則化

2.1

リッジ正則化i=1

yi −p∑

βj xij)2+λj=1p∑(λ ≥ 0)

βj2

カーネル関数

ϕ1 ,...,ϕl という非線形関数で特徴抽出されたベクトルを特徴ベクトルといい,
Φ(x) = (ϕ1 (x), .., ϕl (x))Tと書くとする. X の２つの要素 x, x́ に対して, カーネル関数 k(x, x́) は x, x́ それぞれの特徴ベクトル同士の内積

k(x, x́) = Φ(x)T Φ(x́) =l∑ϕm (x)ϕm (x́)

m=1と定義される.
本研究では, カーネル関数としてよく使用されるガウ
スカーネル
2k(x, x́) = exp (−β∥x − x́∥ )2を用いる. ここで, ∥ · ∥ はユークリッド距離 2 乗, β > 0はあらかじめ決めておく非線形性を調整するパラメータと考えられる.
線形回帰の内積をカーネルにおきかえ, 非線形化することにより, カーネル回帰は与えられる.

2.3を最小化することによって, 過学習を抑えるという方法である. この最適解を与える α は

α = (K + λIN )−1 y3Wishart 行列

確率変数を要素とする行列は, 一般にランダム行列と呼ばれる. 特に, GN,M が独立に平均 0 分散 1 の標準 Gauss 分布に従う確率変数を要素に持つ N × M
ランダム行列のとき Ginibre 行列と呼ばれ, それらのN × N の共分散行列

j=1を最小化することにより, 過学習を抑える手法がリッジ (Ridge) 正則化である. ここで λ > 0 は罰則項を制御するパラメータである.

2.2

Rk,λ (α) = (y − Kα)T (y − Kα) + λαT Kαで表せる.

線形回帰において残差平方和の最小化のみを評価関数とした場合, 過学習が発生する. そこで回帰係数 {βj }の L2 ノルムを罰則項として加えたN∑(正則化は, K を x1 , . . . , xn のカーネル行列, λ > 0を正則化項を制御するパラメータとし, サンプルに対する誤差の他に罰則項を付け加えた

カーネル回帰における L2 -正則化

一般にパラメータの次元が高くなると, 関数の表現能力が指数関数的に増大するため汎化能力が落ちる.
すなわち回帰での過学習が発生する. カーネル回帰でも, 高次元に保ったまま関数の表現を抑える手法である正則化を用いる.

WN =1
GN,M tGN,MNを Wishart 行列と呼ぶ.
WN は N 個の固有値を持つ. この N → ∞ における固有値漸近分布を考える. ここで極限 N → ∞ の際
N × M Ginibre 行列の漸近縦横比は M/N → γ とする. この極限における固有値漸近分布は, パラメータ
γ の Marchenko-Pastur 分布と呼ばれ√−(x − γ− )(x − γ+ )dπγ (x) =1[γ− ,γ+ ] (x)dx
2πγx+ max{0, 1 − γ}δ0 (x)√で与えられる. ただし,γ± (γ) = (1± γ)2 .
この極限分布は Wishart 行列のモーメントの極限から定まるものである. すなわち, Wishart 行列の k 次モーメント mk()
1 ( k)Tr WN = lim tr WNk
N →∞ NN →∞

mk = limが分布 πγ の k 次モーメントで与えられる.

3.1

Catalan 数

Marchenko-Pastur 分布において, γ = 1 の時, つまり Wishart 行列が正方の Ginibre 行列のとき, そのモーメント列は Catalan 数 Ck で与えられる. ここで
Ck は,( )12n(2n)!
Cn ==(n ≥ 0)n+1 n(n + 1)!n!
= 1, 1, 2, 5, 14, 42, 132, 429, · · ·となる自然数列である.

3.2

Wishart 行列のモーメントのゆらぎ

5

Wishart 行列のゆらぎモーメントとは，mp と mqの共分散の情報で[ () ()]
αp,q = lim Cov Tr WNp , Tr WNq
N →∞と定義される. この αp,q は 2 次の漸近挙動で, モーメントより詳細な漸近情報を含む. 例えば
αk,k は 極( k)
限 N → ∞ における tr WN− mk · I の収束のゆらぎを与えることになる. Wishart 行列の漸近的縦横比
γ = 1 の, ゆらぎモーメントは, 以下の式で与えられることが知られている.
()()
2pq 2p − 1 2q − 1αp,q = 2p+qp
q

6 次までを, 以下に行列として書いておく.
2
8
 30
 112

 420
1584

48
36144
560
2160
8316

30
144600
2400
9450
36960

112
560
2400
9800
39200
155232

420
2160
9450
39200
158760635040実験例

関数 sin 4πx(−0.5 ≤ x ≤ 0.5) の 50 標本点にノイズを加えたシミュレーションデータを用いる. まず β の選択を行う.
構造部を 1 次元として, β が 0.32 と選択された場合, λ = 0.1 では, 罰則項の影響が強すぎるため図 1 のように過度に滑らかな曲線を描いてしまう.

15848316 
36960 155232 635040 2561328

本研究での手法

実験の目標はある関数にノイズを加えたシュミレーションデータに対して, 最適なカーネル回帰モデルを見つけること, すなわち最適なカーネルパラメータ βと正則化パラメータ λ の値を推定することである.

1. まず β の選択を行う
β の値を変えながらそのカーネル行列の優固有値の数を順次調べ, その優固有値を取り除きノイズ部分とみなせるようにカーネル行列のモーメント列が Catalan 数列に出来る限り近くなるような βを選択する.

図 1: λ = 0.1 の場合
この時 6 次までのモーメント列は,(0.980, 1.934, 4.783, 13.286, 39.653, 124.322) になる.
様々な λ で比較し最適と推定されたのは, λ = 10−8であり, 6 次までのモーメント列は,(0.980, 1.943, 4.835, 13.528, 40.700, 128.715) でありゆらぎモーメントは, 以下のようになった.

2.0026

 7.9332
 29.615
 110.60
 416.56
1583.47.933235.375141.05549.552132.38286.529.615141.05586.732355.19343.236943.

110.60549.552355.19665.939018.
156456416.562132.39343.239018.
1597346480231583.48286.5 36943. 156456 
648023 2655260

またこの λ でのカーネル回帰曲線は図 2 のようになる.

2. 選択されたそれぞれの β について, 最適な正則化
パラメータ λ を以下のように求める.
(a) 設定された各 λ に対して, カーネル回帰モデルにおける残差の集合を求める.
(b) 残差の集合からランダムリサンプリングにより 50 × 50 の Ginibre 行列の標本を作り,
γ = 1 の Wishart 行列の標本を得る.
(c) この Wishart 行列の 6 次までのモーメント列を求める.
(d) 手順 (b),(c) を多数 (N = 10, 000) 回繰り返す.
(e) N サンプルの平均によりモーメントを求め,Catalan 数と比較する.
(f) N サンプルの共分散行列を求め, 6 次までのゆらぎモーメントの行列と比較する.
以上の手順で最適な β と λ の値を選択することが可能かを実験する. また同データに対して 5-fold 交差検査を行い, 本手法と比較をする.

図 2: λ = 10−8 の場合
また 5-fold 交差検査でも λ = 10−8 が最適な λ 値として選択された.

6まとめ

本研究で行った数値実験から, カーネル行列のノイズ部の推定に Wishart 行列を用いるとで最適な β の候補が見つけられること, 選択された β に対して最適な正則化パラメータ λ が, 残差集合からのリサンプリングによる大量の Wishart 行列の標本のゆらぎモーメントで選択可能であることが分かった. またこれらの選択は交差検証と両立することもわかった.
大谷 有美, Residual analysis of regression models by ﬂuctuation

moments of Wishart Matrices, Non-Commutative Probabilityand Related Topics 2022, Nov. 8, 2022, Hokkaido Univ., (Sapporo, Japan).