カーネル回帰による判別分析における最適な正則化パラメータの推定
堀美乃里 (指導教員：吉田裕亮)

1

はじめに

2.4

2 群データのそれぞれのラベルを 1, −1 として, カーネル回帰を用いて回帰曲面でつなぐ. (1, −1) の中点である 0 での等高線を判別曲線とする. カーネル関数のカーネルパラメータ β は非線形性の強度, 正則化パラメータ λ はカーネル曲面の平滑度に対応する.

統計学上のデータ解析手法のひとつに, 判別分析がある. いくつかのグループに分かれているデータを元に,それらが「どういう基準で分けられているのか」という関係を解析することで, 分類されていないサンプルがどのグループに属するかを予測する手法である.
判別器のひとつとしてカーネル回帰による判別方法が挙げられる. そこで本研究では, ガウスカーネルを用い, カーネルパラメータ β が与えられたもとで, カーネル回帰における最適な正則化パラメータ λ を推測するひとつの手法を提案する.

2カーネル回帰

2.1

カーネル法

カーネル回帰を用いた判別提案手法

3

本研究ではカーネルパラメータ β を固定した時, 最適な正則化パラメータ λ を以下の方法で推定する.
λ = 0.001 から 0.1 までの 0.001 刻みの 100 個の λの値に対してカーネル回帰をそれぞれ行い, 得られたの回帰曲面の値の λ に対する変化率を調べ, その最頻値を与えるような λ を最適な正則化パラメータと定める.
ここで曲面値とは, カーネル回帰を行い, 得られた回帰曲面の値のことである. 曲面値を視覚的に表したのが以下の図で, 図中の 0 での等高線を判別曲線とする.

カーネル法とは, カーネル関数を利用し, 観測データを高次元のベクトル空間に写像し, 変換後のデータに線形の手法を用いることで, 非線形の解析を実現することができるものである. すなはち, カーネル法を用いると複雑な関数を表現でき, 非線形な関係を考慮できる.

501.0400.52.2

カーネル関数
300カーネル関数は, 特徴量で見たときの x と x′ の類似度 (直感的には x と x′ の近さ) を表していると考えることもでき, ２つの要素 x, x′ に対し, それぞれの特徴ベクトルどうしの内積として定義される. すなわち, ϕ(x),ϕ(x′ ) を高次元空間の特徴ベクトルとして -0.520-1.010-1.500′T′k(x, x ) = ϕ(x) ϕ(x )β>0を用いた. ここで, β は非線形性を調整するパラメータ(本研究ではカーネルパラメータと呼ぶ) の一種と考えられ, あらかじめ適当に決めておく.

2.320304050

また, λ = 0.001 から 0.1 としたのは, 正則化パラメー
タは小さくなるほどオーバーフィッティングしやすいという性質から, 過学習にならない程度のなるべく小さな λ が, 適度に特徴を捉えた最適な判別曲線になると考えられるためである.と表される. 本研究では, カーネル関数としては, Gauss
カーネルk(x, x′ ) = exp(−β∥x − x′ ∥2 ),

104

実験

4.1

実験 1

参考文献 [1] で判別に使われているデータに, 本研究の手法を適応した. また今回は, β = 0.015 とした.
λ = 0.001 から 0.1 までの 0.001 刻みの λ に対して回帰曲面の値のλに対する変化率を求めた結果が以下である.

正則化

一般にモデルの次元が高くなると, 関数の表現能力が指数関数的に増大するため汎化能力が落ちる. 対してカーネル法では, 高次元に保ったまま関数の表現を抑える, 正則化という方法を用いる. 正則化は, サンプルに対する誤差のほかに負荷項を付け加えた

401.530Rk,λ (α) = (y − Kα)T (y − Kα) + λαT Kα,

1.020

λ>00.5を最小化することによって, カーネル関数の表現能力を落とすという方法である. 正則化の際に加えた λαT Kαを正則化項と呼び, ここでは, その強さを調節しているλ を正則化パラメータと呼ぶ.

1000.020.040.060.080.100.050.100.150.200.250.30

図 1: 回帰曲面の値のλ 図 2: 変化率のヒストグに対する変化率

ラム

図 2 のヒストグラムより, 曲面値の変化量は 0.05 が150一番多いことがわかる. これに最も近い曲面値をとる λの値は λ = 0.65 であり, これを λ に推定値とする.
この時のカーネル回帰曲線が以下の図 3 である.

40305020104000(a) ベイズ推定

301020304050(b) 本研究の手法

図 7: 実験 120実験 1 では参考文献にあるベイズ推定と近い判別曲線が推定できた. 本研究の手法の方がより孤立したデータを拾う傾向にあることがわかる.

10001020304050

図 3: 判別曲線

50404.230

実験 2

参考文献 [2] で判別に使われているデータに, 本研究の手法を適応した. また今回は, β = 0.005 とした.
実験 1 と同様にして, 回帰曲面の値のλに対する変化率を求めた結果が以下である.

201000(a) ベイズ推定

2.51020304050(b) 本研究の手法

25

図 8: 実験 22.0201.5151.0100.5

実験 2 ではベイズ推定とは異なる曲線が得られた.
また, 誤判別率は以下のようになった. どちらの実験でもオーバフィッティングすることなく, ベイズ推定とほぼ同じ精度で推定できていることがわかる.

500.020.040.06

0.080.10.100.20.30.40.5

図 4: 回帰曲面の値のλ 図 5: 変化率のヒストグに対する変化率

ラム

図 5 のヒストグラムより, 曲面値の変化量は 0.075 が一番多く, これに最も近い曲面値の値をとる λ の値を調べることにより, λ を 0.071 と推定値とする.
この時のカーネル回帰曲線が以下の図 6 である.

6

ある推定方法が常に適切ということはなく, どの推定方法が解析するデータに対して適しているかの評価の検討を行いたい.
また, カーネルパラメータの値によっても曲線がかなり異なるため, カーネルパラメータの値の決定が今後の課題である.

504030参考文献

20[1] Gareth James, Daniela Witten, Trevor Hastie,and Robert Tibshirani. An introduction to statistical learning. Springer, New York, 2013.
[2] Trevor Hastie, Robert Tibshirani, Jerome HFriedman, and Jerome H Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer, New York, 2009.

10001020304050

図 6: 判別曲線

5

今後の課題

実験結果のまとめ推定できたパラメータを用いた判別曲線と, 参考文献で行われたベイズ推定による判別曲線をそれぞれ比べた結果が以下である.

2