修士論文 要旨

誤差に相関がある場合のカーネル回帰におけるバンド幅の推定方法
数理情報学専攻 48166202
指導教員

荒木 健司
清 智也 准教授とするノンパラメトリックな推定方法である. バンド

1 はじめに

幅 h の選択方法としては, cross validation (CV) が広回帰分析において, 観測したデータから非線形性がく用いられているが, 誤差に相関がある場合にはバンド読み取れるときや, 説明変数やデータ数が多いために幅を小さく選択してしまう. そこで, Chu and Marron

2 次や 3 次の項まで用いた線形回帰が計算量の問題[2] は modified cross validation (MCV) と呼ばれる手で難しいときに, ノンパラメトリック回帰を行うこと法を提案した. MCV とは,がある. 本研究では, 誤差に相関がある場合に, ノンパラメトリック回帰のうちの 1 つである Nadaraya–Watson カーネル推定量のバンド幅を推定する方法を提案する. 誤差に相関がある場合に Nadaraya–Watson
カーネル推定量のバンド幅を推定する既存手法として,correlation-corrected cross validation と呼ばれる方法がある. この手法は誤差相関を推定したうえで修正した

cross validation を用いる手法であるが, 誤差相関の推定には改善の余地がある. また, 別のノンパラメトリッ
ク回帰手法である局所多項式回帰において, 誤差に相関がある場合にバンド幅を推定する手法として correlated

direct plug-in と呼ばれる方法がある. これはプラグイン推定量を順次推定していくものであるが, 誤差の相関に様々な仮定を置いており, その仮定を満たさないときに推定が悪くなってしまう可能性がある. そこで,correlated direct plug-in を用いてより正確に誤差相関を推定したうえで, 相関のある部分を取り除いて crossvalidation を行う手法を提案する.

2 誤差に相関がある場合のカーネル回帰
観測 (Xi , Yi )ni=1 ; Xi ∈ R, Yi ∈ R から関数 f を推定する問題を考える. ただし, 誤差を ϵi とし,Yi = f (Xi ) + ϵi ,n)21 ∑(ˆfl,(−i) (Xi ) − Yi ,n i=1()∑
Xj −XiYj
Kj:|j−i|>lh()fˆl,(−i) (Xi ) = ∑Xj −Xij:|j−i|>l K
hMCVl (h) =を最小化するような h を選択する方法である. l = 0 のとき MCV は通常の CV と等価である. l を選択する方法として, Brabanter et al. [1] において, correlation-corrected cross validation (CC-CV) と呼ばれるアルゴリズムによって選択する方法が提案されている. CC-CV は bimodal カーネルを用いて f を推定して誤差 ϵiを推定し,∑n−qΦ−1 (1 − α/2)i=1 ϵ̂i ϵ̂i+q∑√≤n2ni=1 ϵ̂i(1)を満たす最小の q を l とする手法である. ただし Φ は標準正規分布の累積分布関数である. CC-CV は誤差の相関の推定に改善の余地があると考えられる.
また, 別のカーネル回帰として, 局所線形回帰があげられる. 局所線形回帰は誤差に相関がない場合には Nadaraya–Watson カーネルのバイアスを下げることができることが知られている [3]. 局所線形回帰において誤差に相関がある場合にバンド幅を選択する手法として, Opsomer et al. [4] において, correlatedであるとし, 説明変数 Xi は等間隔であるとする. 誤差に相関がある場合に, カーネル回帰のうちの 1 つである

Nadaraya–Watson カーネルのバンド幅を選択する問題について考える. Nadaraya–Watson カーネルとは, Kをカーネル関数, h をバンド幅としたとき, f の推定量fˆ を,∑n( Xi −x )Yii=1 K( Xhi −x )fˆ(x) = ∑ni=1 K
hdirect plug-in (CDPI) と呼ばれる方法が提案されている. CDPI は誤差の相関に連続性など様々な仮定を置いている. CDPI は説明変数が多次元の場合も加法モデルを仮定することで適用できる.
そこで, CDPI を用いて誤差を推定し, l を選択してMCV を行う手法を提案する. これを automated modified cross validation (AMCV) と呼ぶ. また, 説明変数が d 次元のとき, 説明変数を X1 , · · · , Xn とし, Xi =

誤差に相関がある場合のカーネル回帰におけるバンド幅の推定方法 (荒木 健司)

35(Xi1 , · · · , Xid ), Xij ∈ R とする. H = {h1 , · · · hd } をバンド幅としたとき, f の推定量 fˆ を,()()∑n
Xid −xd
Xi1 −x1···K
Yii=1 Kh1hd()()
fˆ(x) = ∑n
Xi1 −x1d· · · K Xidh−xi=1 K
h1d

平年値15とし, バンド幅 H を選択する. Yi の推定値と Yi の二乗

20

気温2530推定値

10誤差を計算するときに, Xi とのユークリッド距離が L5以下のデータを除外したデータで推定するように MCV0.0を定義し, CDPI を用いて誤差を推定するような手法を0.2

0.4

0.6

0.81.0年提案する. これを説明変数が多次元の場合の AMCV と図 1. 日ごとの最高気温の推定する.

3 数値実験
3.1の 2 種類とする. ただし,説明変数が 1 次元の場合

f1 (x) = 1 − 6x + 36x2 − 53x3 + 22x5 ,
f2 (x) = sin(2πx)

真の関数 f は,f (x) = 1 − 6x + 36x2 − 53x3 + 22x5 ,(2)f (x) = sin(2πx),f (x) = x(3)(4)の 3 種類とし, 誤差相関は,∀i ̸= jである. 誤差相関は,∀i ̸= jcorr(ϵi , ϵj ) = exp(−20|Xi − Xj |)としたとき, 各手法の MASE の推定値は表 2 のように

1corr(ϵi , ϵj ) =3(n|Xi − Xj |)3なった. 加法モデルの仮定が正しくないことが疑われるとしたとき, 各手法の MASE の推定値は表 1 のように場合は AMCV を用いればよいことがわかる.

なった. 誤差相関が不連続な場合は AMCV が最も良い

表 2. MASE の推定値推定をしていると言える. さらに, 真の関数の次元が低い場合, 誤差の分散が大きい場合にも AMCV を用いると良いことが別の数値実験から確かめられた.

1981 年の東京の日ごとの最高気温のデータ [5] にAMCV を適用したところ, 図 1 のようになった. 平年
値 (1981 年から 2010 年の平均) のデータをよく推定できていると言え, 実データにおいても AMCV が最も良f : 式 (5)f : 式 (6)

0.309

0.325

0.232

0.256

CC-CV

0.160

0.187

AMCV (提案)

0.148

0.141

CDPI

0.06280.246

通常 CV√MCV (L = 1/ n)

い推定をする場合が存在することが確かめられた.

参考文献

表 1. MASE の推定値

通常 CV

MCV (l = 1)
CC-CV
AMCV (提案)
CDPI
ローカルレベルモデル

3.2

f : 式 (2)0.353
0.06830.06420.05920.06270.123

f : 式 (3)0.357
0.0601
0.0616
0.05690.05700.115

f : 式 (4)0.187
0.03340.03270.03130.04830.0914

説明変数が 2 次元の場合

真の関数 f は,

f (x) = f1 (x1 ) + f2 (x2 ),(5)f (x) = f1 (x1 ) + f2 (x2 ) + sin(2πx1 x2 )(6)[1] K. Brabanter, J. Brabanter, J. Suykens, and B. Moor:Kernel regression in the presence of correlated errors.
T he Journal of M achine Learning Research, vol. 12(2011), pp. 1955–1976.
[2] C.-K. Chu and J. Marron: Comparison of two bandwidth selectors with dependent errors. T he Annals ofStatistics, vol. 19 (1991), pp. 1906–1918.
[3] J. Fan: Design-adaptive nonparametric regression.
Journal of the American Statistical Association, vol.
87 (1992), pp. 998–1004.
[4] J. Opsomer, Y. Wang, and Y. Yang: Nonparametric
regression with correlated errors. Statistical Science,
vol. 16 (2001), pp. 134–153.
[5] 気象庁ホームページ,
http://www.jma.go.jp/jma/index.html (参照 2018 年 1月 19 日)