ブートストラップ回帰による平滑化
名田穂乃花

1

(指導教員：吉田 裕亮)

はじめに回帰分析とは, いくつかの説明変数からなるモデルより目的変数の振る舞いを推定し予測を行う手法である. 一般に多くの説明変数を用いると与えられたデータへのフィティング精度は改善される. しかしこれにより与えられたデータへのオーバフィティングが発生し, 予測の精度が落ちる場合が多々ある. これは過学習と呼ばれる.
線形回帰モデルにおいてはブートストラップ回帰を用いることで, 回帰係数の分布を推定し, 真に有効な説明変数を選択して平滑化することが可能である.
本研究では, 周期的なデータに対する離散フーリエ変換を線形回帰モデルとみなし, ブートストラップ回帰を援用することにより, 最適な周期成分を抽出することを試みた.

2

線形回帰モデル3. 同様の手順を N 回繰り返し, N 個の推定値,T(1) ,T(2) ,T(3) , . . . ,T(N ) を得る.
4. N 個の推定値から, 推定量の標準誤差は, 以下のように推定される.
vuu
SD = t5

ブートストラップ回帰の手続きは以下の通りである.

1. 与えられた n 点のデータから, 通常の最小 2 乗法によって回帰係数 b1 , b2 , . . . , bm を推定し, その値をbb1 , bb2 , bb3 , . . . , bbm , とする. その回帰モデルを
Y = bb1 X1 + bb2 X2 + · · · + bbm Xm + ε とする.

ここで Y は目的変数, また ϵ は誤差項でありモデル式からの確率的な要因による擾乱を表す.

2. それぞれの観測点 {x1 , x2 , . . . , xn } の値に対して,Y の予測値とその観測値の誤差を残差という. その標本を {ϵ1 , ϵ2 , ϵ3 , ..., ϵn } とする.

変数選択

3. 説明変数側の値は固定したまま, 残差標本から n個をリサンプリングし {ϵ∗1 , ϵ∗2 , ϵ∗3 , ..., ϵ∗n } とする.

変数選択とは, 回帰分析や判別分析を行う際に, 複数の説明変数の中から効率的に目的変数を説明するに足る説明変数を何らかの基準に従って選択することであり. 基準を満たす変数がなくなった時点で, 変数選択は終了となる. 変数選択には減少法, 増加法, 減増法, 増減法などの手法がある. 変数選択を用いることで, オーバーフィット問題や, 外れ値による影響を抑えた回帰が可能となる.

4. 新しい zi (i = 1, . . . n) の値を, 以下の式
zi = (bb1 , bb2 , . . . , bbm ) · xi ＋ϵ∗nで与え, このデータから同様にして最小 2 乗法により新しい回帰係数 (bb1 , . . . , bbm ) を推定する.

5. この試行を N 回繰り返すとすると, N 組の回帰係数 (bb1 , ..., bbm ) が得られる. これらから b1 , b2 , ..., bnの区間推定を行うことが可能となる.
回帰係数の推定値の信頼区間内に 0 が含まれる場
合, その係数は取り除くことが可能であると判断できる.

BootStrap

ブートストラップ法とは, 母集団の性質を推定するための手法であり, リサンプリングによって推定値の信頼性評価を目的としている. 再抽出データから得られたデータのばらつきを評価することで, 元のデータから得られる統計量の性質を導く.
その手続きは以下の通りである.

1. ある母集団からの大きさ n の標本 {x1 , x2 , x3 ,. . . , xn } について, 重複を許し, リサンプリングを行う.
2. このリサンプリング標本を {x∗1 , x∗2 , x∗3 , . . . , x∗n } とする. それに基づき, 推定量を計算し, その値をT(1) とする.

ブートストラップ回帰

回帰モデルにおける残差からリサンプリングすることで, 回帰係数の区間推定を行うブートストラップ手法をブートストラップ回帰という. 本研究では, 回帰係数の推定値の信頼区間内に 0 が含まれる場合, その係数は取り除くことが可能であると判断することにより変数選択を行う.

Y = b 1 X 1 + b2 X 2 + · · · + b n X m + ε

41 X
T(i)
N i=1
N

T =以上ことから, 誤差評価や区間推定が可能となる.

mm 個の説明変数 Xi i=1 の線形和で線形回帰モデ
ルは, 以下の式で与えられる.

3N
21 X
T(i) − T ,N − 1 i=16

離散フーリエ変換n 等区間点で与えられた時系列データ {y1 , y2 , . . .,yn } を三角関数の重ね合わせで表現する手法として離散フーリエ変換がある. 離散フーリエ変換では三角関数を周期的な入力データ, 説明変数とみなした線形回帰モデルとして考えられる. すなわちn  2πkj Xyj = a 0 +ak cos
nk=1
 2πkj + bk sin+ ϵjn

の形式の展開を考える. すなわち, 目的変数ベクトル
Y = (y1 , y2 , . . ., yn ) に対して説明変数ベクトルが

3. それを回帰モデルとしてブートストラップ回帰を行う.

 2πkj n4. 変数選択を行う. 係数の区間推定として 0 を含むかどうかを基準に行う.
例えば, 係数の推定値のヒストグラムで見た場合に, 以下のような場合, 0 を含むと判断する.

k 周期 cos 成分
nj=1
 2πkj n
Sk = sink 周期 sin 成分
nj=1

Ck =cosで与えられたことになり, 線形回帰モデルではY = a0 1 +nX
a k C k + bk S k + ε80k=160と表現される. このモデルにおいて a2k + b2k は k-周期成分のパワースペクトルと呼ばれ, この値が大きければ, 与えられた時系列データには k-周期成分が多く内在していることを示している.

40200-0.3

7

実データへの応用, 三角関数の重ね合わせ-0.2-0.1

0.0

0.1

0.2

0.3

次の場合は当てはまらない.

東京における 5 年分 (n = 1826 日)(2021 年 11 月 30日まで) の日平均気温データを用いる.
100元のデータ

80306025

40202015-10.5

10-10.4-10.3-10.2-10.1

55001000

この結果, C0 , C4 , S4 , C5 , S5 , S10 , C13 , C15 , S15 ,C17 , C19 , S19 , S20 , S54 が有効な周波数成分であると判断された.

1500

1. 離散データに対して離散フーリエ変換を行い, パワースペクトルを求める.
変数選択後の平滑化気温データの一部(n = 1000〜1500)

2. ある閾値でパワースペクトルをカットし, それより大きなパワースペクトルの周波数を残して大まかに平滑化する.
ここでは, パワースペクトルの閾値を 65 に設定.
なお, パワースペクトルは左右対称であるため、1〜 n2 を見れば十分である. ここで残った周波数成分は, C0 , C4 , S4 , C5 , S5 , C10 , S10 , C13 , S13 , C15 ,S15 , C17 , S17 , C19 , S19 , C20 , S20 , C54 , S54 である.

30252015105100

閾値を用いて平滑化したデータの一部(n = 1000〜1500)

8200300400500

まとめ30

離散フーリエ変換を線形回帰モデルとみなして, ブートストラップ回帰を行うことで, 最適な周波数成分を選択することができた.

252015

参考文献

10[1] G. James, D. Witten, T. Hastie and R. Tibshirani, An
Introduction to Statistical Learning, Springer, New York,NY (2017).

5100

200300400500