正則化手法のフーリエ展開への応用小林 飛鳥

1(指導教員：吉田 裕亮)

はじめに一般に, 回帰分析とは, 幾つかの説明変数からなるモデル式に基づいて, その応答とされる目的変数の振る舞いを予測する方法である. 回帰分析を行う際に説明変数の数が増すと, モデル式のデータへのフィティン
グ精度は上がると同時に過剰なフィッティング現象も発生する. これは統計的機械学習では過学習 (オーバ・フィティング) とよばれ, 最適な予測がされない．回帰分析において過学習を抑える手法の一つとしては正則化が知られている.
時系列データの離散 Fourier 変換は線形回帰モデルと見做すことも可能である. 本研究では離散 Fourier
展開に 2 次導関数の L2 ノルムを罰則化項にもつ正則化により, 過学習を抑えデータの局所変動の特徴も捉えた平滑化が可能となることを具体的な実データを用いて検証する. なお最適化には 5-fold クロス・バリデーションを用いることにする.

2fi=1で与えられる. ただし, λ > 0 は罰則項の重みとなる正則化パラメータであり, この場合は平滑化パラメタ―とも呼ばれる.

4クロスバリデーション

クロスバリデーション (CV) は予測誤差を推定する方法で最もよく知られている. 標本データを分割し,一部をテストデータとして取り置き, 残りのトレーニングデータにより学習されたモデルの検証を行手法である.
本研究では, 5-fold クロスバリデーションを用いる.
5-fold CV は以下のように行われる.

1. データを 5 つにランダムに分割し, 1 つをテストデータ, 残り 4 つをトレーニングデータとする.

関数近似

回帰モデルによる関数近似の代表例として, 多項式回帰モデルがある. 多項式回帰とは, ひとつの説明変数の冪たちからなる多項式をモデル式とする回帰手法であり, 説明変数として単項式 X j を用いた線形回帰モデルである.
本研究では, 多項式回帰モデルを一般化し, 単項式に替えて適当な基底関数 ϕj (x) を用いた

f (t) =mX

2. テストデータによる平均 2 乗誤差 MSE を求める.
3. 1. 2. のテストデータを変えながら 5 回繰り返す.
これにより, 平均 2 乗誤差の 5 つの推定値 (MSE) が得られ, 5-fold クロスバリデーションの推定値はこれらを平均することにより得られる.

5bj ϕj (x)j=0による関数近似を考える. 一般に, どのような基底関数を用いるかによって過学習の制御手法に工夫が必要となってくる.

3

nすなわち, 与えられたデータ点を (xi , yi ) i=1 とするとき
X
Zn2′′
2minyi − f (xi ) + λ {f (t)} dt

正則化

正則化とは過学習を抑えるために罰則項を加え, 最適化することである．回帰分析における正則化には Ridge
正則化と Lasso 正則化が良く知られている.

離散 Fourier 変換と回帰モデル

本研究では, 離散 Fourier 変換を線形回帰モデルとみて, データへの関数近似を行うことで平滑化を行う.
これに, 近似関数の 2 次導関数の L2 値を罰則項とした正則化を用いる.
n 点からなる時系列データベクトル x = x1 , x2 ,. . . , xn に対して離散 Fourier 変換は以下のように与えられる.
n 次元ベクトルの族 1, ck , sk : k = 1, 2, . . . , n を考える. ただし
T
1
1 = √ 1, 1, . . . , 1 ,n

一般に, 回帰分析における過学習は連立１次方程式である正規方程式の係数行列が特異行列となり, そのため行列式が 0 に近くなり, 逆行列を経由して回帰係数を求める際の数値計算において, 計算誤差のため回帰係数が安定しないため発生する. このため特に, Ridge正則化は行列の正則化に相当する操作となる. すなわち, 係数行列は Gram 型であるため, 固有値は正領域に存在するが, 行列式が 0 に近い, つまり固有値が 0の近傍にあるので, 正のスカラ行列により正値方向に僅かな摂動を加えることにより, 行列が正則化され解である回帰係数を安定させる.

2n T,2πk, . . . , sin 2πknnであり, このときベクトルの族 1, ck , sk の線形結合
でベクトル x は, 以下のように展開される. すなわち,本研究においては、近似関数の凹凸を抑え平滑化を目的として, 近似関数 f の 2 次導関数の 2 乗積分値(L2 ) を罰則項にもちいた正則化を用いる.

であり, Fourier 係数 ak , bk はak = ⟨x ck ⟩,bk = ⟨x sk ⟩となる.

1nck = √1nsk = √cos 2πksin 2πkj , cosn

2πk2, . . . , cosn1, sinnx = a0 1 +n
Xa k c k + bk sk

k=12πkn T,n本研究での提案手法

6とする. また 2m 対角行列 Ω を本研究では、まずパワースペクトルによるフィルタリングで振動成分の選択をオーバフィッティングの状態におきながら, 続いて凹凸を抑える 2 次導関数を罰則項とする正則化を施すことによりデータの局所的な特徴を保ちながら平滑化を行うこと提案する.
離散フ ー リ エ変
換 では, データ ベク トル x =x1 , x2 , . . . , xn に対して (t, x) 平面のデータ点群
non
2πk, xkを考えたとき区間 (0, 2π] で, 以下の基
nk=1底関数展開を行うことに対応する.

f (t) =nX

ak cos(kt) + bk sin(kt)今、 パワースペクトル pk に基づき m 個の振動成分
k1 , k2 , . . . , km が選択されたとする. このとき関数展開は,mX

αj cos(kj t) + βj sin(kj t)とする. このとき 最適化の 2 次形式は
t
min x − Nµ x − Nµ + λ µT Ωµµで表現される. この変分よりµ = NT N + λΩ−1NT xで与えられることがわかる.

8k=0f (t) =44Ω = Diag k14 , k14 , k24 , k24 , . . . km, km

実データへの応用

以下は, 2022 年 7 月 1 日から 2024 年 6 月 30 日までの２年間の東京の日最高気温のデータにおいて, オーバフィッティング状態からの, 本研究での提案手法による平滑化結果の実践例である. (青はデータ, 赤は平滑化)

t ∈ (0, 2π]j=1と与えられる.
この場合の正則化項付きの線形回帰モデルは,minXn f2πi  2+λnxi − fi=1Z′′{f (t)} dt2であるので, 最適化すべきパラメータを用いて最小 2乗化部は
Xn m X
2πkj i  2
2πkj i + βj sin
minxi −αj cos
fi=1j=1Z′′n

図 1: オーバフィティング状態n

{f (t)} dt+λ2となる.
近似関数 f (t) の 2 次導関数は

f ′′ (t) = −mX

αj kj2 cos(kj t) + βj kj2 sin(kj t)

j=1となるので, 直交性を用いて

Z 2π{f ′′ (t)}2 dt =0mX
αj2 kj4 + βj2 kj4 πと非常に簡便化される.

7

図 2: 平滑化結果

j=1

Fourier 展開に基づく平滑化作用素

これらのことより, の最適化の式を 2 次形式の変分問題に定式化することが可能であり, 最終的に以下の形式まで整理される.
行列 N を 2m 個の基底ベクトルを並べて構成される n × 2m 行列とする.
hi
N = c k1 s k1 c k2 s k2 · · · c km s km
推定される 2m 次の係数ベクトル µ を
Tµ = α1 β1 α1 β1 · · · αm βm

余りに平滑化され過ぎすに, 局所的な変動も適度に捉えた平滑化が実現されていることが分かる. 実際に,離散 Fourier 変換での選択振動数は {1, 2, 4, 6} のみとなり, かなり平滑化されてしまう.

9まとめ

本研究では離散 Fourier 変換に 2 次導関数を正則化項にもちいる平滑化手法の提案を行った. 実データからも十分に局所的特徴を捉える平滑化が可能であるとわかった.
参考文献[1] T. Hastie, R. Tibshirani, J. Friedman, The Elements ofStatistical Learning, Springer, ().