EM アルゴリズムを用いた折れ線回帰モデルの推定
加茂下1茜(指導教官 : 吉田 裕亮)
EM アルゴリズムの期待値段階

はじめに(Expectation Step)

一般に, 時系列の折れ線近似の問題では, 折れ点を含む回帰直線モデルを作り, 折れ点を推定し, モデル選択を(m)

期待値 :行って最適化をおこなう手法がとられる. しかしこれは,莫大な計算量を必要とするため, 大変手間のかかる作業(Maximization Step)をクラスタリングし, AIC(情報量基準) を用い, 最適なモ

nzij yi
i=1
平均 :nzijni=1
zij yi2(m+1)2(m+1) 2
分散 : σj= i=1
− (µj)
ni=1 zijn1
(m+1)
混合比 : pj=zijn i=1

デル選択を行うことにより, 計算量を軽減する手法を提(m+1)2µj=案する.

EM アルゴリズム
世の中には, 欠損値を含む不完全データが多く存在する. このような不完全データの解析に有効な統計的学習法のひとつに, EM アルゴリズムがあげられる.

これらの 2 つの Step を収束するまで繰り返すことによ

混合分布問題り, 欠損値 zi を補い, 各パラメータの最尤推定を行うこK 個のクラスからなる混合分布とは, j 番目のクラスのとが可能となる.

確率密度関数を fj (x|θj ), 混合比を pj (j = 1, · · · , K) と3するとき, 確率密度関数

f (x) =)

(m)(m)(m)2)
k=1 pk fk (yi ; µk , σk

EM アルゴリズムの最大化段階を行うにあたって, EM アルゴリズムを用い, 系列の階差K(m)2, σj分布のパラメータの最尤推定を行う.

そこで, 本研究では, 等間隔時系列データの折れ線近似

2.1

zij = K(m)fj (yi ; µj

次に, 前段階で求めた期待値 zij , 観測値 yi を用いて, 各といえ, あまり効率の良い推定法とはいえない.

2pjK
pj fj (x|θj ),j=1AIC(赤池情報量基準)
AIC は, 最適なモデルを選択するひとつの基準として,最大対数尤度 l(θ̂), モデルのパラメータ数 k により, 一般

pj = 1

的に以下のような式で導入されている.

j=1と, 与えられるような分布である.

AIC = −2{l(θ̂) − k}

混合分布問題とは, 標本 {y1 , · · · , yn } が与えられたとき, 各分布のパラメータ {θ1 , . . . , θK }, 混合比率 pj , およ

この AIC の値が最小となるモデルが, より最適なモデル

び分布数 K を推定する問題である. 各 yi はどのクラスとして選択される. 先の述べたように, 本研究の混合分布に所属するかを表す変数 zij を欠損値として持つ, 不完全数が K のときは, k = 3K − 1 となる.

データである. この欠損値 zi = (zi1 , · · · , ziK ) を EM アル4ゴリズムを用いて補い, 各パラメータの最尤推定を行う.

本研究では, EM アルゴリズムを用い, 等間隔時系列

本研究では, 各分布が θj = (µj , σj2 ) の場合を扱う. すな

データの折れ線近似をするにあたって, まず, データの折わち, 1 次元正規分布の確率密度関数が
1(x − µ)2f (x; µ, σ 2 ) = √exp −2σ 22πσ 2れ点の有無, またその範囲を推定することを目的とする.
推定の手順は以下の通りである.

1. 等間隔時系列データに対し, その階差を求める.と定義されているので, これを用い, 潜在変数 zij を期待K値で補う. このとき,i=1 pi = 1 なので, モデルのパラ2. 適当な平均 µj , 分散 σj2 , 混合比 pj , 分布数 K の初期値を与える.

メータ数 k は分布数 K を用い, k = 3K − 1 と表される.

2.1.1

3. EM アルゴリズムの期待値段階 (Expectation Step),

EM アルゴリズムと混合分布問題

最大化段階 (Maximization Step) を, 収束するまで繰り返し, それぞれの最尤推定値 µˆ , σˆ2 , pˆ を求める.

まず, クラス j の確率密度関数 fi のパラメータと, 各分(0)(0)布の混合比の初期値 µj , σj2

提案方法

(0)

, pj (j = 1, 2, · · · , K) をj

4. AIC を算出する.

適当に与える.

51jj5. 最適なモデルで推定を行うため, 分布数 K とそれにしいものは, ひとつのグループとしてまとめられてしま応じた初期値を変化させ, 手順 3, 4 を繰り返し行う.

う場合がある. よって AIC で求められる分布数 K と, 最6. AIC が最小となるモデルを最適なモデルとして採用適なクラス数は必ずしも同じとは限らないと考えられる.

し, 分布数 K を決定する.

このとき, EM アルゴリズムを再度収束するまで

 何回か繰り返し, 期待値 zij の移動平均を適当な値で区切って算出し, その平均のデータを扱う.

5.2

実データへの応用

5.2.1

為替データ

実データへの応用例として, 98.10.28 〜09.1.30 の JPY-

USD 相場の変動データ (図 3) を本研究で提案方法で, 折れ線回帰近似を与える折れ点の区間を推定する.

7. 期待値 zj をそれぞれのクラスに対してグラフ表示する.

8. zj の変化はグループに属する確率の変化に等しいので, その変動点を求めるために, それぞれのグラフを重ね合わせる.

9. 交点は, グラフが変化している点であるので, これを折れ点を含む範囲として推定する.

5推定実験

5.1

シミュレーション実験

図 3: 98.10.28 〜09.1.30 の JPY-USD 相場の変動データ
まず AIC を用いてモデル選択を行ったところ, K = 3のときに最小となり, 最適な分布数を K = 3 と判断した.

正規乱数によるノイズ  ∼ N (0, 4) をもつ, 以下のよう

そこで, EM アルゴリズムを用いて求まった, いくつかのなシミュレーションデータを用意する.
xn+1 = xn + 1 +  (0 ≤ n < 1000)
xn+1 = xn+  (1000 ≤ n < 2000)
x= xn − 1 +  (2000 ≤ n < 3000)
n+1

クラスに対する zij の平均値の移動平均をグラフ化し, 重ね合わせ (図 4), 折れ点の範囲を推定した (図 5).

これらの階差に, EM アルゴリズムを用いてクラスタリングを行う. それぞれのパラメータが収束したら, 各クラスごとに, 期待値 zj の 100 ずつの移動平均を算出し, グラフ化し, その交点を求める.
図 4: JPY-USD 相場の zij の移動平均の重ね合わせ (左)図 5: 為替グラフの大まかな折れ点範囲 (右)

5.2.2

結果

図 5 の結果より, 折れ点を含むであろう範囲が推定できた. 実際のデータと目視して比較してみても, 折れ点を含図 1: ノイズ  ∼ N (0, 4) を入れた等間隔な時系列データ (左)むであろうことが予測される.

図 2: 期待値 zij の 100 ずつの移動平均の重ね合わせ (右)

5.1.1

6

まとめ
等間隔時系列データの折れ線近似問題において, 本研究

結果

図 2(右) より, グラフの交点は 930, 1900 と読み取れる.

で提案した手法を用いて, 折れ点を含む範囲を推定する

これらは 100 ずつの移動平均の始点なので, 折れ点の範ことができた. しかし, 推定された範囲が広いので, さら囲は 930〜1030, 1900〜2000 となり, 折れ点を含むと推に狭い範囲を推定する場合にも, 本手法が適用可能なの定される.

か, 今後の課題として検討したい.

5.1.2

参考文献

考察

1. 坂元慶行, 石黒真木夫, 北川源四郎, 情報量統計学,

AIC によるモデル選択では, 階差による分類が行われ共立出版 (1983)

るため, 異なるグループとして設定しても, 階差がほぼ等52