DEIM Forum 2009 E8-4

差分型 HMM を用いたデータストリームにおける時系列データ予測若林啓†

三浦 孝夫†† 法政大学 工学研究科 〒 184–8584 東京都小金井市梶野町 3-7-2
E-mail: †kei.wakabayashi.bq@gs-eng.hosei.ac.jp, ††miurat@k.hosei.ac.jp
あらまし 本研究では時系列データ予測の新しい手法を示す. ここでは各時刻の観測データを事象として解釈し, 事象の遷移に基づいてデータの予測を行う. 本稿では事象を隠れ状態に対応させた隠れマルコフモデル (HMM) によるモデル化を行い, 状態からの出力確率分布を予測値の分布として用いる. また, データストリーム環境においては EM アルゴリズムによる HMM のパラメタ学習を行うことが困難であるため, 差分型 Baum-Welch アルゴリズムによるオンライン学習手法を適用し, 実験により本手法の有用性を検証する.
キーワード

時系列予測, データストリーム, 隠れマルコフモデル, 差分学習

Forecasting Time-Series on Data Stream using Incremental Hidden
Markov Models
Kei WAKABAYASHI† and Takao MIURA†† Dept.of Elect.& Elect. Engr., HOSEI University 3-7-2, KajinoCho, Koganei, Tokyo, 184–8584 Japan
E-mail: †kei.wakabayashi.bq@gs-eng.hosei.ac.jp, ††miurat@k.hosei.ac.jp
Abstract In this paper, we propose a sophisticated technique for time-series prediction. Here we consider anobservation as output of the event, and estimate future data based on transition of events. In this investigation weformalize event as state of Hidden Markov Model (HMM), and observation as output from state. However, HMM
approach is not easy to apply data stream prediction. This is because Baum-Welch algorithm which is traditional
unsupervised HMM learning algorithm scan all historical data many times. Here we apply incremental Baum-Welchalgorithm which is a on-line training method for HMM to data stream prediction for adapting to new pattern. We
show some experimental results to see the validity of the method.
Key words Forecasting, Data Stream, Hidden Markov Model, Incremental Learning

1. 前 書 き

時系列データ予測は, これまでに多くの手法が提案されている [4]. 指数平滑法 (Exponential Smoothing) は, 過去のデータ

近年, 計算機資源の充実化に伴い, より知的な情報処理を計算の重みつきの平均値に基づいて予測を行うヒューリスティック機で行う研究が盛んになっている。特に, 計算機を用いることなデータ予測手法である. 重みは, 観測から経過した時刻に対で膨大な量のデータを扱えるようになったことを背景にして,して指数的に減少する. このとき, 時刻 t での重みつきの平均値データベースからの知識発見やデータ予測の技術が注目されては, ひとつ前の時刻 t − 1 の重みつき平均値を用いて集約的に求いる. 計算機による時系列データ予測とは, 時刻を伴ってリアルめることができる.

タイムに観測されるデータについて, 現在までの観測データを

Holt-Winters 法は指数平滑法の一種であり, 重みつき平均値用いて未来に観測されるデータを自動的に推定する技術である.の増減の傾向を考慮して予測を行う [3]. ここでは, 時刻 t の平時系列データ予測は, リアルタイムに大量の情報を扱う場合滑化した観測値を ỹt , その変化量を Ft として, 各時刻で以下のに有用な技術である. 例えば, 商品の在庫状況の管理を計算機によって行っているシステムにおいて, 時系列データ予測が可能となれば, 翌日の売り上げを予測することで効果的な商品の仕入れが自動的に行うことができる. また, 大量のデータを利式を用いて ỹt および Ft を更新する.

ỹt = λ1 yt + (1 − λ1 )(ỹt−1 + Ft−1 )Ft = λ2 (ỹt − ỹt−1 ) + (1 − λ2 )Ft−1用して客観的にデータ予測を行うことで, 企業や政府の意思決定を補助する効果も期待される.

ただし,λ1 および λ2 は平滑化パラメタと呼ばれる 0.0 から—1—

1.0 までの値であり, λ が大きいほど過去のデータの重みは急速に減少する. Holt-Winters 法による時刻 t + h の予測は,ỹt を用いてỹt+h|t = ỹt + hFt

時刻 栄養剤 ビール ウコン ジュース
t5224431t+115682036t+27213829…

として求める. これは, 未来のデータが現在の増加量の傾向を維持することを意味する.

t’1852263t’+1112516105

しかし, これらの手法は観測値の部分的な線形性を仮定している. イベント会場に出入りした人数の時系列データや, ある地点の風速の時系列データなどは, 前の時刻の観測値と直接関係せず, 催し物や台風の接近といった「事象」に基づいて観測値が決まる. このような時系列データに対しては, 指数平滑法で効果的な予測が可能であるとは考えにくい.

Hassan ら [5] は, 隠れ状態をもつ確率過程モデルである隠れマルコフモデルを用いて株価の予測を行う. ここでは過去の観測データから, 隠れマルコフモデルの学習により頻出する推移のパターンを抽出する. 学習したモデルを用いて, 最新の時刻の観測データにどの隠れ状態が対応するかを確率的に求め, 次の時刻に観測されるデータの尤度を推定することで予測を行う.
隠れ状態の確率を求めることは, 観測されるデータに対して, 最新の観測データが過去のどの推移パターンと類似するかを推定することに対応する. この手法では, 予測値は最新の時刻の観測に直接依存せず, 隠れ状態の遷移に基づいて決定する. このことから, 隠れた事象を含む時系列データに対しても効果的な予測が期待できる.
しかし,Hassan らは EM アルゴリズムを用いて, オフラインに隠れマルコフモデルの学習を行うため, 予測の最中に未知の系列パターンが出現した場合に, 新しいパターンをモデルに反映させることができない. このことは, 特にデータストリーム環境において大きな問題となる [6] [8]. データストリームではデータは永続的に発生し, また動的にデータの分布が変化するため,学習データに含まれるデータのパターンはデータストリーム全体で発生するパターンのごく一部である. このため, モデルの学習を予測を行いながら（オンラインに）行う必要がある.
隠れマルコフモデルの学習を差分的に行う研究に,Stenger らがある [9]. 彼らはラベルなし学習データによる隠れマルコフモデルの学習手法である Baum-Welch アルゴリズムを拡張した,差分型 Baum-Welch アルゴリズム (Incremental Baum-Welch)を提案している. 差分型 Baum-Welch アルゴリズムでは, 新規のデータに対して推定した隠れ状態の尤度に基づいて, その尤度が最大になるようにパラメタの再推定を行う. この手法は, モデルのパラメタを用いて集約的にパラメタを再推定するため,過去の観測データを記憶することなく, かつ高速に実行できる.

Stenger らは, 差分型 Baum-Welch アルゴリズムを用いて動画中の物体検出を行っている.
本稿では, 差分型 Baum-Welch アルゴリズムを用いた時系列データ予測の手法を提案する. これにより, 隠れマルコフモデルによる適応的な時系列データ予測が可能になることを論じる.

2 章では状態遷移に基づくデータ予測について述べる. 3 章
では本研究で用いる隠れマルコフモデルのパラメタの動的な推図1

近隣の会社の繁忙期
休み前の飲み会
二日酔い 客層の変化

休み前
高校生の休日状態遷移に基づく時系列のモデル化

定法を説明し, 本稿で提案するデータ予測のアルゴリズムについて述べる. 4 章で実験結果を示し,5 章で結びとする.

2. 状態遷移に基づくデータ予測
図 1 に, 本研究で提案する時系列データ予測のモデルを示す.
図中の時系列データは, 量販店の商品の売り上げ履歴である. ここでは, 時刻 t に栄養剤がよく売れ, 翌日 (時刻 t + 1) にはビール, その翌日 (時刻 t + 2) にはウコンがよく売れている.
本研究では, 時系列データにおいて観測されるデータは, 観測できない隠れた状態に依存すると考える. 例えば, 図 1 の時刻t ではビールの売り上げが少なく, 栄養剤がよく売れていることから, 来店する客は仕事で忙しい人が多いと解釈する. 時刻t + 1 では, 栄養剤よりもビールやおつまみがよく売れていることから, 翌日が休日などの理由でお酒を飲む人が多い日と解釈する. 同様に時刻 t + 2 ではウコンがよく売れることから, 二日酔いの人が多い日と解釈する.
これらの状態の対応づけから, 仕事が忙しい人が多い日の翌日はお酒を飲む人が多い日に遷移し, お酒を飲む人が多い日は二日酔いの人が多い日に遷移する. これらのパターンが過去の観測データ系列の中に頻繁に出現していれば, 時刻 t の時点で時刻 t + 1 や時刻 t + 2 の売り上げの予測が可能である.
ただし, 実際にはこれらの状態の解釈は行われる必要はない.
隠れ状態の遷移に基づく時系列データのパターンをなんらかのアルゴリズムによって獲得できれば, 状態の意味が解釈されなくてもデータ予測は可能である. 本研究では, 隠れマルコフモ
デルにより隠れ状態を明示的にモデル化し, 状態の意味を事前に与えることなく, 観測したデータ系列に基づいてモデルのパラメタを決定する.
図 1 では時間の経過に伴い, 近くに高校ができるなどの原因により客層が変化し, これにより状態の意味や遷移パターンが変化する. 例えば, 高校生の客が増えることで休日のジュースや菓子の売り上げが増加するといった変化が考えられる. このような変化を反映して予測を行うためには, 常に新しいパターンの存在を考慮する必要がある.
隠れマルコフモデルにおいて, 新しい観測データから未知のパターンをモデルに反映することは容易ではない. これは, モデルが隠れ状態を含むため, 観測値から直接最尤のパラメタを推定できないことによる. 隠れマルコフモデルのラベルなし学習を行うアルゴリズムには,EM アルゴリズムの一種である—2—

Baum-Welch アルゴリズムが存在する. しかし,Baum-Welch

観測ベクトル ot の出力確率は, それぞれの要素 otk の出力確

アルゴリズムは尤度が極大になるまで学習データを繰り返し走率の積として求める. すなわち,ot = (ot1 , ot2 , · · · , otD ) が状態査してパラメタを推定するため, 一般に長大なデータになるほi から出力される確率は,ど実行時間は膨大となる. このため, 新しい観測値が利用可能になるたびに Baum-Welch アルゴリズムによる再計算を行う

bi (ot1 , ot2 , · · · , otD ) =のは困難である.
特にデータストリーム環境では, 新しい観測を得る度に差分D∏bi (otk )k=1である.

的にパラメタを推定することで動的な新規パターンの反映を実与えられた学習データについて最適な状態遷移確率分布 A,現する必要がある. これは, データ量が膨大であるために過去観測値平均 µ, 観測値分散 σ を推定する際には, ラベルなしデーのデータを保存できないことと, 全データの再計算を実行する

タを用いて準最適なパラメタを求める Baum-Welch アルゴリ

ことが計算量の観点から困難であることによる. 差分的なパラズムを用いる. 本研究では状態の意味はあらかじめ分かっておメタ推定とは, なんらかの集約値を用いて過去のデータを少ならず, 観測データのパターンを自動的に学習することが望ましい情報量で表現し, これを用いてパラメタを再推定することをい. Baum-Welch アルゴリズムは EM アルゴリズムの一種であ指す. 差分型 Baum-Welch アルゴリズムは, 隠れマルコフモデ

り, 与えられた学習データの尤度が大きくなるようにパラメタ

ルの各パラメタを過去のデータの集約値として用いることによを繰り返し更新し, 準最適なパラメタに収束させる.

り, 差分的なパラメタ推定を実現する.

3. 2 差分型 Baum-Welch アルゴリズム

本研究では差分型 Baum-Welch アルゴリズムを適用するこ

時間の経過等により新たな観測データを得たとき, モデルとにより, 新規パターンに適応的な時系列データ予測を実現すのパラメタを再推定する手法について述べる. 差分型 Baum-ることを目指す.

Welch(Incremental Baum-Welch) アルゴリズムは, まず現在の3. 差分型 HMM を用いたデータ予測モデルを用いて, 新規のデータに対応する時刻 T における状態

3. 1 隠れマルコフモデル

る状態 i の滞在確率 γT −1 (i), および現在までの全ての時刻の状

隠れマルコフモデル (Hidden Markov Model, HMM) は, 確−1
態 i の滞在確率の和 ΣT
t=1 γ(i) を保持しているとする. 時刻 T率的に遷移する隠れ状態をもつオートマトンである. 隠れ状態

i の尤度 γT (i) を計算する. モデルは現在の時刻 T − 1 におけで状態 i から状態 j に遷移する確率 γT (i, j) は,は, 各時刻で単純マルコフ過程に従って遷移する. 状態は観測できないが, 各時刻の状態は確率的に観測値を出力する. また, 観

γT (i, j) = γT −1 (i)aij bj (oT )Σj aij bj (oT )測値はその時刻の状態にのみ依存する.
隠れマルコフモデルは次の５つのパラメタによって定義されで求まる. 時刻 T での状態 i の滞在確率は γT (i) = Σj γT (i, j)である. ここから, 各パラメタは次のように推定される [9].

る [7].

(1) Q = q1 , ..., qN ：状態の有限集合.
(2) Σ = o1 , ..., oM ：観測値の集合.

a′ij =

ΣT −1 γt (i)aij + γT (i, j)ΣTt=1 γt (i, j)= t=1
TΣt=1 γt (i)ΣTt=1 γt (i)µ′i =ΣT −1 γt (i)µi + γT (i)oTΣTt=1 γt (i)ot= t=1
TΣt=1 γt (i)ΣTt=1 γt (i)σi′ =ΣT −1 γt (i)σi + γT (i)(oT − µi )2
ΣTt=1 γt (i)(ot − µi )2= t=1
TΣt=1 γt (i)ΣTt=1 γt (i)(3) A = aij ：状態遷移確率分布. aij は状態 qi から状態 qjへの遷移確率である.

(4) B = bi (ot )：観測値の出力確率分布. bi (ot ) は状態 qi で観測値 ot を出力する確率である.

(5) π = πi：初期状態確率分布. πi は状態 qi が初期状態である確率である.

差分 Baum-Welch アルゴリズムは, モデルのパラメタを再推

本稿では, 観測値として多次元の連続値ベクトルを考える. ここでは出力確率分布 bi (ot ) は各次元で独立に正規分布に従う.
このため本モデルは, 状態毎, および観測値の次元毎に正規分布のパラメタとして平均と分散をもつ.

(6) µik：観測値平均. µik は状態 qi において k 次元目の要素の確率分布を与える正規分布の平均である.

(7) σik：観測値分散. σik は状態 qi において k 次元目の要素の確率分布を与える正規分布の分散である.

定式の集約値として用いることにより, 過去の観測データを保持することなく, 高速に再推定を行うことができる.

3. 3 差分型 HMM によるデータ予測
本稿で提案する, 差分型 HMM を用いたデータ予測の手法を示す.
差分 Baum-Welch アルゴリズムは EM アルゴリズムではないため, 乱数で初期化したモデルのパラメタの収束は遅い. ここでは, 最初から差分 Baum-Welch アルゴリズムによる学習を

時刻 t の観測ベクトル ot の次元 k の要素 otk が出力される

適用せず, まず既知である観測系列を用いて Baum-Welch アル確率は, 状態 qi に滞在しているとき, 平均 µik , 分散 σik の正規ゴリズムにより初期モデルを生成する. これは, パラメタの収分布に従う.

束が極端に遅くなるのを防ぐためである.

bi (otk ) = √(o −µik )1− tk
2σike2πσik

まず, 状態数 N の HMM のパラメタとして, 状態遷移確率分布, 観測値平均を乱数で決定し, 観測値分散を全て 1.0 とする. こ—3—

のモデルについて, 既知である観測系列を用いて Baum-Welch

時刻最大瞬間風速アルゴリズムを実行する. パラメタが収束したら, 時刻 T ま

1996 年 6 月 29 日

16.1

4.80.0での各時刻 t で状態 i に滞在する確率 γt (i) を計算し, その和1996 年 6 月 30 日

11.01.414.0

ΣTt=1 γt (i) および最終時刻 T での滞在確率 γT (i) を保存する.

1996 年 7 月 1 日

8.42.60.5

1996 年 7 月 2 日

7.60.80.0

1996 年 7 月 3 日

7.90.96.5

1996 年 7 月 4 日

10.50.10.0

1996 年 7 月 5 日

16.8

0.7

3.5

得られた初期モデルを用いて, 次の時刻 T + 1 の観測値の予測を行う. T + 1 の観測値が未知であるとき, 時刻 T + 1 で状態i に滞在する尤度 γT +1 (i) は,

表 1 東京の実験データ

γT +1 (i) = ΣN
j=1 γT (j)ajiで与えられる. 状態 i に滞在するとき, 時刻 T + 1 の最も尤もらしい観測値は, µi = (µi1 , µi2 , ..., µiD ) である. 以上のことから, 時刻 T + 1 の観測値の期待値は,であり, この値を時刻 T + 1 の予測値とする.

手法

最大風速

日照時間

降水量

平均HMM

13.29

18.79

196.8276.30

差分型 HMM

13.14

15.89

190.9973.34

Holt-Winters

21.33

23.35

316.43 120.37

表2ΣN
j=1 γT +1 (i)µi

日照時間 降水量

各アルゴリズムによる福岡の観測の予測誤差 (MSE)

事前学習データ HMM 差分型 HMM Holt-Winters

10%

70.79

69.10

118.37

時刻が経過し, 時刻 T + 1 の観測値 oT +1 を観測したとき, 差20%

57.79

56.81

96.80

分型 Baum-Welch アルゴリズムに従ってパラメタの再推定を30%

60.39

59.52

98.79行う.

40%

60.75

61.09

101.15

65.18

64.50

106.1250%

新しく推定したパラメタを用いて, 時刻 T + 1 の状態の滞在

表 3 東京の平均 MSE確率を求める. すなわち,′ ′γT +1 (i) = ΣN
j=1 γT (j)aji bi (oT +1 )事前学習データ HMM 差分型 HMM Holt-Wintersとして滞在確率を求め, 次の時刻の予測に用いる.

4. 実

験

4. 1 実 験 方 法

10%

49.51

47.91

79.54

20%

49.05

47.43

78.4430%

51.51

51.62

83.00

40%

51.65

49.99

79.35

50%

52.79

45.4673.39

表 4 大阪の平均 MSE

本稿では「気象データひまわり」の 1996 年から 2000 年の 5年分,1828 日分のデータベースから, 「日最大瞬間風速 (m/s)」「日照時間 (hour)」「日降水量 (mm)」の 3 項目の予測を行う.
ここでは, 東京, 大阪, 福岡の 3 観測地点についてのデータを実験に用いる. 表 1 に, 東京の観測データ系列を示す.

1828 日のデータのうち, 学習データとして系列の始めから10 ％から 50 ％のデータを用いて残りの観測データの予測を行い、結果を比較する. また, 予測アルゴリズムとして, 差分

Baum-Welch を使用しない HMM による予測法 (HMM), 差分Baum-Welch を使用した HMM による予測法 (Inc HMM), およびベースラインとして Holt-Winters の Exponential Smooth-ing 法 (H-W) の３つで予測を行い, 精度を比較する. 予測精度の尺度は平均二乗誤差 (Mean Square Error; MSE) を用いる.
時刻 t の予測値を pt , 実際の観測値を xt とすると,MSE は次のように定義される.

M SE = T1∑Tt=1(pt − xt )2

また, 全実験データの 90 ％について, 差分 HMM と通常のHMM を用いて予測を行い, 実行時間を比較する. 実行時間は10 回の試行の平均により評価する.
本稿では HMM の状態数は 15 として実験を行う.

4. 2 実 験 結 果
表 2 に, 各アルゴリズムによる福岡の最大瞬間風速, 日照時間,して全実験データの 20 ％にあたる 365 日分の観測データを用いたときの結果である. 表中の平均は, 最大瞬間風速の MSE,日照時間の MSE, 降水量の MSE を合計して属性数 3 で割った値である.
この条件においては, 各属性とも差分型 Baum-Welch を使用した HMM による予測で最も MSE が小さくなる. Holt-Winters 法と比較すると, 差分型 HMM の MSE は平均で約 39％の改善がみられる. 差分型 Baum-Welch を使用しない HMMとの比較では, 平均で約 4 ％, 最大では日照時間の予測において約 15 ％の MSE の改善となる.
表 3,4,5 に, それぞれ東京, 大阪, 福岡の MSE の, 各属性の平均値を示す. 事前学習データは, オフライン学習に用いた系列の長さが全体の実験データの内で占める割合である. これ
らの結果から, 本実験データについて HMM を用いた手法はHolt-Winters 法よりも小さい誤差で予測が可能であるといえる. また, 通常の HMM 手法と差分型 HMM 手法では予測誤差に劇的な違いはないが, 特に学習データが少ないときの予測精度で差分型 HMM 手法による精度の改善がみられる.
表 6 に, 予測の実行時間を示す. これは全実験データの 90％にあたる 1646 件の観測データの予測に要した時間である. 1
観測あたりの実行時間は, 実行時間を観測データ数 1646 で割っ降水量の予測の MSE を示す. ここに示したのは, 学習データと—4—

事前学習データ HMM

差分型 HMM Holt-Winters

また, 実行時間の観点から, 差分型 Baum-Welch アルゴリズ

10%

71.30

68.65

115.24ムは通常の HMM 手法と比較してわずかな計算で実行可能であ

20%

76.30

73.34

120.37

る. 本手法は実行速度の面でも, データストリーム上での予測30%

75.85

73.71

123.15に十分適用可能であるといえる.

40%

61.01

60.39102.0954.8855.70

92.55

50%

5. 結論

表 5 福岡の平均 MSE

本研究では, 時系列データの予測を行う新しい手法として, 差手法

実行時間 (ms)1 観測あたりの実行時間 (ms)分型 HMM を用いた手法を提案した. 本手法により, 学習デー

HMM

623.3

0.38

タが少ない環境においても適応的にオンライン学習を行い, 高

差分型 HMM892.10.54

速に予測を行えることを実験によって確かめた.

表6予測の実行時間

本研究では, モデルの状態数はあらかじめ与えられているものとした. しかし, 差分パラメタ推定に加えて状態数を増減すた値である. パラメタの再推定を実行する分, 差分型 HMM 手ることにより, 過去に例を見ないパターンの学習をより素早く法は実行時間がかかるが, その差は 1 観測あたり 0.16(ms) とほ行えるものとなろう.

とんど差がない. 差分 Baum-Welch アルゴリズムは, 動的なパラメタ推定を極めて高速に行うことができると言える.

4. 3 考察

実験結果の考察と, 提案アルゴリズムの評価を行う.
表 3,4,5 から, Holt-Winters 法の予測精度は HMM を用いた手法に比べて非常に悪い. これは, 観測値の時間方向の差分値に基づいて予測を行うことが原因である. このため, 本実験デー
タのように一日ごとに観測値の差分が大きく変化するデータに対しては効果的な予測ができない. また, 各次元の観測値を独立に予測を行うため, 予測に利用できる情報が少ないことも予測精度を悪化させる要因である.
差分型 HMM と通常の HMM の比較では, 学習量の全データに対する割合が小さいほど差分型 HMM 手法の方が通常のHMM の予測精度を上回る傾向がみられる. これは, 少ない学習データ中には出現しなかった系列パターンを差分型 Baum-Welch によって動的にモデルに反映させているためである. デー
タストリーム環境においては, 一般に学習データとして利用可
能な系列は予測を行うデータに比べ非常に少ないため, この結果は提案手法がデータストリーム環境において効果的であることを示している.
大阪のデータの予測においては, 学習データの割合が大きいにも関わらず差分型 HMM 手法が通常の HMM の予測精度を大きく上回っている. これは主に, 学習量を 50 ％にしたことで通常 HMM 手法の降水量の予測精度が悪化したことによる. 学
習データを増加させたにも関わらず予測精度が悪化したのは,学習に用いたデータの特性に起因する. 実験データの解析から,
大阪では 98 年の降水量が他の年に比べて少なく, また雨が続かない特徴的な系列を有している. 学習量を 40 ％から 50 ％に増加させたことで 98 年の系列を学習データに取り込んだため, 翌年以降の予測精度を悪化させたと考えられる.

本研究では観測値は数値データとしたが, 本手法は確率過程モデルを用いているため非数値データへの適用も可能である.
例えばニュースストリームに適用することにより, 事象の予測を行うといった応用も考えられる.
文

献[1] Cavalin P.R., Sabourin R., Suen C.Y. and Britto Jr.,
A.S.: Evaluation of Incremental Learning Algorithms for An
HMM-Based Handwritten Isolated Digits Recognizer, The
11th International Conference on Frontiers in Handwriting
Recognition (ICFHR 2008), Montreal, August 19-21, 2008.
[2] S. Duan and S. Babu: Processing forecasting queries. In
Proc. of the 2007 Intl. Conf. on Very Large Data Bases,
2007.
[3] Sarah Gelper, Roland Fried, and Christophe Croux: Robust
Forecasting with Exponential and Holt-Winters Smoothing,(June 2007)[4] Jan G. de Gooijer, Rob J. Hyndman: ”25 Years of IIF Time
Series Forecasting: A Selective Review,” Tinbergen Institute Discussion Papers 05-068/4, 2005.
[5] Md. Raﬁul Hassan , Baikunth Nath: StockMarket Forecasting Using Hidden Markov Model: A New Approach, Proceedings of the 5th International Conference on Intelligent
Systems Design and Applications, 2005.
[6] Jian, N. and Gruenwald, L.: Research Issues in Data Stream
Association Rule Mining, SIGMOD Record 35-1, 2006,
pp.14-19[7] 北 研二: “確率的言語モデル”, 東京大学出版会, 1999.
[8] S.Muthukrishnan: Data streams: algorithms and applications, Proceedings of the fourteenth annual ACM-SIAMsymposium on discrete algorithms (2003).
[9] B. Stenger and V. Ramesh and N. Paragios: Topology free
Hidden Markov Models: Application to background modeling, In IEEE International Conference on Computer Vision,
2001.
[10] Kei Wakabayashi, Takao Miura: Topics Identiﬁcation Basedon Event Sequence Using Co-occurrence Words, 13th Intn’lConf. on Applications of Natural Language to Information
Systems (NLDB),2008

一方, 差分型 Baum-Welch を行う HMM 手法では, 通常 HMM手法と同じモデルから予測を開始していながら, 翌年以降の傾向をモデルに反映させることで予測精度の悪化を防いでいる.
このことから, 提案手法が学習データの局所的な特性に依存することなく, 未来のデータについて適応的に予測を行うことが可能であるといえる.

—5—