(57)【要約】【課題】長期的なトレンド成分および周期成分を扱う場合や、複数の周期成分を扱う場合に、従来よりも少ない計算量で計算することができる時系列解析システムを提供する。【解決手段】入力された複数の周期成分を含む時系列データから、複数の時間幅による別系列の長期時系列データを時間幅毎に作成し、さらに時間幅毎の前記長期時系列データを元の時系列データから除去して短期時系列データを作成する。そしてこれらの前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習により、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択し、時系列データの予測に用いる。【選択図】図１
2006276970.tif 000002
【特許請求の範囲】
【請求項１】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムにおいて、入力された時系列データおよび記憶手段から読み出した時系列データに基づき、複数の時間幅による別系列の長期時系列データを時間幅毎に作成するとともに前記記憶手段に記憶させる長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成するとともに前記記憶手段に記憶させる長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習に基づいて時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、を有することを特徴とする時系列解析システム。
【請求項２】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムにおいて、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを作成する長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成する長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、を有することを特徴とする時系列解析システム。
【請求項３】
前記長期時系列データの計算方法として多項式回帰モデル、フーリエ解析、ウェーブレット、または関数空間の基底のいずれかの計算方法を用いることを特徴とする請求項１に記載の時系列解析システム。
【請求項４】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムにおいて、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを計算し、前記計算した長期時系列データおよび記憶手段から読み出した長期時系列データに基づいて長期トレンド成分や長期周期成分を時間幅毎の長期時系列データから学習し、前記入力された時系列データ、前記時間幅毎の長期時系列の学習結果、前記計算した各長期時系列データを前記記憶手段に記憶させる長期時系列設定手段と、長期時系列設定手段により計算された長期時系列データを元の時系列データから各時間幅の長期時系列データを除去することで、各時間幅に対応する短期時系列データを計算する長期時系列除去手段と、前記長期時系列除去手段が計算した短期時系列データと前記記憶手段から読み出した短期時系列データに基づいて、短期時系列成分を各時間幅の短期時系列データから学習し、前記時間幅毎の短期時系列の学習結果、前記計算した各短期時系列データを前記記憶手段に記憶させる短期時系列設定手段と、前記記憶手段に記憶している前記長期時系列データおよびその学習結果、前記短期時系列データおよびその学習結果を用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、を有することを特徴とする時系列解析システム。
【請求項５】
前記異なる時間幅での長期時系列データを算出する時間幅として、長周期の周期長の約数を用いることを特徴とする請求項１乃至４いずれか記載の時系列解析システム。
【請求項６】
前記長期時系列データからの学習、前記短期時系列データからの学習の少なくとも一方を、カルマンフィルタとEMアルゴリズムを用いて行うことを特徴とする請求項１乃至５いずれか記載の時系列解析システム。
【請求項７】
前記最適モデル選択手段が選択した最適モデルおよび前記最適モデルが有する時間幅で作成した長期時系列データおよび短期時系列データに基づいて、時系列データの予測を行う時系列予測手段をさらに有する請求項１乃至６いずれか記載の時系列解析システム。
【請求項８】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析方法であって、入力された時系列データおよび記憶手段から読み出した時系列データに基づき、複数の時間幅による別系列の長期時系列データを時間幅毎に作成するステとともに前記記憶手段に記憶させる長期時系列を設定するステップと、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成するとともに前記記憶手段に記憶させる長期時系列除去のステップと、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習に基づいて時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデルの選択ステップと、からなることを特徴とする時系列解析方法。
【請求項９】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析方法であって、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを作成する長期時系列を設定するステップと、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成する長期時系列除去のステップと、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択のステップと、からなることを特徴とする時系列解析方法。
【請求項１０】
前記長期時系列データの計算方法として多項式回帰モデル、フーリエ解析、ウェーブレット、または関数空間の基底のいずれかの計算方法を用いることを特徴とする請求項８に記載の時系列解析方法。
【請求項１１】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析方法であって、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを計算し、前記計算した長期時系列データおよび記憶手段から読み出した長期時系列データに基づいて長期トレンド成分や長期周期成分を時間幅毎の長期時系列データから学習し、前記入力された時系列データ、前記時間幅毎の長期時系列の学習結果、前記計算した各長期時系列データを前記記憶手段に記憶させる長期時系列設定のステップと、長期時系列設定手段により計算された長期時系列データを元の時系列データから各時間幅の長期時系列データを除去することで、各時間幅に対応する短期時系列データを計算する長期時系列除去のステップと、前記長期時系列除去手段が計算した短期時系列データと前記記憶手段から読み出した短期時系列データに基づいて、短期時系列成分を各時間幅の短期時系列データから学習し、前記時間幅毎の短期時系列の学習結果、前記計算した各短期時系列データを前記記憶手段に記憶させる短期時系列設定のステップと、前記記憶手段に記憶している前記長期時系列データおよびその学習結果、前記短期時系列データおよびその学習結果を用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択のステップと、からなることを特徴とする時系列解析方法。
【請求項１２】
前記異なる時間幅での長期時系列データを算出する時間幅として、長周期の周期長の約数を用いることを特徴とする請求項８乃至１１いずれか記載の時系列解析方法。
【請求項１３】
前記長期時系列データからの学習、前記短期時系列データからの学習の少なくとも一方を、カルマンフィルタとEMアルゴリズムを用いて行うことを特徴とする請求項８乃至１２いずれか記載の時系列解析方法。
【請求項１４】
前記最適モデル選択手段が選択した最適モデルおよび前記最適モデルが有する時間幅で作成した長期時系列データおよび短期時系列データに基づいて、時系列データの予測を行う時系列予測ステップとをさらに有する請求項８乃至１３いずれか記載の時系列解析システム。
【請求項１５】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムを、入力された時系列データおよび記憶手段から読み出した時系列データに基づき、複数の時間幅による別系列の長期時系列データを時間幅毎に作成するとともに前記記憶手段に記憶させる長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成するとともに前記記憶手段に記憶させる長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習に基づいて時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、して機能させるための時系列解析プログラム。
【請求項１６】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムを、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを作成する長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成する長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、して機能させるための時系列解析プログラム。
【請求項１７】
前記長期時系列データの計算方法として多項式回帰モデル、フーリエ解析、ウェーブレット、または関数空間の基底のいずれかの計算方法を用いることを特徴とする請求項１５に記載の時系列解析プログラム。
【請求項１８】
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムを、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを計算し、前記計算した長期時系列データおよび記憶手段から読み出した長期時系列データに基づいて長期トレンド成分や長期周期成分を時間幅毎の長期時系列データから学習し、前記入力された時系列データ、前記時間幅毎の長期時系列の学習結果、前記計算した各長期時系列データを前記記憶手段に記憶させる長期時系列設定手段と、長期時系列設定手段により計算された長期時系列データを元の時系列データから各時間幅の長期時系列データを除去することで、各時間幅に対応する短期時系列データを計算する長期時系列除去手段と、前記長期時系列除去手段が計算した短期時系列データと前記記憶手段から読み出した短期時系列データに基づいて、短期時系列成分を各時間幅の短期時系列データから学習し、前記時間幅毎の短期時系列の学習結果、前記計算した各短期時系列データを前記記憶手段に記憶させる短期時系列設定手段と、前記記憶手段に記憶している前記長期時系列データおよびその学習結果、前記短期時系列データおよびその学習結果を用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、して機能させるための時系列解析プログラム。
【請求項１９】
前記異なる時間幅での長期時系列データを算出する時間幅として、長周期の周期長の約数を用いることを特徴とする請求項１５乃至１８いずれかに記載の時系列解析プログラム。
【請求項２０】
前記長期時系列データからの学習、前記短期時系列データからの学習の少なくとも一方を、カルマンフィルタとEMアルゴリズムを用いて行うことを特徴とする請求項１５乃至１９いずれかに記載の時系列解析プログラム。
【請求項２１】
前記最適モデル選択手段が選択した最適モデルおよび前記最適モデルが有する時間幅で作成した長期時系列データおよび短期時系列データに基づいて、時系列データの予測を行う時系列予測手段としてさらに機能させるための請求項１５乃至２０いずれかに記載の時系列解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は時系列解析システム、方法およびプログラムに関し、特に長期トレンド成分や長期周期成分を含む場合および時系列データが多変量の場合に高速・高精度に時系列成分を推定できる時系列解析システム、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、時系列解析の分野において、トレンド成分や周期成分などを含む時系列データの特徴を捉え、各成分を分離・抽出し、その解析結果をもとに将来動向を予測する方式がいくつか提案されている。
【０００３】
統計的手法を用いた時系列解析方法の一例が、非特許文献１に記載されている。このシステムでは観測された元の時系列データおよびこのデータ系列に含まれるトレンド成分、周期成分、AR(Auto Regressive, 自己回帰)成分といった各時系列成分を状態空間表現と呼ばれる形式で表す。この状態空間表現に対してカルマンフィルタと呼ばれる計算手段を適用することで、元の時系列データ中の各成分が分離・抽出される。
【０００４】
【非特許文献１】尾崎統, 北川源四郎編: 時系列解析の方法, 朝倉書店, p．93-106,  1998．
【０００５】
【非特許文献２】J．Rissanen: Universal coding, information, prediction and estimation, IEEE Transactions on Information Theory, Vol．IT-30, p．629-636,  1984．
【０００６】
【非特許文献３】Z．Ghahramani and G．E．Hinton:  Parameter Estimation for Linear Dynamical Systems, Technical ReportCRG-TR-96-2, University of Toronto, 1996．
【０００７】
【非特許文献４】K．Yamanishi, J．Takeuchi, G．Williamas and P．Milne:  On-line Unsupervised Oultlier Detection Using Finite Mixtures with Discounting Learning Algorithms, Data Mining and Knowleged Discovery Journal, 8 (3): 275-300, May 2004．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来、これらの方法は経済や自然事象に適用されてきたため、1レコードを1日や1ヵ月といった単位で計測し、その結果7日や12ヵ月といった比較的短い周期長の周期成分を一つだけ含む時系列を取り扱うことが多かった。また次元も一次元の場合がほとんどであり、多くても数次元のデータを扱うことがほとんどであった。
【０００９】
近年コンピュータやネットワーク機器を用いた情報システムや、道路や車両にセンサーを取り付けた交通システムから、より短い時間間隔（1レコードが5分〜1時間）で多量に時系列データを取得することが可能となってきた。そのため従来手法をそのまま用いた場合以下のような問題が生じる。
【００１０】
第1の問題点は、長期的なトレンド成分および周期成分を扱う場合や、複数の周期成分を扱う場合に計算量が非常に大きくなるということである。時系列データを、状態空間表現を用いて扱う場合、その計算量はそこに含まれるトレンド成分や周期成分の次数の和の3乗のオーダーとなる。
【００１１】
従来、1レコード1日として7日周期を扱う場合、計算量は周期成分の次数7の3乗のオーダーであった。ところが1レコード5分として24時間周期を扱う場合、周期成分の次数は288（=12×24）となり計算量は288の3乗のオーダーとなる。また、1時間1レコードとして数週間以上の長さのデータを扱う場合、少なくとも24時間周期と7日周期という複数周期を考慮する必要がある。このとき、それぞれの周期成分の次数24、168（=24×7）を扱う必要があり、状態空間表現を用いると計算量はそれぞれの周期成分の次数の和192（=24+168）の3乗のオーダーとなる。
【００１２】
第2の問題点は、従来手法では基本的に1期先予測を想定しているため、長期先予測の際に十分な精度が得られないということである。従来手法では長期先予測を行う場合、多くは単に1期先予測を繰り返し適用するという手法を用いている。
【００１３】
1時間1レコードとして数日から数週間先といった長期先を予測する場合、従来手法では1時間先の予測を多数回、例えば1週間先を予測する場合には168 (=24×7) 回繰り返す必要がある。このとき、トレンド成分や周期成分の特性は1時間毎の変動に基づいて計算されたものであり、これに基づいて長期先の値を予測する場合には細かな変動やノイズの影響を受けてしまい十分な予測精度が得られない。
【００１４】
第3の問題点は、多変量の時系列を扱う場合に計算量が非常に大きくなるということである。従来に比べ多数の時系列データが得られるようになり、実際の適用においては10系列以上の時系列データを同時に扱うことが多くなる。多変量時系列データを状態空間表現を用いて扱う場合、その計算量は各々の時系列データの次数の和の3乗のオーダーとなる。例えば、時系列データが10系列あり各時系列データがそれぞれ24という次数を持っている場合、その計算量は各時系列データの次数の和240 (=24×10)の3乗のオーダーとなる。
【００１５】
本発明の目的は、長期的なトレンド成分および周期成分を扱う場合や、複数の周期成分を扱う場合に、従来よりも少ない計算量で計算することができる時系列解析システムを提供することにある。本発明の他の目的は、長期先予測の際に従来に比べ高精度な結果を得ることができる時系列解析システムを提供することにある。本発明のさらに他の目的は、多変量の時系列を扱う場合に従来よりも少ない計算量で計算することができる時系列解析システムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明の時系列解析システムは、長期トレンド成分や長期周期成分を含む時系列データに対し、これらの長期時系列成分を計算量が少なく大局的な変動の特徴をとらえた手法を用いて表現するための設定を行う長期時系列設定手段と、長期時系列成分の学習結果を記憶する長期時系列記憶手段と、この長期時系列成分を元の時系列データから除去する長期時系列除去部および長期時系列成分が除去された時系列データを入力として短期時系列成分の設定を行う短期時系列設定部を有する短期時系列設定手段と、短期時系列成分の学習結果を記憶する短期時系列記憶手段と、長期時系列成分の表現の仕方が複数ある場合に確率統計処理により算出される情報量基準に基づいて最適なものを選択する最適モデル選択手段と、時系列モデルと時系列データをもとに将来の値を予測する時系列予測手段と、時系列データから時系列モデルを学習しパラメータを推定する時系列モデル学習手段とを備える。このような構成を採用し、長期周期成分を計算量の少ない手法を用いて表現し、この表現の仕方を、情報量基準を用いた最適化により本発明の目的を達成することができる。
【００１７】
また、本発明の時系列解析システムは、時系列成分に含まれる複数成分のうち部分的な成分の組み合わせのみを学習対象の成分として取り出す学習対象成分選択手段と、選択した成分の組み合わせのみ学習を行う部分モデル学習手段とを備える。このような構成を採用し、時系列データに含まれる複数成分のうち対象とした成分の組み合わせのみを選択しパラメータを学習という手続きを繰り返すことにより本発明の目的を達成することができる。
【発明の効果】
【００１８】
第1の効果は、長期トレンド成分や長期周期成分を含む場合に計算量を大幅に削減できることにある。この結果、データ解析に要する時間を減らすことができる。その理由は、計算量の多い長期トレンド成分や長期周期成分を階層的に分離し計算量の少ない手法を用いて処理するためである。
【００１９】
第2の効果は、長期予測の精度を向上させることができることにある。その理由は、長期時系列成分の表現手法として複数のモデルを考え、そのうち最適なものを情報量基準に基づき選択するためである。
【００２０】
第3の効果は、多変量の時系列データを扱う場合に計算量を大幅に削減できることにある。その理由は、元の多変量時系列データに含まれる各成分のうち、部分的な成分の組み合わせのみを選び学習することで、より少ない計算量でパラメータを推定するためである。
【発明を実施するための最良の形態】
【００２１】
次に、発明を実施するための形態について図面を参照して詳細に説明する。
【００２２】
[第1の実施の形態]
本実施の形態では、まず適当な時間幅の時系列データから、時系列の予測に最適なモデルを学習・推定する。そして、所定の時間幅だけ先の時点の時系列データの予測値を、その推定したモデルに基づいて予測し、出力する。つまり、最適モデルの推定までの段階と、予測モデルを用いた時系列の予測の段階と、2段階に分けることができる。
【００２３】
なお、時系列の予測に用いるモデルは、定期的または非定期的なタイミングで適当に学習・推定を行い、動的に変更しても良い。
【００２４】
本発明の第１の実施の形態の構成を示す図1を参照すると、本発明の第1の実施の形態は、プログラム制御により動作する時系列解析装置100と、入力装置110と、出力装置120とから構成されている。時系列解析装置100は、長期時系列設定手段101と、長期時系列記憶手段102と、長期時系列除去部103および短期時系列設定部104を有する短期時系列設定手段109と、短期時系列記憶手段105と、最適モデル選択手段106と、時系列予測手段107と、時系列モデル学習手段108とを含む。これらの手段はそれぞれ概略つぎのように動作する。
【００２５】
入力装置110は、時系列データが入力される装置である。出力装置120は、時系列解析装置100の処理結果を出力する装置である。
【００２６】
長期時系列設定手段101は、時系列データを入力としてその時系列データ、長期時系列成分の時系列モデルのパラメータや条件付確率分布等の学習結果等を長期時系列記憶手段に102に記憶する。
【００２７】
短期時系列設定手段109は、長期時系列除去部103と短期時系列設定部104を用いて短期時系列データを生成、記憶する。より具体的には、長期時系列除去部103は、元の時系列データから長期時系列成分を除去する手段である。短期時系列設定部104は、長期時系列除去部103により長期時系列成分が除去された時系列データを入力として短期時系列成分の学習結果を短期時系列記憶手段105に記憶する。
【００２８】
最適モデル選択手段106は、予測的確率的コンプレキシティと呼ばれる情報量基準にもとづき複数の時系列モデルから時系列の予測に最適なモデルを選択する手段である。
【００２９】
時系列予測手段107は、時系列モデルと時系列データから将来の値を予測する手段である。
【００３０】
時系列モデル学習手段108は、時系列データから時系列モデルを学習しパラメータを推定する手段である。
【００３１】
なお、時系列データ等を記憶する手段として、長期時系列記憶手段102および短期時系列記憶手段105の２つを用いているが、この記憶手段はまとめて１つとしても良いし、もっと記憶するデータ毎に細分化された記憶手段としても問題ない。
【００３２】
１.最適モデルの推定
【００３３】
(1)おおまかな概念
まず、最適モデルの推定について説明する。以下では、ある時点nにおける観測値をxnで表し、観測値の系列ｘl,・・・,ｘm(l≦m)をｘlmで表すとする。ここで、各xnは実数値であり、nは整数であるとする。ここでは簡単のため一次元として記述するが、多次元でもよい。また、特にxn=xlnとする。このような時系列データxnが入力装置110から入力されるとする。このとき、時系列データxnは、長期周期成分sl,nと短期周期成分s2,nおよびAR成分νnからなり、
【００３４】
【数１】
2006276970.tif 000003
【００３５】
と表すことができるとする。より一般にはトレンド成分も含めるが、ここでは簡単のためそれを除いて記述する。記述の方法は以下に述べる周期成分と本質的に変わらない（例えば非特許文献１を参照）。ここで、εnはノイズ項で正規分布N(0,σ2)に従う独立同分布であるとする。このとき、各周期成分は以下のようにモデル化することができる。
【００３６】
【数２】
2006276970.tif 000004
【００３７】
また、AR成分は以下のようにモデル化することができる。
【００３８】
【数３】
2006276970.tif 000005
【００３９】
ここで、L1,L2は各周期成分の周期長を表す整数である。1レコード1時間とした場合、7日間と24時間の2つの周期があるとすると、各周期成分の周期長はそれぞれL1=168(=24×7),L2=24となる。また、aiはAR係数、pはARモデルの次数と呼ばれる。ω1,n,ω2,n,ω3,nはそれぞれノイズ項で正規分布N(0,τ12),N(0,τ22),N(0,τ32)に従う独立同分布であるとする。
【００４０】
ここで、観測値xnから各成分s1,n,s2,n,vnを求める方法として、前記の式１から式４を状態空間表現で表しカルマンフィルタを用いて推定するという方法が考えられる（例えば非特許文献１）。s1,n,s2,n,vnを用いて表現される状態ベクトルおよびノイズ項をそれぞれ
【００４１】
【数４】
2006276970.tif 000006
【００４２】
とおくと、状態空間表現では
【００４３】
【数５】
2006276970.tif 000007
【００４４】
と表すことができる。ここでF,ωn,Hはそれぞれ(L1+L2+p-2)×(L1+L2+p-2),(L1+L2+p-2)×1,1×(L1+L2+p-2)の行列である。また、表記Tは、数学表記において一般的に用いられる行列の転置を表現するものである。この状態空間表現の学習にカルマンフィルタを用いると、逆行列の計算を含むためその計算量は近似的にO((L1+L2)3)となってしまう。ただし、AR次数pは周期長L1,L2に比べて十分小さいとした。
【００４５】
そこで、本実施の形態においては、長期周期の時系列データを学習するステップと、短期周期の時系列を学習するステップの２ステップに分割して学習することで、計算量の削減を図ることとしている。
【００４６】
まず、入力された元の観測値系列xnに含まれる周期のうち、長期周期s1,nのみを長期時系列設定手段101によって求める。長期時系列を作成するため、新たにデータ間隔τに基づく時系列データξkを
【００４７】
【数６】
2006276970.tif 000008
【００４８】
のように定める。このときデータ間隔τとして長周期の周期長L1の約数、例えばL1=168の場合τ=2,3,4,6,・・・といった値を指定することがで、その指定の仕方により複数の異なる時系列モデルを作成する。以下では、データ間隔τを長期周期成分の周期長L1のm番目の２以上の約数とした場合のことを、「モデルｍ」と表現することにする。また、長期周期成分の周期長L1のm番目の２以上の約数の集合をM、集合の要素数を｜M｜で表すことにする。集合Mの各要素のモデルに対して、以下の学習を行う。
【００４９】
長期時系列除去部103により、この長期周期を表す時系列ξk（以下、長期時系列データと呼ぶ。）を元の時系列データxｎから除去する。時系列データxｎから長期時系列データξkを除去した後の時系列データをun（以下、短期時系列データと呼ぶ。） と置くと、
【００５０】
【数７】
2006276970.tif 000009
【００５１】
と書くことができる。ただし、この式はτ(k-1)+1≦n≦τkに対して成り立つ。この時系列データunは長期周期成分がすでに除去されており短期周期成分のみを含む。よって式１を
【００５２】
【数８】
2006276970.tif 000010
【００５３】
のように修正することで、時系列モデル学習手段108を用いて通常の時系列解析における時系列モデルの学習を行い、短期周期成分を推定することができる。
【００５４】
同時に、長期時系列データは別の時系列モデル
【００５５】
【数９】
2006276970.tif 000011
【００５６】
に従うと仮定する。このモデルでは周期成分の次数はL1/τとなる。従って両者の学習にかかる計算量はO((L1/τ)3+L23)となるので、長期周期成分を除去しなかった場合の計算量O((L1+L2)3)と比較して大幅に削減できていることがわかる。
【００５７】
ここでは、元の時系列データから間隔τで平均値を取って得られた長期時系列データに対して状態空間モデルを適用する手法を示したが、他の手法を用いても良い。
他の手法の一つとしては、例えば多項式回帰モデルを用いて長期時系列成分を表現するという手法が考えられる。多項式回帰モデルを用いると、観測値系列は多項式の値ξnとノイズ項δnの和によりxn=ξn+δnと表現できる。ただし、δnは正規分布N(0,σ2)で表される独立同分布に従うとする。またξnはnの多項式ξn=b0+b1n+・・・+bτnτで表されるものとする。この多項式は、次数を低く抑えたとき、元データ系列にある長期的傾向を表すものと考えられる。ノイズ項には独立同分布を仮定しているが、これを改めて短期傾向を表す短期時系列と捉えることは自然である。すなわち、un=xn-ξnを短期時系列として定義し、状態空間モデルを当てはめて解析する。また、多項式モデルの次数τの指定の仕方を変えることで複数の長期時系列成分を作成し元の観測値系列から除去することができる。
【００５８】
他の手法の一つとしては、例えばフーリエ解析を用いる手法が考えられる。フーリエ解析を用いると、観測値系列は三角関数の和の形で
【００５９】
【数１０】
2006276970.tif 000012
【００６０】
と表現できる。ここで、Tは周期である。この場合も次数τの指定の仕方を変え元の時系列データを近似することで、長期時系列成分を作成および除去することができ平均値を用いた場合と同じ効果が得られる。これと同じ手法は、ウェーブレット解析を用いても実現可能である。さらにより一般に、正規直交系{eτ}を用いるとxn=Στ=0∞cτeτのように表現でき、この場合も先ほどと同様にして平均値を用いた場合と同じ効果が得られる。
【００６１】
いずれの場合でも、長期時系列データが従う確率分布は有限個のパラメータで指定される（例えば多項式回帰の場合はbj(j=0、1、・・・、τ)とノイズ項の分散パラメータ）。以下では、そのような長期時系列データξk（多項式回帰モデル等の場合はξn）が従うモデルとして次数mのものを用いているとする。これを、ξk-1が与えられた下でのξkの条件付き確率密度関数q(ξk｜ξk-1,φm,m)で表す。φmはパラメータをベクトル値として表したものである。同様に短期時系列データのモデルはr(un｜un-1, ψm,m)で表す。このとき、xnのモデルを、同様にP(xn｜xn-1,θm,ｍ)と書くと（ただし、θm＝(φm,ψm)としている）、
【００６２】
【数１１】
2006276970.tif 000013
【００６３】
なる関係が成り立つ。ただし、これはj≧1で、かつτ(k+j-1)+1≦n+i-1≦τ(k+j)の場合である。また、左辺の値はi≧1については
【００６４】
【数１２】
2006276970.tif 000014
【００６５】
などとして求められる（状態空間モデルの場合は具体的にはカルマンフィルタによるi期先予測の計算で簡単に計算できる）。右辺のrやqについても同様である。ここで特にr(un+i-1｜un-1, ψm,m),q(ξk+j｜ξk, φm,m)が正規分布N(μ1,σ12)、N(μ2,σ22)の密度関数である場合、P(xn+i-1｜xn-1,θm,m)は正規分布N(μ1+μ2,σ12+σ22)の密度関数となることに注意。j=0の場合は単純に
【００６６】
【数１３】
2006276970.tif 000015
【００６７】
（ただしτ(k-1)+1≦n+i-1≦τk）となる。多項式回帰等の場合は、上記の式でτ=1,n=kとして考えればよい（ただし、多項式等の次数はそのまま残す）。
【００６８】
以上の処理（式９から式11等に変形をほどこした上での学習や推定）により、時系列データxn-1に対して、モデルmを用いての学習を行うと、時系列モデルのパラメータθm(xn-1)および条件付き確率密度関数P(xn｜xn-1,θm(xn-1),m)が求まる。
【００６９】
この条件付き確率密度関数を用いることで、xN(=x1,x2,・・・,xN)が得られた場合に、最適モデル選択手段106において各モデルmについて次のような値を計算する。
【００７０】
【数１４】
2006276970.tif 000016
【００７１】
ただし、
【００７２】
【数１５】
2006276970.tif 000017
【００７３】
である。この値は予測的確率的コンプレキシティと呼ばれる量である（例えば、非特許文献２）。各々のモデルの予測的確率的コンプレキシティを比較し、その値が最小となるものを最適なモデルとして採用する。ここに、 式12におけるパラメータiは、i期先の予測値に関して最適なモデルを採用することを意味する。なお、予測的確率的コンプレキシティは、同等の指標となりうる他の情報量基準で置き換えることも可能である。
【００７４】
(2)EMアルゴリズムとカルマンフィルタを用いた逐次的計算
予測的確率的コンプレキシティを計算する場合、まず観測値系列xn-1から時系列モデルのパラメータθm(xn-1)を計算する。ここで、新たに観測値xnが得られ、観測値系列xnから時系列モデルのパラメータθm(xn)を計算する場合、通常のカルマンフィルタを用いて学習をはじめからやり直すと非常に計算コストがかかる。この問題を解決するためには、新たな観測値が得られた場合に逐次的にモデルを学習しパラメータを更新する手法を用いることができる（後述の非特許文献４に関連した記載を参照）。カルマンフィルタを用いたパラメータの推定は、山登り法などの数値的最大化の手法が用いられることが多いが、ここでは隠れ変数を持つ統計モデルの推定アルゴリズムであるEMアルゴリズムの逐次版を用いる（例えば、非特許文献３）。
【００７５】
EMアルゴリズムとは、反復計算の繰り返しごとに対数尤度の条件付期待値を最大化するアルゴリズムである。ここで、対数尤度の条件付期待値を最大化するときのパラメータは、十分統計量の条件付期待値を用いて計算される。以下の例では、逐次的学習を行うため、パラメータ更新の際にデータを逐次的に読み込みながら、忘却係数γの重みをつけた十分統計量の条件付期待値を計算するアルゴリズムを用いる。すなわち、現在のデータxnに関する十分統計量の条件付期待値にγ、過去のデータx1n-1の重みつき十分統計量の条件付期待値に(1-γ)の重みをつけて、和を取ったものを全体のデータxnの重みつき十分統計量の条件付期待値とする。ここで、gをnに依存させる形でγ=1/nとすれば、全てのデータに等しい重みをつけて逐次的に学習することができる（非特許文献４）。
【００７６】
長期時系列成分を作成および除去しつつ逐次的学習を行う場合の手続きについて述べる。先の例と同様に観測値系列をxnと表し、新たなデータ間隔τに基づく時系列データξkを
【００７７】
【数１６】
2006276970.tif 000018
【００７８】
のように定める。観測値系列としてｘnが与えられているとき、n=τkとなるごとに新しい観測値系列ξkが得られる。長期周期成分ξkの値が求まったので、長期時系列除去部103により、元の時系列xnから長期周期成分ξkを除去する。長期周期成分除去後の時系列データをunと置くと、 
【００７９】
【数１７】
2006276970.tif 000019
【００８０】
とする。ただし、この式はτ(k-1)+1≦n≦τkに対して適用する。
【００８１】
以下では、この短期時系列データunの状態空間表現を
【００８２】
【数１８】
2006276970.tif 000020
【００８３】
とし、EMアルゴリズムでパラメータを推定する例を述べる。長期時系列データに対しても同様の手続きでパラメータ推定を行うことが出来る。
【００８４】
今、観測値系列unが与えられた状況におけるEステップのQn関数を以下のように定義する。ただし、q(yn,un｜un-1,ψm(un-1))は、式15と式16で定まるynとunの同時確率密度関数を表す。また、Q0(ψm)=1とする。
【００８５】
【数１９】
2006276970.tif 000021
【００８６】
ここでγ(0<γ<1)は忘却係数である。Eステップにおける状態の推定は、通常のEMアルゴリズムと同様にカルマンフィルタを用いて計算することができる。次にQn(ψm')に対し
【００８７】
【数２０】
2006276970.tif 000022
【００８８】
を計算する。
【００８９】
このMステップにおいては、このシステムのパラメータ ψm(un)=(F',H`,Q',R')の値が求められる。ここでQ',R'はωn',εn'の共分散行列である。通常のEMアルゴリズムと違い、古い統計量に(1−γ)の重み、新しく得られた統計量にγの重みを与え、その和を用いてシステムのパラメータを更新することにより逐次学習を実現している。一般にはQnの記憶にはnに比例するだけの領域が必要になるが、状態空間モデルでは十分統計量の利用によってnによらない記述長での記述が可能である。上記の例では一度にひとつのデータunを用いてパラメータを更新する場合について述べたが、これをR個ごと（R≧１）の入力に一般化することは容易である。
【００９０】
(3)予測的確率的コンプレキシティの計算
このように計算した学習結果に基づき(式11-4)と(式11-7)を用いてP(xn+i-1|xn-1,θm(xn-1),m)の値を求めれば、予測的確率的コンプレキシティを計算することが出来る。
【００９１】
２.学習したモデルを用いた時系列の予測
予測的確率的コンプレキシティの比較により、予測に用いるモデルを採用した後は、時系列データが与えられる毎に、このモデルを用いて所定の時間幅先の時系列データを予測していく。ここでは、状態空間モデルを採用しているので、上記で示したEMアルゴリズムとカルマンフィルタを用いてパラメータの調整を行う。学習した結果P（xn+i-1|xn-1,θm（xn-1）,m）を用いてxn+i−1の予測値x'n+i-1は、通常期待値∫xn+i-1P(xn+i-1|xn-1,θm(xn-1),m)dxn+i-1で計算する。
【００９２】
状態空間モデルの場合は、γ(un+i-1|un-1,Φm,m),q(ξk+j|ξk,Φm,m)が正規分布であり、これをN(μ1,σ12)、N(μ2,σ22)で表すと、前述のようにP(xn+i-1|xn-1,m)は正規分布N(μ1+μ2,σ12+σ22)の密度関数となるため、un+i-1の予測値(期待値)をu'n+i-1、xk+jの予測値(期待値)をx'ξ'k+jと書けば、x'n+i-1= u'n+i-1+ξ'k+jで求められる。これは正規分布を用いるモデルに共通に成り立つ性質であり、長期時系列モデルに多項式回帰などを採用した場合にも成り立つ。
【００９３】
３.動作
次に、本発明の第１の実施の形態の構成を示す図１、本発明の第１の実施の形態の動作を示すフローチャートである図２〜４を参照しながら、本実施の形態の具体的な動作について説明する。なお、(1)の最適モデルの採用の動作では、(2)の予測的確率的コンプレキシティの算出をモジュールとして用いる。さらに(2)の予測的確率的コンプレキシティの算出では、(3)のモデルを用いた予測をモジュールとして用いる。
【００９４】
(1)最適モデル採用の動作
図１の第１の実施の形態の構成図、図２の第１の実施の形態の大まかな動作を示すフローチャートを参照しながら説明する。最適モデル選択手段106は、入力装置110から、時系列の予測のための最適モデルの選択指示を受けると、長期周期成分の周期長L1の約数をτに設定し、所定の時間幅（ここでは、Nとする。）の時系列データを用いて、予測的確率的コンプレキシティの算出（図２のSA02-1〜SA02-|M|、詳細は図３を用いて後述）を行う(図２のSA01)。
【００９５】
そして、算出された予測的確率的コンプレキシティI(xN:m)(m=1,..,|M|)の値が最小となるものを最適なモデルm'として採用する（図２のSA03）。
【００９６】
(2)予測的確率的コンプレキシティの算出
次に、予測的確率的コンプレキシティの算出（図２のSA02-1〜SA02-|M|の詳細な動作）について、図１の構成図、及び図３のモデルの予測までの動作を示すフローチャートを参照しながら説明する。なお、以下のjはi/tの整数部分に1を加えたものである。
【００９７】
まず、時系列モデル学習手段108では保存しているモデルのパラメータθm=(φm,ψm)に初期値を設定する。長期時系列設定手段101は、入力装置110から入力された時系列データxnを読み込む（図３のSB01）。なお、nの初期値は1に設定されているものとする。そして、nが所定のNに達するまで（図３のSB04のYes）まで、以下の動作を繰り返す。まず、読み込んだデータを時系列モデル学習手段108に渡すと、概装置では、概データと保存されているパラメータに基づき確率的コンプレキシティの値を漸化式I(xn:m)=I(xn-1:m)−logP(xn|xn-i,θm(xn-i),m)に従って算出し保存する（図３のSB03）。そのさい、nが小さくて漸化式の右辺第二項が計算できない場合は零などの定数を代わりに用いる。次に、概データを長期時系列記憶手段102に記憶し、SB05以下に進む。所定の時間幅を超えた(n > N-1となった)場合（図３のSB04のNo）は、最適モデル選択手段でのモデル選択（図２のSA03）に進む。
【００９８】
ここで、nがτの倍数(=τk、 kは整数)でない場合（図３のSB05のNo）は、後述の図３のSB09に進む。そして、nがτの倍数(=τk、 kは整数)であるならば（図３のSB05のYes）、長期時系列設定手段101は、式13により、長期時系列データξkを算出し、長期時系列記憶手段102に記憶させると同時に、長期時系列除去部103に渡す（図３のSB06）。さらに、長期時系列設定手段101は、時系列モデル学習手段108にモデルの学習を指示する。概手段は長期時系列記憶手段102に記憶されているξk=(ξ1,・・・ξk)より、ξkが得られた条件での条件付確率密度関数q(xk+j|xk、f (xk))を求め（図３のSB07）、jステップ先の長期時系列データxk+jを予測する（図３のSB08）。ここでのxk+jの予測には、前述のように、移動平均法、指数平滑法、最小2乗法などどのようなさまざまな方法を用いることができる。また、状態空間表現で表しカルマンフィルタを用いて推定するという方法で推定することができる。さらに、この予測は、例えばxｋを状態空間表現で表しカルマンフィルタを用いて推定するという方法で推定することができる。そして、これらの値を長期時系列記憶手段102に記憶する。そして長期時系列除去部103に長期時系列の除去を指示する。
【００９９】
長期時系列除去部103は、式14により、短期時系列データunを算出する（図３のSB09）。なお、xkがまだ式13により算出できていない場合には、図3のSB08で予測した値を用いることができる。計算に必要な元の時系列データおよび長期時系列データは、長期記憶手段102を参照する、もしくは長期時系列設定手段から逐次受け取っておき、ローカルメモリ上に保持するなどしておく。
【０１００】
長期時系列除去部103が算出した短期時系列データunは、短期時系列設定部104に渡される（図３のSB10）。短期時系列設定部104は、受け取ったunを短期時系列記憶手段105に記憶すると共に、un=(u1,・・・un)より、unが得られた条件での条件付確率密度関数r(un+i |un,ψ ( un ))を求め（図３のSB11）。iステップ先の短期時系列データun+iを予測する（図３のSB12）。さらに式11-4を用いて、時系列データxn+iの予測値を求める（図３のSB13）。
【０１０１】
上記の処理が終わると、次のデータの読み込みに進む（図３のSB14を経て、SB02へ）。
【０１０２】
(3)モデルを用いた予測の動作
次に、(1)で選択されたモデルを用いての時系列データの予測について、図１の構成図、図３のフローチャート、および図４の時系列予測の動作を示すフローチャートを参照して説明する。
【０１０３】
図３と図４を比較すると、ほぼ動作は等しいので、ここでは違いだけに絞って説明する。図４のSC01でxnを読み込んだ後、（図３のSB04に相当する分岐はなく）、nがτの倍数かの判断の分岐（図４のSC02）に進む。図４のSC03からSC10のステップは、図３のSB06からSB13のステップまでと同じである。そして、予測の動作においては、時系列予測手段107で算出された予測値xn+iが、予測値として、出力装置120に出力されるようになる（図４のSC11）。
【０１０４】
上記の処理が終わると、次のデータの読み込みに進む（図４のSC12を経て、SC01へ）。
【０１０５】
この時系列予測の動作においては、モデルとしては図2で示されるSA03で選択したモデルm'を用いるが、学習により逐次更新され、それを用いた時系列予測が行われている。
【０１０６】
なお、本実施の形態の説明においての時系列解析装置100は、コンピュータの演算装置に上記で説明した動作を行わせるコンピュータプログラムとして実現することも可能である。
【０１０７】
４.本実施の形態の効果
次に、本実施の形態の効果について説明する。本実施の形態では、長期時系列をあらかじめ作成し、この時系列を元の時系列データから除去したデータに対して通常の時系列解析を行うというように構成されているため、時系列データの学習の際に計算量を減らすことができる。また、本実施の形態では、さらに、最適モデル選択手段を用いて長期時系列を作成する際の複数のモデルのうち最適なものを選び出すというように構成されているため、長期の変動を予測する際に短期の変動の影響を受けず、より高精度に予測できる。
【産業上の利用可能性】
【０１０８】
本発明によれば、計算機システムやネットワークシステムにおけるリソース（CPU、ディスクなど）の使用率を監視し、その使用率が今後どのように増加していくのかを予測するというような、計算機システムのリソース・マネジメントといった用途に適用できる。また、本発明によれば、交通システムにおいて旅行時間（ある道路区間通り抜けるのに要する時間）をセンサーで計測し、これを時系列データとみなし、その変動を予測するといった用途にも適用できる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】本発明の第１の実施の形態の大まかな動作を示す流れ図である。
【図３】本発明の第１の実施の形態のモデルの予測までの動作を示す流れ図である。
【図４】本発明の第１の実施の形態の時系列予測の動作を示す流れ図である。
【符号の説明】
【０１１０】
１００            時系列解析装置
１０１                長期時系列設定手段
１０２                長期時系列記憶手段
１０３                長期時系列除去部
１０４                短期時系列設定部
１０５                短期時系列記憶手段
１０６                最適モデル選択手段
１０７                時系列予測手段
１０８                時系列モデル学習手段
１０９                短期時系列設定手段
１１０                入力装置
１２０                出力装置
【図１】
2006276970.tif 000023
【図２】
2006276970.tif 000024
【図３】
2006276970.tif 000025
【図４】
2006276970.tif 000026