(57)【要約】      （修正有）【課題】急峻な時系列データへのサポートベクトル回帰の当てはめ精度が高まり、しかも、クロスバリデーションを用いないため、オンラインでのデータ予測が可能となる時系列データ予測装置及びその方法を提供する。【解決手段】取り込んだ時系列データの統計的な性質を、時間区間ごとに抽出する統計解析部２０３と、統計解析部により時間区間ごとに抽出した時系列データの統計的な性質に適合するカーネル関数を、時間区間ごとに選択するカーネル選択部２０４と、カーネル選択部において時間区間ごとに選択したカーネル関数を使用したサポートベクトル回帰モデルを使用して、取り込んだ時系列データの時間区間以降の時系列データの時間的変化を計算し、時系列データを予測するデータ予測部２０５とを備える。【選択図】図２
2016126718.tif 000002
【特許請求の範囲】
【請求項１】
サポートベクトル回帰により時系列データを予測する時系列データ予測装置であって、
取り込んだ前記時系列データの統計的な性質を、時間区間ごとに抽出する統計解析部と、
前記統計解析部により前記時間区間ごとに抽出した前記時系列データの統計的な性質に適合するカーネル関数を、前記時間区間ごとに選択するカーネル選択部と、
前記カーネル選択部において前記時間区間ごとに選択した前記カーネル関数を使用したサポートベクトル回帰モデルを使用して、前記取り込んだ時系列データの時間区間以降の時系列データの時間的変化を計算し、前記時系列データを予測するデータ予測部と
を備えることを特徴とする時系列データ予測装置。
【請求項２】
前記サポートベクトル回帰モデルは、前記サポートベクトル回帰モデルの基本の予測関数における内積を、前記選択したカーネル関数と置き換えた関数であることを特徴とする請求項１に記載の時系列データ予測装置。
【請求項３】
サポートベクトル回帰により時系列データを予測する時系列データ予測方法であって、
統計解析部において、取り込んだ前記時系列データの統計的な性質を、時間区間ごとに抽出するステップと、
カーネル選択部において、前記抽出するステップにおいて前記時間区間ごとに抽出した前記時系列データの統計的な性質に適合するカーネル関数を、前記時間区間ごとに選択するステップと、
データ予測部において、前記選択するステップにおいて前記時間区間ごとに選択した前記カーネル関数を使用したサポートベクトル回帰モデルを使用して、前記取り込んだ時系列データの時間区間以降の時系列データの時間的変化を計算し、前記時系列データを予測するステップと
を備えることを特徴とする時系列データ予測方法。
【請求項４】
前記サポートベクトル回帰モデルは、前記サポートベクトル回帰モデルの基本の予測関数における内積を、前記選択したカーネル関数と置き換えた関数であることを特徴とする請求項３に記載の時系列データ予測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列データ予測装置及び時系列データ予測方法に関し、より詳細には、サポートベクトル回帰を使用した時系列データ予測装置及び時系列データ予測方法に関する。
【背景技術】
【０００２】
時系列データ予測は、電力分野における消費電力の予測等において、重要な予測手段の一つである。また、時系列データ予測は、消費電力の予測以外にも、エネルギー分野、通信分野、センシング分野における実環境内のモニタリング、及び画像センシング等さまざまな分野において用いられている。これまで、単調あるいは滑らかに変化していくデータを予測する方法については、これまで数多くの手法が考案されてきている。
【０００３】
時系列データの予測は、一般的には、時間的に変化するデータをグラフに表した曲線を、直線又は曲線に近似させることにより行われる。図１は、消費電力の予測を例とした従来の時系列データの予測の例を示す図であり、図１（ａ）は線形回帰分析（非特許文献１参照）による消費電力の予測の例を示し、図１（ｂ）は非線形重回帰分析による消費電力の予測の例を示している。ここで、図１（ａ）及び（ｂ）の実線は電力計により計測された消費電力の時間的変化であり、図１（ａ）の破線は線形回帰分析による予測関数、図１（ｂ）の破線は非線形重回帰分析による予測関数である。電力計により計測された消費電力の時間的変化は、大きな変動を伴っていることが多い。この、消費電力の時間的変化については、線形回帰分析（図１（ａ））により予測することができる。図１（ａ）の例においては、１分ごとに計測された消費電力（Ｗ）：ｙについて、ｙ＝ａｘ＋ｂという最も簡単な一次回帰式を適用することを考え、未知数ａ、ｂを線形最小二乗法により容易に推定することができる。しかし、データのばらつきに関する外れ値の影響をどのように考慮するかによって、線形重回帰分析による予測関数が大きく異なるため、予測誤差が大きくなるという問題があった。
【０００４】
このような予測誤差の改善のために、図１（ｂ）のように、気温といった気象因子を考慮し、過去に蓄積された最大電力需要量との間で線形重回帰分析の変数に２乗項を用いた非線形重回帰分析により、時系列データを推定する方法がある（非特許文献２）。しかし、図１（ｂ）のような非線形重回帰分析による時系列データの予測は、電力会社など特殊な条件のもとで蓄積された過去データに基づいた手法であり、一般の消費電力量の予測モデルには適用できない。
【０００５】
そのため、より汎用的な時系列データ予測方法および一般に入手しやすい観測データ、計測データとの相性の良い時系列データの予測モデルが求められてきた。特に、不連続に変化していく時系列データ、及び急峻に変化する時系列データの直線又は曲線への近似については、一般的な線形の最小二乗法、及び滑らかな関数を基底とした多項式近似法等では直線又は曲線に当てはめる際に数学的な限界が存在することが明らかである。
【０００６】
一方で、近年、時系列データの予測に対しては、サポートベクトルマシン（ＳＶＭ：非特許文献３参照）に基づいたサポートベクトル回帰（ＳＶＲ）が注目されている。サポートベクトル回帰は、少ない学習データであっても、従来よりも時系列データへの回帰モデルの当てはめの精度が高まり、予測精度の向上が見られる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】P. P. Vaidyanathan “The Theory of Linear Prediction” California Institute of Technology 2008年 、［online］、［平成２４年１２月２日検索］、インターネット＜ＵＲＬ：http://authors.library.caltech.edu/25063/1/S00086ED1V01Y200712SPR003.pdf＞
【非特許文献２】灰田武史、武藤昭一「重回帰手法に基づいた最大需要予測支援システムの開発」オペレーションズ・リサーチvol.41，pp.476-480,
【非特許文献３】“サポートベクターマシン”、ウィキペディア、［online］、［平成２４年１２月２日検索］、インターネット＜ＵＲＬ：http://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%9D%E3%83%BC%E3%83%88%E3%83%99%E3%82%AF%E3%82%BF%E3%83%BC%E3%83%9E%E3%82%B7%E3%83%B3＞
【非特許文献４】赤穂昭太郎「サポートベクターマシン（統数研公開講座「カーネル法の最前線―ＳＶＭ，非線形データ解析，構造化データ―」）」産業技術総合研究所  2006.7.6〜7、［online］、［平成２４年１２月２日検索］、インターネット＜ＵＲＬ：http://www.ism.ac.jp/~fukumizu/ISM_lecture_2006/svm-ism.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
サポートベクトル回帰は、時系列データの近似を行う場合、カーネル関数及びそのモデルパラメータを選択する。ここで、カーネル関数及びそのモデルパラメータの選択は、経験的、又は総当たり計算により準最適化を行う。しかし、準最適化を行ったとしても、依然として急峻に変化する時系列データにカーネル関数を当てはめても、誤差は大きくなることが多い。特に、総当たり計算の一つであるクロスバリデーションは、膨大な組み合わせ計算が強いられる。したがって、クロスバリデーションを使用することは、事前学習又は事後検証には有効であるが、実時間処理では不向きであることが知られている。また、想定するモデルパラメータの探索範囲は人為的に決められ、パラメータの探索分解能は人為的に決められた範囲に左右されるため、クロスバリデーションだけでは最適化は不十分な場合がある。
【０００９】
そこで本発明では、時系列データの統計的な性質に着目し、時間区間ごとにサポートベクトル回帰におけるカーネル関数を選択して時系列データを予測する、適応的カーネル型予測による時系列データ予測装置及びその方法を提供する。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明の第１の実施態様は、サポートベクトル回帰により時系列データを予測する時系列データ予測装置であって、取り込んだ前記時系列データの統計的な性質を、時間区間ごとに抽出する統計解析部と、前記統計解析部により前記時間区間ごとに抽出した前記時系列データの統計的な性質に適合するカーネル関数を、前記時間区間ごとに選択するカーネル選択部と、前記カーネル選択部において前記時間区間ごとに選択した前記カーネル関数を使用したサポートベクトル回帰モデルを使用して、前記取り込んだ時系列データの時間区間以降の時系列データの時間的変化を計算し、前記時系列データを予測するデータ予測部とを備えることを特徴とする。
【００１１】
また、本発明の第２の態様は、第１の態様の時系列データ予測装置であって、前記サポートベクトル回帰モデルは、前記サポートベクトル回帰モデルの基本の予測関数における内積を、前記選択したカーネル関数と置き換えた関数であることを特徴とする。
【００１２】
また、本発明の第３の態様は、サポートベクトル回帰により時系列データを予測する時系列データ予測方法であって、統計解析部において、取り込んだ前記時系列データの統計的な性質を、時間区間ごとに抽出するステップと、カーネル選択部において、前記抽出するステップにおいて前記時間区間ごとに抽出した前記時系列データの統計的な性質に適合するカーネル関数を、前記時間区間ごとに選択するステップと、データ予測部において、前記抽出するステップにおいて前記時間区間ごとに選択した前記カーネル関数を使用したサポートベクトル回帰モデルを使用して、前記取り込んだ時系列データの時間区間以降の時系列データの時間的変化を計算し、前記時系列データを予測するステップとを備えることを特徴とする。
【００１３】
また、本発明の第４の態様は、第３の態様の時系列データ予測方法であって、前記サポートベクトル回帰モデルは、前記サポートベクトル回帰モデルの基本の予測関数における内積を、前記選択したカーネル関数と置き換えた関数であることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、急峻な時系列データへのサポートベクトル回帰の予測精度が高まり、しかも、クロスバリデーションを用いないため、オンラインでのデータ予測が可能となる。
【図面の簡単な説明】
【００１５】
【図１】消費電力の予測を例とした従来の時系列データの予測の例を示す図であり、（ａ）は線形回帰分析による消費電力の予測の例を示し、（ｂ）は非線形重回帰分析による消費電力の予測の例を示している。
【図２】本発明の一実施形態にかかる時系列データ予測装置を示す構成図である。
【図３】図１の時系列データ予測装置による時系列データを予測する方法を示すフローチャートである。
【図４】サポートベクトル回帰の基となるサポートベクトルマシンを説明するための図で、（ａ）は、分類対象のデータを実空間に配置した図であり、（ｂ）は、分類対象のデータを高次元特徴空間内に配置した図である。
【図５】サポートベクトル回帰分析にカーネル関数の一例であるガウシアン型カーネル関数を使用した場合において、カーネル関数の分散パラメータと識別境界との関係を示す図であり、（ａ）はガウシアンの広がりδ＝０．５の場合、（ｂ）はδ＝１の場合、（ｃ）はδ＝５の場合を示している。
【図６】図３の方法において、観測した消費電力量の時系列データの統計的な特徴量を時間区間ごとに解析し、時系列データが急峻に変化する部分への予測関数の当てはめの精度を高めた例を示す図であり、（ａ）は、時系列データの時間的変化を示し、（ｂ）は、時系列データの時間的変化の時間に関する１次微分の値の変化を示す。
【図７】異なるカーネル関数を用いたときの予測精度の違いを比較した実験例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。図２は、本発明の一実施形態にかかる時系列データ予測装置２００を示す構成図である。時系列データ予測装置２００は、時系列データを取り込む観測データ入力部２０１と、取り込んだ時系列データを蓄積するデータ蓄積部２０２と、蓄積した時系列データの統計的な性質を時間区間ごとに抽出する統計解析部２０３とを備える。また、時系列データ予測装置２００は、蓄積した時系列データの統計的な性質に当てはめるカーネル関数を選択するカーネル選択部２０４と、選択したカーネル関数により時系列データを予測するデータ予測部２０５と、予測結果等を画面に表示する表示部２０６とを備える。
【００１７】
図３は、時系列データ予測装置２００による時系列データを予測する方法を示すフローチャートである。図３の時系列データ予測方法は、ステップ３０１において開始し、ステップ３０２において、観測データ入力部２０１により、観測対象となる時系列データを取り込む。ステップ３０３において、データ蓄積部２０２により、観測データ入力部２０１から取り込んだ時系列データを蓄積する。ステップ３０４において、統計解析部２０３により、データ蓄積部２０２に蓄積した時系列データについて、その時系列データの時間的変化の統計的な性質を、時間区間ごとに抽出する。ステップ３０５において、カーネル選択部２０４により、統計解析部２０３において時間区間ごとに抽出した時系列データの時間的変化の統計的な性質に当てはめるために、サポートベクトル回帰モデルにおけるカーネル関数を、それぞれの時間区間ごとに選択する。ステップ３０６において、データ予測部２０５により、カーネル選択部２０４において時間区間ごとに選択したカーネル関数を使用したサポートベクトル回帰モデル（予測関数）を使用して、取り込んだ時系列データの時間区間以降の時刻における変化を計算し、時系列データの時間的変化を予測する。ステップ３０７において、表示部２０６により、データ予測部２０５において予測した時系列データの時間的変化の結果等を画面に表示する。
【００１８】
次に、サポートベクトル回帰について説明する。図４は、サポートベクトル回帰の基となるサポートベクトルマシンを説明するための図で、図４（ａ）は、分類対象のデータを実空間に配置した図であり、図４（ｂ）は、分類対象のデータを高次元特徴空間内に配置した図である。サポートベクトルマシンは、線形分離不可能なデータに対して、カーネル関数を用いて高次元特徴空間へ変換することで、線形分離が可能となる。例えば図４（ａ）に示す二次元平面座標系（ｘ，ｙ）上に、４つのデータを表す点（１，１）、（１，−１）、（−１，−１）、（−１，１）があるとする。（１，１）と（−１，−１）がひとつのクラス、（−１，１）、（１，−１）がひとつのクラスとして分類しようとする場合、平面上でクラスの境界線を一本の直線で引くことができないため、線形分離が不可能であることが容易にわかる。
【００１９】
ここで、図４（ｂ）のように、ある新しい関数を導入し、二次元空間（平面）（ｘ，ｙ）上の４つの点を三次元空間（ｘ，ｙ，ｚ）に射影する。図４（ｂ）においては、関数φ（Ｘ）を用いて、二次元空間内のデータ（点）を三次元空間内の各点に変換している。ここで、関数φ（ｘ）は、通常高次元への写像関数を表し、カーネル関数という。また、Ｘを入力空間、変換された三次元空間Ｆを特徴空間という。従って、二次元平面座標系（ｘ1，ｙ1）は、特徴空間において、（φ（ｘ1），φ（ｙ1））と表現される。
【００２０】
三次元空間内に変換された二次元空間内のデータ（点）は、図４（ｂ）の斜線で示す平面により２つのクラスの間を分類できるようになる。サポートベクトルマシンは、二次元空間から三次元空間へデータの次元を高めたことにより、線形分離不可能であったデータについて、線形分離が可能とする。
【００２１】
このとき、カーネル関数は特徴空間中のデータの座標を直接計算するのではなく、特徴空間における分離用の平面の内積を計算する。平面の内積を計算することにより、計算量を減らすことができる。内積の計算は、カーネルトリックと呼ばれている。
【００２２】
図５は、サポートベクトル回帰分析にカーネル関数の一例であるガウシアン型カーネル関数を使用した場合において、カーネル関数の分散パラメータと識別境界との関係を示す図であり、図５（ａ）はガウシアンの広がりδ＝０．５の場合、図５（ｂ）はδ＝１の場合、図５（ｃ）はδ＝５の場合を示している。図５（ａ）〜（ｃ）においては、対角方向にデータ群があり、左下と右上に大きくクラスが２つある。ここで、ガウシアン型カーネル関数の分散を大きく（（ａ）→（ｂ）→（ｃ））していくと、サポートベクトル回帰のクラスの分離性が変わることが示されている。図５（ａ）〜（ｃ）中、データ点に○をつけてあるものがサポートベクトルであり、識別境界を支えている。このように、カーネル関数の特徴によって、データの分離性が変わることから、カーネル関数の選択により予測精度が変化することが考えられる。従って、時系列データの時間的変化において、時間区間ごとにカーネル関数を選択してサポートベクトル回帰モデルを作成することにより、サポートベクトル回帰モデルの最適化を行う。
【００２３】
次に、ステップ３０５の時間区間ごとに時系列データの変化に当てはめるサポートベクトル回帰モデルに使用するカーネル関数について説明する。ここで、まず、サポートベクトル回帰における基本の予測関数（サポートベクトル回帰モデル）決定の概要について説明する（非特許文献４参照）。過去の時間区間（取り込んだ時系列データの時間区間）ｉ＝１〜ｌ、次の時間区間（データを取り込んだ時間区間以降の時間区間）における時刻をｊ、時系列データの入力空間におけるベクトル表現をｘ、ｙとする。ｂはバイアス、αは計算過程で得られる変数とすると、予測関数Ｆ（ｙj）は、
【００２４】
【数１】
2016126718.tif 000003
【００２５】
ここで、式（１）においては、内積＜ｘi，ｙj＞を、直接計算する代わりに、カーネル関数Ｋに置き換えて計算する。内積をカーネル関数Ｋに置き換えて計算することにより、演算効率が向上する。
【００２６】
ステップ３０５は、カーネル関数を選択して時間区間ごとに時系列データの変化に当てはめるが、当てはめは、以下のカーネル関数の中から最適のカーネル関数を選択し、予測関数に代入した上で時系列データの変化に当てはめている。サポートベクトル回帰においては、まず、下記のようなカーネル関数（ガウシアン型カーネル）が用いられてきている。
【００２７】
【数２】
2016126718.tif 000004
【００２８】
ただし、σは形状変数である。
【００２９】
また、下記の式（３）〜（５）は、カーネル関数の他の一例であり、それぞれ、積型、べき乗型、及びtanh関数型である。式（３）〜（５）中、ｃ、κ及びδは、調整パラメータであり、経験的に推定される実数値である。
【００３０】
【数３】
2016126718.tif 000005
【００３１】
【数４】
2016126718.tif 000006
【００３２】
【数５】
2016126718.tif 000007
【００３３】
上述の式（１）及び式（２）から、最終的に、本発明における予測関数は、式（６）のように導出される。
【００３４】
【数６】
2016126718.tif 000008
【００３５】
式（６）は、ガウシアン型カーネル（上述の（２））を用いた予測関数である。次の時刻におけるデータをｊ番とし、学習に用いたのと同じ時間区間長ｌまで多項式で表現される。本実施形態において、上記（２）〜（５）等のカーネル関数の中から、時系列データの時間的変化と近似しているカーネル関数を、基本の予測関数（１）に代入した予測関数が、時間区間ごとに当てはめられる。
【００３６】
次に、ステップ３０５における、時系列データの統計的な性質の時間区間ごとの抽出、及びステップ３０６における、カーネル関数の選択について説明する。図６は、本実施形態において、観測した消費電力量の時系列データの統計的な特徴量を時間区間ごとに解析し、時系列データが急峻に変化する部分への予測関数の当てはめの精度を高めた例を示す図であり、図６（ａ）は、時系列データの時間的変化を示し、図６（ｂ）は、時系列データの時間的変化の時間に関する１次微分の値の変化を示す。時系列データの時間的変化の時間に関する一次微分を計算すると、小さい値から大きい値までさまざまな値が得られる。このとき、一次微分値は正値と負値が混在するが、ここではその絶対値のみを扱う。図６（ｂ）において、１次微分の値の絶対値が大きい場合は、時系列データが急峻に変化していることを示す。また、１次微分の値が小さい場合は、時系列データが緩やかに変化していることを示す。図６（ｂ）中の各時間区間Ｋ１〜Ｋ４には、それぞれ異なるカーネル関数が当てはめられている。１の時間区間における一次微分の絶対値の平均値に対し、それぞれ時系列データに近似するカーネル関数を選択して当てはめている。カーネル関数は、Ｋ１には式（３）が、Ｋ２には式（５）が、Ｋ３には式（４）が、Ｋ４には式（２）が当てはめられている。
【００３７】
［実施例］
図７は、異なるカーネル関数を用いたときの予測精度の違いを比較した実験例を示す図である。図７中、横軸のａ〜ｄは、それぞれ上述のカーネル関数（２）〜（５）をそれぞれ単独に使用した予測制度の結果であり、ｅは、本実施形態における時系列データ予測方法を使用した場合の予測精度の結果である。また、縦軸は予測精度の結果、つまり正解データと予測データとの誤差（平均二乗誤差により計測）を示し、誤差が小さいほど低い値を示す。上述のカーネル関数（２）〜（５）を単独に用いた場合は、ａ〜ｄで予測精度がばらついたが、本実施形態の混在型カーネル関数によれば予測精度が一番改善されることが示された。
【産業上の利用可能性】
【００３８】
本発明は、電力分野、エネルギー分野、通信分野、センシング分野において、実環境におけるモニタリングや画像センシングなどに適用される。
【符号の説明】
【００３９】
２０１  観測データ入力部
２０２  データ蓄積部
２０３  統計解析部
２０４  カーネル選択部
２０５  データ予測部
２０６  表示部
【図１】
2016126718.tif 000009
【図２】
2016126718.tif 000010
【図３】
2016126718.tif 000011
【図４】
2016126718.tif 000012
【図６】
2016126718.tif 000013
【図７】
2016126718.tif 000014
【図５】
2016126718.tif 000015