(57)【要約】【課題】学習データを用いて予測モデルを作成し、作成した予測モデルを用いて予測値を算出する予測装置の予測精度を向上すること。【解決手段】予測モデル作成部１３０が複数の予測モデルを作成し、残差予測モデル作成部１５０が複数の予測モデルのそれぞれに対して予測誤差の絶対値を予測する残差予測モデルを作成し、モデル合成部１７０が予測用データに対して複数の予測モデルを用いて複数のモデル毎予測値を求めるとともに、残差予測モデルを用いて複数の予測モデルのそれぞれについて予測誤差の絶対値の予測値を求め、予測誤差の絶対値の予測値が小さい予測モデルによるモデル毎予測値に対する重みを大きくしてモデル毎予測値を合成して最終的な予測値とするよう構成する。【選択図】        図２
2005135287.tif 000002
【特許請求の範囲】
【請求項１】
学習データを用いて予測モデルを作成し、該作成した予測モデルを用いて予測値を算出する予測装置であって、
学習データを用いて複数の予測モデルを作成するモデル作成手段と、
前記モデル作成手段により作成された複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成する残差予測モデル作成手段と、
前記複数の予測モデルのそれぞれを用いて予測された複数のモデル毎予測値に対して前記残差予測モデルを用いて予測されたそれぞれの残差予測値に基づいて該複数のモデル毎予測値を合成して予測値を算出する予測値算出手段と
を備えたことを特徴とする予測装置。
【請求項２】
前記残差予測モデル作成手段は、前記予測モデルのそれぞれに対して誤差の絶対値を予測する誤差絶対値予測モデルを残差予測モデルとして作成し、
前記予測値算出手段は、前記誤差絶対値予測モデルを用いて予測されたそれぞれの誤差絶対値予測値に基づいて前記複数のモデル毎予測値に重み付け加算を行って予測値を算出することを特徴とする請求項１に記載の予測装置。
【請求項３】
前記予測値算出手段は、前記誤差絶対値予測モデルを用いて予測された複数の誤差絶対値予測値のうち誤差絶対値予測値が最小であるモデル毎予測値の重みを１とし、他のモデル毎予測値の重みを０として予測値を算出することを特徴とする請求項２に記載の予測装置。
【請求項４】
前記残差予測モデル作成手段は、前記予測モデルのそれぞれに対して誤差を予測する誤差予測モデルを残差予測モデルとして作成し、
前記予測値算出手段は、前記誤差予測モデルを用いて予測されたそれぞれの誤差予測値の絶対値に基づいて前記複数のモデル毎予測値に重み付け加算を行って予測値を算出することを特徴とする請求項１に記載の予測装置。
【請求項５】
前記予測値算出手段は、前記誤差予測モデルを用いて予測された複数の誤差予測値のうち絶対値が最小であるモデル毎予測値の重みを１とし、他のモデル毎予測値の重みを０として予測値を算出することを特徴とする請求項４に記載の予測装置。
【請求項６】
前記残差予測モデル作成手段は、前記予測モデルのそれぞれに対して誤差を予測する誤差予測モデルを残差予測モデルとして作成し、
前記予測値算出手段は、前記誤差予測モデルを用いて予測されたそれぞれの誤差予測値の絶対値に基づいて前記複数のモデル毎予測値に重み付け加算を行った結果に、該絶対値に基づいて誤差予測値に重み付け加算を行った結果を加算して予測値を算出することを特徴とする請求項１に記載の予測装置。
【請求項７】
前記予測値算出手段は、前記誤差予測モデルを用いて予測された複数の誤差予測値のうち絶対値が最小であるモデル毎予測値および誤差予測値の重みを１とし、他のモデル毎予測値および誤差予測値の重みを０として予測値を算出することを特徴とする請求項６に記載の予測装置。
【請求項８】
前記モデル作成手段は、ＣＡＲＴ、ＭＡＲＳ，ＴｒｅｅＮｅｔおよびニューラルネットを用いて複数の予測モデルを作成することを特徴とする請求項１〜７のいずれか一つに記載の予測装置。
【請求項９】
前記残差予測モデル作成手段は、ＣＡＲＴ、ＭＡＲＳ，ＴｒｅｅＮｅｔまたはニューラルネットのいずれかを用いて残差予測モデルを作成することを特徴とする請求項８に記載の予測装置。
【請求項１０】
前記モデル作成手段が作成する複数の予測モデルおよび前記残差予測モデル作成手段が作成する残差予測モデルのモデル作成アルゴリズムを入力するモデル作成アルゴリズム入力手段をさらに備えたことを特徴とする請求項１〜７のいずれか一つに記載の予測装置。
【請求項１１】
前記予測値算出手段がモデル毎予測値から予測値を合成する合成アルゴリズムを入力するモデル合成アルゴリズム入力手段をさらに備えたことを特徴とする請求項１に記載の予測装置。
【請求項１２】
学習データを用いて予測モデルを作成し、該作成した予測モデルを用いて予測値を算出する予測方法であって、
学習データを用いて複数の予測モデルを作成するモデル作成工程と、
前記モデル作成工程により作成された複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成する残差予測モデル作成工程と、
前記複数の予測モデルのそれぞれを用いて予測された複数のモデル毎予測値に対して前記残差予測モデルを用いて予測されたそれぞれの残差予測値に基づいて該複数のモデル毎予測値を合成して予測値を算出する予測値算出工程と
を含んだことを特徴とする予測方法。
【請求項１３】
学習データを用いて予測モデルを作成し、該作成した予測モデルを用いて予測値を算出する予測プログラムであって、
学習データを用いて複数の予測モデルを作成するモデル作成手順と、
前記モデル作成手順により作成された複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成する残差予測モデル作成手順と、
前記複数の予測モデルのそれぞれを用いて予測された複数のモデル毎予測値に対して前記残差予測モデルを用いて予測されたそれぞれの残差予測値に基づいて該複数のモデル毎予測値を合成して予測値を算出する予測値算出手順と
をコンピュータに実行させることを特徴とする予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、学習データを用いて予測モデルを作成し、作成した予測モデルを用いて予測値を算出する予測装置、予測方法および予測プログラムに関し、特に、複数の予測モデルを合成して予測を行い、もって予測を行うデータ空間の性質が場所によって異なる場合にも精度の高い予測値を算出することができる予測装置、予測方法および予測プログラムに関するものである。
【背景技術】
【０００２】
従来、学習データを用いて予測モデルを作成し、作成した予測モデルを用いて予測を行う手法としては、図１４−１および図１４−２に示す手法があった。
【０００３】
図１４−１は、単一の予測モデルを用いた予測手法を説明するための説明図である。同図に示すように、単一の予測モデルを用いる場合には、過去のデータを用いて複数の予測モデルを作成し、作成した予測モデルの予測値と、データとの照らし合わせによって、予測能力などの観点から最適な予測モデルを選んで利用していた。
【０００４】
なお、単一の予測モデルによる予測手法としては、ＣＡＲＴ(Classification And Regression Trees)、ＭＡＲＳ(Multivariate Adaptive Regression Splines)、ＴｒｅｅＮｅｔ、ニューラルネットワークなどがある（非特許文献１〜４参照。）。
【０００５】
また、アルゴリズムは単一であってもアルゴリズムの性質を調整するパラメータの値を調整することによって様々な性質の予測モデルを作成できる場合には、データと照らし合わせてそのパラメータの値を最適化することで予測モデルを得る手法を利用していた。
【０００６】
図１４−２は、複数の予測モデルを組み合わせた予測手法を説明するための説明図である。同図に示すように、複数の予測モデルを組み合わせる場合には、特定のモデル作成アルゴリズムを使って予測モデルを作成し、作成した予測モデルにおけるデータとの残差を別のモデル作成アルゴリズムに作用させて残差予測モデルを作成し、両者の合計値あるいはそれに類した値を推定値として利用する形態（ハイブリッドモデル）のものがあった（非特許文献５参照。）。
【０００７】
【非特許文献１】大滝厚、堀江宥治、Dan Steinberg著、「応用二進木解析法」、日科技連出版社、１９９８年
【非特許文献２】Jerome H. Friedman： MULTIVARIATE ADAPTIVE REGRESSION SPLINES, Annals Statistics, Vol.19, No.1, 1991
【非特許文献３】Dan Steinberg, Scott Cardell, Mikhail Golovnya：Stochastic Gradient Boosting and Restrained learning, Salford Systems, 2003
【非特許文献４】Salford Systems： TreeNet: Stochastic Gradient Boosting, San Diego, 2002
【非特許文献５】門脇哲男、鈴木教郎、鈴木督久、大滝厚、「ＰＯＳデータへのハイブリッドモデリングの適用」、品質、２０００年１０月、第３０巻、第４号、ｐ．１０９−１２０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、単一の予測モデルを利用する手法は、データの性質がデータ空間の全体で単一の性質を持っていることを前提にしているため、実際のデータがそうした性質を持っていない場合には適切な推定値が得られないという問題があった。
【０００９】
また、ハイブリッドモデルにおいては、異なる予測モデルを組み合わせることによって複数のモデルの長所を生かした結果が得られることが分かっているが、データ空間の性質が場所によって異なる場合には、単一の予測モデルと同様に適切な推定値が得られないという問題があった。
【００１０】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、複数の予測モデルを合成して予測を行い、もって予測を行うデータ空間の性質が場所によって異なる場合にも精度の高い予測値を算出することができる予測装置、予測方法および予測プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、学習データを用いて予測モデルを作成し、該作成した予測モデルを用いて予測値を算出する予測装置であって、学習データを用いて複数の予測モデルを作成するモデル作成手段と、前記モデル作成手段により作成された複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成する残差予測モデル作成手段と、前記複数の予測モデルのそれぞれを用いて予測された複数のモデル毎予測値に対して前記残差予測モデルを用いて予測されたそれぞれの残差予測値に基づいて該複数のモデル毎予測値を合成して予測値を算出する予測値算出手段とを備えたことを特徴とする。
【００１２】
この発明によれば、学習データを用いて複数の予測モデルを作成し、作成した複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成し、予測モデルのそれぞれを用いて予測した複数のモデル毎予測値に対して残差予測モデルを用いて予測したそれぞれの残差予測値に基づいて複数のモデル毎予測値を合成して予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に基づいて予測モデルを合成して予測値を算出することができる。
【００１３】
また、請求項２に係る発明は、上記発明において、前記残差予測モデル作成手段は、前記予測モデルのそれぞれに対して誤差の絶対値を予測する誤差絶対値予測モデルを残差予測モデルとして作成し、前記予測値算出手段は、前記誤差絶対値予測モデルを用いて予測されたそれぞれの誤差絶対値予測値に基づいて前記複数のモデル毎予測値に重み付け加算を行って予測値を算出することを特徴とする。
【００１４】
この発明によれば、予測モデルのそれぞれに対して誤差の絶対値を予測する誤差絶対値予測モデルを残差予測モデルとして作成し、誤差絶対値予測モデルを用いて予測したそれぞれの誤差絶対値予測値に基づいて複数のモデル毎予測値に重み付け加算を行って予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に基づいてモデル毎予測値を重み付け加算して予測値を算出することができる。
【００１５】
また、請求項３に係る発明は、上記発明において、前記予測値算出手段は、前記誤差絶対値予測モデルを用いて予測された複数の誤差絶対値予測値のうち誤差絶対値予測値が最小であるモデル毎予測値の重みを１とし、他のモデル毎予測値の重みを０として予測値を算出することを特徴とする。
【００１６】
この発明によれば、誤差絶対値予測モデルを用いて予測した複数の誤差絶対値予測値のうち誤差絶対値予測値が最小であるモデル毎予測値の重みを１とし、他のモデル毎予測値の重みを０として予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に最適な予測モデルを選択して予測値を算出することができる。
できる。
【００１７】
また、請求項４に係る発明は、上記発明において、前記残差予測モデル作成手段は、前記予測モデルのそれぞれに対して誤差を予測する誤差予測モデルを残差予測モデルとして作成し、前記予測値算出手段は、前記誤差予測モデルを用いて予測されたそれぞれの誤差予測値の絶対値に基づいて前記複数のモデル毎予測値に重み付け加算を行って予測値を算出することを特徴とする。
【００１８】
この発明によれば、予測モデルのそれぞれに対して誤差を予測する誤差予測モデルを残差予測モデルとして作成し、誤差予測モデルを用いて予測したそれぞれの誤差予測値の絶対値に基づいて複数のモデル毎予測値に重み付け加算を行って予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に基づいてモデル毎予測値を重み付け加算して予測値を算出することができる。
【００１９】
また、請求項５に係る発明は、上記発明において、前記予測値算出手段は、前記誤差予測モデルを用いて予測された複数の誤差予測値のうち絶対値が最小であるモデル毎予測値の重みを１とし、他のモデル毎予測値の重みを０として予測値を算出することを特徴とする。
【００２０】
この発明によれば、誤差予測モデルを用いて予測した複数の誤差予測値のうち絶対値が最小であるモデル毎予測値の重みを１とし、他のモデル毎予測値の重みを０として予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に最適な予測モデルを選択して予測値を算出することができる。
【００２１】
また、請求項６に係る発明は、上記発明において、前記残差予測モデル作成手段は、前記予測モデルのそれぞれに対して誤差を予測する誤差予測モデルを残差予測モデルとして作成し、前記予測値算出手段は、前記誤差予測モデルを用いて予測されたそれぞれの誤差予測値の絶対値に基づいて前記複数のモデル毎予測値に重み付け加算を行った結果に、該絶対値に基づいて誤差予測値に重み付け加算を行った結果を加算して予測値を算出すことを特徴とする。
【００２２】
この発明によれば、予測モデルのそれぞれに対して誤差を予測する誤差予測モデルを残差予測モデルとして作成し、誤差予測モデルを用いて予測したそれぞれの誤差予測値の絶対値に基づいて複数のモデル毎予測値に重み付け加算を行った結果に、誤差予測値の絶対値に基づいて誤差予測値に重み付け加算を行った結果を加算して予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に基づいてモデル毎予測値および誤差予測値を重み付け加算して予測値を算出することができる。
【００２３】
また、請求項７に係る発明は、上記発明において、前記予測値算出手段は、前記誤差予測モデルを用いて予測された複数の誤差予測値のうち絶対値が最小であるモデル毎予測値および誤差予測値の重みを１とし、他のモデル毎予測値および誤差予測値の重みを０として予測値を算出することを特徴とする。
【００２４】
この発明によれば、誤差予測モデルを用いて予測した複数の誤差予測値のうち絶対値が最小であるモデル毎予測値および誤差予測値の重みを１とし、他のモデル毎予測値および誤差予測値の重みを０として予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に最適な予測モデルを選択して予測値を算出することができる。
【００２５】
また、請求項８に係る発明は、上記発明において、前記モデル作成手段は、ＣＡＲＴ、ＭＡＲＳ，ＴｒｅｅＮｅｔおよびニューラルネットを用いて複数の予測モデルを作成することを特徴とする。
【００２６】
この発明によれば、ＣＡＲＴ、ＭＡＲＳ，ＴｒｅｅＮｅｔおよびニューラルネットを用いて複数の予測モデルを作成することとしたので、予測精度の高い予測モデルを合成して予測値を算出することができる。
【００２７】
また、請求項９に係る発明は、上記発明において、前記残差予測モデル作成手段は、ＣＡＲＴ、ＭＡＲＳ，ＴｒｅｅＮｅｔまたはニューラルネットのいずれかを用いて残差予測モデルを作成することを特徴とする。
【００２８】
この発明によれば、ＣＡＲＴ、ＭＡＲＳ，ＴｒｅｅＮｅｔまたはニューラルネットのいずれかを用いて残差予測モデルを作成することとしたので、精度の高い残差予測を行うことができる。
【００２９】
また、請求項１０に係る発明は、上記発明において、前記モデル作成手段が作成する複数の予測モデルおよび前記残差予測モデル作成手段が作成する残差予測モデルのモデル作成アルゴリズムを入力するモデル作成アルゴリズム入力手段をさらに備えたことを特徴とする。
【００３０】
この発明によれば、作成する複数の予測モデルおよび残差予測モデルのモデル作成アルゴリズムを入力することとしたので、合成する予測モデルの個数ならびに各予測モデルおよび残差予測モデルに使用するアルゴリズムを容易に変更することができる。
【００３１】
また、請求項１１に係る発明は、上記発明において、前記予測値算出手段がモデル毎予測値から予測値を合成する合成アルゴリズムを入力するモデル合成アルゴリズム入力手段をさらに備えたことを特徴とする。
【００３２】
この発明によれば、モデル毎予測値から予測値を合成する合成アルゴリズムを入力することとしたので、合成アルゴリズムを容易に変更することができる。
【００３３】
また、請求項１２に係る発明は、学習データを用いて予測モデルを作成し、該作成した予測モデルを用いて予測値を算出する予測方法であって、学習データを用いて複数の予測モデルを作成するモデル作成工程と、前記モデル作成工程により作成された複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成する残差予測モデル作成工程と、前記複数の予測モデルのそれぞれを用いて予測された複数のモデル毎予測値に対して前記残差予測モデルを用いて予測されたそれぞれの残差予測値に基づいて該複数のモデル毎予測値を合成して予測値を算出する予測値算出工程とを含んだことを特徴とする。
【００３４】
この発明によれば、学習データを用いて複数の予測モデルを作成し、作成した複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成し、予測モデルのそれぞれを用いて予測した複数のモデル毎予測値に対して残差予測モデルを用いて予測したそれぞれの残差予測値に基づいて複数のモデル毎予測値を合成して予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に基づいて予測モデルを合成して予測値を算出することができる。
【００３５】
また、請求項１３に係る発明は、学習データを用いて予測モデルを作成し、該作成した予測モデルを用いて予測値を算出する予測プログラムであって、学習データを用いて複数の予測モデルを作成するモデル作成手順と、前記モデル作成手順により作成された複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成する残差予測モデル作成手順と、前記複数の予測モデルのそれぞれを用いて予測された複数のモデル毎予測値に対して前記残差予測モデルを用いて予測されたそれぞれの残差予測値に基づいて該複数のモデル毎予測値を合成して予測値を算出する予測値算出手順とをコンピュータに実行させることを特徴とする。
【００３６】
この発明によれば、学習データを用いて複数の予測モデルを作成し、作成した複数の予測モデルのそれぞれに対して残差を予測する残差予測モデルを作成し、予測モデルのそれぞれを用いて予測した複数のモデル毎予測値に対して残差予測モデルを用いて予測したそれぞれの残差予測値に基づいて複数のモデル毎予測値を合成して予測値を算出することとしたので、予測を行うデータ空間の局所的な性質に基づいて予測モデルを合成して予測値を算出することができる。
【発明の効果】
【００３７】
請求項１、１２および１３の発明によれば、予測を行うデータ空間の局所的な性質に基づいて予測モデルを合成して予測値を算出するので、予測を行うデータ空間の性質が場所によって異なる場合にも精度の高い予測値を算出することができるという効果を奏する。
【００３８】
また、請求項２および４の発明によれば、予測を行うデータ空間の局所的な性質に基づいてモデル毎予測値を重み付け加算して予測値を算出するので、予測を行うデータ空間の性質が場所によって異なる場合にも精度の高い予測値を算出することができるという効果を奏する。
【００３９】
また、請求項３、５および７の発明によれば、予測を行うデータ空間の局所的な性質に最適な予測モデルを選択して予測値を算出するので、予測を行うデータ空間の性質が場所によって異なる場合にも精度の高い予測値を算出することができるという効果を奏する。
【００４０】
また、請求項６の発明によれば、予測を行うデータ空間の局所的な性質に基づいてモデル毎予測値および誤差予測値を重み付け加算して予測値を算出するので、予測を行うデータ空間の性質が場所によって異なる場合にも精度の高い予測値を算出することができるという効果を奏する。
【００４１】
また、請求項８の発明によれば、予測精度の高い予測モデルを合成して予測値を算出するので、精度の高い予測値を算出することができるという効果を奏する。
【００４２】
また、請求項９の発明によれば、精度の高い残差予測を行うので、予測を行うデータ空間の局所的な性質を高い精度で予測モデルの合成に反映することができるという効果を奏する。
【００４３】
また、請求項１０の発明によれば、合成する予測モデルの個数ならびに各予測モデルおよび残差予測モデルに使用するアルゴリズムを容易に変更することができるので、拡張性および保守性が高い予測装置とすることができるという効果を奏する。
【００４４】
また、請求項１１の発明によれば、合成アルゴリズムを容易に変更することができるので、拡張性および保守性が高い予測装置とすることができるという効果を奏する。
【発明を実施するための最良の形態】
【００４５】
以下に添付図面を参照して、この発明に係る予測装置、予測方法および予測プログラムの好適な実施例を詳細に説明する。
【実施例】
【００４６】
まず、本実施例に係る予測装置の予測アルゴリズムについて説明する。図１は、本実施例に係る予測装置の予測アルゴリズムを説明するための説明図である。同図に示すように、この予測アルゴリズムでは、予測装置は、データを入力し（ステップＳ１）、入力したデータをトレーニングデータ（学習データ）と検証データに分割する（ステップＳ２）。
【００４７】
そして、トレーニングデータを使ってＱ個の予測モデルＭ1、Ｍ2、・・・、ＭQを作成し（ステップＳ３）、Ｍ1、Ｍ2、・・・、ＭQのそれぞれを用いて予測した予測値の誤差の絶対値を予測するモデルＰ1、Ｐ2、・・・、ＰQを検証データを用いて作成する（ステップＳ４〜ステップＳ５）。
【００４８】
すなわち、検証データ（｛ｘi，ｙi｝，１≦ｉ≦ｎ、ｘiが予測変数のデータでベクトル、ｙiが目的変数のデータでスカラー）をＭ1、Ｍ2、・・・、ＭQに適用して予測値の誤差の絶対値ｄqi＝｜ｙi−Ｍq（ｘi）｜（１≦ｑ≦Ｑ）を求め、（｛ｘi，ｄqi｝，１≦ｉ≦ｎ，１≦ｑ≦Ｑ）を用いてＰ1、Ｐ2、・・・、ＰQを作成する。
【００４９】
そして、予測値を求めるべき点の値ｘを入力し（ステップＳ６）、ｘにおけるモデル毎予測値Ｍ1（ｘ）、Ｍ2（ｘ）、・・・、ＭQ（ｘ）と、誤差の絶対値の予測値Ｐ1（ｘ）、Ｐ2（ｘ）、・・・、ＰQ（ｘ）とを求める（ステップＳ７）。
【００５０】
そして、最終的な予測値としてＭ（ｘ）＝Σqｗq（ｘ）Ｍq（ｘ）を算出する（ステップＳ８）。ここで、ｗq（ｘ）はΣqｗq（ｘ）＝１、ｗq（ｘ）≧０を満たす重みであり、Ｐq（ｘ）の値が小さいときにｗq（ｘ）の値を大きくする。例えば、Ｐq（ｘ）の値が最小であるときにｗq（ｘ）＝１とし、他の重みを「０」とするとこれらの条件を満たすことができる。
【００５１】
このように、本実施例に係る予測装置は、複数の予測モデルＭ1、Ｍ2、・・・、ＭQを用いて複数のモデル毎予測値Ｍ1（ｘ）、Ｍ2（ｘ）、・・・、ＭQ（ｘ）を求めるとともに、それぞれの予測値の誤差の絶対値の予測値Ｐ1（ｘ）、Ｐ2（ｘ）、・・・、ＰQ（ｘ）を求め、Ｐq（ｘ）が小さなモデル毎予測値Ｍq（ｘ）の重みを大きくしてモデル毎予測値Ｍ1（ｘ）、Ｍ2（ｘ）、・・・、ＭQ（ｘ）を重み付け加算して予測値Ｍ（ｘ）とすることによって、それぞれの入力点（ｘ）に適するように複数の予測モデルを合成した合成モデルを用いた予測を行うことができる。
【００５２】
例えば、誤差の絶対値の予測値Ｐq（ｘ）が小さな予測値Ｍq（ｘ）の重みを「１」とし、他の重みを「０」とすることによって、入力点（ｘ）で誤差の絶対値が最小になると予測される予測モデルＭqを選択して予測を行うことができる。
【００５３】
また、ここでは、Ｍ1、Ｍ2、・・・、ＭQのそれぞれを用いて予測した予測値の誤差の絶対値を予測するモデルＰ1、Ｐ2、・・・、ＰQを作成したが、予測値の残差を予測する残差予測モデルとしては、予測誤差、すなわちｙi−Ｍq（ｘi）を予測するモデルを作成することもできる。
【００５４】
この場合には、例えば、残差予測モデルを用いて予測した予測誤差の絶対値が小さいときに重みの値を大きくするなどによって、最終的な予測値を求めることができる。あるいは、最終的な予測値をＭ（ｘ）＝Σqｗq（ｘ）Ｍq（ｘ）＋Σqｗq（ｘ）Ｒq（ｘ）として算出することができる。ここで、Ｒq（ｘ）（１≦ｑ≦Ｑ）は、予測誤差の予測値である。
【００５５】
次に、本実施例に係る予測装置の構成について説明する。図２は、本実施例に係る予測装置の構成を示す機能ブロック図である。同図に示すように、この予測装置１００は、データ入力部１１０と、データ記憶部１２０と、予測モデル作成部１３０と、予測モデル記憶部１４０と、残差予測モデル作成部１５０と、残差予測モデル記憶部１６０と、モデル合成部１７０と、モデル作成アルゴリズム編集部１８０と、モデル作成アルゴリズム記憶部１８５と、モデル合成アルゴリズム入力部１９０と、モデル合成アルゴリズム記憶部１９５とを有する。
【００５６】
データ入力部１１０は、予測モデルを作成するためのデータを入力する処理部であり、入力したデータをデータ記憶部１２０に格納する。データ記憶部１２０は、データ入力部１１０が入力したデータを記憶する記憶部であり、このデータ記憶部１２０に記憶されたデータは、予測モデルの作成、残差モデルの作成に用いられる。
【００５７】
予測モデル作成部１３０は、データ記憶部１２０に記憶されたデータを用いて複数の予測モデルを作成し、作成した予測モデルを予測モデル記憶部１４０に格納する処理部である。なお、データ記憶部１２０に記憶されたデータのうちどのデータを学習用データとして用いるかは、利用者が指定することができる。
【００５８】
予測モデル記憶部１４０は、予測モデル作成部１３０が作成した予測モデルを記憶する記憶部である。この予測モデル記憶部１４０に記憶された予測モデルは、予測を行う際に使用される。
【００５９】
残差予測モデル作成部１５０は、予測モデル作成部１３０により作成された予測モデルのそれぞれに対して、予測値の残差を予測する残差予測モデルを作成する処理部であり、作成した残差予測モデルを残差予測モデル記憶部１６０に格納する。
【００６０】
具体的には、この残差予測モデル作成部１５０は、データ記憶部１２０に記憶されたデータのうち予測モデルの作成に使用されたデータとは異なるデータを用いて、各予測モデルによるモデル毎予測値と実測値の差の絶対値を予測する残差予測モデルを作成する。
【００６１】
残差予測モデル記憶部１６０は、残差予測モデル作成部１５０が作成した残差予測モデルを記憶する記憶部である。この残差予測モデル記憶部１６０に記憶された残差予測モデルを用いて、各予測モデルを用いて予測したモデル毎予測値の誤差の絶対値を予測することができる。
【００６２】
モデル合成部１７０は、予測モデル作成部１３０によって作成された複数の予測モデルと、残差予測モデル作成部１５０によって作成された残差予測モデルとを用いて予測値を算出する処理部である。
【００６３】
具体的には、このモデル合成部１７０は、予測モデル記憶部１４０に記憶された複数の予測モデルを用いて、予測用データ（予測値を求めるべき点の値ｘ）からモデル毎予測値を算出する。また、残差予測モデル記憶部１６０に記憶された残差予測モデルを用いて、予測用データから各予測モデルによる予測値の誤差の絶対値の予測値を算出する。
【００６４】
そして、誤差の絶対値の予測値が小さい予測モデルによるモデル毎予測値の重みを大きくし、全ての重みの和が「１」となるようにモデル毎予測値を重み付け加算して最終的な予測値とする。
【００６５】
例えば、誤差の絶対値の予測値が最小な予測モデルによるモデル毎予測値の重みを「１」とし、他の予測モデルによるモデル毎予測値の重みを「０」として最終的な予測値とする。すなわち、誤差の絶対値の予測値が最小である予測モデルによる予測値を最終的な予測値とする。
【００６６】
このモデル合成部１７０が、複数のモデル毎予測値を誤差の絶対値の予測値に基づいて合成して最終的な予測値とすることによって、予測用データに適した予測モデルを合成して精度の高い予測を行うことができる。なお、複数のモデル毎予測値を誤差の絶対値の予測値に基づいて合成するアルゴリズムについては、モデル合成アルゴリズム入力部１９０を用いて変更することができる。
【００６７】
モデル作成アルゴリズム編集部１８０は、予測モデル作成部１３０および残差予測モデル作成部１５０が作成する予測モデルのアルゴリズムの入力、削除、修正などの編集を行う処理部である。すなわち、このモデル作成アルゴリズム編集部１８０を用いてアルゴリズムを編集することによって、予測モデル作成部１３０および残差予測モデル作成部１５０が作成する予測モデルの数や種類を変更することができる。
【００６８】
モデル作成アルゴリズム記憶部１８５は、モデル作成アルゴリズム編集部１８０が編集するモデル作成アルゴリズムを記憶した記憶部である。予測モデル作成部１３０および残差予測モデル作成部１５０は、このモデル作成アルゴリズム記憶部１９０からモデル作成アルゴリズムを読み出して予測モデルを作成する。
【００６９】
モデル合成アルゴリズム入力部１９０は、モデル合成部１７０が複数のモデル毎予測値から最終的な予測値を合成する合成アルゴリズムを入力する処理部である。すなわち、このモデル合成アルゴリズム入力部１９０を用いて合成アルゴリズムを入力することによって、モデル合成部１７０による予測値の算出法を変更することができる。
【００７０】
モデル合成アルゴリズム記憶部１９５は、モデル合成アルゴリズム入力部１９０が入力するモデル合成アルゴリズムを記憶した記憶部である。モデル合成部１７０は、このモデル合成アルゴリズム記憶部１９５からモデル合成アルゴリズムを読み出してモデル毎予測値から最終的な予測値を算出する。
【００７１】
次に、本実施例に係る予測装置１００の処理手順について説明する。図３は、本実施例に係る予測装置１００の処理手順を示すフローチャートである。同図に示すように、この予測装置１００は、データ入力部１１０がデータを入力し（ステップＳ３０１）、データ記憶部１２０に格納する。
【００７２】
そして、データ記憶部１２０に格納されたデータのうち利用者によってトレーニングデータとして指定されたデータを用いて予測モデル作成部１３０が複数の予測モデルを作成し、予測モデル記憶部１４０に格納する（ステップＳ３０２）。この時、予測モデル作成部１３０はモデル作成アルゴリズム記憶部１９０に記憶されたモデル作成アルゴリズムを用いて予測モデルを作成する。
【００７３】
そして、データ記憶部１２０に格納されたデータのうち利用者によって検証データとして指定されたデータを用いて残差予測モデル作成部１５０がそれぞれの予測モデルの予測誤差の絶対値を推定する（ステップＳ３０３）。そして、推定した予測誤差の絶対値と検証データを用いてそれぞれの予測モデルに対する残差予測モデルを作成し、残差予測モデル記憶部１６０に格納する（ステップＳ３０４）。
【００７４】
その後、予測値を求めるための予測用データが与えられると、モデル合成部１７０が複数の予測モデルを用いて複数のモデル毎予測値を算出するとともに、各予測モデルに対応する残差予測モデルを用いて予測誤差の絶対値の予測値を算出する（ステップＳ３０５）。そして、モデル合成入力部１９０により入力された合成アルゴリズムを用いて予測誤差の絶対値の予測値に基づいてモデル毎予測値を合成して予測値を算出し、算出した予測値を出力する（ステップＳ３０６）。
【００７５】
このように、モデル合成部１７０が予測用データに対して予測誤差の絶対値の予測値に基づいてモデル毎予測値を合成して最終的な予測値を算出することによって、複数のモデルを予測用データに適した形で合成して予測を行うことができる。
【００７６】
次に、予測装置１００をボストンの住宅地の住宅の価格の予測に適用した場合の評価結果について説明する。ここで、予測モデル作成部１３０は、ＣＡＲＴ、ＭＡＲＳ、ＴｒｅｅＮｅｔおよびニューラルネットワークを用いて四つの予測モデルを作成し、モデル合成部１７０は、予測誤差の絶対値の予測値が最小なモデル毎予測値を最終的な予測値とすることとする。また、モデルを作成するためのデータとしては、Harrison and Rubinfeldによる１９７８年のボストンの住宅価格に関するデータを用いた。
【００７７】
図４は、ボストンの住宅地の住宅価格の予測に用いたデータ項目を示す図である。同図に示すように、ここでは、国勢調査地区単位の住宅価格のメジアンを目的変数とし、犯罪率、駐車場に割り当てられた土地面積、非小売業の割合、Charles川沿いか否か、部屋数、１９４０年前の建物の割合、職業紹介センターまでの距離、環状高速道路への利便性、税率、生徒／教師比率、黒人の割合、低所得者の割合および窒素酸化物濃度（大気汚染指標）を予測変数（説明変数）としている。
【００７８】
図５は、ボストンの住宅地の住宅価格の予測および予測結果の評価に用いたデータの数を示す図である。同図に示すように、トレーニングデータとしては２５６個のデータを用い、検証データとしては１２５個のデータを用い、テストデータとしては１２５個のデータを用いた。
【００７９】
図６は、本実施例に係る予測装置１００をボストンの住宅地の住宅の価格の予測に適用した場合の評価結果を示す図である。同図において、アルゴリズムＡの部分が予測装置１００による予測結果を示す。
【００８０】
また、アルゴリズムＢは、残差予測モデルが予測誤差を予測し、予測用データが与えられた場合に予測誤差の予測値の絶対値が最小の予測モデルによるモデル毎予測値を最終的な予測値とする場合を示し、アルゴリズムＣは、残差予測モデルが予測誤差を予測し、予測用データが与えられた場合に予測誤差の予測値の絶対値が最小の予測モデルによるモデル毎予測値にその予測モデルの予測誤差の予測値を加算して最終的な予測値とする場合を示す。
【００８１】
同図において、各数値は、予測モデル、残差予測モデルおよび予測値の合成法の組み合わせに対応した予測誤差分散を示す。例えば、ＣＡＲＴを単独で用いた場合のテストデータに対する予測誤差分散は「１６．３４」であり、予測装置１００が残差予測モデルとして予測誤差の絶対値をＣＡＲＴを用いて予測する場合（アルゴリズムＡのＣＡＲＴ）のテストデータに対する予測誤差分散は「９．２２」である。
【００８２】
同図に示すように、この評価結果からは、アルゴリズムＡを用いた場合に、残差予測モデルの作成にＣＡＲＴ、ＭＡＲＳ、ＴｒｅｅＮｅｔのいずれを用いても単独モデルと比較して予測値の精度が高いことが分かる。
【００８３】
すなわち、アルゴリズムＡを用いた場合の予測誤差分散は「７．９９〜９．２２」であり、単独モデルを用いた場合の予測誤差分散「１０．５４〜１６．３４」と比較していずれも小さくなっている。
【００８４】
次に、予測装置１００を大田市場の大根の価格の予測に適用した場合の評価結果について説明する。ここで、予測モデル作成部１３０は、ＣＡＲＴ、ＭＡＲＳ、ＴｒｅｅＮｅｔおよびニューラルネットワークを用いて四つの予測モデルを作成し、モデル合成部１７０は、予測誤差の絶対値の予測値が最小なモデル毎予測値を最終的な予測値とすることとする。また、予測モデルの作成および評価には、１９９４年から２００１年までの８年分の大田市場における大根の価格に関するデータを用いた。
【００８５】
図７は、大田市場の大根の価格の予測に用いたデータ項目を示す図である。同図に示すように、ここでは、予測する大根の価格を目的変数とし、月（１月〜１２月）、週（１週〜５２週）、旬（上、中、下）、曜日（日曜日〜月曜日）、入荷量（前日の入荷量）およびＰkを予測変数（説明変数）としている。ここで、Ｐkは、（前日の価格）／（ｋ日前から前日までの価格の平均）（ｋ＝２、３、７、１０）であり、予測変数の数は９個となる。
【００８６】
図８は、８年分の大田市場における大根の価格に関するデータから評価用に作成したデータセットを示す図である。１９９４年から２００１年までの期間は、バブル経済の崩壊直後から今日までに至る大きな経済変動があるので、市況がその影響を受けている。このため、モデル内に取り込むデータ期間（以下「バンド幅」という。）の影響が考えられることから、バンド幅が４年、６年または８年である３種類のデータセットを作成した。
【００８７】
すなわち、図８に示すように、データセットは、トレーニングデータとして１９９８年〜１９９９年の２年分のデータを使用し、検証データとして２０００年の１年分のデータを使用するデータセットと、トレーニングデータとして１９９６年〜１９９８年の３年分のデータを使用し、検証データとして１９９９年〜２０００年の２年分のデータを使用するデータセットと、トレーニングデータとして１９９４年〜１９９７年の４年分のデータを使用し、検証データとして１９９８年〜２０００年の３年分のデータを使用するデータセットの３種類である。また、２００１年のデータを予測装置１００の予測結果を評価するためのテストデータとして用いた。
【００８８】
図９は、本実施例に係る予測装置１００の予測結果を示す図である。同図は、テストデータを用いた予測装置１００による予測値を縦軸に示し、実測値を横軸に示している。なお、使用したデータセットはバンド幅が４年のデータセットである。また、比較対象として、ＣＡＲＴ、ＭＡＲＳ、ＴｒｅｅＮｅｔ（ＴＮ）、ニューラルネットワーク（ＮＮ）の単独モデルのうち、予測精度が最も高いＴＮ単独による予測結果も示している。
【００８９】
予測装置１００とＴＮ単独のそれぞれについて回帰係数の検定の結果、両者とも傾きは「１」といえる。しかし、切片に関しては、予測装置１００については原点を通るといえるが、ＴＮ単独については原点を通るとはいえない。
【００９０】
すなわち、ＴＮ単独モデルの場合には、偏りがあることが分かる。これは、時系列データとしてみると、非定常であることによるものである。これに対して、予測装置１００は、偏りがほぼ解消されているといえる。
【００９１】
図１０は、本実施例に係る予測装置１００による予測と単独モデルによる予測とのバンド幅による精度比較を示す図である。同図において、モデル合成の部分が本実施例に係る予測装置１００に対応し、各数値は、行に示すモデルおよび列に示すバンド幅のデータセットを用いて予測した場合の予測誤差分散を示す。
【００９２】
同図に示すように、本実施例に係る予測装置１００は、全てのバンド幅で単独モデルよりも精度が良く、かつバンド幅の影響を受け、バンド幅４年の精度がいずれにおいても高いことが分かる。
【００９３】
次に、本実施例に係る予測装置１００の頑健性解析結果について説明する。図１１は、本実施例に係る予測装置１００の頑健性解析結果を示す図である。同図は、６つのデータセットＤ1〜Ｄ6に対して本実施例に係る予測装置１００による予測の予測誤差分散および単独モデルによる予測の予測誤差分散を示している。同図において、モデル合成の部分が予測装置１００に対応し、予測装置１００による予測は、単独モデルによる予測に対して常に良い精度を得ている。
【００９４】
図１２は、乱塊法による分散分析表を示す図である。同図は、四つのモデル合成を一つの因子と見なし、図１０および図１１に示した合計９つのデータセットをブロックとする乱塊法による分散分析結果を示す図である。なお、ここでは、解析対象が誤差分散であるので、要因効果に加法性を持たせるためにＳＮ比に変換して解析した。
【００９５】
同図に示すように、Ｆ0とＦ境界値を比較すると、採用手法に関しては、Ｆ0がＦ境界値よりも小さいので、採用手法のそれぞれの間の違いは大きくないと言うことができる。一方、データセットに関しては、Ｆ0がＦ境界値よりも大きいので、データセット相互の間の違いが大きいと言える。
【００９６】
図１３は、ブロックを変更した場合の、乱塊法による分散分析表を示す図である。同図は、（Ｄ1，Ｄ2）、（Ｄ4，Ｄ5）が同一のデータセットのサンプリングを繰り返しただけであるので、このペアをブロック内の繰り返しとみなして解析した結果を示している。同図に示すように、サンプリングによって精度に違いがあるとは言えず、妥当なサンプリングが行われていたといえる。
【００９７】
上述してきたように、本実施例では、予測モデル作成部１３０が複数の予測モデルを作成し、残差予測モデル作成部１５０が複数の予測モデルのそれぞれに対して予測誤差の絶対値を予測する残差予測モデルを作成し、モデル合成部１７０が予測用データに対して複数の予測モデルを用いて複数のモデル毎予測値を求めるとともに、残差予測モデルを用いて複数の予測モデルのそれぞれについて予測誤差の絶対値の予測値を求め、予測誤差の絶対値の予測値が小さい予測モデルによるモデル毎予測値に対する重みを大きくしてモデル毎予測値を合成して最終的な予測値とすることとしたので、予測用データに適した予測モデルを合成し、もって予測値の精度を向上することができる。
【００９８】
また、本実施例では、予測モデルとしてＣＡＲＴ、ＭＡＲＳ，ＴｒｅｅＮｅｔおよびニューラルネットワークの４つのモデルを用いる場合について説明したが、本発明はこれに限定されるものではなく、他の予測モデルを用いる場合にも同様に適用することができる。
【００９９】
また、本実施例では、残差予測モデルが予測誤差または予測誤差の絶対値を予測する場合について説明したが、本発明はこれに限定されるものではなく、残差予測モデルが他の残差を予測する場合にも同様に適用することができる。
【０１００】
例えば、残差予測モデルが誤差を２乗したものを予測することもできる。また、残差予測モデルを作成する場合に、一定値以上残差が大きなデータは除外することもできる。さらに、推定値が持つ残差以外の特性、例えば、その推定値の信頼性の高さのようなものを残差予測モデルが予測し、その結果を利用して幾つかの予測モデルが与える推定値の中から一つを選ぶこともできる。
【０１０１】
また、本実施例では、誤差の絶対値の予測値が小さい予測モデルによるモデル毎予測値の重みを大きくし、全ての重みの和が「１」となるようにモデル毎予測値を重み付け加算して最終的な予測値とする場合について説明したが、本発明はこれに限定されるものではなく、モデル毎予測値から最終的な予測値を他のアルゴリズムを用いて合成する場合にも同様に適用することができる。
【産業上の利用可能性】
【０１０２】
以上のように、本発明にかかる予測装置、予測方法および予測プログラムは、学習データを用いて予測モデルを作成し、作成した予測モデルを用いて予測値を算出する場合に有用であり、特に、予測を行うデータ空間の性質が場所によって異なる場合に適している。
【図面の簡単な説明】
【０１０３】
【図１】本実施例に係る予測装置の予測アルゴリズムを説明するための説明図である。
【図２】本実施例に係る予測装置の構成を示す機能ブロック図である。
【図３】本実施例に係る予測装置の処理手順を示すフローチャートである。
【図４】ボストンの住宅地の住宅価格の予測に用いたデータ項目を示す図である。
【図５】ボストンの住宅地の住宅価格の予測および予測結果の評価に用いたデータの数を示す図である。
【図６】本実施例に係る予測装置をボストンの住宅地の住宅価格の予測に適用した場合の評価結果を示す図である。
【図７】大田市場の大根の価格の予測に用いたデータ項目を示す図である。
【図８】８年分の大田市場における大根の価格に関するデータから評価用に作成したデータセットを示す図である。
【図９】本実施例に係る予測装置の予測結果を示す図である。
【図１０】本実施例に係る予測装置による予測と単独モデルによる予測とのバンド幅による精度比較を示す図である。
【図１１】本実施例に係る予測装置の頑健性解析結果を示す図である。
【図１２】乱塊法による分散分析表を示す図である。
【図１３】ブロックを変更した場合の、乱塊法による分散分析表を示す図である。
【図１４−１】単一の予測モデルを用いた予測手法を説明するための説明図である。
【図１４−２】複数の予測モデルを組み合わせた予測手法を説明するための説明図である。
【符号の説明】
【０１０４】
１００    予測装置
１１０    データ入力部
１２０    データ記憶部
１３０    予測モデル作成部
１４０    予測モデル記憶部
１５０    残差予測モデル作成部
１６０    残差予測モデル記憶部
１７０    モデル合成部
１８０    モデル作成アルゴリズム編集部
１８５    モデル作成アルゴリズム記憶部
１９０    モデル合成アルゴリズム入力部
１９５    モデル合成アルゴリズム記憶部
【図１】
2005135287.tif 000003
【図２】
2005135287.tif 000004
【図３】
2005135287.tif 000005
【図４】
2005135287.tif 000006
【図５】
2005135287.tif 000007
【図６】
2005135287.tif 000008
【図７】
2005135287.tif 000009
【図８】
2005135287.tif 000010
【図９】
2005135287.tif 000011
【図１０】
2005135287.tif 000012
【図１１】
2005135287.tif 000013
【図１２】
2005135287.tif 000014
【図１３】
2005135287.tif 000015
【図１４−１】
2005135287.tif 000016
【図１４−２】
2005135287.tif 000017