(57)【特許請求の範囲】
【請求項１】
実績データ格納手段に格納された、説明変数及び目的変数の実績値の組合せからなる実績データを利用して、予測対象の説明変数に対する目的変数の予測値を算出する予測装置であって、
前記実績データ格納手段に格納された実績データに基づいて、予測対象の説明変数に対する目的変数の初期予測値を算出する初期予測値算出手段と、
予測対象の説明変数と初期予測値とを合わせたベクトルと、前記実績データ格納手段に格納された実績データの説明変数と実績データの目的変数とを合わせたベクトルとの距離を算出し、距離が小さい順に複数の実績データを近傍データとして選択する近傍データ選択手段と、
前記近傍データ選択手段で選択した複数の近傍データを用いて局所予測モデルを作成する局所予測モデル作成手段と、
前記局所予測モデル作成手段で作成した局所予測モデルに予測対象の説明変数を入力して、予測対象の説明変数に対する目的変数の予測値を算出する予測値算出手段とを備えたことを特徴とする予測装置。
【請求項２】
前記初期予測値算出手段は、予測対象の説明変数と実績データの説明変数との距離を算出し、距離が小さい順に、前記実績データ格納手段から複数の実績データを近傍データとして選択した後、選択した複数の近傍データを用いて局所予測モデルを作成し、局所予測モデルに予測対象の説明変数を入力して、初期予測値を算出することを特徴とする請求項１に記載の予測装置。
【請求項３】
前記近傍データ選択手段は、予測対象の説明変数ｘqと初期予測値ｙq1’とを合わせたベクトル［ｘqT ｙq1’］Tと、実績データの説明変数ｘnと実績データの目的変数ｙnとを合わせたベクトル［ｘnT ｙn］Tとを利用して、ベクトルを線形写像する行列である距離重み行列Ｐを用いて、式（ａ）により距離ｄ（ｘq，ｘn，ｙq1’，ｙn）を算出し、
【数１】
0006569497.tif 000006
距離ｄ（ｘq，ｘn，ｙq1’，ｙn）が小さい順に複数の実績データを近傍データとして選択することを特徴とする請求項１又は２に記載の予測装置。
【請求項４】
距離重み行列Ｐは、式（ｂ）のように、
ＰTＰ＝cov（［Ｘ Ｙ］）-1・・・（ｂ）
実績データの個数Ｓとして、実績データの説明変数行列Ｘ（＝［ｘ1 ｘ2・・・ｘS］Tと実績データの目的変数ベクトルＹ＝［ｙ1 ｙ2・・・ｙS］Tとを合わせた行列［Ｘ Ｙ］の共分散行列の逆行列で与えられることを特徴とする請求項３に記載の予測装置。
【請求項５】
距離重み行列Ｐは、所定の値を対角要素とする対角行列で与えられることを特徴とする請求項３に記載の予測装置。
【請求項６】
距離重み行列Ｐの対角要素は、説明変数の標準偏差の逆数と、目的変数の標準偏差の逆数とで与えられることを特徴とする請求項５に記載の予測装置。
【請求項７】
距離重み行列Ｐの対角要素は、説明変数の目的変数に対する偏回帰係数と、目的変数自身の目的変数に対する偏回帰係数とで与えられることを特徴とする請求項５に記載の予測装置。
【請求項８】
前記初期予測値算出手段で算出した初期予測値と、前記予測値算出手段で算出した予測値との差が所定の値を下回れば、前記予測値算出手段で算出した予測値を採用し、前記所定の値以上であれば、前記初期予測値算出手段で算出した初期予測値と、前記予測値算出手段で算出した予測値とを按分した値を算出し、
該按分で得た値を新たな初期予測値として、前記近傍データ選択手段の処理、前記局所予測モデル作成手段の処理、及び前記予測値算出手段の処理を行い、該新たな初期予測値と、前記予測値算出手段で今回算出した予測値との差が前記所定の値を下回れば、前記予測値算出手段で今回算出した予測値を採用し、前記所定の値以上であれば、該新たな初期予測値と、前記予測値算出手段で今回算出した予測値とを按分した値を算出し、
これを、前記所定の値を下回るまで、又は所定の繰り返し回数に達するまで繰り返すことを特徴とする請求項１乃至７のいずれか１項に記載の予測装置。
【請求項９】
前記局所予測モデル作成手段は、前記近傍データ選択手段で選択した複数の近傍データを用いて、局所予測モデルとして予め関数形が設定された線形モデルのパラメータを求めることを特徴とする請求項１乃至８のいずれか１項に記載の予測装置。
【請求項１０】
実績データ格納手段に格納された、説明変数及び目的変数の実績値の組合せからなる実績データを利用して、予測対象の説明変数に対する目的変数の予測値を算出する予測方法であって、
初期予測値算出手段が、前記実績データ格納手段に格納された実績データに基づいて、予測対象の説明変数に対する目的変数の初期予測値を算出するステップと、
近傍データ選択手段が、予測対象の説明変数と初期予測値とを合わせたベクトルと、前記実績データ格納手段に格納された実績データの説明変数と実績データの目的変数とを合わせたベクトルとの距離を算出し、距離が小さい順に複数の実績データを近傍データとして選択するステップと、
局所予測モデル作成手段が、前記近傍データ選択手段で選択した複数の近傍データを用いて局所予測モデルを作成するステップと、
予測値算出手段が、前記局所予測モデル作成手段で作成した局所予測モデルに予測対象の説明変数を入力して、予測対象の説明変数に対する目的変数の予測値を算出するステップとを有することを特徴とする予測方法。
【請求項１１】
実績データ格納手段に格納された、説明変数及び目的変数の実績値の組合せからなる績データを利用して、予測対象の説明変数に対する目的変数の予測値を算出するためのプログラムであって、
前記実績データ格納手段に格納された実績データに基づいて、予測対象の説明変数に対する目的変数の初期予測値を算出する初期予測値算出手段と、
予測対象の説明変数と初期予測値とを合わせたベクトルと、前記実績データ格納手段に格納された実績データの説明変数と実績データの目的変数とを合わせたベクトルとの距離を算出し、距離が小さい順に複数の実績データを近傍データとして選択する近傍データ選択手段と、
前記近傍データ選択手段で選択した複数の近傍データを用いて局所予測モデルを作成する局所予測モデル作成手段と、
前記局所予測モデル作成手段で作成した局所予測モデルに予測対象の説明変数を入力して、予測対象の説明変数に対する目的変数の予測値を算出する予測値算出手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実績データを利用して、予測対象の説明変数に対する目的変数の予測値を算出する予測装置、方法及びプログラムに関する。
【背景技術】
【０００２】
実績データを利用して、予測対象を予測する場合に、予測したい変数を目的変数、目的変数の予測値を算出する際の入力データを説明変数と呼び、それぞれ記号ｙ、ｘで表わすことが多い。
ある目的変数ｙを予測するときには、式（１）のように、目的変数と説明変数の空間全体をカバーする予測モデルを構築することが一般的である。ｙ’は目的変数ｙの予測値、ｘは説明変数、θは予測モデルを規定するパラメータである。
ｙ’＝ｆ（ｘ，θ）・・・（１）
予測モデルの入出力特性が徐々に変化する場合には、定期的に予測モデルを学習し直したり、新しい実績データが得られる度に逐次的にパラメータθを更新したりすることが行われる。
【０００３】
鉄鋼や化学プラントのように、入出力特性に非線形性があり、また、入出力特性の変化が激しい場合には、所謂データベース型予測手法が使われることがある。
データベース型予測手法では、データベースに格納された実績データ｛ｘn，ｙn｝（説明変数ｘ及び目的変数ｙの実績値の組合せ）の中から、今回の予測対象の説明変数ｘq（要求点と呼ぶ）と類似するＫ個の近傍データ｛ｘk，ｙk｝を選択する。そして、これら近傍データ｛ｘk，ｙk｝を用いて、要求点ｘqの近傍のみ有効な局所予測モデルｆq（ｘ，θ）のパラメータθを求めた上で、局所予測モデルｆq（ｘ，θ）に要求点ｘqを入力して、要求点ｘqに対する目的変数の予測値ｙq'を算出する。なお、添え字ｎは実績データの番号、添え字ｋは近傍データの番号を表わす。
【０００４】
この予測手法は、新たな要求点ｘqが得られる度に予測モデルを作り直すことから、Model on DemandやJust in Time Model等とも呼ばれる。空間全体の予測モデルｆ（ｘ，θ）を作成するのではなく、要求点ｘqの近傍のみ有効な局所予測モデルｆq（ｘ，θ）を作成することで、入出力特性に非線形性がある場合でも簡単な予測モデルで精度良く予測することが可能である。また、要求点ｘqに対する目的変数の実績値ｙqが得られたならば、その実績データ｛ｘq，ｙq｝をデータベースに追加することで（必要に応じて最も古いデータを削除する）、入出力特性の変化に追従させることができる。
【０００５】
ここで、高精度なデータベース型予測手法を実現するためには、（ａ）実績データの個数Ｓ、（ｂ）近傍データの個数Ｋ、（ｃ）近傍データの選択方法、（ｄ）局所予測モデルの関数形、等を適切に設定する必要がある。
（ｄ）の局所予測モデルの関数形としては、空間全体をカバーする必要がないため、予め関数形が設定された線形モデルが用いられ、近傍データを用いてパラメータθを求めることが一般的である。
また、（ａ）の実績データの個数Ｓ、（ｂ）の近傍データの個数Ｋは、予測モデルの精度を見ながら、試行錯誤で決定することが多い。
そして、最も調整が難しいのが、（ｃ）の近傍データの選択方法である。
【０００６】
近傍データの選択方法は、式（２）のように、要求点ｘqと実績データの説明変数ｘnとの距離関数ｄ（ｘq，ｘn）を定義し、その距離関数ｄ（ｘq，ｘn）で算出される距離が小さい順に実績データの中から選択するのが一般的である。ｘq（＝［ｘq1 ｘq2・・・ｘqM］T∈ＲM）は要求点ｘqを表わすベクトル、ｘn（＝［ｘn1 ｘn2・・・ｘnM］T∈ＲM）は実績データの説明変数ｘnを表わすベクトル、Ｌはベクトルを線形写像する行列であり、一般に実対称行列である（本明細書では距離重み行列と呼ぶ）。なお、Ｍは説明変数の個数、すなわちベクトルの次元数である。
【０００７】
【数１】
0006569497.tif 000002
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−１６４２６７号公報
【特許文献２】特開２００６−２３３３１２号公報
【特許文献３】特開２００４−３５５１８９号公報
【特許文献４】特開２００４−９９６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
近傍データの選択方法として、特許文献１では、ユークリッド距離を用いることが開示されている。この場合、距離重み行列Ｌは、式（３）のように単位行列となる。diag（）は、対角行列を算出する関数である。
Ｌ＝diag（１，１，・・・，１）・・・（３）
【００１０】
また、特許文献２では、説明変数を正規化してからユークリッド距離を算出する（正規化ユークリッド距離）ことが開示されている。この場合、距離重み行列Ｌは、式（４）のように、説明変数の標準偏差σmの逆数を対角要素とする対角行列となる。なお、添え字ｍは説明変数の番号（ベクトルの要素の番号）を表わす。
Ｌ＝diag（１／σ1，１／σ2，・・，１／σm，・・，１／σM）・・・（４）
【００１１】
また、特許文献３では、偏回帰係数ベクトルを距離計算に用いる影響係数とすることが開示されている。この場合、距離重み行列Ｌは、式（５）のように、説明変数の目的変数に対する偏回帰係数を対角要素とした対角行列となる。
Ｌ＝diag（ａ1，ａ2，・・，ａm，・・，ａM）・・・（５）
【００１２】
特許文献１〜３の距離重み行列Ｌは対角行列であるが、特許文献４では、マハラノビス距離を用いることが開示されている。この場合、距離重み行列Ｌは、式（６）のように、実績データの説明変数行列Ｘ（＝［ｘ1 ｘ2・・・ｘS］T∈ＲS×M）の共分散行列の逆行列の平方根となる（ＬTＬが説明変数行列Ｘの共分散行列の逆行列とする）。cov（）は、共分散行列を算出する関数である。
ＬTＬ＝cov（Ｘ）-1・・・（６）
【００１３】
しかしながら、従来の手法はいずれも、式（２）の距離関数ｄ（ｘq，ｘn）、すなわち要求点ｘqと実績データの説明変数ｘnとの距離を用いており、目的変数を直接利用していない。
特許文献１、２、４は、近傍データを選択する際に、目的変数を全く利用していない。通常、説明変数は目的変数に相関がある項目を選択するのが普通であるため、これらの手法は、目的変数と説明変数との相関の強さを全ての説明変数で平等に扱っていることに相当する。
一方、特許文献３は、距離重み行列Ｌの算出の際に、目的変数と説明変数との偏回帰係数を用いている。しかしながら、目的変数と説明変数の空間全体での偏回帰係数であるため、目的変数と説明変数との間に非線形関係が強い場合には、要求点によっては目的変数との相関が弱い説明変数に大きな重みを付けて近傍データを選択してしまうことが発生し、距離重み行列Ｌとして用いることは相応しくない。また、説明変数同士に相関があると、偏回帰係数は目的変数との相関の強さを正しく表わさないため、このような場合にも偏回帰係数を距離重み行列Ｌに用いるのは相応しくない。
【００１４】
以上のように、従来の近傍データの選択方法では、実績データの目的変数を全く利用せずに近傍データを選択しているか、距離重み行列Ｌの算出にしか利用しておらず（要求点によらず一定）、このようにして選択した近傍データでは、要求点に対する目的変数を高精度に予測することは難しい。
【００１５】
本発明は上記のような点に鑑みてなされたものであり、実績データを利用して目的変数の予測値を算出するに際して、適切な近傍データを選択できるようにすることを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するための本発明の要旨は、以下のとおりである。
［１］  実績データ格納手段に格納された、説明変数及び目的変数の実績値の組合せからなる実績データを利用して、予測対象の説明変数に対する目的変数の予測値を算出する予測装置であって、
前記実績データ格納手段に格納された実績データに基づいて、予測対象の説明変数に対する目的変数の初期予測値を算出する初期予測値算出手段と、
予測対象の説明変数と初期予測値とを合わせたベクトルと、前記実績データ格納手段に格納された実績データの説明変数と実績データの目的変数とを合わせたベクトルとの距離を算出し、距離が小さい順に複数の実績データを近傍データとして選択する近傍データ選択手段と、
前記近傍データ選択手段で選択した複数の近傍データを用いて局所予測モデルを作成する局所予測モデル作成手段と、
前記局所予測モデル作成手段で作成した局所予測モデルに予測対象の説明変数を入力して、予測対象の説明変数に対する目的変数の予測値を算出する予測値算出手段とを備えたことを特徴とする予測装置。
［２］  前記初期予測値算出手段は、予測対象の説明変数と実績データの説明変数との距離を算出し、距離が小さい順に、前記実績データ格納手段から複数の実績データを近傍データとして選択した後、選択した複数の近傍データを用いて局所予測モデルを作成し、局所予測モデルに予測対象の説明変数を入力して、初期予測値を算出することを特徴とする［１］に記載の予測装置。
［３］  前記近傍データ選択手段は、予測対象の説明変数ｘqと初期予測値ｙq1’とを合わせたベクトル［ｘqT ｙq1’］Tと、実績データの説明変数ｘnと実績データの目的変数ｙnとを合わせたベクトル［ｘnT ｙn］Tとを利用して、ベクトルを線形写像する行列である距離重み行列Ｐを用いて、式（ａ）により距離ｄ（ｘq，ｘn，ｙq1’，ｙn）を算出し、
【数２】
0006569497.tif 000003
距離ｄ（ｘq，ｘn，ｙq1’，ｙn）が小さい順に複数の実績データを近傍データとして選択することを特徴とする［１］又は［２］に記載の予測装置。
［４］  距離重み行列Ｐは、式（ｂ）のように、
ＰTＰ＝cov（［Ｘ Ｙ］）-1・・・（ｂ）
実績データの個数Ｓとして、実績データの説明変数行列Ｘ（＝［ｘ1 ｘ2・・・ｘS］Tと実績データの目的変数ベクトルＹ＝［ｙ1 ｙ2・・・ｙS］Tとを合わせた行列［Ｘ Ｙ］の共分散行列の逆行列で与えられることを特徴とする［３］に記載の予測装置。
［５］  距離重み行列Ｐは、所定の値を対角要素とする対角行列で与えられることを特徴とする［３］に記載の予測装置。
［６］  距離重み行列Ｐの対角要素は、説明変数の標準偏差の逆数と、目的変数の標準偏差の逆数とで与えられることを特徴とする［５］に記載の予測装置。
［７］  距離重み行列Ｐの対角要素は、説明変数の目的変数に対する偏回帰係数と、目的変数自身の目的変数に対する偏回帰係数とで与えられることを特徴とする［５］に記載の予測装置。
［８］  前記初期予測値算出手段で算出した初期予測値と、前記予測値算出手段で算出した予測値との差が所定の値を下回れば、前記予測値算出手段で算出した予測値を採用し、前記所定の値以上であれば、前記初期予測値算出手段で算出した初期予測値と、前記予測値算出手段で算出した予測値とを按分した値を算出し、
該按分で得た値を新たな初期予測値として、前記近傍データ選択手段の処理、前記局所予測モデル作成手段の処理、及び前記予測値算出手段の処理を行い、該新たな初期予測値と、前記予測値算出手段で今回算出した予測値との差が前記所定の値を下回れば、前記予測値算出手段で今回算出した予測値を採用し、前記所定の値以上であれば、該新たな初期予測値と、前記予測値算出手段で今回算出した予測値とを按分した値を算出し、
これを、前記所定の値を下回るまで、又は所定の繰り返し回数に達するまで繰り返すことを特徴とする［１］乃至［７］のいずれか一つに記載の予測装置。
［９］  前記局所予測モデル作成手段は、前記近傍データ選択手段で選択した複数の近傍データを用いて、局所予測モデルとして予め関数形が設定された線形モデルのパラメータを求めることを特徴とする［１］乃至［８］のいずれか一つに記載の予測装置。
［１０］  実績データ格納手段に格納された、説明変数及び目的変数の実績値の組合せからなる実績データを利用して、予測対象の説明変数に対する目的変数の予測値を算出する予測方法であって、
初期予測値算出手段が、前記実績データ格納手段に格納された実績データに基づいて、予測対象の説明変数に対する目的変数の初期予測値を算出するステップと、
近傍データ選択手段が、予測対象の説明変数と初期予測値とを合わせたベクトルと、前記実績データ格納手段に格納された実績データの説明変数と実績データの目的変数とを合わせたベクトルとの距離を算出し、距離が小さい順に複数の実績データを近傍データとして選択するステップと、
局所予測モデル作成手段が、前記近傍データ選択手段で選択した複数の近傍データを用いて局所予測モデルを作成するステップと、
予測値算出手段が、前記局所予測モデル作成手段で作成した局所予測モデルに予測対象の説明変数を入力して、予測対象の説明変数に対する目的変数の予測値を算出するステップとを有することを特徴とする予測方法。
［１１］  実績データ格納手段に格納された、説明変数及び目的変数の実績値の組合せからなる績データを利用して、予測対象の説明変数に対する目的変数の予測値を算出するためのプログラムであって、
前記実績データ格納手段に格納された実績データに基づいて、予測対象の説明変数に対する目的変数の初期予測値を算出する初期予測値算出手段と、
予測対象の説明変数と初期予測値とを合わせたベクトルと、前記実績データ格納手段に格納された実績データの説明変数と実績データの目的変数とを合わせたベクトルとの距離を算出し、距離が小さい順に複数の実績データを近傍データとして選択する近傍データ選択手段と、
前記近傍データ選択手段で選択した複数の近傍データを用いて局所予測モデルを作成する局所予測モデル作成手段と、
前記局所予測モデル作成手段で作成した局所予測モデルに予測対象の説明変数を入力して、予測対象の説明変数に対する目的変数の予測値を算出する予測値算出手段としてコンピュータを機能させるためのプログラム。
【発明の効果】
【００１７】
本発明によれば、実績データの目的変数を利用することにより、適切な近傍データを選択でき、目的変数を高精度に予測することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る予測装置の機能構成を示す図である。
【図２】実施形態に係る予測装置が実行する処理を示すフローチャートである。
【図３】従来の近傍データの選択方法と、本発明を適用した近傍データの選択方法との差異を説明するための模式図である。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１に、実施形態に係る予測装置１００の機能構成を示す。予測装置１００では、ある予測対象を予測する、例えば生産プロセスで製造する製品の品質や寸法等の性状を予測するのに利用される。
【００２０】
先ず準備として、予測したい変数、すなわち目的変数は当然ながら決まっているとして、利用者は、その目的変数を予測するのに必要となる変数、すなわち説明変数を定めておく必要がある。説明変数としては、目的変数に相関がある変数を複数選択する。物理的知見や経験的知見から説明変数を選択しても良いし、実績データに基づいて、目的変数との相関係数が高い変数を説明変数としても良い。そして、実績データ格納手段であるデータベース２００に、製造実績等により既に得られている説明変数ｘ及び目的変数ｙの実績値の組合せ｛ｘn、ｙn｝を格納、蓄積しておく。
【００２１】
１０１は初期予測値算出手段である初期予測値算出部であり、データベース２００に格納された実績データに基づいて、要求点ｘqに対する目的変数の初期予測値ｙq1’を算出する。
初期予測値算出部１０１は、第１の近傍データ選択部１０１ａと、第１の局所予測モデル作成部１０１ｂと、第１の予測値算出部１０１ｃとを備える。第１の近傍データ選択部１０１ａは、要求点ｘqと実績データの説明変数ｘnとの距離を算出し、距離が小さい順に、データベース２００から複数の実績データを近傍データとして選択する。第１の局所予測モデル作成部１０１ｂは、第１の近傍データ選択部１０１ａで選択した複数の近傍データを用いて局所予測モデルを作成する。第１の予測値算出部１０１ｃは、第１の局所予測モデル作成部１０１ｂで作成した局所予測モデルに要求点ｘqを入力して、初期予測値ｙq1’を算出する。
【００２２】
１０２は近傍データ選択手段である第２の近傍データ選択部であり、要求点ｘqと初期予測値ｙq1’とを合わせたベクトルと、データベース２００に格納された実績データの説明変数ｘnと実績データの目的変数ｙnとを合わせたベクトルとの距離を算出し、距離が小さい順に複数の実績データを近傍データとして選択する。
【００２３】
１０３は局所予測モデル作成手段である第２の局所予測モデル作成部であり、第２の近傍データ選択部１０２で選択した複数の近傍データを用いて局所予測モデルを作成する。
【００２４】
１０４は予測値算出手段である第２の予測値算出部であり、第２の局所予測モデル作成部１０３で作成した局所予測モデルに要求点ｘqを入力して、要求点ｘqに対する目的変数の予測値を算出する。
【００２５】
図２は、実施形態に係る予測装置１００が実行する処理を示すフローチャートである。
ステップＳ１〜Ｓ３は、初期予測値算出部１０１による初期予測値算出処理である。
ステップＳ１で、第１の近傍データ選択部１０１ａは、データベース２００に格納された実績データ｛ｘn，ｙn｝の中から、Ｋ個の近傍データ｛ｘk，ｙk｝を選択する。
ここでは、特許文献１〜４に開示された方法のいずれかを利用して、要求点ｘqと類似する近傍データ｛ｘk，ｙk｝を選択すれば良く、式（２）の距離関数ｄ（ｘq，ｘn）で算出される距離が小さい順にＫ個の実績データを近傍データとして選択する。
式（２）の距離重み行列Ｌは、式（３）〜（６）のいずれかで定められる。実績データの個数Ｓと、近傍データの個数Ｋは予め設定しておき、概ねＳ＝２万、Ｋ＝１００を初期値とし、予測精度を見ながら試行錯誤で調整すれば良い。例えば直近データへの追従性を高めたいときには個数Ｋを小さくし、ロバスト性を高めたいときには個数Ｋを大きくする。また、個数Ｓは経年変化等の長期的なトレンドの有無により決まる値であり、そのようなトレンドが少なければ個数Ｓを大きくし、トレンドが大きければ個数Ｓを小さくする。
【００２６】
ステップＳ２で、第１の局所予測モデル作成部１０１ｂは、ステップＳ１で選択したＫ個の近傍データ｛ｘk，ｙk｝を用いて、要求点ｘqの近傍のみ有効な局所予測モデルｆq1（ｘ，θ）のパラメータθを求めることにより、局所予測モデルｆq1（ｘ，θ）を作成する。
局所予測モデルの関数形は予め設定しておくが、局所予測モデルは要求点ｘqの近傍のみで成立すれば良いので、複雑な関数形にする必要がない。例えば式（７）のような線形モデル（定数項θ0のみのモデルも含む）が用いられ、近傍データからパラメータθ＝［θ0 θ1・・・θM］Tを算出する。
ｙ’＝θ0＋θ1ｘ1＋θ2ｘ2＋・・・＋θMｘM    ・・・（７）
【００２７】
パラメータθは、式（８）のように、近傍データの目的変数ｙkと式（７）の局所予測モデルに近傍データの説明変数ｘkを入力して算出した目的変数の予測値ｙk’との誤差平方和Ｊが最小となるように決定する。
Ｊ＝Σ（ｙk−ｙk’）2・・・（８）
なお、パラメータθの決定方法は、式（９）のように、誤差絶対値和を最小とするように決めても良いし、式（１０）や式（１１）のように、パラメータθの値を抑制するための正則化項を付加した評価値を最小とするように決めても良い。
Ｊ＝Σ｜ｙk−ｙk’｜・・・（９）
Ｊ＝Σ（ｙk−ｙk’）2＋λΣ｜θk｜・・・（１０）
Ｊ＝Σ（ｙk−ｙk’）2＋λΣθk2・・・（１１）
【００２８】
ステップＳ３で、第１の予測値算出部１０１ｃは、ステップＳ２で作成した局所予測モデルｆq1（ｘ，θ）に要求点ｘqを入力し、要求点ｘqに対する目的変数の予測値を算出して、初期予測値ｙq1’とする。
【００２９】
ステップＳ４で、第２の近傍データ選択部１０２は、データベース２００に格納された実績データ｛ｘn，ｙn｝の中から、Ｋ個の近傍データ｛ｘk，ｙk｝を選択する。
ここでは、要求点ｘqと初期予測値ｙq1’とを合わせたベクトル［ｘqT ｙq1’］Tと、実績データの説明変数ｘnと実績データの目的変数ｙnとを合わせたベクトル［ｘnT ｙn］Tとの距離ｄ（ｘq，ｘn，ｙq1’，ｙn）を、距離重み行列Ｐを用いて、式（１３）により算出し、距離ｄ（ｘq，ｘn，ｙq1’，ｙn）が小さい順にＫ個の実績データを近傍データとして選択する。
【００３０】
上記の距離としてマハラノビス距離を用いる場合、実績データの説明変数行列Ｘ＝［ｘ1 ｘ2・・・ｘS］Tと、実績データの目的変数ベクトルＹ＝［ｙ1 ｙ2・・・ｙS］Tとを合わせた行列［Ｘ Ｙ］の共分散行列cov(［Ｘ Ｙ］)を求める。これは、目的変数と説明変数との相関の強さを表わす行列であり、この共分散行列を用いて、式（１２）、式（１３）で距離ｄ（ｘq，ｘn，ｙq1’，ｙn）を計算する。
ＰTＰ＝cov（［Ｘ Ｙ］）-1・・・（１２）
【００３１】
【数３】
0006569497.tif 000004
【００３２】
このように実績データの説明変数ｘnだけでなく、実績データの目的変数ｙnを利用して距離を算出するところが、従来手法と大きく異なる点である。また、行列ＰTＰを説明変数と目的変数との共分散行列の逆行列とするので、説明変数同士の相関の強さを考慮した上で、説明変数と目的変数との相関の強い説明変数を重視して近傍データを選択することができ、精度の高い局所予測モデルを作成することができる。
【００３３】
図３に、従来の近傍データの選択方法と、本発明を適用した近傍データの選択方法との差異を模式的に示す。従来の近傍データの選択方法では、実績データの目的変数を直接利用していないため、図３（ａ）の色付き範囲に示すように、単純に要求点ｘqとの距離が近い実績データの説明変数を抽出して、近傍データを選択するものとなっている。そのため、説明変数と目的変数との相関は考慮されず、例えば目的変数が大きく外れた実績データが近傍データとして選択されることもありえ、精度の高い局所予測モデルを構築するのに相応しい近傍データを選択できないことがある。
それに対して、本発明を適用した近傍データの選択方法では、要求点ｘqに対する目的変数の初期予測値ｙq1'を求めた後、要求点ｘqと初期予測値ｙq1’とを基準として（図３（ｂ）の☆印）、説明変数と目的変数との相関を考慮して近傍データを選択することができる。この場合、図３（ｂ）の色付き範囲に示すように、等距離を表わす等高線（距離が同じとなる楕円であり、図中の実線で示す楕円も等高線の１つ）が実績データの存在する方向に傾いた楕円となり、精度の高い局所予測モデルを構築するのに相応しい近傍データを選択することができる。
【００３４】
ステップＳ５で、第２の局所予測モデル作成部１０３は、ステップＳ４で選択したＫ個の近傍データ｛ｘk，ｙk｝を用いて、要求点ｘqの近傍のみ有効な局所予測モデルｆq2（ｘ，θ）のパラメータθを求めることにより、局所予測モデルｆq2（ｘ，θ）を作成する。なお、ステップＳ５の処理は、ステップＳ２の処理と同様であり、その詳細な説明は省略する。
【００３５】
ステップＳ６で、第２の予測値算出部１０４は、ステップＳ５で作成した局所予測モデルｆq2（ｘ，θ）に要求点ｘqを入力し、要求点ｘqに対する目的変数の予測値ｙq’を算出する。なお、ステップＳ６の処理は、ステップＳ３の処理と同様であり、その詳細な説明は省略する。
【００３６】
ステップＳ７で、収束判定を行い、収束していれば、本処理を終了し、収束していなければ、ステップＳ８に進む。
先ずは、ステップＳ３で算出した初期予測値ｙq1’と、ステップＳ６で算出した予測値ｙq’とを比較する。両者が近いもの（両者の差が所定の値を下回る）であれば問題ないため、ステップＳ６で算出した予測値ｙq’を採用して出力し、本処理を終了する。両者の差が所定の値以上であれば、適切な近傍データが選択されていない可能性がある。この場合、ステップＳ８に進み、式（１４）のように、ステップＳ３で算出した初期予測値ｙq1’と、ステップＳ６で算出した予測値ｙq’とを按分した値を算出し、それを新たな初期予測値ｙq1’として、ステップＳ４に戻る。
ｙq1’＝ａ・ｙq’＋（１−ａ）・ｙq1’・・・（１４）
【００３７】
２回目以降のループの場合、前回のループのステップＳ８で算出した新たな初期予測値ｙq1’と、今回のステップＳ６で算出した予測値ｙq’とを比較する。両者が近いもの（両者の差が所定の値を下回る）であれば、今回のステップＳ６で算出した予測値ｙq’を採用して出力し、本処理を終了する。両者の差が所定の値以上であれば、ステップＳ８に進み、式（１４）のように、前回のループのステップＳ８で算出した新たな初期予測値ｙq1’と、今回のステップＳ６で算出した予測値ｙq’とを按分した値を算出し、それを新たな初期予測値ｙq1’として、ステップＳ４に戻る。
これを、初期予測値ｙq1’と予測値ｙq’との差が所定の値以下となるまで繰り返す。
【００３８】
ここで、式（１４）のａは、初期予測値ｙq1’の収束速度を調整する０〜１の値を取る係数である。係数ａを大きくすると（例えばａ＝１とすると、今回のループで計算したｙq’を次回のループのｙq1’とすることになる）、収束が速くなる方向に作用するが、予測値がハンチングする（予測値が２つの値を交互に繰り返す）こともある。収束速度を緩めた方がハンチングし難くなり、ａ＝０．５に設定すると概ね良い。
また、幾ら繰り返しても収束しない場合もあるため、所定の繰り返し回数だけ繰り返したならば収束したとみなし、強制的に繰り返しを終了させるようにしても良い。
【００３９】
要求点ｘqに対する目的変数の実績値ｙqが得られたならば、その実績データ｛ｘq，ｙq｝をデータベース２００に追加する。次回、予測値を算出する際には、新たに追加された実績データの組合せを含めて、Ｓ＋１個の実績データの中から近傍データを選択しても良いし、最も古いデータを近傍データの選択対象から外し、常にＳ個の実績データから近傍データを選択するようにしても良い。選択対象から外れた実績データは予測値の計算には使用しないため、その実績データを削除しても良いし、データベース２００の記憶容量に余裕があれば、削除しなくてもかまわない。
【００４０】
以上のように、実績データの目的変数ｙnを利用することにより、適切な近傍データを選択でき、要求点ｘqに対する目的変数を高精度に予測することができる。
すなわち、従来手法では、説明変数の値が近い実績データを近傍データとして選択していたのに対して、本発明を適用する手法では、要求点ｘqと初期予測値ｙq1’とを合わせたベクトル［ｘqT ｙq1’］Tと、実績データの説明変数ｘnと実績データの目的変数ｙnとを合わせたベクトル［ｘnT ｙn］Tとの距離を利用して、近傍データを選択する。このように、説明変数と目的変数の値が共に近い（目的変数は実績値と予測値とが近い）実績データを選択するので、従来手法よりも精度の高い局所予測モデルを作成することができ、高精度の予測値が算出可能となる。
【００４１】
なお、本実施形態では、要求点ｘqに対する目的変数の初期予測値ｙq1’を、従来のデータベース型予測手法により算出したが、別の手法で算出するようにしても良い。例えばデータベース２００に格納されたＳ個の実績データを用いて、重回帰手法により要求点ｘqに対する目的変数の予測値を算出して、初期予測値ｙq1’としても良い。
【００４２】
また、本実施形態では、ステップＳ７において収束判定を行い、初期予測値ｙq1’と予測値ｙq’との差が小さくなるまで繰り返し計算する例を説明した。繰り返し計算を行った方が高精度の近傍データが得られるが、その代わり、計算負荷も掛かってしまう。計算負荷を少なくするためには繰り返し回数を少なくすれば良く、計算負荷を最小にする必要があるときには、繰り返し計算を行わなくても良い。繰り返し計算を行わなくても、従来手法よりも高精度な予測値が得られる。
【００４３】
また、本実施形態では、第２の近傍データ選択部１０２での近傍データの選択方法にマハラノビス距離を用いた例を説明したが、それに限定されるものではない。
例えば式（１５）で計算される対角行列を距離重み行列Ｐに用いる正規化ユークリッド距離でも良い。ここで、σmは説明変数ｘmの標準偏差（添え字ｍは説明変数の番号（ベクトルの要素の番号）を表わす）、σYは目的変数の標準偏差である。
Ｐ＝diag（１／σ1，１／σ2，・・，１／σm，・・，１／σM，１／σY）・・・（１５）
【００４４】
また、説明変数ｘmの目的変数に対する偏回帰係数（ａ1、ａ2、・・，ａm，・・、ａM、ａY）を求め、その偏回帰係数を説明変数の重みとしたユークリッド距離、すなわち式（１６）のように、偏回帰係数を対角要素とした対角行列を距離重み行列Ｐとして与えても良い。ここで、偏回帰係数ａYは、目的変数自身の目的変数に対する偏回帰係数であり、目的変数と目的変数との相関係数（自身との相関係数）に相当するため、重みの値は式（１６）のように１となる。
Ｐ＝diag（ａ1，ａ2，・・，ａm，・・，ａM，１）・・・（１６）
【００４５】
また、上記の手法以外にも、式（１７）のように、物理的知見や経験的知見により各説明変数と目的変数の重みを決定し、それらを対角要素とした対角行列を距離重み行列Ｐとして与えても良い。
Ｐ＝diag（ｗ1，ｗ2，・・・，ｗM，ｗY）・・・（１７）
【実施例】
【００４６】
ある鉄鋼プロセスにおける加工後の鋼材温度を予測するモデルを対象とした。説明変数は、物理的知見から、加工前後の鋼材の寸法や加工前の鋼材温度等の１５種類を選択した。
目的変数：加工後の鋼材温度
説明変数：加工前後の鋼材の寸法、加工前の鋼材温度、搬送・加工時間、工具形状、…（１５種類＝Ｍ）
半年間の実績データを２つに分け、４か月間の実績データを予めデータベースに蓄えておき、残り２か月間の実績データに対する予測値を算出して、その精度を評価した。評価した実績データは順次データベースに追加し、実績データを常に更新した。
学習データ：４か月間の２６４１１個の操業データ
評価データ：２か月間の１３３０６個の操業データ
【００４７】
表１に、従来手法と、本発明の手法との予測精度を比較した結果を示す。
従来手法は、近傍データの選択に、代表的な正規化ユークリッド距離、マハラノビス距離、偏回帰係数を重みとしたユークリッド距離を用いた。
本発明の手法は、初期予測値算出部１０１及び第２の近傍データ選択部１０２での近傍データの選択にマハラノビス距離を用い、繰り返しなし（収束計算なし）と、繰り返しあり（収束計算あり）とした。
表１の数値は、平均ゼロ、標準偏差１に正規化している。実績データの個数Ｓは２万、近傍データの個数Ｋは１００とし、図２のステップＳ４〜Ｓ８の繰り返し回数の上限値は１００回、式（１４）の係数ａの値は０．５とした。
表１に示すように、本発明の手法は、従来手法と比べてＲＭＳＥ（実績値と予測値との２乗平均誤差）が最も良く、従来手法で最も精度のよかった偏回帰係数を重みとしたユークリッド距離と比べても、繰り返しを行ったケースでは９．３％（＝（０．２９０−０．２６３）×１００／０．２９０）も精度が向上した。なお、平均誤差は、いずれの手法でも値が小さいため、問題はないといえる。
【００４８】
【表１】
0006569497.tif 000005
【００４９】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明を適用した予測装置は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ装置により実現される。なお、図１では予測装置１００を一台の装置として図示したが、例えば複数台の装置により構成される形態でもかまわない。
また、本発明は、本発明の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行することによっても実現可能である。
【符号の説明】
【００５０】
１００：予測装置
１０１：初期予測値算出部
１０１ａ：第１の近傍データ選択部
１０１ｂ：第１の局所予測モデル作成部
１０１ｃ：第１の予測値算出部
１０２：第２の近傍データ選択部
１０３：第２の局所予測モデル作成部
１０４：第２の予測値算出部
【図１】
0006569497.tif 000007
【図２】
0006569497.tif 000008
【図３】
0006569497.tif 000009