(57)【特許請求の範囲】
【請求項１】
制御対象となる装置の制御因子と、制御因子に対応する評価指標との関係を表す回帰式を生成する方法であって、
制御因子及び評価指標に関する情報を含む複数のサンプルデータを複数のグループに分割する、サンプルデータ分割ステップ、
前記サンプルデータ分割ステップにおいて分割された複数のグループのうちの１つのグループに属するサンプルデータに基づいて回帰式を生成する回帰式生成ステップであって、
当該ステップの実行が初回である場合は、当該グループに属するサンプルデータに含まれる制御因子と評価指標との関係を表す回帰式を求め、
当該ステップの実行が初回ではない場合は、当該ステップの前回までの実行によって求められた回帰式に基づいて当該グループに属するサンプルデータに含まれる制御因子から得られる結果と、当該グループに属するサンプルデータに含まれる評価指標との誤差を算出し、当該誤差と当該制御因子との関係を表す回帰式を求める、
回帰式生成ステップ、
当該ステップの実行が初回である場合は前記回帰式生成ステップにおいて求められた回帰式を新たな回帰式とし、当該ステップの実行が初回ではない場合は前記回帰式生成ステップにおいて求められた回帰式と当該ステップの前回の実行によって求められた既存の回帰式とを加法的に重ね合わせて新たな回帰式を生成する、
回帰式加算ステップ、
を含み、
前記サンプルデータ分割ステップにおいて分割された全てのグループについて前記回帰式生成ステップ及び前記回帰式加算ステップの実行が完了するまで、前記回帰式生成ステップ及び前記回帰式加算ステップを繰り返す方法。
【請求項２】
請求項１に記載の方法であって、前記回帰式生成ステップにおいて、サポートベクタ回帰によって回帰式を求めることを特徴とする方法。
【請求項３】
請求項１又は２に記載の方法であって、前記サンプルデータ分割ステップにおいて、制御因子空間上の特定の範囲に存在するサンプルデータが特定のグループに偏って存在しないように、サンプルデータを各グループに満遍なく振り分けることを特徴とする方法。
【請求項４】
請求項１乃至３のいずれか１項に記載の方法であって、前記制御対象となる装置が車両であることを特徴とする方法。
【請求項５】
請求項１乃至４のいずれか１項に記載の方法であって、
前記回帰式がガウス関数を基底関数として用いること、及び
前記回帰式生成ステップにおいて、前記回帰式生成ステップの実行が初回である場合における前記ガウス関数の幅と比較して、前記回帰式生成ステップの実行が初回ではない場合における前記ガウス関数の幅がより小さいこと、
を特徴とする方法。
【請求項６】
請求項５に記載の方法であって、
前記回帰式生成ステップにおいて、前記回帰式生成ステップの実行が初回である場合における前記ガウス関数の幅及び前記回帰式生成ステップの実行が初回ではない場合における前記ガウス関数の幅の少なくとも一部が、交差確認法によって決定されること、
を特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両等の各種装置の制御において、制御結果を所望の範囲に適合させる制御因子を特定するための回帰式の生成方法に関する。
【背景技術】
【０００２】
車両をはじめとする各種装置の制御においては、様々な状況に応じて制御因子が適宜調整され、制御結果（評価指標）が所定の許容可能な範囲に収められる。かかる制御を行うに当たっては、関連する制御因子と制御結果（評価指標）との対応関係を表す式を予め求めておくのが一般的である。具体的には、制御因子と制御結果（評価指標）との組み合わせからなる複数のサンプルデータから、これらの制御因子と制御結果（評価指標）との対応関係を表す回帰式を事前に導き出しておき、各種装置の制御において許容可能な範囲にある制御結果（評価指標）を得るのに必要な制御因子を、上記回帰式を使用して算出する。このようにして、各種装置の特性に関する様々な要求が満たされる。
【０００３】
因みに、学習データ（制御因子と制御結果（評価指標）との組み合わせからなる複数のサンプルデータ）を用いて予測モデル（回帰式）を作成し、作成した予測モデルを用いて予測値（制御結果）を算出する装置や方法は、例えば、特開２００５−１３５２８７号公報（特許文献３）や特開２００６−３３８１２３号公報（特許文献４）において開示されている。
【０００４】
一方、サポートベクタマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：以下「ＳＶＭ」とも称する）又はサポートベクタ回帰法（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｒｅｇｒｅｓｓｉｏｎ：以下「ＳＶＲ」とも称する）と呼ばれる手法が、パターン認識や回帰推定の分野で注目されている。これらの手法は、上述のようにサンプルデータから回帰式導き出す手法としても検討されており、このようなＳＶＭ又はＳＶＲを利用して車両の制御目標値を設定する技術が、例えば、特開２０１０−７８０８４号公報（特許文献１）や特開２００８−４５４７５号公報（特許文献２）に開示されている。
【０００５】
ＳＶＲは、予測性能の良い回帰式を生成できる長所を有する。しかしながら、定式化によっては、回帰式の算出時間を短縮可能な解法（例えば、ＳＭＯ法等のアルゴリズム）を用いずに二次計画問題を解く必要性が生ずる場合もある。このような場合、（ＳＶＲに限らず）一般的に、二次計画問題の求解時間はサンプルデータ数の３乗のオーダーで、二次計画問題を計算機で解く場合に必要とされる記憶領域の容量はサンプルデータ数の２乗のオーダーで、それぞれ増大することが知られている。従って、サンプルデータ数が多い場合、回帰式を生成するのに計算時間が非常に長くなるという短所があった。
【０００６】
尚、ＳＶＲにおける回帰式の生成を高速化する手段の１つとして、「逐次的学習法（ｃｈｕｎｋｉｎｇ  ｍｅｔｈｏｄ）」が知られている。「逐次的学習法」としては種々の方法が知られているが、主要なものとして、サンプルデータを複数のグループに分け、第１のグループについてＳＶＲを行い、その際にサポートベクタとなったサンプルデータのみを残し、これらの残ったサンプルデータを次のグループのサンプルデータと併せたサンプルデータ群について更にＳＶＲを実施するというサイクルを繰り返す手法が挙げられる。
【０００７】
上記「逐次的学習法」は、ＳＶＲにおける回帰式の生成を高速化することができる長所を有する。しかしながら、前のグループのサンプルデータについてのＳＶＲでサポートベクタとなったサンプルデータを次サイクルで実施されるＳＶＲにおいてもサンプルデータとして残すという手法を採ることから、異常値混入の影響を受け易いという短所を有する。また、サポートベクタとなるサンプルデータの数が増大する場合には、結果として１回のＳＶＲにおいて対象となるサンプルデータ数が多くなり、回帰式生成の高速化という利点が薄れてしまう。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−０７８０８４号公報
【特許文献２】特開２００８−０４５４７５号公報
【特許文献３】特開２００５−１３５２８７号公報
【特許文献４】特開２００６−３３８１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、前述のような問題を解消すべく創作されたものである。即ち、本発明は、サンプルデータ数が膨大である場合でも回帰式を生成するのに必要とされる計算時間が著しく増大することが無く、かつ、サンプルデータにおける異常値混入の影響を受け難い、回帰式の生成方法を提供することを目的とする。より具体的には、本発明は、例えば車両等の各種装置の制御において使用される回帰式の生成に当たって、膨大なサンプルデータを用いる場合であっても、従来の回帰方法と比較して、回帰式生成に要する時間を短縮でき、かつ、異常値の混入があっても精度を維持することができる、制御因子特定用回帰式の生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の上記目的は、
制御対象となる装置の制御因子と、制御因子に対応する評価指標との関係を表す回帰式を生成する方法であって、
制御因子及び評価指標に関する情報を含む複数のサンプルデータを複数のグループに分割する、サンプルデータ分割ステップ、
前記サンプルデータ分割ステップにおいて分割された複数のグループのうちの１つのグループに属するサンプルデータに基づいて回帰式を生成する回帰式生成ステップであって、
当該ステップの実行が初回である場合は、当該グループに属するサンプルデータに含まれる制御因子と評価指標との関係を表す回帰式を求め、
当該ステップの実行が初回ではない場合は、当該ステップの前回までの実行によって求められた回帰式に基づいて当該グループに属するサンプルデータに含まれる制御因子から得られる結果と、当該グループに属するサンプルデータに含まれる評価指標との誤差を算出し、当該誤差と当該制御因子との関係を表す回帰式を求める、
回帰式生成ステップ、
前記回帰式生成ステップにおいて求められた回帰式と既存の回帰式とを加法的に重ね合わせて新たな回帰式を生成する回帰式加算ステップであって、
当該ステップの実行が初回である場合は、前記回帰式生成ステップにおいて求められた回帰式を新たな回帰式とし、
当該ステップの実行が初回ではない場合は、前記回帰式生成ステップにおいて求められた回帰式と、当該ステップの前回の実行によって求められた既存の回帰式とを加法的に重ね合わせて新たな回帰式を生成する、
回帰式加算ステップ、
を含む方法によって達成される。
【発明の効果】
【００１１】
本発明によれば、サンプルデータ数が膨大である場合でも回帰式を生成するのに必要とされる計算時間が著しく増大することが無く、かつ、サンプルデータにおける異常値混入の影響を受け難い、回帰式の生成方法が提供される。より具体的には、本発明によれば、例えば車両等の各種装置の制御において使用される回帰式の生成に当たって、膨大なサンプルデータを用いる場合であっても、従来の回帰方法と比較して、回帰式生成に要する時間を短縮でき、かつ、異常値の混入があっても精度を維持することができる、制御因子特定用回帰式の生成方法が提供される。
【図面の簡単な説明】
【００１２】
【図１】本発明の１つの実施態様に係る回帰式生成方法の概略を表すグラフである。
【図２】本発明の１つの実施態様に係る回帰式生成方法における処理フローを表すフローチャートである。
【図３】本発明の１つの実施態様に係る回帰式生成方法、従来法（逐次的学習法）、及び通常法（一括回帰）についての、異常値や計測ノイズの混入による計測時間への影響の程度を示すグラフである。
【図４】本発明の１つの実施態様に係る回帰式生成方法、従来法（逐次的学習法）、及び通常法（一括回帰）についての、異常値や計測ノイズの混入による回帰精度（相関係数）への影響の程度を示すグラフである。
【図５】本発明の１つの実施態様に係る回帰式生成方法において、回帰式の基底関数として用いられるガウス関数の幅Ｒと予測誤差との関係を、一部のサンプルデータについて求めた場合と全てのサンプルデータについて求めた場合とで比較するグラフである。
【図６】本発明の１つの実施態様に係る回帰式生成方法における初回の回帰式のガウス関数の幅Ｒと２回目の回帰式のガウス関数の幅Ｒとの組み合わせによる回帰式の予測精度（汎化性能推定値）の変化を表すグラフである。
【図７】本発明の１つの実施態様に係る回帰式生成方法における初回の回帰式のガウス関数の幅Ｒと２回目の回帰式のガウス関数の幅Ｒとの組み合わせによる回帰式の予測精度（汎化性能推定値）の変化を二次元的に表すコンタ図である。
【発明を実施するための形態】
【００１３】
前述のように、本発明は、例えば車両等の各種装置の制御において使用される回帰式の生成に当たって、膨大な数のサンプルデータを用いる場合であっても、従来の回帰方法と比較して、回帰式生成に要する時間を短縮でき、かつ、異常値の混入があっても精度を維持することができる、制御因子特定用回帰式の生成方法を提供することを目的とする。
【００１４】
即ち、本発明の第１の態様に係る方法は、
制御対象となる装置の制御因子と、制御因子に対応する評価指標との関係を表す回帰式を生成する方法であって、
制御因子及び評価指標に関する情報を含む複数のサンプルデータを複数のグループに分割する、サンプルデータ分割ステップ、
前記サンプルデータ分割ステップにおいて分割された複数のグループのうちの１つのグループに属するサンプルデータに基づいて回帰式を生成する回帰式生成ステップであって、
当該ステップの実行が初回である場合は、当該グループに属するサンプルデータに含まれる制御因子と評価指標との関係を表す回帰式を求め、
当該ステップの実行が初回ではない場合は、当該ステップの前回までの実行によって求められた回帰式に基づいて当該グループに属するサンプルデータに含まれる制御因子から得られる結果と、当該グループに属するサンプルデータに含まれる評価指標との誤差を算出し、当該誤差と当該制御因子との関係を表す回帰式を求める、
回帰式生成ステップ、
前記回帰式生成ステップにおいて求められた回帰式と既存の回帰式とを加法的に重ね合わせて新たな回帰式を生成する回帰式加算ステップであって、
当該ステップの実行が初回である場合は、前記回帰式生成ステップにおいて求められた回帰式を新たな回帰式とし、
当該ステップの実行が初回ではない場合は、前記回帰式生成ステップにおいて求められた回帰式と、当該ステップの前回の実行によって求められた既存の回帰式とを加法的に重ね合わせて新たな回帰式を生成する、
回帰式加算ステップ、
を含む方法である。
【００１５】
ここで、上記制御対象となる装置には、例えば、車両や船舶等の移動体が含まれるが、これらの装置は移動体に限定されるものではない。即ち、本発明は、許容可能な範囲にある制御結果を得るのに好適な制御因子の目標値を、回帰式を利用して算出し、斯くして得られた目標値に制御因子を制御することによって、所望の制御結果を得ようとするものであれば、如何なる装置にも適用可能である。
【００１６】
尚、上記装置が車両である場合、ここでいう車両とは、例えば、汽車、電車、自動車等、旅客・貨物を輸送する車等を意味し、車両の動力源の種類としては、例えば、内燃機関、電気モーター等が挙げられるが、これらに限定されない。また、車両における制御とは、車両の各種特性に関する様々な要求を満足することを指す。より具体的には、例えば、内燃機関における機関トルクの変動、燃焼室内で発生するＮＯｘ（窒素酸化物）の量、燃焼室から排出される未燃ＨＣ（未燃炭化水素）の量、ＡＴ（自動変速機）における変速ショック、運転中の車両姿勢維持と操縦安定性との両立等の各種特性を評価指標として、これらの評価指標が所望の範囲に収まるように調整することを車両制御と称するが、これらの具体例に限定されない。
【００１７】
かかる評価指標を調整するには、制御の対象となる装置の状態（例えば、車両の運転状況等）に応じて、対応する制御因子を適宜調節して、評価指標としての制御結果が所望の範囲に収まるようにする必要がある。制御の対象となる装置が車両である場合、かかる制御因子としては、例えば、スロットル弁の開度、点火プラグによる点火時期、吸気弁又は排気弁の開閉弁特性、燃料噴射弁からの燃料噴射量、変速のタイミング、アブソーバのロータリーバルブの回転角度等の各種パラメータ（制御因子）が挙げられる。
【００１８】
即ち、装置の状態（例えば、車両の運転状況等）を制御しようとする際には、様々な状況に応じて制御因子が適宜調整され、制御結果（評価指標）が所定の許容可能な範囲に収められる。かかる制御を行うに当たっては、関連する制御因子と制御結果（評価指標）との対応関係を表す式を予め求めておくのが一般的である。具体的には、制御因子と制御結果（評価指標）との組み合わせからなる複数のサンプルデータ（実験値）から、これらの制御因子と制御結果（評価指標）との対応関係を表す回帰式を事前に導き出しておき、制御の対象となる装置の制御において許容可能な範囲にある制御結果（評価指標）を得るのに必要な制御因子の目標値を、上記回帰式を使用して算出し、斯くして算出された目標値に制御因子を調整して、当該装置の各種特性に関する様々な要求が満たされる。
【００１９】
以下、図面を参照しながら、本発明の１つの実施態様の概要について説明する。図１は、通常の回帰式生成方法と、本発明の１つの実施態様に係る回帰式生成方法との違いを説明するためのグラフである。
【００２０】
図１（ａ）は、通常法による回帰式の生成方法を表している。この方法は、全てのサンプルデータについての因子と評価指標との関係を一度に回帰する方法である。前述したように、このように全てのサンプルデータについて一度に回帰式を求めようとすると、サンプルデータ数が多い場合には回帰式を生成するのに計算時間が非常に長くなるという短所がある。
【００２１】
一方、図１（ｂ）乃至（ｄ）は、本発明の１つの実施態様に係る回帰式生成方法におけるデータ処理手順の概略を説明している。
【００２２】
先ず、図１（ｂ）は、図１（ａ）の場合と同じサンプルデータを２つのグループに分け（前記「サンプルデータ分割ステップ」に対応）、そのうちの一方のグループ（第１グループ）に属するサンプルデータのみについて、回帰式を求める（前記「回帰式生成ステップ」の初回実行の場合に対応）ステップを示している。次に、図１（ｃ）においては、図１（ｂ）において得られた回帰式に対する他方のグループ（第２グループ）に属するサンプルデータからの誤差を表す回帰式を求めるステップ（前記「回帰式生成ステップ」の初回実行ではない場合に対応）を示している。更に、図１（ｄ）においては、図１（ｂ）において得られた回帰式と、図１（ｃ）において得られた（誤差についての）回帰式とを、加法的に重ね合わせるステップ（前記「回帰式加算ステップ」の初回実行ではない場合に対応）を示している。このステップにより、第１グループ及び第２グループに属する全てのサンプルデータ（即ち、全サンプルデータ）に対応する回帰式を得ることができる。
【００２３】
尚、上記説明においては、サンプルデータを２つのグループに分けた場合について説明したが、サンプルデータを３つ以上のグループに分ける場合は、グループの数に応じて、図１（ｃ）及び（ｄ）のステップを繰り返し実行することにより（前記「回帰式生成ステップ」の初回実行ではない場合に対応）、全てのグループに属するサンプルデータ（即ち、全サンプルデータ）に対応する回帰式が得られる。
【００２４】
ところで、本発明に係る方法において回帰式を生成する方法としては、特に限定されるものではなく、各種回帰方法を適用することができる。好ましい回帰方法の例としては、前述のように、サポートベクタ回帰法（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｒｅｇｒｅｓｓｉｏｎ：以下「ＳＶＲ」とも称する）と呼ばれる手法が挙げられる。
【００２５】
従って、本発明の第２の態様に係る方法は、前記第１の態様に係る方法であって、前記回帰式生成ステップにおいて、サポートベクタ回帰によって回帰式を求めることを特徴とする方法である。
【００２６】
次に、図２を参照すると、本発明の１つの実施態様に係る回帰式生成方法における処理フローを表すフローチャート１０が示されている。この例においては、ステップ１１及び１２において、サンプルデータ群が複数のグループに分けられている（前記「サンプルデータ分割ステップ」に対応）。サンプルデータ群を複数のグループに分ける際、制御用の因子（入力）空間上の特定の範囲に存在するサンプルデータが特定のグループに偏って存在するようなことの無いように、サンプルデータを各グループに満遍なく振り分けるのが望ましい。
【００２７】
従って、本発明の第３の態様に係る方法は、前記第１又は第２の態様に係る方法であって、前記サンプルデータ分割ステップにおいて、制御因子空間上の特定の範囲に存在するサンプルデータが特定のグループに偏って存在しないように、サンプルデータを各グループに満遍なく振り分けることを特徴とする方法である。
【００２８】
上記のようにサンプルデータ群を満遍なくグループ分けするための手順の一例につき、以下に詳細に説明する。先ず、サンプルデータ群について、因子（入力）空間上での中心（重心）に最も近いサンプルデータ（実験点）を選び出し、この因子につき「順序確定済み」とし、かつ「確定順＝１」とする（図２におけるステップ１１）。
【００２９】
次に、未だ「順序確定済み」となっていないサンプルデータのそれぞれにつき、既に「順序確定済み」となっている全てのサンプルデータとの因子（入力）空間上での距離を求める。各サンプルデータにつき、斯くして求められた距離の中から最小の距離（最小距離）を特定する。斯くして特定された最小距離が最大であるサンプルデータを特定し、このサンプルデータを「順序確定済み」とし、かつ確定順を１つカウントアップして、このサンプルデータに付与する。全てのサンプルデータが「順序確定済み」となり、確定順が付与されるまで、当該処理を繰り返す。その後、サンプルデータを確定順の昇順にソートし、個々のグループに必要な数だけサンプルデータを選択し、グループ分けする（図２におけるステップ１２）。
【００３０】
換言すれば、因子（入力）空間上での中心（重心）に最も近いサンプルデータを起点として順序を確定し、既に順序が確定された全サンプルデータに対して最も疎な（最小距離が最大である）サンプルデータに対して次々に順序を確定してゆき、斯くして確定された順序に従ってサンプルデータをソートし、各グループに必要な数だけサンプルデータを取り分けてゆく。
【００３１】
尚、上記手順は、サンプルデータ群を複数のグループに分ける手順の一例としての例示に過ぎず、因子（入力）空間上の特定の範囲に存在するサンプルデータが特定のグループに偏って存在するようなことの無いように、サンプルデータを各グループに満遍なく振り分けることが出来る限り、上記手順に何ら限定されるものではない。
【００３２】
上記のようにサンプルデータ群を複数のグループに分けた後、処理フローは回帰回数ループに入る（図２におけるステップ２０〜７０）。先ず、初回の回帰であるかどうかの条件分岐があり（図２におけるステップ３０）、初回の回帰である場合は、因子と評価指標との関係を表す回帰式を求める（図２におけるステップ４１、前記「回帰式生成ステップ」の初回実行の場合に対応）。
【００３３】
その後、処理フローは、前記「回帰式加算ステップ」の初回実行の場合に対応するステップ６０に進む。即ち、初回実行の場合は、未だ回帰式は１つしか生成されていないので、当該ステップ６０では回帰式の加算は行わず、ステップ７０に進み、ステップ２０に戻って、サンプルデータの次のグループの処理へと進む。
【００３４】
第２回目以降の回帰においては、処理フローは条件分岐（図２におけるステップ３０）によってステップ５１に進む。このステップでは、初回の回帰のように制御因子と評価指標との関係を表す回帰式を求めるのではなく、前回求められた回帰式からの誤差を個々のサンプルデータ（制御因子と評価指標との組）について算出し（図２におけるステップ５１）、算出された誤差と制御因子との関係を表す回帰式を求める（図２におけるステップ５２、前記「回帰式生成ステップ」の初回実行ではない場合に対応）。
【００３５】
その後、処理フローは、前記「回帰式加算ステップ」の初回実行ではない場合に対応するステップ６０に進む。即ち、初回実行ではない場合、即ち第２回目以降の回帰においては、前回の処理によって生成された回帰式が既に生成されているので、この既存の回帰式と、ステップ５２において求められた回帰式とを加法的に重ね合わせて新たな回帰式とする。その後、サンプルデータの全てのグループについての処理が完了するまで、ステップ２０とステップ７０との間の処理フローが繰り返される。
【００３６】
以上のようにして、サンプルデータの全てのグループについての処理が完了すると、処理フローを終了する。この時点での回帰式は、初回の回帰において求められた回帰式と、それ以降に求められた回帰式の全てとが、加法的に重ね合わせられた、全サンプルデータに対応する回帰式となっている。
【００３７】
ところで、上述のように、図２に示されているフローチャートにおいては、回帰式を生成する処理ループの１サイクル毎に、回帰式を加算する処理が実行されているが、回帰式加算処理は必ずしも上記タイミングで実行される必要は無い。例えば、前回の処理ループにおいて生成された回帰式を既存の回帰式に加算して新たな回帰式とする回帰式加算ステップを、ステップ５１の直前に実行してもよい（但し、この場合は、サンプルデータの最後のグループの処理が完了した以降に、当該グループに対応する回帰式（前回の回帰式との誤差の回帰式）を既存の回帰式に加算する処理が別途必要である）。
【００３８】
尚、前述のように、本発明は、特定の装置の制御にのみ適用されるべきものではなく、許容可能な範囲にある制御結果を得るのに好適な制御因子の目標値を、回帰式を利用して算出し、斯くして得られた目標値に制御因子を制御することによって、所望の制御結果を得ようとするものであれば、如何なる装置にも適用可能である。従って、前記第１乃至３の態様のいずれかに係る方法であって、前記制御対象となる装置が車両であることを特徴とする方法もまた、本発明の態様の１つとして、本発明の範囲に含まれる。即ち、本発明の第４の態様に係る方法は、前記第１乃至３の態様のいずれかに係る方法であって、前記制御対象となる装置が車両であることを特徴とする方法である。
【００３９】
ところで、前述のように、サンプルデータを複数のグループに分け、それぞれのグループについて回帰を行うことにより、ＳＭＯ法等、回帰式の算出時間を短縮可能な解法を用いずに二次計画問題を解く際に、サンプルデータ数が多い場合であっても、回帰式生成に要する時間を短縮することができるが、これは、前述のように、二次計画問題の求解時間はサンプルデータ数の３乗のオーダーで、二次計画問題を計算機で解く場合に必要とされる記憶領域の容量はサンプルデータ数の２乗のオーダーで、それぞれ増大することに起因する。
【００４０】
より具体的には、Ｎ個のサンプルデータがあり、これらのサンプルデータを一括して回帰した場合の回帰式の計算時間をＴ０とすると、これらのサンプルデータをｋ個のグループに分けることにより、個々のグループに含まれるサンプルデータ数はＮ／ｋ個となり、個々のグループにおける回帰式の計算時間は、Ｔ０×（１／ｋ）３となる。従って、全グループの計算時間は、ｋ×Ｔ０×（１／ｋ）３となり、これにサンプルデータのグループ化したり、２個目以降のグループを処理する際に既存の回帰式からの誤差を計算したり、個々のグループについて得られた回帰式を加算したりする処理に要する時間を加えたものが全体としての処理時間となる。しかしながら、これらの付随的な処理に要する時間は、回帰式の計算時間と比べると十分に小さい。従って、例えば、サンプルデータを１０個のグループに分けた場合、一括して処理する場合と比較すると、計算時間はおよそ１００分の１に短縮される。
【００４１】
上記のように、本発明に係る方法によれば、サンプルデータを複数のグループに分け、それぞれのグループについて回帰式を計算するので、サンプルデータ数が多いと計算時間が非常に長くなるという問題を解消することができる。
【００４２】
また、前述のように、二次計画問題を計算機で解く場合に必要とされる記憶領域の容量は、サンプルデータ数の２乗のオーダーで増大するので、本発明に係る方法によれば、個々のグループについて回帰式を計算する際のサンプルデータ数を抑えることができることから、回帰式を求めるのに必要とされる計算機の記憶容量を抑えることが出来るので、記憶容量が比較的少ない計算機においても、多くのサンプルデータを用いて回帰式の計算を実行することができる。
【００４３】
ところで、本発明に係る方法に従って、サンプルデータを複数のグループに分け、それぞれのグループについて回帰式を計算することに伴って、上記のように回帰式の計算時間は大幅に短縮されるが、回帰精度については、サンプルデータをより多くのグループに分けるほど（換言すれば、個々のグループに属するサンプルデータ数が少なくなるほど）低下する傾向がある。即ち、計算速度と回帰精度とはトレードオフの関係にある。従って、目的とする評価指標（制御結果）の制御に求められる精度に応じて、サンプルデータのグループの個数（大きさ）を調整することにより、計算速度と回帰精度とのバランスを適宜とることができる。
【００４４】
尚、上記のように、本発明に係る方法における回帰精度は、サンプルデータをより多くのグループに分けるほど低下する傾向があるが、この傾向は極めて小さい。これは、本発明に係る方法においては、２回目（２グループ目）以降の回帰においては、直前の段階で求められた回帰式に対する誤差を近似するため、通常、基準となる回帰式に対して正になる誤差と負になる誤差とがほぼ均等に分布することから、これらの誤差についての回帰式を求め、この回帰式を基準となる回帰式に加法的に重ね合わせて新たな回帰式とする際には、各部における誤差が相殺される方向に作用し、誤差が増大され難いことに起因するものと考えられる。
【００４５】
また、本発明に係る方法においては、サンプルデータにノイズや異常値が含まれる場合、当該サンプルデータを含むグループについての回帰式には当該ノイズや異常値の影響が生ずるが、他のグループについての回帰式には影響しない。従って、各グループについて求められた回帰式を加法的に重ね合わせて新たな回帰式を得る処理に伴い、ノイズや異常値の影響を受けた回帰式と、かかる影響を受けない回帰式とが相加平均される。その結果、本発明に係る方法においては、ノイズや異常値の影響が軽減される。
【００４６】
以上のように、本発明により、サンプルデータ数が膨大である場合であっても、従来の回帰方法と比較して、回帰式を生成するのに必要とされる計算時間が著しく増大することを回避しつつ、かつ、サンプルデータにおける異常値混入の影響による精度の低下をも回避することができる、制御因子特定用回帰式の生成方法が提供される。
【００４７】
尚、本発明に係る方法によって生成される制御因子特定用回帰式は、例えば、ＣＰＵ、記憶装置（例えば、揮発性メモリ、不揮発性メモリ、ハードディスク等）、各種センサ等の検出装置からの信号入力部、サーボモータ等のアクチュエータや他のデバイスへの信号出力部等を含んでなる制御ユニット（例えば、内燃機関を搭載する車両におけるＥＣＵ等）における記憶装置に格納され、対象となる装置の制御を行う際に制御用プログラム等によって読み出され、その時々の装置の状況に応じた制約条件下で、所望の制御結果を得るための制御因子の目標値を算出する処理等に使用される。
【００４８】
ところで、本発明に係る回帰式生成方法においては、所謂「ガウス関数」を基底関数として採用する回帰式も想定される。ガウス関数とは、例えば以下の一般式（Ａ）によって表される。
【００４９】
【数１】
0005603827.tif 000002
【００５０】
従って、ガウス関数を基底関数として用いる回帰式は、以下の一般式（Ｂ）によって表される（式中、β１は係数である）。
【００５１】
【数２】
0005603827.tif 000003
【００５２】
上記のように回帰式の基底関数としてガウス関数を採用する場合、ガウス関数の幅（一般式（Ｂ）におけるＲ）を、適切な方法を用いて、別途決定する必要がある。ガウス関数の幅Ｒを決定するための方法としては、当該技術分野において一般的に行われている種々のいずれの方法を用いてもよい。一例としては、例えば、ガウス関数の幅Ｒの候補を幾つか挙げておき、それぞれの幅Ｒを用いる回帰式の予測誤差を求め、最も小さい予測誤差を与える回帰式に用いられた幅Ｒを採択する方法が挙げられる。
【００５３】
いずれの方法を採用するにせよ、回帰式の基底関数としてガウス関数を採用する場合、ガウス関数の幅Ｒを決定することは不可避の手続である。従って、かかる場合においても、サンプルデータ数が膨大である場合でも回帰式を生成するのに必要とされる計算時間を短縮し、かつ異常値の混入があっても高い精度を維持するという本発明の目的を達成するためには、高精度の回帰式を与えるガウス関数の幅Ｒを、より少ない処理量（作業量、計算量）で決定することができる方法が必要である。
【００５４】
そこで、本発明者は、鋭意研究の結果、ガウス関数を基底関数として用いる回帰式を採用する場合、先ず回帰式生成ステップの初回実行時にガウス関数の幅Ｒを上記のように決定しておき、回帰式生成ステップの２回目以降の実行時には、ガウス関数の幅Ｒを、初回実行時の幅Ｒよりも小さい値とすることにより、より少ない処理量（作業量、計算量）で２回目以降の回帰実行時の幅Ｒを決定することができ、斯くして生成される回帰式の精度も高いことを見出した。
【００５５】
即ち、本発明の第５の態様に係る方法は、
前記第１乃至第４の態様のいずれかに係る方法であって、
前記回帰式がガウス関数を基底関数として用いること、及び
前記回帰式生成ステップにおいて、前記回帰式生成ステップの実行が初回である場合における前記ガウス関数の幅と比較して、前記回帰式生成ステップの実行が初回ではない場合における前記ガウス関数の幅がより小さいこと、
を特徴とする方法である。
【００５６】
上記のように、本実施態様は、ガウス関数を基底関数として用いる回帰式を採用する場合を想定している。そして、本実施態様においては、上述のように、回帰式生成ステップにおいて、回帰式生成ステップの実行が初回である場合におけるガウス関数の幅（Ｒ）と比較して、回帰式生成ステップの実行が初回ではない場合におけるガウス関数の幅（Ｒ）の方がより小さくなるようにする。
【００５７】
より具体的には、本実施態様においては、回帰式生成ステップの２回目以降の実行時には、初回実行時に求められたガウス関数の幅（Ｒ）よりも小さい値のみを、ガウス関数の幅（Ｒ）の候補として挙げればよい。換言すれば、回帰式生成ステップの２回目以降の実行時には、初回実行時に求められたガウス関数の幅（Ｒ）よりも大きい値については、ガウス関数の幅（Ｒ）の候補から除外することができる。これにより、ガウス関数の幅（Ｒ）を決定するための計算量を削減することができる。また、場合によっては、回帰式生成ステップの２回目以降の実行時には、複数の候補から最適値を選ぶのではなく、初回実行時に求められたガウス関数の幅（Ｒ）よりも十分に小さい値（例えば、１）をガウス関数の幅（Ｒ）として設定してもよい。
【００５８】
また、本実施態様においては、回帰式生成ステップの３回目以降の実行時にも上記手順を繰り返して、回帰式生成ステップの実行の度に、より小さいガウス関数の幅（Ｒ）を採択するようにしてもよい。あるいは、回帰式生成ステップの３回目以降の実行時には上記手順を省略して、回帰式生成ステップの２回目の実行時に求められたガウス関数の幅（Ｒ）を、回帰式生成ステップの３回目以降の実行時においても、そのまま使用してもよい。
【００５９】
尚、前述のように、本発明に係る回帰式生成方法においては、サンプルデータを複数のグループに分け、それぞれのグループについて回帰を行う。従って、回帰式の基底関数としてガウス関数を用いる場合、回帰式生成ステップの初回実行時には、複数のグループの中の１つのグループに属するサンプルデータのみに基づいてガウス関数の幅（Ｒ）が求められることになる。このように一部のサンプルデータのみに基づいて求められるガウス関数の幅（Ｒ）については、その妥当性が懸念されると考えることもできる。
【００６０】
しかしながら、実際には、このように一部のサンプルデータのみに基づいて求められるガウス関数の幅（Ｒ）は、より多数のサンプルデータに基づいて求められるガウス関数の幅（Ｒ）と比較して、予測誤差（汎化性能推定値）の大きさについては差異が認められるものの、最も小さい予測誤差（汎化性能推定値）を与える最適なガウス関数の幅（Ｒ）の値については差異は認められない。つまり、本発明に係る回帰式生成方法のように一部のサンプルデータのみに基づいてガウス関数の幅（Ｒ）を求めても、最適なガウス関数の幅（Ｒ）を決定することができる（詳しくは、実施例において説明する）。
【００６１】
ところで、前述のように、ガウス関数の幅Ｒの最適値は、例えば、ガウス関数の幅Ｒの候補を幾つか挙げておき、それぞれの幅Ｒを用いる回帰式の予測誤差を求め、最も小さい予測誤差を与える回帰式に用いられた幅Ｒを最適値として採択することができる。かかる手順の好ましい具体例としては、例えば、所謂「交差確認法」（Ｃｒｏｓｓ  Ｖａｌｉｄａｔｉｏｎ）が挙げられる。
【００６２】
即ち、本発明の第６の態様に係る方法は、
前記第５の態様に係る方法であって、
前記回帰式生成ステップにおいて、前記回帰式生成ステップの実行が初回である場合における前記ガウス関数の幅及び前記回帰式生成ステップの実行が初回ではない場合における前記ガウス関数の幅の少なくとも一部が、交差確認法によって決定されること、
を特徴とする方法である。
【００６３】
上記のように、交差確認法は、回帰式生成ステップの初回実行時にのみ適用してもよく、回帰式生成ステップの２回目以降のいずれかの実行時にも適用してもよい。あるいは、かかる交差確認法は、回帰式生成ステップの初回及び２回目以降の実行時のうち複数回において適用してもよく、あるいは、回帰式生成ステップの初回及び２回目以降の全ての実行時において適用してもよい。
【００６４】
また、交差確認法は、例えば、先ず元のデータをｎ個のブロックに分割し、１つ目のブロックをテストデータ、その他のブロックをトレーニングデータとしてモデルの構築と精度の算出を行ない、次に２つ目のブロックをテストデータ、その他のブロックをトレーニングデータとしてモデル構築を行ない、かかる手続きをｎ回繰返し、各回において算出された精度の平均をモデルの推定精度とする方法であり、少ないデータであっても推定誤差が少くなることを特徴とする。
【００６５】
かかる交差確認法の具体的な実行手順には複数の種類が知られており、例えば、「１つだけ別に取り出す交差確認法」又は「１つ抜き法（ＬＯＯ法）」（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  Ｃｒｏｓｓ  Ｖａｌｉｄａｔｉｏｎ）、「１０分割交差確認法」（１０−ｆｏｌｄ  Ｃｒｏｓｓ  Ｖａｌｉｄａｔｉｏｎ）、「２分割交差確認法」（２−ｆｏｌｄ  Ｃｒｏｓｓ  Ｖａｌｉｄａｔｉｏｎ）等を挙げることができる。
【００６６】
以下に記載する実施例によって本発明を更に詳しく説明するが、本発明の技術的範囲は、これらの例に限定されるものではない。
【実施例１】
【００６７】
１．本発明の一態様に係る方法の計算時間及び回帰精度の検証
（１）人工データ
本発明の一態様に係る方法の有効性を、以下の人工データを使用して検証した。
ａ）入力ｘｉを、｛０，３０００｝からランダムに１３００点サンプリングする。
ｂ）計測ノイズηｉを、正規分布Ｎ（０，σ２）で生成させる（本実施例においてノイズを付加する場合、σ２＝０．１５とした）。
ｃ）異常値５点に付加する値θｉを、±０．０、±３．０、及び±５．０とする。
ｄ）異常値５点は、いずれも学習用データに含める。
ｅ）出力ｙｉを、以下の式（Ｉ）で定義する。
【００６８】
【数３】
0005603827.tif 000004
【００６９】
（２）回帰式の計算時間の評価
上記人工データ１３００点からランダムに抽出した３００点を学習用データとし、ハードマージン（Ｈａｒｄ  Ｍａｒｇｉｎ）問題を解いて学習を行い、回帰式を求めるのに要した計算時間を、以下に列挙するそれぞれの回帰方法について測定した。
ｉ）本発明の一態様に係る方法
ii）従来法（逐次的学習法）
iii)通常法（逐次的学習法を用いず、全てのテストデータを一括回帰）
尚、上記ｉ）乃至iii)のいずれの回帰方法においても、ガウシアンカーネルを用いるＳＶＲによって回帰式を求めた。また、上記ｉ）及びii）の回帰方法においては、学習用データを６つのグループに分割して回帰式を求め、その計算に要した時間を測定した。得られた結果につき、図３を参照しつつ以下に説明する。
【００７０】
前述のように、図３は、本発明の１つの実施態様に係る回帰式生成方法、従来法（逐次的学習法）、及び通常法（一括回帰）における、異常値の混入による回帰式の計算時間への影響の程度を示すグラフである。尚、図３において、（ａ）は計測ノイズを付加しなかった場合、及び（ｂ）は計測ノイズを付加した場合の、異常値の混入による回帰式の計算時間への影響を示している。尚、（ｂ）において「ノイズ０．１５」とあるのは、前述のように、正規分布Ｎ（０，σ２）で生成させる計測ノイズにおいて、σ２＝０．１５としたことを示している。
【００７１】
図３に示されているように、本発明の一態様に係る回帰式生成方法は、異常値の混入の有無、計測ノイズの有無にかかわらず、通常法（一括回帰）と比較して、回帰式の計算時間が極めて短く、学習用データへの異常値の混入に伴う回帰式の計算時間の変動も著しく小さい。尚、従来法（逐次的学習法）もまた、本発明の一態様に係る回帰式生成方法と概ね同様の傾向を示したが、本発明の一態様に係る回帰式生成方法と比較すると、学習用データへの異常値の混入や、計測ノイズの付加に伴う回帰式の計算時間の変動が大きい。このように、本発明の一態様に係る回帰式生成方法は、通常法（一括回帰）と比較して、回帰式の計算時間が極めて短く、また従来法（逐次的学習法）及び通常法（一括回帰）と比較して、学習用データへの異常値や計測ノイズの混入に伴う回帰式の計算時間の変動も小さいことが確認された。
【００７２】
（３）回帰式の精度の評価
残りの１０００点のデータをテストデータとして用いて、上記ｉ）乃至iii)のそれぞれの回帰方法（学習方法）について、テストデータに対する真の値と回帰値との相関係数を求めた。
【００７３】
尚、上記（２）及び（３）の評価は、それぞれの回帰方法について、異常値への付加値θｉ（±０．０、±３．０、及び±５．０の３種類）とノイズの有無との組み合わせ毎に１５回ずつ行い、相関係数及び計算時間のそれぞれの平均値を求めた。得られた結果につき、図４を参照しつつ以下に説明する。
【００７４】
前述のように、図４は、本発明の１つの実施態様に係る回帰式生成方法、従来法（逐次的学習法）及び通常法（一括回帰）における、異常値の混入による回帰精度（相関係数）への影響の程度を示すグラフである。尚、図４において、（ａ）は計測ノイズを付加しなかった場合、及び（ｂ）は計測ノイズを付加した場合の、異常値の混入による相関係数への影響を示している。尚、（ｂ）において「ノイズ０．１５」とあるのは、前述のように、正規分布Ｎ（０，σ２）で生成させる計測ノイズにおいて、σ２＝０．１５としたことを示している。
【００７５】
図４に示されているように、本発明の一態様に係る回帰式生成方法は、従来法（逐次的学習法）及び通常法（一括回帰）と比較して、学習用データへの異常値の混入に伴う相関係数の低下が著しく小さい。換言すれば、本発明の一態様に係る回帰式生成方法は、学習用データへの異常値の混入に対して頑健性が極めて高く、異常値が混入しても高い汎化性（精度）を維持することができる。また、本発明の一態様に係る回帰式生成方法は、従来法（逐次的学習法）及び通常法（一括回帰）と比較して、計測ノイズの有無による相関係数の変動も小さいことが確認された。
【００７６】
（４）まとめ
以上のように、本発明に係る回帰式生成方法は、通常法（一括回帰）と比較して、回帰式の計算時間が極めて短く、また従来法（逐次的学習法）及び通常法（一括回帰）と比較して、学習用データへの異常値の混入や計測ノイズの付与に対して、回帰精度の頑健性が極めて高い（相関係数の低下が著しく小さい）ことが確認された。従って、本発明に係る方法によれば、各種装置の制御における制御因子と制御結果（評価指標）との関係を表す回帰式を、従来技術に比べて極めて短い時間で算出することができ、また異常値や計測ノイズが混入しても、汎化性の高い回帰式を生成することができるので、精度の高い制御を可能とすることができる。
【００７７】
２．サンプルデータのグループの大きさと回帰式の計算時間及び精度
本実施例においては、車両の制御因子と対応する制御結果（評価指標）との関係を、実データから３５８４箇所についてサンプリングし、これらの中からランダムに選んだ５８８点のサンプルデータを学習用データとして回帰式を生成した。この際、これら５８８点の学習用データを分割して作成するグループの大きさ（データ点数）を表１に示されているように変化させ、本発明の一態様に係る方法による回帰式の計算時間の変化を調べた。
【００７８】
次に、残りの２９９６点のデータを用いて、個々の回帰式の精度（平均誤差）についても調査した。尚、上記回帰方法の詳細については、前述の１（２）と同様とした。また、表１における「平均誤差」とは、回帰式に基づく算出値と実測値との差の絶対値を全データに亘って平均したものである。
【００７９】
【表１】
0005603827.tif 000005
【００８０】
表１から明らかなように、本発明に係る方法に従って、サンプルデータを複数のグループに分け、それぞれのグループについて回帰式を計算することにより、全てのサンプルデータを一括回帰する通常法と比較して、回帰式の計算時間は大幅に短縮された。しかし、サンプルデータをより多くのグループに分けるほど（換言すれば、個々のグループに属するサンプルデータ数が少なくなるほど）回帰精度が低下する（平均誤差が大きくなる）傾向が認められた。
【００８１】
従って、前述のように、サンプルデータのグループ分けに伴う計算速度の短縮の程度と比較すると、回帰精度の低下の程度は極僅かであるが、極めて高い精度が要求される場合は、求められる精度に応じて、サンプルデータのグループの個数（大きさ）を調整することにより、トレードオフの関係にある計算速度と回帰精度とのバランスを適宜とることができる。
【００８２】
尚、本実施例においては車両の制御について検証したが、前述のように、本発明は、許容可能な範囲にある制御結果を得るのに好適な制御因子の目標値を、回帰式を利用して算出し、斯くして得られた目標値に制御因子を制御することによって、所望の制御結果を得ようとするものであれば、如何なる装置にも適用可能である。
【実施例２】
【００８３】
１．初回の回帰式のガウス関数の幅Ｒの決定
本発明に係る回帰式生成方法において回帰式の基底関数としてガウス関数を用いる場合も、基本的には図２に示すフローチャートに従って一連の処理が実行される。但し、回帰式の基底関数としてガウス関数を用いるため、ガウス関数の幅Ｒを決定する処理が更に必要となる。具体的には、初回の回帰実行時にはステップ４１に付随してガウス関数の幅Ｒを決定し、２回目以降の回帰実行時にはステップ５１に付随してガウス関数の幅Ｒを決定する。これらのステップにおいてガウス関数の幅Ｒを決定する方法は、前述のような種々の方法から選ぶことができ、一例としては、交差確認法が挙げられる。
【００８４】
ところで、本発明に係る回帰式生成方法において回帰式の基底関数としてガウス関数を用いる場合には、前述のように、回帰式生成ステップの初回実行時には、複数のグループの中の１つのグループに属するサンプルデータのみに基づいてガウス関数の幅（Ｒ）が求められることになる。しかしながら、実際には、このように一部のサンプルデータのみに基づいてガウス関数の幅（Ｒ）を求めても、最適なガウス関数の幅（Ｒ）を決定することができる。この点につき、図５を参照しながら、以下に詳しく説明する。
【００８５】
前述のように、図５は、本発明の１つの実施態様に係る回帰式生成方法において、回帰式の基底関数として用いられるガウス関数の幅Ｒと予測誤差との関係を、一部のサンプルデータについて求めた場合と全てのサンプルデータについて求めた場合とで比較するグラフである。この例においては、５００点のサンプルデータを用意し、このうち３２９点をトレーニングデータ、１７１点を汎化性能確認用データとした。幅Ｒの最適値を決定する方法としては、前述の「１０分割交差確認法」（１０−ｆｏｌｄ  Ｃｒｏｓｓ  Ｖａｌｉｄａｔｉｏｎ）を採用した。また、幅Ｒの候補としては、１、２、３、４、及び５の５つの値を用意した。
【００８６】
先ず、本発明の１つの実施態様に係る回帰式生成方法の例として、上記トレーニングデータ３２９点のうち１００点のみを用いて初回の回帰式を求め、汎化性能確認用データ１７１点を用いて、それぞれの幅Ｒの候補値につき、予測誤差（汎化性能推定値）を求めた（グラフ中、黒い四角のプロット）。これに対し、参考例として、全てのトレーニングデータ３２９点を用いて、それぞれの幅Ｒの候補値につき、上記と同様に予測誤差（汎化性能推定値）を求めた（グラフ中、黒い丸のプロット）。
【００８７】
図５に示すグラフからも明らかであるように、トレーニングデータを１００点しか用いなかった本発明の１つの実施態様に係る回帰式生成方法の例においては、全てのトレーニングデータ３２９点を用いた参考例と比較して、全ての幅Ｒの候補値において、予測誤差の値そのものは大きい。しかしながら、トレーニングデータを１００点しか用いなかった場合も、全てのトレーニングデータ３２９点を用いた場合も、予測誤差が最小となる最適な幅Ｒの値は同じ（３）である。
【００８８】
上記のように、本発明の１つの実施態様に係る回帰式生成方法において、一部のサンプルデータのみに基づいてガウス関数の幅（Ｒ）を求めても、より少ない処理量（作業量、計算量）で、最適なガウス関数の幅（Ｒ）を決定することができることが確認された。
【００８９】
２．２回目以降の回帰式のガウス関数の幅Ｒの決定（１）
前述のように、本発明の１つの実施態様に係る回帰式生成方法の回帰式生成ステップにおいて、回帰式生成ステップの実行が初回である場合におけるガウス関数の幅と比較して、回帰式生成ステップの実行が初回ではない場合におけるガウス関数の幅がより小さい。即ち、本発明の１つの実施態様に係る回帰式生成方法における２回目以降の回帰式のガウス関数の幅Ｒとしては、初回の回帰式のガウス関数の幅Ｒよりも小さい値が用いられる。これにより、より少ない処理量（作業量、計算量）で、２回目以降の回帰実行時の幅Ｒを決定することができ、斯くして生成される回帰式の精度も向上する。この点につき、図６を参照しながら、以下に詳しく説明する。
【００９０】
前述のように、図６は、本発明の１つの実施態様に係る回帰式生成方法における初回の回帰式のガウス関数の幅Ｒと２回目の回帰式のガウス関数の幅Ｒとの組み合わせによる回帰式の予測精度（汎化性能推定値）の変化を表すグラフである。より詳しくは、図６のグラフにおいて、（ａ）はサンプル点１（０，１）及びサンプル点２（３，−１）を用いて得た初回の回帰式Ｆ（実線）を表す。ここで、サンプル点の座標は（位置，値）を表す。即ち、（ａ）に示す初回の回帰においては、位置が０及び３であり、値がそれぞれ＋１及び−１である２つのサンプル点を用いた。（ａ）に示すように、初回の回帰式のガウス関数の幅Ｒは３である。ここで、Ｆ１はサンプル点１のみについての回帰式を表し、Ｆ２はサンプル点２のみについての回帰式を表す。即ち、初回の回帰式Ｆは、Ｆ１（点線）とＦ２（破線）との重ね合わせである。
【００９１】
次に、２回目の回帰においては、位置が１及び２であり、値がそれぞれ初回の回帰式Ｆからの残差が＋０．２及び−０．２である２つのサンプル点３及び４を用いた。尚、図６における（ｂ）及び（ｃ）はいずれも２回目の回帰式を表し、初回の回帰式Ｆは細い方の実線で、２回目の回帰式Ｆは太い方の実線で表されている。また、ｒｅｓ１及びｒｅｓ２は、それぞれサンプル点３及びサンプル点４と初回の回帰式Ｆとの残差についての回帰式を表し、２回目の回帰式Ｆは、初回の回帰式Ｆとｒｅｓ１及びｒｅｓ２との重ね合わせである。
【００９２】
但し、（ｂ）と（ｃ）とでは、ガウス関数の幅Ｒがそれぞれ１及び３と異なる値に設定されている。即ち、（ｂ）においては２回目の回帰式のガウス関数の幅Ｒが初回の回帰式のガウス関数の幅Ｒよりも小さいことから、本発明の１つの実施態様に係る回帰式生成方法に該当し、（ｃ）においては２回目の回帰式のガウス関数の幅Ｒが初回の回帰式のガウス関数の幅Ｒと等しいことから、比較例に係る回帰式生成方法に該当する。
【００９３】
図６における（ｂ）と（ｃ）との比較からも明らかであるように、初回の回帰式Ｆ（細い実線）とｒｅｓ１（点線）及びｒｅｓ２（破線）との重ね合わせである２回目の回帰式Ｆ（太い実線）の、２回目のサンプル点３及び４に対する精度は、（ｃ）よりも（ｂ）の方が良好である。これは、ｒｅｓ１及びｒｅｓ２の周囲への影響度の違いに起因するものである。即ち、初回回帰実行時の幅Ｒと同じ値を用いた（ｃ）においては、一方のサンプル点の影響が他方のサンプル点の位置にまで及んでおり、このために回帰式の精度が低下している。これに対し、初回回帰実行時よりも小さい値を幅Ｒとして用いた（ｂ）においては、一方のサンプル点から他方のサンプル点にまで及ぶ影響が小さく、その結果、２回目の回帰式のサンプル点からの乖離が小さい（回帰式の精度が高い）。
【００９４】
上記のように、本発明の１つの実施態様に係る回帰式生成方法の回帰式生成ステップにおいて、２回目以降の回帰式のガウス関数の幅Ｒとして、初回の回帰式のガウス関数の幅Ｒよりも小さい値を用いることにより、２回目以降の回帰式の精度が向上することが確認された。また、２回目以降の回帰式のガウス関数の幅Ｒとして、初回の回帰式のガウス関数の幅Ｒよりも大きい値は候補として上げる必要性が無くなることから、より少ない処理量（作業量、計算量）で、２回目以降の回帰実行時の幅Ｒを決定することができる。
【００９５】
３．２回目以降の回帰式のガウス関数の幅Ｒの決定（２）
上述のように、２回目以降の回帰式のガウス関数の幅Ｒを初回の回帰式のガウス関数の幅Ｒよりも小さく設定することにより、より少ない処理量（作業量、計算量）で、２回目以降の回帰実行時の幅Ｒを決定することができるばかりでなく、２回目以降の回帰式の精度を向上させることができる。そこで、初回の回帰式のガウス関数の幅Ｒと２回目以降の回帰式のガウス関数の幅Ｒとの様々な組み合わせに対して、結果として得られる回帰式の精度を評価した。かかる評価結果について、図７を参照しながら以下に詳しく説明する。
【００９６】
前述のように、図７は、本発明の１つの実施態様に係る回帰式生成方法における初回の回帰式のガウス関数の幅Ｒと２回目以降の回帰式のガウス関数の幅Ｒとの組み合わせによる回帰式の予測精度（汎化性能推定値）の変化を二次元的に表すコンタ図である。図７に示す白い実線は、初回の回帰式のガウス関数の幅Ｒと２回目以降の回帰式のガウス関数の幅Ｒとが１対１となる（即ち、等しい）状態を表している。図７に示すように、この白い実線よりも下側の領域（即ち、初回の幅Ｒよりも２回目以降の幅Ｒの方が小さい領域）においては、結果として得られる回帰式の精度が高い（平均誤差が小さい）。これに対し、上記白い実線よりも上側の領域（即ち、初回の幅Ｒよりも２回目以降の幅Ｒの方が大きい領域）においては、結果として得られる回帰式の精度が低い（平均誤差が大きい）。
【００９７】
ここで、図７における白い一点鎖線は、初回の回帰式のガウス関数の幅Ｒが４である状態を表している。即ち、この一点鎖線上では、初回の回帰式のガウス関数の幅Ｒが４で固定されており、２回目以降の回帰式のガウス関数の幅Ｒが種々の値となっている状態を表す。この一点鎖線上で２回目以降の幅Ｒを様々な値に変更した際の平均誤差の変動を以下の表２に示す。
【００９８】
【表２】
0005603827.tif 000006
【００９９】
表２に示す結果からも明らかであるように、２回目以降の回帰式のガウス関数の幅Ｒを初回の回帰式のガウス関数の幅Ｒよりも小さく設定することにより、結果として得られる回帰式の精度を向上させることができる。また、２回目以降の回帰式のガウス関数の幅Ｒとして、初回の回帰式のガウス関数の幅Ｒよりも大きい値は候補として上げる必要性が無くなることから、より少ない処理量（作業量、計算量）で、２回目以降の回帰実行時の幅Ｒを決定することができるという利点も得られる。
【０１００】
以上説明してきたように、本発明によれば、サンプルデータ数が膨大である場合でも回帰式を生成するのに必要とされる計算時間が著しく増大することが無く、かつ、サンプルデータにおける異常値混入の影響を受け難い、回帰式の生成方法が提供される。従って、本発明によれば、従来の回帰方法と比較して、膨大なサンプルデータを用いる場合であっても大幅に短い計算時間で、かつ異常値の混入があっても高い精度を維持したままで、回帰式を生成することができる。本発明にかかる方法は、例えば車両等の各種装置の制御における制御因子特定用回帰式の生成において有用である。
【０１０１】
更に、本発明によれば、回帰式の基底関数としてガウス関数を用いる場合においても、回帰式生成ステップにおいて、回帰式生成ステップの実行が初回ではない（即ち、２回目以降である）場合におけるガウス関数の幅（Ｒ）を、回帰式生成ステップの実行が初回である場合におけるガウス関数の幅（Ｒ）よりも小さい値に設定することにより、より少ない処理量（作業量、計算量）で２回目以降の回帰実行時の幅（Ｒ）を決定することができるのみならず、結果として得られる回帰式の精度を向上させることができる。
【符号の説明】
【０１０２】
１０  本発明の１つの実施態様に係る回帰式生成方法の処理フロー
１１  因子空間上での中心サンプルデータを選出するステップ
１２  サンプルデータをソートし、グループ分けするステップ
２０  回帰回数ループ入口
３０  初回の回帰であるか否かによる条件分岐
４１  因子と評価指標との関係を表す回帰式を求めるステップ
５１  既存の回帰式からの誤差を個々のサンプルデータについて算出するステップ
５２  算出された誤差と制御因子との関係を表す回帰式を求めるステップ
６０  ステップ５２において求められた回帰式を既存の回帰式に加算して新たな回帰式とするステップ
７０  回帰回数ループ出口
【図１】
0005603827.tif 000007
【図２】
0005603827.tif 000008
【図３】
0005603827.tif 000009
【図４】
0005603827.tif 000010
【図５】
0005603827.tif 000011
【図６】
0005603827.tif 000012
【図７】
0005603827.tif 000013