(57)【特許請求の範囲】
【請求項１】
特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、
前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、
を有し、
前記モデル関数はANOVAカーネルを含み、
前記第１のパラメータはLassoアルゴリズムに従って学習され、前記第２のパラメータは座標降下法に従って学習され、
前記モデル関数を最適化するための目的関数は、前記第１のパラメータと前記第２のパラメータとに対して凸であり、
前記推定部は、前記目的関数が収束するまで、前記訓練データを用いて前記第１のパラメータと前記第２のパラメータとを繰り返し学習する目的変数予測装置。
【請求項２】
特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、
前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、
を有し、
前記モデル関数は、同次多項式カーネルを含み、
前記第１のパラメータと前記第２のパラメータとの推定が、ｍ個の行列により表現される第３のパラメータに分解可能な対称テンソルの推定に変換され、
前記モデル関数を最適化するための目的関数は、前記第３のパラメータに対して凸であり、
前記推定部は、前記目的関数に座標降下法を適用することによって、前記訓練データを用いて前記第３のパラメータを学習し、
前記予測部は、前記第３のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する目的変数予測装置。
【請求項３】
特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、
前記目的変数が判明している特徴ベクトルにより表現される（ｍ−１）次以下の特徴の組み合わせに対する訓練データについて、前記訓練データの次数を拡大することによって取得された拡大された訓練データを利用して、ｍ次特徴ベクトルの組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、
を有する目的変数予測装置。
【請求項４】
前記モデル関数はANOVAカーネルを含み、
前記拡大された訓練データは、ｍ個の１の特徴によって前記訓練データの次元を拡大することによって取得され、
前記第１のパラメータはLassoアルゴリズムに従って学習され、前記第２のパラメータは座標降下法に従って学習され、
前記モデル関数を最適化するための目的関数は、前記第１のパラメータと前記第２のパラメータとに対して凸であり、
前記推定部は、前記目的関数が収束するまで、前記訓練データを用いて前記第１のパラメータと前記第２のパラメータとを繰り返し学習する、請求項３記載の目的変数予測装置。
【請求項５】
前記モデル関数は、同次多項式カーネルを含み、
前記拡大された訓練データは、１つの１の特徴によって前記訓練データの次元を拡大することによって取得され、
前記第１のパラメータと前記第２のパラメータとの推定が、ｍ個の行列により表現される第３のパラメータに分解可能な対称テンソルの推定に変換され、
前記モデル関数を最適化するための目的関数は、前記第３のパラメータに対して凸であり、
前記推定部は、前記目的関数に座標降下法を適用することによって、前記訓練データを用いて前記第３のパラメータを学習し、
前記予測部は、前記第３のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する、請求項３記載の目的変数予測装置。
【請求項６】
特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置により実行される方法であって、
前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定するステップと、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測するステップと、
を有し、
前記モデル関数はANOVAカーネルを含み、
前記第１のパラメータはLassoアルゴリズムに従って学習され、前記第２のパラメータは座標降下法に従って学習され、
前記モデル関数を最適化するための目的関数は、前記第１のパラメータと前記第２のパラメータとに対して凸であり、
前記推定するステップは、前記目的関数が収束するまで、前記訓練データを用いて前記第１のパラメータと前記第２のパラメータとを繰り返し学習する方法。
【請求項７】
特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置により実行される方法であって、
前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定するステップと、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測するステップと、
を有し、
前記モデル関数は、同次多項式カーネルを含み、
前記第１のパラメータと前記第２のパラメータとの推定が、ｍ個の行列により表現される第３のパラメータに分解可能な対称テンソルの推定に変換され、
前記モデル関数を最適化するための目的関数は、前記第３のパラメータに対して凸であり、
前記推定するステップは、前記目的関数に座標降下法を適用することによって、前記訓練データを用いて前記第３のパラメータを学習し、
前記予測するステップは、前記第３のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する方法。
【請求項８】
請求項１乃至５何れか一項記載の目的変数予測装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習の分野に関し、より詳細には、訓練データを用いて推定されたモデルを利用して特徴ベクトルに対応する目的変数を予測するための技術に関する。
【背景技術】
【０００２】
従来の統計的手法に基づく予測技術では、データと目的変数との依存関係を表すモデルを特徴ベクトルとモデルパラメータとの関数として与え、当該モデルを用いて特徴ベクトルに対する目的変数の値が推定される。一般に、当該モデルパラメータの値は目的変数が判明している訓練データを用いて求められる。
【０００３】
２次特徴の組み合わせが扱えるモデルの例として、factorization machines(FM)がある（非特許文献１，２）。バイス項と１次特徴を除いて、FMでは以下のモデル関数が用いられる。
【０００４】
【数１】
0006660248.tif 000002
ここで、
【０００５】
【数２】
0006660248.tif 000003
は入力特徴ベクトルであり、
【０００６】
【数３】
0006660248.tif 000004
は低ランクの２次重み行列（ただし、
【０００７】
【数４】
0006660248.tif 000005
である）であり、
【０００８】
【数５】
0006660248.tif 000006
はハイパーパラメータである。パラメータ推定のためには、SGD、座標降下法（coordinate descent）、MCMC等を用いることができる（非特許文献１，２）。
【０００９】
また、２次特徴の組み合わせと３次特徴の組み合わせとが扱えるモデルの例として、polynomial networks(PN)がある（非特許文献３）。PNでは、以下のモデル関数を用いる。
【００１０】
【数６】
0006660248.tif 000007
ここで、
【００１１】
【数７】
0006660248.tif 000008
はベクトルであり、
【００１２】
【数８】
0006660248.tif 000009
は行列であり、
【００１３】
【数９】
0006660248.tif 000010
はactivation関数である。ここで、
【００１４】
【数１０】
0006660248.tif 000011
は内積を示す。
【００１５】
【数１１】
0006660248.tif 000012
であるとき、パラメータ推定には、逐次アルゴリズムが利用可能である（非特許文献３）。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】S.Rendle (2012), Factorization machines with libfm, ACM Transactions on Intelligent Systems and Technology, vol.3, pp.57-78
【非特許文献２】S.Rendle (2010), Factorization machines, Proceedings of International Conference on Data Mining, pp.995-1000
【非特許文献３】R.Livni, S.Shalev-Shwartz, O.Shamir (2014), On the computational efficiency of training neural networks, Advances in Neural Information Processing Systems, pp.855-863
【発明の概要】
【発明が解決しようとする課題】
【００１７】
上述した従来のFM及びPMでは、それぞれ２次と３次までの特徴の組み合わせしか扱うことができない。従って、より高い次数の特徴ベクトルの組み合わせを扱うことができると共に、少ない計算量でパラメータ値を求めることが可能なアルゴリズムが求められる。
【００１８】
上述した問題点を鑑み、本発明の課題は、高い次数の特徴ベクトルの組み合わせに対するモデルを利用して、データに対応する目的変数を予測するための技術を提供することである。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、本発明の一態様は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、を有する目的変数予測装置に関する。
【００２０】
本発明の他の態様は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、前記目的変数が判明している特徴ベクトルにより表現される（ｍ−１）次以下の特徴の組み合わせに対する訓練データについて、前記訓練データの次数を拡大することによって取得された拡大された訓練データを利用して、ｍ次特徴ベクトルの組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、を有する目的変数予測装置に関する。
【００２１】
本発明の他の態様は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置により実行される方法であって、前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定するステップと、前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測するステップと、を有する方法に関する。
【発明の効果】
【００２２】
本発明によると、高い次数の特徴ベクトルの組み合わせに対するモデルを利用して、データに対応する目的変数を予測することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。
【図２】図２は、本発明の一実施例による目的変数予測装置の機能構成を示すブロック図である。
【図３】図３は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。
【図４】図４は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。
【図５】図５は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。
【図６】図６は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示すフロー図である。
【図７】図７は、本発明の一実施例による目的変数予測装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、図面に基づいて本発明の実施の形態を説明する。
【００２５】
以下の実施例では、FM及びPNより高い次数の特徴ベクトルの組み合わせを処理可能な目的変数予測装置が開示される。すなわち、当該目的変数予測装置では、FM及びPMをより一般化したフレームワークが導入される。後述される実施例を概略すると、図１に示されるように、まず目的変数ｙが判明している特徴ベクトルｘにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数のパラメータλ及びＰが目的関数の凸性を利用したアルゴリズムに従って推定又は学習される。当該パラメータλ及びＰは、線形時間の計算量で推定可能である。訓練データによる学習後、目的変数予測装置は、推定されたパラメータλ及びＰによるモデル関数を利用して、未知のデータｘの目的変数を予測する。このようにして、ｍ次特徴の組み合わせを扱うことが可能なモデル関数のパラメータを少ない計算量で推定することができ、効率的に予測性能を向上させることが可能になる。
【００２６】
まず、図２〜５を参照して、本発明の一実施例による目的変数予測装置を説明する。本実施例による目的変数予測装置は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する。具体的には、訓練データの特徴ベクトル
【００２７】
【数１２】
0006660248.tif 000013
が与えられたとき、目的変数予測装置は、推定されたパラメータを用いたｍ次特徴の組み合わせに対するモデル関数
【００２８】
【数１３】
0006660248.tif 000014
を利用して目的変数を予測する。ここで、λｓはλのｓ番目の要素であり、ｐｓはＰのｓ番目の列であり、
【００２９】
【数１４】
0006660248.tif 000015
はカーネルであり、ｋはハイパーパラメータである。
【００３０】
図２は、本発明の一実施例による目的変数予測装置の機能構成を示すブロック図である。図２に示されるように、目的変数予測装置１００は、推定部１１０及び予測部１２０を有する。
【００３１】
推定部１１０は、目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、式（３）に示されるｍ次特徴の組み合わせに対するモデル関数におけるパラメータを推定する。具体的には、推定部１１０は、後述される２つのカーネルを利用して、訓練データからベクトルλと行列Ｐとを推定又は学習する。
【００３２】
第１のカーネルは、
【００３３】
【数１５】
0006660248.tif 000016
により表される同次多項式カーネルである。ここで、ｍは多項式の次数である。
【００３４】
第２のカーネルは、
【００３５】
【数１６】
0006660248.tif 000017
により表されるANOVAカーネルである。ここで、
【００３６】
【数１７】
0006660248.tif 000018
であり、ｐ１，...，ｐｄはベクトルｐの要素であり、ｘ１，...，ｘｄはベクトルｘの要素である。
【００３７】
ANOVAカーネルを用いたとき、式（４）から理解されるように、ANOVAカーネルを計算するコストは、
【００３８】
【数１８】
0006660248.tif 000019
であり、多項式時間かかる。この計算量を低減するため、
【００３９】
【数１９】
0006660248.tif 000020
であるとき、推定部１１０は、以下の等価式を利用する。
【００４０】
【数２０】
0006660248.tif 000021
ここで、
【００４１】
【数２１】
0006660248.tif 000022
と、
【００４２】
【数２２】
0006660248.tif 000023
として定義される。当該等価式を利用すると、ANOVAカーネルを計算するコストは、
【００４３】
【数２３】
0006660248.tif 000024
となり、線形時間に低減される。この結果、推定部１１０は、式（３）を
【００４４】
【数２４】
0006660248.tif 000025
の計算量で計算できる。
【００４５】
なお、上述した同次多項式カーネルとANOVAカーネルとを式（３）に導入することによって、式（１）及び式（２）により表されるFM及びPNのモデル関数は、
【００４６】
【数２５】
0006660248.tif 000026
として表現できる。これらの式から理解されるように、FM及びPNは式（３）の特殊なケースであるとみなすことができる。
【００４７】
パラメータλ及びＰを推定するため、推定部１１０は、
【００４８】
【数２６】
0006660248.tif 000027
により定式化される目的関数を最小化する。ここで、
【００４９】
【数２７】
0006660248.tif 000028
は目的変数が判明している訓練データであり、
【００５０】
【数２８】
0006660248.tif 000029
は２階微分可能な凸の損失関数を表し、β（＞０）はハイパーパラメータである。以降において、
【００５１】
【数２９】
0006660248.tif 000030
をまとめた行列を
【００５２】
【数３０】
0006660248.tif 000031
と呼ぶ。
【００５３】
一実施例では、モデル関数がANOVAカーネルを利用するとき、すなわち、
【００５４】
【数３１】
0006660248.tif 000032
であるとき、式（５）の目的関数は多量凸（multi-convex）となり、より詳細には、パラメータλ及びＰの各行について凸となる。従って、λについての学習とＰについての学習を目的関数が収束するまで繰り返すことによって、推定部１１０は、極小解を得ることができる。例えば、推定部１１０は、
【００５５】
【表１】
0006660248.tif 000033
に示されるアルゴリズム１に従って計算することによって、最適なパラメータλ及びＰを推定できる。
【００５６】
ここで、推定部１１０は、パラメータλをLassoアルゴリズムに従って学習し、パラメータＰを座標降下法に従って学習してもよい。具体的には、推定部１１０は、
【００５７】
【表２】
0006660248.tif 000034
に示されるアルゴリズム２に従ってパラメータλを推定する。ここで、アルゴリズム２における式（１３）は、標準のLasso問題であるため、任意のLassoアルゴリズムにより解くことができる。
【００５８】
他方、推定部１１０は、座標降下法に従ってパラメータＰを推定する。すなわち、Ｐの要素が循環的に更新される。より詳細には、すべての
【００５９】
【数３２】
0006660248.tif 000035
と、すべての
【００６０】
【数３３】
0006660248.tif 000036
に対して、Ｐの要素は、
【００６１】
【数３４】
0006660248.tif 000037
のように更新される。ここで、ｐｊｓはＰのｊ番目の行とｓ番目の列の要素であり、
【００６２】
【数３５】
0006660248.tif 000038
である。なお、μは凸損失関数ｌに依存する滑らかさの定数である。例えば、凸損失関数とこれに対応するμの値について、以下の対応関係が利用されてもよい。
【００６３】
【表３】
0006660248.tif 000039
ここで、
【００６４】
【数３６】
0006660248.tif 000040
である。
【００６５】
式（６）を効率的に計算するためには、
【００６６】
【数３７】
0006660248.tif 000041
が効率的に計算される必要がある。
【００６７】
【数３８】
0006660248.tif 000042
を固定したとき、すべての
【００６８】
【数３９】
0006660248.tif 000043
に対して
【００６９】
【数４０】
0006660248.tif 000044
と
【００７０】
【数４１】
0006660248.tif 000045
とを維持し、Ｐの要素を更新するたびに
【００７１】
【数４２】
0006660248.tif 000046
と
【００７２】
【数４３】
0006660248.tif 000047
とを同期させると、
【００７３】
【数４４】
0006660248.tif 000048
を計算するコストを
【００７４】
【数４５】
0006660248.tif 000049
に低減できる。従って、Ｐのすべての要素を１回更新するコストは
【００７５】
【数４６】
0006660248.tif 000050
となる。ここで、
【００７６】
【数４７】
0006660248.tif 000051
は行列Ｘの非ゼロの要素の数を示す。具体的には、推定部１１０は、
【００７７】
【表４】
0006660248.tif 000052
に示されるアルゴリズム３に従って、上述した座標降下法によるＰの推定を行うことができる。
【００７８】
他の実施例では、モデル関数が同次多項式カーネルを利用するとき、すなわち、
【００７９】
【数４８】
0006660248.tif 000053
であるとき、式（５）の目的関数は多量凸ではなくなり、より困難な最適化問題となる。これを解決するため、本実施例では、パラメータλ及びＰの推定を低ランク対称テンソル推定問題に変換し、当該問題を多量凸目的関数の最小化として定式化する。
【００８０】
まず、同次多項式カーネルを
【００８１】
【数４９】
0006660248.tif 000054
に書き換える。ここで、
【００８２】
【数５０】
0006660248.tif 000055
は、
【００８３】
【数５１】
0006660248.tif 000056
のランク１テンソルを表す。
【００８４】
【数５２】
0006660248.tif 000057
の対称テンソルの集合を表す。なお、
【００８５】
【数５３】
0006660248.tif 000058
であり、
【００８６】
【数５４】
0006660248.tif 000059
はテンソルの内積（要素毎の足し合わせ）である。
【００８７】
一般に、任意の対称テンソル
【００８８】
【数５５】
0006660248.tif 000060
に対して、以下の分解が存在する。
【００８９】
【数５６】
0006660248.tif 000061
ここで、ｋは
【００９０】
【数５７】
0006660248.tif 000062
の対称ランクである。
【００９１】
式（７）及び（８）を用いて、
【００９２】
【数５８】
0006660248.tif 000063
が得られる。このようにして、パラメータλ及びＰの推定がランクｋテンソル
【００９３】
【数５９】
0006660248.tif 000064
の推定に変換できる。
【００９４】
多量凸目的関数を定式化するため、
【００９５】
【数６０】
0006660248.tif 000065
をｍ個の行列
【００９６】
【数６１】
0006660248.tif 000066
を用いて分解する。具体的には、
【００９７】
【数６２】
0006660248.tif 000067
は、以下のように分解できる。
【００９８】
【数６３】
0006660248.tif 000068
ここで、
【００９９】
【数６４】
0006660248.tif 000069
はＵｔのｓ番目の列を表す。実用性の観点から、ｒはｋ／ｍに設定される。式（９）を用いて、
【０１００】
【数６５】
0006660248.tif 000070
が得られる。当該式（１０）を計算するコストは、
【０１０１】
【数６６】
0006660248.tif 000071
である。
【０１０２】
ｍ個の行列Ｕ１，...，Ｕｍを推定するため、推定部１１０は、
【０１０３】
【数６７】
0006660248.tif 000072
に示される目的関数を最小化する。ここで、式（１１）は、ｍ個の行列Ｕ１，...，Ｕｍのそれぞれに対して凸である。
【０１０４】
推定部１１０は、式（１１）の目的関数に座標降下法を適用する。すなわち、ｍ個の行列Ｕ１，...，Ｕｍの要素が循環的に更新される。より詳細には、すべての
【０１０５】
【数６８】
0006660248.tif 000073
と、すべての
【０１０６】
【数６９】
0006660248.tif 000074
と、すべての
【０１０７】
【数７０】
0006660248.tif 000075
に対して、Ｕの要素は、
【０１０８】
【数７１】
0006660248.tif 000076
のように更新される。ここで、
【０１０９】
【数７２】
0006660248.tif 000077
である。
【０１１０】
式（１２）を効率的に計算するためには、
【０１１１】
【数７３】
0006660248.tif 000078
が効率的に計算される必要がある。ｔ及びｓを固定したとき、すべての
【０１１２】
【数７４】
0006660248.tif 000079
に対して
【０１１３】
【数７５】
0006660248.tif 000080
を維持し、Ｕの要素を更新するたびに、ξｉを同期すると、
【０１１４】
【数７６】
0006660248.tif 000081
を
【０１１５】
【数７７】
0006660248.tif 000082
のコストで計算できなくなる。従って、ｍ個の行列Ｕ１，...，Ｕｍのすべての要素を１回更新するコストは、
【０１１６】
【数７８】
0006660248.tif 000083
となる。具体的には、推定部１１０は、図３に示されるように、
【０１１７】
【表５】
0006660248.tif 000084
に示されるアルゴリズム４に従って、上述した座標降下法によるＰの推定を行うことができる。
【０１１８】
上述した
【０１１９】
【数７９】
0006660248.tif 000085
と
【０１２０】
【数８０】
0006660248.tif 000086
は同次多項式であるため、ｍ次の特徴の組み合わせのみを利用している。しかしながら、実用性の観点から、１次の特徴からｍ次の特徴の組み合わせまでが利用可能であることが好ましい。このため、一実施例では、推定部１１０は、目的変数が判明している特徴ベクトルにより表現される（ｍ−１）次以下の特徴の組み合わせに対する訓練データについて、訓練データの特徴の組み合わせを拡大し、拡大された訓練データを利用して、ｍ次の特徴の組み合わせに対するモデル関数におけるパラメータλ及びＰ又パラメータＵを推定してもよい。
【０１２１】
具体的には、実用性の観点から、パラメータの推定時と推定されたパラメータによる予測時の双方において、データに常に１である特徴を加えることによって、次数を拡大する。これにより、１次の特徴からｍ次の特徴の組み合わせまでに対応した目的変数予測処理が可能になる。
【０１２２】
より詳細には、
【０１２３】
【数８１】
0006660248.tif 000087
の場合には、訓練データ
【０１２４】
【数８２】
0006660248.tif 000088
の代わりに、
【０１２５】
【数８３】
0006660248.tif 000089
が用いられる。また、予測時には、未知のデータｘの代わりに、
【０１２６】
【数８４】
0006660248.tif 000090
が用いられる。この場合、図４に示されるように、推定部１１０は、上述したアルゴリズム１に従ってパラメータλ及びＰを推定し、推定されたパラメータλ及びＰによるモデル関数を利用して、拡大された未知のデータに対して目的変数予測処理を実行する。
【０１２７】
あるいは、
【０１２８】
【数８５】
0006660248.tif 000091
の場合には、学習データ
【０１２９】
【数８６】
0006660248.tif 000092
の代わりに、
【０１３０】
【数８７】
0006660248.tif 000093
が用いられる。また、予測時には、未知のデータｘの代わりに、
【０１３１】
【数８８】
0006660248.tif 000094
が用いられる。この場合、図５に示されるように、推定部１１０は、上述したアルゴリズム４に従ってパラメータＵを推定し、推定されたパラメータＵによるモデル関数を利用して、拡大された未知のデータに対して目的変数予測処理を実行する。
【０１３２】
次に、図６を参照して、本発明の一実施例によるパラメータ推定及び目的変数予測処理を説明する。当該処理は、目的変数予測装置１００により実行される。図６は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示すフロー図である。
【０１３３】
図６に示されるように、ステップＳ１０１において、推定部１１０は、目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるパラメータを推定する。
【０１３４】
具体的には、推定部１１０は、訓練データを用いて、式（３）に示されるモデル関数のパラメータλ及びＰを推定する。例えば、モデル関数のカーネルがANOVAカーネルである場合、推定部１１０は、アルゴリズム１に従って、訓練データを利用して式（５）に示される目的関数を最小化するパラメータλ及びＰを推定する。あるいは、モデル関数のカーネルが同次多項式カーネルである場合、推定部１１０は、アルゴリズム４に従って、訓練データを利用して式（１１）に示される目的関数を最小化するパラメータＵを推定する。
【０１３５】
また、（ｍ−１）次以下の特徴の組み合わせのデータに対して、推定部１１０は、データの次数を拡大し、拡大されたデータを利用してモデル関数のパラメータλ及びＰを推定してもよい。例えば、モデル関数のカーネルがANOVAカーネルである場合、推定部１１０は、訓練データに常に１である特徴をｍ次元分加えることによって次元を拡大してもよい。あるいは、モデル関数のカーネルが同時多項式カーネルである場合、推定部１１０は、訓練データに常に１である特徴を１次元分加えることによって次元を拡大してもよい。
【０１３６】
ステップＳ１０２において、予測部１２０は、推定されたパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する。具体的には、ステップＳ１０１において推定されたパラメータλ及びＰによる式（３）のモデル関数に未知のデータｘを入力することによって、目的変数を予測してもよい。あるいは、ステップＳ１０１において推定されたパラメータＵによる同次多項式カーネルによる式（３）のモデル関数に未知のデータｘを入力することによって、目的変数を予測してもよい。
【０１３７】
また、（ｍ−１）次以下の特徴の組み合わせのデータに対して、推定部１１０は、データの次元を拡大し、拡大されたデータを利用して目的変数を予測してもよい。例えば、モデル関数のカーネルがANOVAカーネルと同次多項式カーネルの何れである場合も、推定部１１０は、データに常に１である特徴を１次元分加えることによって次数を拡大してもよい。
【０１３８】
次に、図７を参照して、本発明の一実施例による目的変数予測装置のハードウェア構成を説明する。図７は、本発明の一実施例による目的変数予測装置のハードウェア構成を示すブロック図である。
【０１３９】
図７に示されるように、目的変数予測装置１００は、典型的には、サーバにより実現されてもよく、例えば、バスを介し相互接続されるドライブ装置１０１、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、インタフェース装置１０５及び通信装置１０６から構成される。目的変数予測装置１００における上述した各種機能及び処理を実現するプログラムを含む各種コンピュータプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、フラッシュメモリなどの記録媒体１０７によって提供されてもよい。プログラムを記憶した記録媒体１０７がドライブ装置１０１にセットされると、プログラムが記録媒体１０７からドライブ装置１０１を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０７により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムやデータを読み出して格納する。プロセッサ１０４は、メモリ装置１０３に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、目的変数予測装置１００の各種機能及び処理を実行する。インタフェース装置１０５は、ネットワーク又は外部装置に接続するための通信インタフェースとして用いられる。通信装置１０６は、インターネットなどのネットワークと通信するための各種通信処理を実行する。しかしながら、上述したハードウェア構成は単なる一例であり、目的変数予測装置１００は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。
【０１４０】
なお、上述した目的変数予測装置１００の各部及びステップＳ１０１〜Ｓ１０２は、コンピュータのメモリ装置１０３に記憶されたプログラムをプロセッサ１０４が実行することによって実現されてもよい。
【０１４１】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【０１４２】
１００  目的変数予測装置
１１０  推定部
１２０  予測部
【図１】
0006660248.tif 000095
【図２】
0006660248.tif 000096
【図３】
0006660248.tif 000097
【図４】
0006660248.tif 000098
【図５】
0006660248.tif 000099
【図６】
0006660248.tif 000100
【図７】
0006660248.tif 000101