"目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段とを備える予測関数生成装置。前記予測関数学習手段は、前記相関関係が強い順に変数間の相関関係を結んでいくことを特徴とする請求項1に記載の予測関数生成装置。目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習ステップと、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習ステップとを有する予測関数生成方法。前記予測関数学習ステップは、前記相関関係が強い順に変数間の相関関係を結んでいくことを特徴とする請求項3に記載の予測関数生成方法。予測関数生成装置のプログラムであって、前記プログラムは、前記予測関数生成装置を、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段として機能させることを特徴とするプログラム。非特許文献1に記載の特徴選択システムの第1の問題点は、特徴の数が多い場合に、全ての組み合わせに対して評価することができないという点である。その理由は、特徴の数が多い場合に、指数関数的に増加する特徴の組み合わせに対して、最適な特徴の組み合わせを選択する方法が十分に考慮されていないためである。非特許文献1に記載の特徴選択システムの第2の問題点は、目的変数と特徴との関係が線形相関に限られている点である。その理由は、用いられているモデルにおいて非線形相関を表現する方法が十分に考慮されていないためである。本発明は、上記に鑑み、変数間の関係が線形相関に限定されないという条件のもと、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択して予測関数の生成が可能な技術を提供することにある。上記課題を解決するための本願発明は、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段とを備えることを特徴とする。上記課題を解決するための本願発明は、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習ステップと、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習ステップとを有することを特徴とする。上記課題を解決するための本願発明は、予測関数生成装置のプログラムであって、前記プログラムは、前記予測関数生成装置を、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段として機能させることを特徴とする。本発明によると、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択して予測関数の生成することができる。以下、図面を参照し、本発明の実施の形態を詳細に説明する。図1は、本発明の一実施形態の予測関数生成装置特徴選択システムを示している。特徴選択システム100は、疎な関係性学習手段102、及び、予測関数学習手段103を有する。特徴選択システム100は、プログラム動作で動作するコンピュータシステムで構成できる。特徴選択システム100内の各部の機能は、コンピュータが所定のプログラムに従って動作することで実現可能である。入力装置101は、計算対象となるデータを取り込む。入力装置101が取り込むデータは、説明変数Xと目的変数Yとを含む。入力装置101は、取り込んだデータを、特徴選択システム100へ入力する。観測データ記憶部111は、入力装置101から入力された観測データを記憶する。疎な関係性学習手段102は、観測データ記憶部111から観測データを読み出し、観測データに対して、疎な関係性を学習する。ここで、疎な関係性とは、データ間の全ての要素の間に相関があるわけではなく、要素間の一部には相関がないような関係を指す。疎な関係性学習手段102は、学習した疎な関係性のモデルを表すデータを、学習結果記憶部112に記憶する。なお、観測データ記憶部111及び学習結果記憶部112は、特徴選択システム100から参照可能であればよく、特徴選択システム100の内部にあっても、外部にあってもよい。また、疎な関係性学習手段102は、観測データ記憶部111から観測データを読み出すと共に、学習結果記憶部112から学習結果を読み出し、観測データと、学習した疎な関係性とを基に、適切に設定した評価関数の値を計算する。ここで、評価関数は、入力データの分布と、学習モデルの分布との間の距離を定量化する関数である。疎な関係性学習手段102は、計算した評価関数の値が向上するよう、疎な関係性を学習する。特徴選択システム100は、疎な関係性の評価と学習とを、学習結果が収束するまで繰り返し行う。疎な関係性学習手段102は、学習結果が収束すると、学習が終了した旨を予測関数学習手段103に通知する。予測関数学習手段103は、学習が終了すると学習結果記憶部112から疎な関係性の学習結果を読み出し、疎な関係性学習手段102で学習した疎な関係性を基に、予測関数を学習する。予測関数学習手段103は、学習した予測関数を、出力装置104を介して出力する。図2は、動作手順を示している。入力装置101は、計算対象のデータ観測データを取り込むステップS1。疎な関係性学習手段102は、観測データと、学習した疎な関係性とに基づいて、評価関数の値を計算するステップS2。学習結果記憶部112は、疎な関係性学習手段102が学習を行う前に、疎な関係性の初期値を記憶している。疎な関係性学習手段102は、初回実行時にステップS2で評価を行う際は、学習結果記憶部112から、任意に設定された疎な関係性の初期値を読み出し、その初期値を用いて評価関数の値を計算する。疎な関係性学習手段102は、評価関数の値の計算に際して、直接は観測されない確率変数隠れ変数の推定を行う。疎な関係性学習手段102は、計算した評価関数の値が高くなるように、疎な関係性を学習するS3。疎な関係性学習手段102は、ステップS2で疎な関係性を評価する際に、以前の疎な関係性の学習結果を基に、直接は観測されない確率変数を推定しており、疎な関係性学習手段102は、ステップS3では、以前の学習結果とは異なる疎な関係性を学習する。特徴選択システム100は、ステップS2の学習結果の評価と、ステップS3の学習とを、学習結果が収束するまで繰り返し行う。予測関数学習手段103は、学習結果が収束すると、学習結果記憶部112から学習結果を読み出し、疎な関係性学習手段102で学習した疎な関係性に基づいて、予測関数を学習するステップS4。予測関数学習手段102は、ステップS4で学習した予測関数を、出力装置104を介して出力するステップS5。S2及びS3の疎な関係性の評価及び学習について、より詳細に説明する。疎な関係性を表すモデルには、例えば、ChowLiutree最大全域木の確率モデルの混合モデルを用いることができる。これは変数間の関連性をモデル化する場合に、強い相関を示す変数間に対して同時分布を考えるという方法である。ChowLiutreeの混合モデルは、確率モデルとして、下記式1で表される。数1において、Xは観測データ、pXは観測データの確率分布、Kはコンポーネント数、πiはコンポーネントの混合確率、pTiはコンポーネントiにおける木構造疎な関係性の確率分布、pθi|Tiは、コンポーネントiにおける与えられた木構造の下でのパラメータの確率分布、pX|θi,Tiは、コンポーネントiにおける与えられた木構造とパラメータの下での観測データの確率分布を表す。ここで、木構造は、大きな偏相関を持つ変数間に線を引き、残りの偏相関をゼロにした構造である。パラメータは、例えば、各変数の平均と分散である。混合確率は、木を1つのコンポーネントとして見たときの、各木に対する重みである。疎な関係性学習手段102は、目的変数と説明変数とが与えられると、それらを多変量の観測データとし、例えば上記の最大全域木の確率モデルを推定する。木構造、パラメータ、混合確率の推定が疎な関係性の学習にあたり、疎な関係性の評価では、それらが固定されたとき観測データが具体的にどのコンポーネントに属するかの推定を行う。疎な関係性評価では、観測データがどのコンポーネントに属するかを推定すると、入力されたデータの分布と、学習された疎な関係性のモデルを用いた分布との尤度の差分布間の距離を、評価関数の値として計算する。ここでは目的変数と説明変数との各々の間の変数間の関連性がループを形成しないよう制約をおきながら、強い相関を持つ変数間から順番に同時分布を与える。この同時分布はコピュラと呼ばれる関数を用いて表すことができる。このコピュラは非線形相関を考慮することができ、ケンドールのタウやスピアマンのローといった順位相関も表すことができる。また,分布の裾での依存関係を表す裾依存係数という指標もあり、これをもって相関の強さと考え特徴選択を行なうことも可能である。尚、上記確率モデルには非特許文献2~4のいずれかに記載の手法を用いることができる。特徴選択システム100は、疎な関係性の評価と学習とを、学習結果が収束するまで行う。特徴選択システム100は、例えば、学習回数を増やしても評価関数の値が変化しないとき、或いは、その変化が所定のしきい値よりも小さいとき、学習結果が収束したと判断して疎な関係性の評価と学習とを終了する。疎な関係性の評価と学習とを繰り返し行うことで、目的変数と説明変数全体とを含めた疎な関係性が求まる。この関係性に基づいて説明変数から目的変数への関数を学習するのが予測関数の学習にあたる。予測関数学習手段103は、この結果,目的変数と特徴全体を含めた疎な関係性が求まり、この疎な関係性を基に目的変数の予測に用いる特徴を選択し、予測関数を学習する。このときコピュラを用いた回帰式を構成することができ、予測関数として用いることができる。図3は、関係性を表すモデルを示している。Yは目的変数であり、X1~X4は説明変数である。図3aは、非特許文献1で用いるモデルを示している。このモデルでは、各説明変数Xi、Xji≠j間を全て繋いでおり、データ数が少ないと推定精度があまり上がらず、また、各Xi、Xj間に強い相関があると、計算が破たんすることがあった。図3bは、本実施形態で用いるモデルを示している。入力されるデータとして、Y、X1~X4のあわせて5つの変数が入力される。この5つの変数のうち2変数間の組み合わせは5×4/2=10通りとなる。この10通りの組み合わせ全てに対して、上述のS2及びS3の処理を経て、相関の大きさを求める。相関の大きい順番に変数間を線でつないでいく。ただし、この時にループができないようにする。すべての変数が少なくとも1本の線でつながれたら処理は終了です。そして、S4にて、X1~X4のうちYと直接つながれた変数をYに大きな影響をあたえる特徴と判断して選択する。相関が強いということは、X4の影響はX3に、X3の影響はX2に含まれているので、Yを推定するときはX2とX1を用いれば良いということになる。以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。"