(57)【要約】【課題】本発明の課題は、変数間の関係が線形相関に限定されないという条件のもと、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択する技術を提供することにある。【解決手段】本発明は、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段とを備えることを特徴とする。【選択図】図１
2013025349.tif 000002
【特許請求の範囲】
【請求項１】
目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、
前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段と
を備える予測関数生成装置。
【請求項２】
前記予測関数学習手段は、前記相関関係が強い順に変数間の相関関係を結んでいくことを特徴とする請求項１に記載の予測関数生成装置。
【請求項３】
目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習ステップと、
前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習ステップと
を有する予測関数生成方法。
【請求項４】
前記予測関数学習ステップは、前記相関関係が強い順に変数間の相関関係を結んでいくことを特徴とする請求項３に記載の予測関数生成方法。
【請求項５】
予測関数生成装置のプログラムであって、前記プログラムは、前記予測関数生成装置を、
目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、
前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は特徴選択装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
目的変数Ｙと、説明変数Ｘ１、・・・、Ｘｐから成る回帰問題を考える。線形モデルを用いた場合、予測関数は、下記式で示すようになる。
ｙ^＝β１Ｘ１＋β２Ｘ２＋・・・、βｐＸｐ
最小二乗推定を用いると、パラメータの推定量は、Ｘ＝（Ｘ１、・・・、Ｘｐ）、β＝（β１、・・・、βｐ）Ｔとして、
β＝（ＸＴＸ）−１ＸＴｙ
と求まる。
【０００３】
しかし、上記で求めたパラメータをそのまま用いて回帰分析すると、目的変数の推定に全ての説明変数を用いることになり、一般的に、
・目的変数の推定精度が最良でないことがある。
・目的変数と説明変数との関係が分かりにくい。
という問題点がある。この問題に対しては、いくつかの説明変数を、目的変数の推定に用いる変数選択を行えばよい。これは、β＝（β１、・・・、βｐ）のうちのいくつかの要素を０とすることに等しい。ここで、目的変数の推定に重要となる説明変数を特徴と呼び、目的変数の推定に用いる変数の選択を特徴選択と呼ぶ。
【０００４】
非特許文献１の３．３．１節には、特徴選択システムの一例が記載されている。この特徴選択システムは、特徴組み合わせ手段と、関数学習手段と、精度評価手段と、最適特徴選択手段とを有している。特徴組み合わせ手段は、全ての特徴の組み合わせを生成する。関数学習手段は、特徴組み合わせ手段で得られた全ての特徴組み合わせに対して、特徴の組み合わせから目的変数への予測関数を学習する。精度評価手段は、学習された予測関数の精度を評価する。最適特徴選択手段は、最も精度のよい特徴の組み合わせを選択する。
【０００５】
非特許文献１の３．３．２節には、特徴選択システムの別の一例が記載されている。この特徴選択システムは、特徴組み合わせ手段と、関数学習手段と、精度評価手段と、最適特徴選択手段とを有する。特徴組み合わせ手段は、現時点で得られている特徴組み合わせに対して、新たに特徴を追加し、或いは、特徴を削減した特徴組み合わせを生成する。関数学習手段は、特徴組み合わせ手段で生成された特徴組み合わせに対して、特徴の組み合わせから目的変数への予測関数を学習する。精度評価手段は、学習された予測関数の精度を評価する。最適特徴選択手段は、最も精度のよい特徴の組み合わせを選択する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Trevor Hastie, Robert Tibshirani, Jerome Friedman, “The Elements ofStatistical Learning,” Springer, 2009.
【非特許文献２】戸坂，吉羽，「コピュラの金融実務での具体的な活用方法の解説」，金融研究，日本銀行金融研究所，2005年12月．
【非特許文献３】S. Kirshner, “Learning with tree-averaged densities anddistributions,” Advances in Neural Information Processing Systems, NIPS 2007,December 2007.
【非特許文献４】G. Elidan, “Copula Bayesian Networks,” Advances in NeuralInformation Processing Systems, NIPS 2010, December 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１に記載の特徴選択システムの第１の問題点は、特徴の数が多い場合に、全ての組み合わせに対して評価することができないという点である。その理由は、特徴の数が多い場合に、指数関数的に増加する特徴の組み合わせに対して、最適な特徴の組み合わせを選択する方法が十分に考慮されていないためである。
【０００８】
非特許文献１に記載の特徴選択システムの第２の問題点は、目的変数と特徴との関係が線形相関に限られている点である。その理由は、用いられているモデルにおいて非線形相関を表現する方法が十分に考慮されていないためである。
【０００９】
本発明は、上記に鑑み、変数間の関係が線形相関に限定されないという条件のもと、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択して予測関数の生成が可能な技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本願発明は、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段とを備えることを特徴とする。
【００１１】
上記課題を解決するための本願発明は、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習ステップと、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習ステップとを有することを特徴とする。
【００１２】
上記課題を解決するための本願発明は、予測関数生成装置のプログラムであって、前記プログラムは、前記予測関数生成装置を、目的変数及び説明変数を含む観測データと前記目的変数及び説明変数の各々との間の疎な関係性とに基づいて計算される評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、すべての変数がいずれかの変数と相関関係が結ばれるような予測関数を学習する予測関数学習手段として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によると、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択して予測関数の生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の予測関数生成装置を示すブロック図。
【図２】動作手順を示すフローチャート。
【図３】（ａ）及び（ｂ）は、関係性を示すモデルの図。
【発明を実施するための形態】
【００１５】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の一実施形態の予測関数生成装置（特徴選択システム）を示している。特徴選択システム１００は、疎な関係性学習手段１０２、及び、予測関数学習手段１０３を有する。特徴選択システム１００は、プログラム動作で動作するコンピュータシステムで構成できる。特徴選択システム１００内の各部の機能は、コンピュータが所定のプログラムに従って動作することで実現可能である。
【００１６】
入力装置１０１は、計算対象となるデータを取り込む。入力装置１０１が取り込むデータは、説明変数Ｘと目的変数Ｙとを含む。入力装置１０１は、取り込んだデータを、特徴選択システム１００へ入力する。観測データ記憶部１１１は、入力装置１０１から入力された観測データを記憶する。
【００１７】
疎な関係性学習手段１０２は、観測データ記憶部１１１から観測データを読み出し、観測データに対して、疎な関係性を学習する。ここで、疎な関係性とは、データ間の全ての要素の間に相関があるわけではなく、要素間の一部には相関がないような関係を指す。疎な関係性学習手段１０２は、学習した疎な関係性のモデルを表すデータを、学習結果記憶部１１２に記憶する。なお、観測データ記憶部１１１及び学習結果記憶部１１２は、特徴選択システム１００から参照可能であればよく、特徴選択システム１００の内部にあっても、外部にあってもよい。
【００１８】
また、疎な関係性学習手段１０２は、観測データ記憶部１１１から観測データを読み出すと共に、学習結果記憶部１１２から学習結果を読み出し、観測データと、学習した疎な関係性とを基に、適切に設定した評価関数の値を計算する。ここで、評価関数は、入力データの分布と、学習モデルの分布との間の距離を定量化する関数である。
【００１９】
疎な関係性学習手段１０２は、計算した評価関数の値が向上するよう、疎な関係性を学習する。特徴選択システム１００は、疎な関係性の評価と学習とを、学習結果が収束するまで繰り返し行う。疎な関係性学習手段１０２は、学習結果が収束すると、学習が終了した旨を予測関数学習手段１０３に通知する。予測関数学習手段１０３は、学習が終了すると学習結果記憶部１１２から疎な関係性の学習結果を読み出し、疎な関係性学習手段１０２で学習した疎な関係性を基に、予測関数を学習する。予測関数学習手段１０３は、学習した予測関数を、出力装置１０４を介して出力する。
【００２０】
図２は、動作手順を示している。入力装置１０１は、計算対象のデータ（観測データ）を取り込む（ステップＳ１）。疎な関係性学習手段１０２は、観測データと、学習した疎な関係性とに基づいて、評価関数の値を計算する（ステップＳ２）。学習結果記憶部１１２は、疎な関係性学習手段１０２が学習を行う前に、疎な関係性の初期値を記憶している。疎な関係性学習手段１０２は、初回実行時にステップＳ２で評価を行う際は、学習結果記憶部１１２から、任意に設定された疎な関係性の初期値を読み出し、その初期値を用いて評価関数の値を計算する。疎な関係性学習手段１０２は、評価関数の値の計算に際して、直接は観測されない確率変数（隠れ変数）の推定を行う。
【００２１】
疎な関係性学習手段１０２は、計算した評価関数の値が高くなるように、疎な関係性を学習する（Ｓ３）。疎な関係性学習手段１０２は、ステップＳ２で疎な関係性を評価する際に、以前の疎な関係性の学習結果を基に、直接は観測されない確率変数を推定しており、疎な関係性学習手段１０２は、ステップＳ３では、以前の学習結果とは異なる疎な関係性を学習する。特徴選択システム１００は、ステップＳ２の学習結果の評価と、ステップＳ３の学習とを、学習結果が収束するまで繰り返し行う。
【００２２】
予測関数学習手段１０３は、学習結果が収束すると、学習結果記憶部１１２から学習結果を読み出し、疎な関係性学習手段１０２で学習した疎な関係性に基づいて、予測関数を学習する（ステップＳ４）。予測関数学習手段１０２は、ステップＳ４で学習した予測関数を、出力装置１０４を介して出力する（ステップＳ５）。
【００２３】
Ｓ２及びＳ３の疎な関係性の評価及び学習について、より詳細に説明する。疎な関係性を表すモデルには、例えば、Chow-Liu tree（最大全域木の確率モデル）の混合モデルを用いることができる。これは変数間の関連性をモデル化する場合に、強い相関を示す変数間に対して同時分布を考えるという方法である。Chow-Liu treeの混合モデルは、確率モデルとして、下記式１で表される。
【数１】
2013025349.tif 000003
【００２４】
数１において、Ｘは観測データ、ｐ（Ｘ）は観測データの確率分布、Ｋはコンポーネント数、πｉはコンポーネントの混合確率、ｐ（Ｔｉ）はコンポーネントｉにおける木構造（疎な関係性）の確率分布、ｐ（θｉ｜Ｔｉ）は、コンポーネントｉにおける与えられた木構造の下でのパラメータの確率分布、ｐ（Ｘ｜θｉ，Ｔｉ）は、コンポーネントｉにおける与えられた木構造とパラメータの下での観測データの確率分布を表す。ここで、木構造は、大きな偏相関を持つ変数間に線を引き、残りの偏相関をゼロにした構造である。パラメータは、例えば、各変数の平均と分散である。混合確率は、木を１つのコンポーネントとして見たときの、各木に対する重みである。
【００２５】
疎な関係性学習手段１０２は、目的変数と説明変数とが与えられると、それらを多変量の観測データとし、例えば上記の最大全域木の確率モデルを推定する。木構造、パラメータ、混合確率の推定が「疎な関係性の学習」にあたり、「疎な関係性の評価」では、それらが固定されたとき観測データが具体的にどのコンポーネントに属するかの推定を行う。疎な関係性評価では、観測データがどのコンポーネントに属するかを推定すると、入力されたデータの分布と、学習された疎な関係性のモデルを用いた分布との尤度の差（分布間の距離）を、評価関数の値として計算する。ここでは目的変数と説明変数との各々の間の変数間の関連性がループを形成しないよう制約をおきながら、強い相関を持つ変数間から順番に同時分布を与える。この同時分布はコピュラと呼ばれる関数を用いて表すことができる。このコピュラは非線形相関を考慮することができ、ケンドールのタウやスピアマンのローといった順位相関も表すことができる。また，分布の裾での依存関係を表す裾依存係数という指標もあり、これをもって相関の強さと考え特徴選択を行なうことも可能である。尚、上記確率モデルには非特許文献２〜４のいずれかに記載の手法を用いることができる。
【００２６】
特徴選択システム１００は、疎な関係性の評価と学習とを、学習結果が収束するまで行う。特徴選択システム１００は、例えば、学習回数を増やしても評価関数の値が変化しないとき、或いは、その変化が所定のしきい値よりも小さいとき、学習結果が収束したと判断して疎な関係性の評価と学習とを終了する。疎な関係性の評価と学習とを繰り返し行うことで、目的変数と説明変数全体とを含めた疎な関係性が求まる。この関係性に基づいて説明変数から目的変数への関数を学習するのが「予測関数の学習」にあたる。
【００２７】
予測関数学習手段１０３は、この結果，目的変数と特徴全体を含めた疎な関係性が求まり、この疎な関係性を基に目的変数の予測に用いる特徴を選択し、予測関数を学習する。このときコピュラを用いた回帰式を構成することができ、予測関数として用いることができる。
【００２８】
図３は、関係性を表すモデルを示している。Ｙは目的変数であり、Ｘ１〜Ｘ４は説明変数である。図３（ａ）は、非特許文献１で用いるモデルを示している。このモデルでは、各説明変数Ｘｉ、Ｘｊ（ｉ≠ｊ）間を全て繋いでおり、データ数が少ないと推定精度があまり上がらず、また、各Ｘｉ、Ｘｊ間に強い相関があると、計算が破たんすることがあった。図３（ｂ）は、本実施形態で用いるモデルを示している。入力されるデータとして、Ｙ、Ｘ１〜Ｘ４のあわせて５つの変数が入力される。この５つの変数のうち２変数間の組み合わせは５×４／２＝１０通りとなる。この１０通りの組み合わせ全てに対して、上述のＳ２及びＳ３の処理を経て、相関の大きさを求める。相関の大きい順番に変数間を線でつないでいく。ただし、この時にループができないようにする。すべての変数が少なくとも１本の線でつながれたら処理は終了です。そして、Ｓ４にて、Ｘ１〜Ｘ４のうちＹと直接つながれた変数をＹに大きな影響をあたえる特徴と判断して選択する。相関が強いということは、Ｘ４の影響はＸ３に、Ｘ３の影響はＸ２に含まれているので、Ｙを推定するときはＸ２とＸ１を用いれば良いということになる。
【００２９】
以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【産業上の利用可能性】
【００３０】
本発明は次のような利用可能性が考えられる。金融・経済において、様々な測定量の間の挙動には非線形な相関構造が観察される。例えばある企業の株価が下がると関連する他の企業の株価も下がる。通常これらの相関は線形でそれほど大きなものではないことが多い。しかし例えば不景気や金融危機においては、ある企業の株価が大きく下がると関連する他の企業の株価も大きく下がるといった非線形な相関を示す極端な状況が見られる。このような場合に、ある企業の株価を予測するために従来手法を用いると、極端な状況を十分に表すことができず予測性能が悪化してしまう。また予測の際に特徴（説明変数）となる企業の数も多く、適切な特徴を選択することが困難である。提案手法を用いるとこれらの問題を解決することができる。
【符号の説明】
【００３１】
１００：特徴選択システム（予測関数生成装置）
１０１：入力装置
１０２：疎な関係性学習手段
１０３：予測関数学習手段
１０４：出力装置
１１１：観測データ記憶部
１１２：学習結果記憶部
【図１】
2013025349.tif 000004
【図２】
2013025349.tif 000005
【図３】
2013025349.tif 000006