(57)【特許請求の範囲】
【請求項１】
複数のデータ集合を入力する入力手段と、
複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデルが、前記入力手段によって入力された複数のデータ集合に対して最も適合するように、前記潜在ベクトルが選択される確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータを推定するパラメータ推定手段と、
前記パラメータ推定手段によって推定されたパラメータを記憶する記憶手段と、
を備えたモデル学習装置。
【請求項２】
前記モデルは、ｉ番目のデータ集合のｎ番目のデータをｘｉｎとし、前記潜在ベクトル集合をＺとし、ｉ番目の変換行列をＷｉとし、ｊ番目の潜在ベクトルｚｊが選択される確率をｐ（ｊ）とし、平均μおよび共分散行列Σの正規分布をｐ（ｘ｜μ，Σ）として、前記データｘｉｎが次の式で与えられる確率で生成されるというモデルである
【数１】
0005813498.tif 000024
請求項１記載のモデル学習装置。
【請求項３】
請求項１または請求項２記載のモデル学習装置によって前記記憶手段に記憶されたパラメータを読み込む読込手段と、
前記読込手段によって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定手段と、
前記潜在ベクトル推定手段によって推定された潜在ベクトルに基づいて、当該潜在ベクトルの類似度が高いほど関連が高いものとして、前記各データに関連するデータを他のデータ集合から抽出する抽出手段と、
を備えた関連情報抽出装置。
【請求項４】
請求項１または請求項２記載のモデル学習装置によって前記記憶手段に記憶されたパラメータを読み込む読込手段と、
前記読込手段によって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定手段と、
前記潜在ベクトル推定手段によって推定された潜在ベクトルおよび前記パラメータの変換行列集合における対応する変換行列に基づいて、前記各データの他のデータ集合の空間における値を予測する予測手段と、
を備えた関連情報予測装置。
【請求項５】
複数のデータ集合を入力する入力ステップと、
複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデルが、前記入力ステップによって入力された複数のデータ集合に対して最も適合するように、前記潜在ベクトルが選択される確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータを推定するパラメータ推定ステップと、
前記パラメータ推定ステップによって推定されたパラメータを記憶する記憶ステップと、
を含むモデル学習方法。
【請求項６】
前記モデルは、ｉ番目のデータ集合のｎ番目のデータをｘｉｎとし、前記潜在ベクトル集合をＺとし、ｉ番目の変換行列をＷｉとし、ｊ番目の潜在ベクトルｚｊが選択される確率をｐ（ｊ）とし、平均μおよび共分散行列Σの正規分布をｐ（ｘ｜μ，Σ）として、前記データｘｉｎが次の式で与えられる確率で生成されるというモデルである
【数２】
0005813498.tif 000025
請求項５記載のモデル学習方法。
【請求項７】
請求項５または請求項６記載のモデル学習方法によって記憶されたパラメータを読み込む読込ステップと、
前記読込ステップによって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定ステップと、
前記潜在ベクトル推定ステップによって推定された潜在ベクトルに基づいて、当該潜在ベクトルの類似度が高いほど関連が高いものとして、前記各データに関連するデータを他のデータ集合から抽出する抽出ステップと、
を含む関連情報抽出方法。
【請求項８】
請求項５または請求項６記載のモデル学習方法によって記憶されたパラメータを読み込む読込ステップと、
前記読込ステップによって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定ステップと、
前記潜在ベクトル推定ステップによって推定された潜在ベクトルおよび前記パラメータの変換行列集合における対応する変換行列に基づいて、前記各データの他のデータ集合の空間における値を予測する予測ステップと、
を含む関連情報予測方法。
【請求項９】
コンピュータを、請求項１または請求項２記載のモデル学習装置、または請求項３記載の関連情報抽出装置、または請求項４記載の関連情報予測装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル学習装置、関連情報抽出装置、関連情報予測装置、モデル学習方法、関連情報抽出方法、関連情報予測方法およびプログラムに係り、特に、複数のデータ集合における各データの関連情報を抽出または予測する際に用いるモデルを学習するモデル学習装置および方法、当該モデルを用いて上記関連情報を抽出する関連情報抽出装置および方法、上記モデルを用いて上記関連情報を予測する関連情報予測装置および方法、および上記各装置により実行されるプログラムに関する。
【背景技術】
【０００２】
近年、各種情報を検索することのできるインターネットやナビゲーション・システム等の利用の拡大に伴って、複数のデータ集合のそれぞれから関連するデータを容易に抽出することができる技術が要望されている。例えば、「画像」の集合および「説明文」の集合から、「画像Ａ」に対応する「説明文Ｘ」を抽出することができれば、利用者に対して有用な情報を提供することができる。
【０００３】
従来、この要望に応えるために適用することのできる技術として、非特許文献１および非特許文献２には、与えられた２つのデータ集合から関連するペアを抽出する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Novi Quadrianto, Le Song, Alex J. Smola. “Kernelized Sorting.” Advances in Neural Information Processing Systems 21, pp. 1289-1296, 2009.
【非特許文献２】Aria Haghighi, Percy Liang, Taylor Berg-Kirkpatrick and Dan Klein, “Learning Bilingual Lexicons from Monolingual Corpora.” Proceedings of ACL-08: HLT, pp. 771-779, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１および非特許文献２に開示されている技術では、２つのデータ集合の大きさ（データ数）が同一である必要がある、という問題点や、３つ以上のデータ集合には対応できない、という問題点があった。
【０００６】
これらの文献に開示されている技術では、例えば、「画像」の集合、「説明文」の集合、および「音」の集合から、「画像Ａ」に対応する「説明文Ｘ」と「音α」とを抽出するといったことができない。
【０００７】
本発明は、上記問題点を解決するためになされたものであり、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることのできるモデル学習装置、関連情報抽出装置、関連情報予測装置、モデル学習方法、関連情報抽出方法、関連情報予測方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載のモデル学習装置は、複数のデータ集合を入力する入力手段と、複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデルが、前記入力手段によって入力された複数のデータ集合に対して最も適合するように、前記潜在ベクトルが選択される確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータを推定するパラメータ推定手段と、前記パラメータ推定手段によって推定されたパラメータを記憶する記憶手段と、を備えている。
【０００９】
請求項１に記載のモデル学習装置によれば、入力手段により、複数のデータ集合が入力される。なお、上記入力手段による入力には、キーボード等の入力装置を介した入力の他、各種通信回線を介した他の装置からの入力が含まれる。
【００１０】
ここで、本発明では、パラメータ推定手段により、複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデルが、前記入力手段によって入力された複数のデータ集合に対して最も適合するように、前記潜在ベクトルが選択される確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータが推定される。
【００１１】
そして、本発明では、前記パラメータ推定手段によって推定されたパラメータが記憶手段によって記憶される。
【００１２】
このように、請求項１に記載のモデル学習装置によれば、複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデルが、入力された複数のデータ集合に対して最も適合するように、前記潜在ベクトルが選択される確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータを推定しているので、推定した各パラメータを用いることにより、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【００１３】
なお、本発明は、請求項２に記載の発明のように、前記モデルが、ｉ番目のデータ集合のｎ番目のデータをｘｉｎとし、前記潜在ベクトル集合をＺとし、ｉ番目の変換行列をＷｉとし、ｊ番目の潜在ベクトルｚｊが選択される確率をｐ（ｊ）とし、平均μおよび共分散行列Σの正規分布をｐ（ｘ｜μ，Σ）として、前記データｘｉｎが後述する（６）式で与えられる確率で生成されるというモデルであるものとしてもよい。
【００１４】
一方、上記目的を達成するために、請求項３に記載の関連情報抽出装置は、請求項１または請求項２記載のモデル学習装置によって前記記憶手段に記憶されたパラメータを読み込む読込手段と、前記読込手段によって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定手段と、前記潜在ベクトル推定手段によって推定された潜在ベクトルに基づいて、当該潜在ベクトルの類似度が高いほど関連が高いものとして、前記各データに関連するデータを他のデータ集合から抽出する抽出手段と、を備えている。
【００１５】
請求項３に記載の関連情報抽出装置によれば、読込手段により、請求項１または請求項２記載のモデル学習装置によって前記記憶手段に記憶されたパラメータが読み込まれる。
【００１６】
ここで、本発明では、潜在ベクトル推定手段により、前記読込手段によって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルが推定され、抽出手段により、前記潜在ベクトル推定手段によって推定された潜在ベクトルに基づいて、当該潜在ベクトルの類似度が高いほど関連が高いものとして、前記各データに関連するデータが他のデータ集合から抽出される。
【００１７】
このように、請求項３に記載の関連情報抽出装置によれば、本発明のモデル学習装置によって得られたパラメータを用いて関連情報を抽出しているので、本発明のモデル学習装置と同様に、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【００１８】
一方、上記目的を達成するために、請求項４に記載の関連情報予測装置は、請求項１または請求項２記載のモデル学習装置によって前記記憶手段に記憶されたパラメータを読み込む読込手段と、前記読込手段によって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定手段と、前記潜在ベクトル推定手段によって推定された潜在ベクトルおよび前記パラメータの変換行列集合における対応する変換行列に基づいて、前記各データの他のデータ集合の空間における値を予測する予測手段と、を備えている。
【００１９】
請求項４に記載の関連情報予測装置によれば、読込手段により、請求項１または請求項２記載のモデル学習装置によって前記記憶手段に記憶されたパラメータが読み込まれる。
【００２０】
ここで、本発明では、潜在ベクトル推定手段により、前記読込手段によって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルが推定され、予測手段により、前記潜在ベクトル推定手段によって推定された潜在ベクトルおよび前記パラメータの変換行列集合における対応する変換行列に基づいて、前記各データの他のデータ集合の空間における値が予測される。
【００２１】
このように、請求項４に記載の関連情報予測装置によれば、本発明のモデル学習装置によって得られたパラメータを用いて関連情報を予測しているので、本発明のモデル学習装置と同様に、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【００２２】
一方、上記目的を達成するために、請求項５に記載のモデル学習方法は、複数のデータ集合を入力する入力ステップと、複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデルが、前記入力ステップによって入力された複数のデータ集合に対して最も適合するように、前記潜在ベクトルが選択される確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータを推定するパラメータ推定ステップと、前記パラメータ推定ステップによって推定されたパラメータを記憶する記憶ステップと、を含んでいる。
【００２３】
従って、請求項５に記載のモデル学習方法によれば、請求項１に記載の発明と同様に作用するので、請求項１に記載の発明と同様に、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【００２４】
なお、本発明は、請求項６に記載の発明のように、前記モデルが、ｉ番目のデータ集合のｎ番目のデータをｘｉｎとし、前記潜在ベクトル集合をＺとし、ｉ番目の変換行列をＷｉとし、ｊ番目の潜在ベクトルｚｊが選択される確率をｐ（ｊ）とし、平均μおよび共分散行列Σの正規分布をｐ（ｘ｜μ，Σ）として、前記データｘｉｎが後述する（６）式で与えられる確率で生成されるというモデルであるものとしてもよい。
【００２５】
一方、上記目的を達成するために、請求項７に記載の関連情報抽出方法は、請求項５または請求項６記載のモデル学習方法によって記憶されたパラメータを読み込む読込ステップと、前記読込ステップによって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定ステップと、前記潜在ベクトル推定ステップによって推定された潜在ベクトルに基づいて、当該潜在ベクトルの類似度が高いほど関連が高いものとして、前記各データに関連するデータを他のデータ集合から抽出する抽出ステップと、を含んでいる。
【００２６】
従って、請求項７に記載の関連情報抽出方法によれば、請求項３に記載の発明と同様に作用するので、請求項３に記載の発明と同様に、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【００２７】
一方、上記目的を達成するために、請求項８に記載の関連情報予測方法は、請求項５または請求項６記載のモデル学習方法によって記憶されたパラメータを読み込む読込ステップと、前記読込ステップによって読み込まれたパラメータを用いて、前記複数のデータ集合における各データの潜在ベクトルを推定する潜在ベクトル推定ステップと、前記潜在ベクトル推定ステップによって推定された潜在ベクトルおよび前記パラメータの変換行列集合における対応する変換行列に基づいて、前記各データの他のデータ集合の空間における値を予測する予測ステップと、を含んでいる。
【００２８】
従って、請求項８に記載の関連情報予測方法によれば、請求項４に記載の発明と同様に作用するので、請求項４に記載の発明と同様に、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【００２９】
さらに、上記目的を達成するために、請求項９に記載のプログラムは、コンピュータを、請求項１または請求項２記載のモデル学習装置、または請求項３記載の関連情報抽出装置、または請求項４記載の関連情報予測装置の各手段として機能させるためのものである。
【００３０】
従って、請求項９に記載のプログラムによれば、コンピュータを本発明のモデル学習装置、関連情報抽出装置、関連情報予測装置と同様に作用させることができるので、これらの装置と同様に、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【発明の効果】
【００３１】
以上説明したように、本発明のモデル学習装置、関連情報抽出装置、関連情報予測装置、モデル学習方法、関連情報抽出方法、関連情報予測方法およびプログラムによれば、複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデルが、入力された複数のデータ集合に対して最も適合するように、前記潜在ベクトルが選択される確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータを推定しているので、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる、という効果が得られる。
【図面の簡単な説明】
【００３２】
【図１】実施の形態に係る関連性抽出装置の機能的な構成を示す機能ブロック図である。
【図２】実施の形態に係る関連性抽出機能による処理の流れを示すフローチャートである。
【図３】実施の形態に係る関連性抽出装置の電気的な要部構成を示すブロック図である。
【図４】実施の形態に係る関連性抽出装置に備えられたＨＤＤの主な記憶内容を示す模式図である。
【図５】実施の形態に係るモデル学習処理プログラムの処理の流れを示すフローチャートである。
【図６】実施の形態に係る関連性抽出処理プログラムの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、図面を参照して、本発明を実施するための形態について詳細に説明する。なお、ここでは、本発明を、入力された複数のデータ集合のそれぞれから関連する情報を抽出したり、予測したりする機能（以下、「関連性抽出機能」という。）を有する、単体構成とされた関連性抽出装置に適用した場合について説明する。
【００３４】
まず、本実施の形態に係る関連性抽出機能により実行される関連性抽出処理について説明する。なお、以降の各数式で用いられる各パラメータの表記を表１にまとめて示す。
【００３５】
【表１】
0005813498.tif 000002
【００３６】
与えられた複数のデータ集合Ｘを次の（１）式で表す。
【００３７】
【数１】
0005813498.tif 000003
【００３８】
ここで、下記（２）式で表されるＸｉはｉ番目のデータ集合を表し、各データｘｉｎは下記（３）式で表される多次元の縦ベクトルとする。
【００３９】
【数２】
0005813498.tif 000004
【００４０】
【数３】
0005813498.tif 000005
【００４１】
また、潜在ベクトル集合Ｚを次の（４）式で表す。
【００４２】
【数４】
0005813498.tif 000006
【００４３】
ここで、各潜在ベクトルｚｊは、次の（５）式で表される多次元の縦ベクトルであり、各値は未知である。
【００４４】
【数５】
0005813498.tif 000007
【００４５】
ｉ番目のデータ集合Ｘｉ内のデータは、潜在ベクトル集合Ｚ内のある１つの潜在ベクトルｚｊと変換行列Ｗｉに依存して生成されるというモデルを仮定する。ここで、変換行列Ｗｉは、Ｍｉ行Ｋ列の行列であり、その（ｍ，ｋ）要素をｗｉｍｋとする。例えば、ｉ番目のデータ集合Ｘｉ内のデータｘｉｎは、次の（６）式で表される確率で生成されるというモデルを仮定する。
【００４６】
【数６】
0005813498.tif 000008
【００４７】
ここで、ｐ（ｊ）＝θｊはｊ番目の潜在ベクトルｚｊが選択される確率を表し、ｐ（ｘ｜μ，Σ）は、平均μ、共分散行列Σの正規分布を表す。
【００４８】
与えられた複数のデータ集合Ｘに上記モデルが最も適合するように、下記（７）式で表される事前確率集合θ、潜在ベクトル集合Ｚ、および下記（８）式で表される変換行列集合Ｗを推定する。
【００４９】
【数７】
0005813498.tif 000009
【００５０】
【数８】
0005813498.tif 000010
【００５１】
例えば、次の（９）式で表される対数尤度Ｌを最大化するように推定する。
【００５２】
【数９】
0005813498.tif 000011
【００５３】
ここで、尤度ではなく、事後確率を最大化することでモデルを学習することもできる。精度行列Φｉは同様に推定してもよいし、事前に設定してもよい。例えば、単位行列Φｉ＝Ｉと設定する。以下では、Φｉ＝Ｉとする。
【００５４】
欠損データがある場合は、対数尤度から欠損データに対応する値を取り除くことにより、欠損データにも対応することができる。
【００５５】
この方法の他にも、ベイズ推定により、これらのパラメータ集合Θ＝｛θ，Ｚ，Ｗ｝を求めることもできる。この際、「Ruslan Salakhutdinov, Andriy Mnih. “Bayesian Probabilistic Matrix Factorization using Markov Chain Monte Carlo.” International Conference on Machine Learning 2008」で開示されているマルコフ連鎖モンテカルロ法や、変分ベイズ法等を用いることができる。
【００５６】
データが非負であることが分かっている場合、非負行列分解法と同じように、パラメータに非負制約を入れて、推定することもできる。
【００５７】
データが連続値ではなく、離散値の場合、正規分布ではなく、一例として「David Blei, Andrew Ng, Michael Jordan, John Lafferty, “Latent Dirichlet allocation.” David M. Blei, Andrew Y. Ng, Michael I. Jordan; 3(Jan):993-1022, 2003.」で開示されている技術のように、多項分布からの生成を仮定した確率モデルでの、最尤推定、もしくは事後確率最大化推定、ベイズ推定等により推定することもできる。
【００５８】
以上では、データが潜在ベクトルの線形変換で近似できることを仮定しているが、次の（１０）式で示されるような任意の関数で近似できると仮定し、これらの近似を満たすようにパラメータを推定してもよい。
【００５９】
【数１０】
0005813498.tif 000012
【００６０】
ここで、Ｗｉは非線形関数のパラメータを表す。ガウス過程等を用いることにより、非線形関数をモデル化することができる。
【００６１】
次に、図１を参照して、本実施の形態に係る関連性抽出装置１０の構成について説明する。
【００６２】
図１に示すように、本実施の形態に係る関連性抽出装置１０は、学習部２０および抽出部３０を備えている。本実施の形態に係る関連性抽出装置１０は、図２に示すように、まず、学習部２０により、複数のデータ集合を読み込み、パラメータ集合Θを推定することによってモデルを学習した後、抽出部３０により、各データ集合間の関連性を抽出する。
【００６３】
図１に示すように、本実施の形態に係る学習部２０は、読み込み部２２と、初期化部２４と、パラメータ推定部２６と、書き込み部２８と、を備えている。
【００６４】
読み込み部２２は、処理対象とする複数のデータ集合Ｘを予め定められた記憶装置から読み込むものであり、初期化部２４は、パラメータ集合Θをランダムに初期化するものである。また、パラメータ推定部２６は、読み込んだ複数のデータ集合Ｘにモデルが最も適合するように、各パラメータを推定するものであり、書き込み部２８は、パラメータ推定部２６によって推定されたパラメータ集合Θを予め定められた記憶装置に書き込むものである。
【００６５】
一方、本実施の形態に係る抽出部３０は、潜在ベクトル推定部３２と、関連抽出部３４と、予測部３６と、書き込み部３８と、を備えている。
【００６６】
潜在ベクトル推定部３２は、次の（１１）式により、各データｘｉｎの潜在ベクトルｚｉｎを推定するものである。なお、（１１）式におけるｐ（ｊ｜ｉ，ｎ）は、後述する（１４）式で得られる、各データ集合ｉ＝１，・・・，Ｉの各データｎ＝１，・・・，Ｎｉの帰属確率である。
【００６７】
【数１１】
0005813498.tif 000013
【００６８】
また、関連抽出部３４は、各データｘｉｎに関連するデータを、他のデータ集合毎に順序付けして抽出するものであり、潜在ベクトルの類似度が高いほど関連性が高いものとする。例えば、次の（１２）式により示される潜在ベクトルのユークリッド距離が小さいデータから並べることにより、関連が高いと推定されるものから並べることができる。
【００６９】
【数１２】
0005813498.tif 000014
【００７０】
また、予測部３６は、各データｘｉｎの、ｉ’番目のデータ集合の空間における値を、学習した変換行列と、潜在ベクトルと、を用いて、一例として次の（１３）式により予測するものである。
【００７１】
【数１３】
0005813498.tif 000015
【００７２】
そして、書き込み部３８は、関連抽出部３４による抽出結果、および予測部３６による予測結果を予め定められた記憶装置に書き込むものである。
【００７３】
図３には、本実施の形態に係る関連性抽出装置１０の電気系の要部構成が示されている。
【００７４】
同図に示すように、本実施の形態に係る関連性抽出装置１０は、装置全体の動作を司るＣＰＵ（中央処理装置）４２と、各種データを一時的に記憶するＲＡＭ（Random Access Memory）４４と、制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）４６と、を備えている。また、本実施の形態に係る関連性抽出装置１０は、各種情報を記憶して保持するＨＤＤ（Hard Disc Drive）４８と、各種情報が入力される際に操作されるキーボード５０およびマウス５２と、各種情報を表示するディスプレイ５４と、を備えている。
【００７５】
ＣＰＵ４２、ＲＡＭ４４、ＲＯＭ４６、ＨＤＤ４８、キーボード５０、マウス５２、およびディスプレイ５４は、システムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４２は、ＲＡＭ４４、ＲＯＭ４６、およびＨＤＤ４８へのアクセス、キーボード５０およびマウス５２を介した各種情報の入力、およびディスプレイ５４による各種情報の表示を行うことができる。
【００７６】
図４には、関連性抽出装置１０に備えられたＨＤＤ４８の主な記憶内容が模式的に示されている。同図に示すように、ＨＤＤ４８には、各種データベースを記憶するためのデータベース領域ＤＢと、アプリケーション・プログラム等を記憶するためのプログラム領域ＰＧと、が設けられている。
【００７７】
なお、本実施の形態に係る関連性抽出装置１０においてデータベース領域ＤＢに記憶されるデータベースには、データ集合データベースＤＢ１およびパラメータ集合データベースＤＢ２が含まれる。このように、本実施の形態に係る関連性抽出装置１０では、データ集合Ｘおよびパラメータ集合Θをデータベースとして保持しているが、これに限るものではない。
【００７８】
以上のように構成された関連性抽出装置１０による関連性抽出機能等を実現するための各種処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現してもよい。ただし、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよいことは言うまでもない。
【００７９】
以下では、本実施の形態に係る関連性抽出装置１０が、上記プログラムを実行することにより各種処理を実現するものとされている場合について説明する。この場合、当該プログラムを関連性抽出装置１０のＨＤＤ４８等の記憶手段に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線または無線による通信手段を介して配信される形態等を適用してもよい。
【００８０】
次に、図５および図６を参照して、関連性抽出機能を実行する際の本実施の形態に係る関連性抽出装置１０の作用を説明する。まず、図５を参照して、学習部２０と同様の処理によりモデルの学習を行うモデル学習処理を実行する際の関連性抽出装置１０の作用を説明する。なお、図５は、予め定められたタイミング（本実施の形態では、キーボード５０、マウス５２等を介して実行する旨の指示入力が行われたタイミング）で関連性抽出装置１０のＣＰＵ４２によって実行されるモデル学習処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはＨＤＤ４８のプログラム領域ＰＧに予め記憶されている。また、ここでは、錯綜を回避するために、データ集合データベースＤＢ１が予め構築されている場合について説明する。
【００８１】
同図のステップ１００では、複数のデータ集合Ｘをデータ集合データベースＤＢ１から読み込み、次のステップ１０２では、パラメータ集合Θをランダムに初期化する。
【００８２】
次のステップ１０４〜ステップ１１０では、読み込んだ複数のデータ集合Ｘに、モデルが最も適合するように、事前確率集合θ、潜在ベクトル集合Ｚ、変換行列集合Ｗの各パラメータを推定する。ここで、ＣＰＵ４２は、例えば、（９）式で示される対数尤度Ｌを最大化することで上記各パラメータを推定する。この際の対数尤度Ｌの最大化は、一例として、期待値最大化（ＥＭ）アルゴリズムを用いることにより行うことができる。
【００８３】
ＥＭアルゴリズムでは、以下に示すＥステップおよびＭステップを、予め定められた終了条件が満たされるまで繰り返す。なお、この際の終了条件として、対数尤度Ｌの収束、ＥステップおよびＭステップの繰り返し回数、計算時間等を用いることができる。
【００８４】
まず、Ｅステップ（ステップ１０４に相当）では、各データ集合ｉ＝１，・・・，Ｉの各データｎ＝１，・・・，Ｎｉについて、以下の（１４）式により帰属確率を計算する。
【００８５】
【数１４】
0005813498.tif 000016
【００８６】
そして、Ｍステップ（ステップ１０６、ステップ１０８に相当）では、次の（１５）式により示される、対数尤度Ｌの下限であるＱ関数を最大化することで、パラメータ集合Θを推定する。
【００８７】
【数１５】
0005813498.tif 000017
【００８８】
ここで、Ｑ関数を最大化する事前確率集合θｊは次の（１６）式のように閉形式で得ることができる。
【００８９】
【数１６】
0005813498.tif 000018
【００９０】
Ｑ関数を最大化する変換行列集合Ｗ、潜在ベクトル集合Ｚは、閉形式で得られないため、準ニュートン法、勾配法等の方法を用いる。そのときに必要となる各パラメータに対する勾配は、以下の（１７）式および（１８）式により得られる。
【００９１】
【数１７】
0005813498.tif 000019
【００９２】
【数１８】
0005813498.tif 000020
【００９３】
ここで、次の（１９）式により示されるｗｉｍは縦ベクトルである。
【００９４】
【数１９】
0005813498.tif 000021
【００９５】
そして、上記終了条件が満たされるまでＱ関数の最大化を繰り返す（ステップ１１０）ことにより、変換行列集合Ｗ、潜在ベクトル集合Ｚを推定する。
【００９６】
ステップ１１２では、以上の処理によって得られたパラメータ集合ΘをＨＤＤ４８のデータベース領域ＤＢにパラメータ集合データベースＤＢ２として書き込み、その後に本モデル学習処理プログラムを終了する。
【００９７】
次に、図６を参照して、抽出部３０と同様の処理により関連情報の抽出および予測を行う関連性抽出処理を実行する際の関連性抽出装置１０の作用を説明する。なお、図６は、予め定められたタイミング（本実施の形態では、キーボード５０、マウス５２等を介して実行する旨の指示入力が行われたタイミング）で関連性抽出装置１０のＣＰＵ４２によって実行される関連性抽出処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはＨＤＤ４８のプログラム領域ＰＧに予め記憶されている。また、ここでは、錯綜を回避するために、パラメータ集合データベースＤＢ２が予め構築されている場合について説明する。
【００９８】
同図のステップ２００では、上記（１１）式により、各データｘｉｎの潜在ベクトルｚｉｎを推定し、次のステップ２０２では、各データｘｉｎに関連するデータを、他のデータ集合毎に順序付けして抽出する。この際、前述したように、上記（１２）式で示されるユークリッド距離が小さいデータから並べることにより、関連が高いと推定されるものから並べることができる。
【００９９】
次のステップ２０４では、各データｘｉｎの、ｉ’番目のデータ集合の空間における値を、学習した変換行列と、潜在ベクトルと、を用いて、上記（１３）式により予測し、次のステップ２０６にて、上記ステップ２０２の処理によって得られた抽出結果、および上記ステップ２０４の処理によって得られた予測結果をＨＤＤ４８の所定領域に書き込み、その後に本関連性抽出処理プログラムを終了する。
【０１００】
なお、上記ステップ２０６の処理による抽出結果の書き込みは、各データｘｉｎ毎の、所定順位までに関連する他のデータ集合におけるデータを特定することができる情報を書き込むこと等によって行われる。また、上記ステップ２０６の処理による予測結果の書き込みは、各データｘｉｎ毎の、他のデータ集合の空間における、当該データに関連する数値そのものを書き込むこと等によって行われる。
【０１０１】
［実施例］
本実施の形態に係る関連性抽出処理を評価するため、人工のデータを用いた実験を行った。
【０１０２】
ここで、人工のデータは、次の手順で作成した。
【０１０３】
ｗｉｍｋ，ｉ＝１，・・・，Ｉ，ｍ＝１，・・・，Ｍｉ，ｋ＝１，・・・，Ｋを平均０、標準偏差１の正規分布からサンプリングする。また、ｚｎｋ，ｎ＝１，・・・，Ｎ，ｋ＝１，・・・，Ｋを平均０、標準偏差１の正規分布からサンプリングする。そして、ｘｉｎを平均Ｗｉｚｎ、標準偏差０．１からサンプリングする。ここで、Ｉ＝２，Ｋ＝３，Ｎ＝１００，Ｍ１＝１００，Ｍ２＝１００とした。
【０１０４】
正解値ｘｉ’ｎと予測値Ｗｉ’ｚｉｎの平均二乗誤差を評価指標とする。また、ベースライン手法として、次の（２０）式により示される、出力の各要素のデータの平均を抽出値とする手法を用いた。
【０１０５】
【数２０】
0005813498.tif 000022
【０１０６】
平均二乗誤差を次の表２に示す。同表に示すように、ベースラインよりも誤差が小さく、本実施の形態に係る関連性抽出処理の有効性を示している。
【０１０７】
【表２】
0005813498.tif 000023
【０１０８】
以上詳細に説明したように、本実施の形態では、複数のデータ集合における各データ集合内のデータが、予め定められた潜在ベクトル集合内の１つの潜在ベクトル、および対応する変換行列に依存して、予め定められた確率で生成されるとしたモデル（本実施の形態では、（６）式で示されるモデル）が、入力された複数のデータ集合に対して最も適合するように、前記各データ集合内のデータに対応する前記確率の集合である確率集合、前記潜在ベクトル集合、および前記各データ集合のそれぞれに対応する複数の前記変換行列の集合である変換行列集合の３種類のパラメータを推定しているので、推定した各パラメータを用いることにより、大きさ（データ数）が異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【０１０９】
また、本実施の形態では、上記パラメータを用いて関連情報を抽出ないし予測しているので、大きさが異なる複数のデータ集合のそれぞれから、関連するデータを得ることができる。
【０１１０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１１１】
また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件の組み合わせにより種々の発明が抽出される。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１１２】
例えば、上記実施の形態では、本発明を、コンピュータを利用してソフトウェア構成により実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって本発明を実現してもよい。
【０１１３】
本発明を、ハードウェア構成を含んで実現する場合の形態としては、図１に示される各構成部位のうち、所望の部位を半導体ＩＣや電気回路等のハードウェアにより構成して適用する形態を例示することができる。
【０１１４】
また、上記実施の形態では、データ集合データベースＤＢ１からデータ集合Ｘを読み込む場合について説明したが、本発明はこれに限定されるものではなく、例えば、キーボード５０、マウス５２等の入力装置を介してデータ集合Ｘを入力する形態としてもよく、インターネット、ローカル・エリア・ネットワーク等の通信回線を介してデータ集合Ｘを入力する形態等としてもよい。
【０１１５】
また、上記実施の形態では、本発明のモデル学習装置、関連情報抽出装置、および関連情報予測装置を、関連性抽出装置１０の単体構成で実現する場合について説明したが、本発明はこれに限定されるものではなく、例えば、本発明のモデル学習装置と、関連情報抽出装置および関連情報予測装置と、を各々個別の装置として構成する形態としてもよく、さらに、本発明の関連情報抽出装置と、関連情報予測装置と、を各々個別の装置として構成する形態としてもよい。
【０１１６】
さらに、上記実施の形態で適用した各演算式（（１）式〜（２０）式）は一例であり、これらの演算式も適宜変更して用いることができることは言うまでもない。
【符号の説明】
【０１１７】
１０  関連性抽出装置
２０  学習部
２２  読み込み部
２４  初期化部
２６  パラメータ推定部
２８  書き込み部
３０  抽出部
３２  潜在ベクトル推定部
３４  関連抽出部
３６  予測部
３８  書き込み部
４２  ＣＰＵ
４４  ＲＡＭ
４６  ＲＯＭ
４８  ＨＤＤ
５０  キーボード
５４  ディスプレイ
ＤＢ１  データ集合データベース
ＤＢ２  パラメータ集合データベース
【図１】
0005813498.tif 000026
【図２】
0005813498.tif 000027
【図３】
0005813498.tif 000028
【図４】
0005813498.tif 000029
【図５】
0005813498.tif 000030
【図６】
0005813498.tif 000031