(57)【特許請求の範囲】
【請求項１】
入力データに対して出力データが得られるときの前記入力データから前記出力データを予測するためのモデルのパラメータを推定する入出力モデル推定装置であって、
前記入力データの集合である入力された入力データ集合と、前記出力データの集合であって、かつ、前記入力データとの対応付けが未知の入力された出力データ集合とを読み込む読み込み手段と、
前記入力データ集合及び前記出力データ集合に基づいて、前記入力データの各々の第１潜在変数に関する平均と前記出力データの各々の第２潜在変数に関する平均とを近似させ、かつ、前記入力データの各々の第１潜在変数に関する共分散行列と前記出力データの各々の第２潜在変数に関する共分散行列とを近似させるように、前記入力データの各々の第１潜在変数及び該第１潜在変数を前記入力データにマッピングするための第１重み変数、並びに前記出力データの各々の第２潜在変数及び該第２潜在変数を前記出力データにマッピングするための第２重み変数を、前記モデルのパラメータとして推定するモデル推定手段と、
を含む入出力モデル推定装置。
【請求項２】
前記入力データ集合のうちの予測対象の入力データについて推定された前記第１潜在変数と、推定された前記第２重み変数とに基づいて、前記予測対象の入力データに対する出力データを予測する予測手段を更に含む請求項１記載の入出力モデル推定装置。
【請求項３】
前記モデル推定手段は、
前記入力データの各々の前記第１潜在変数及び前記第１重み変数、並びに前記出力データの各々の前記第２潜在変数及び前記第２重み変数の各々に初期値を設定する初期化手段と、
前記第１潜在変数に関する平均と前記第２潜在変数に関する平均とを近似させ、かつ、前記第１潜在変数に関する共分散行列と前記第２潜在変数に関する共分散行列とを近似させるための予め定められた目的関数に基づいて、前記入力データの各々の前記第１潜在変数及び前記第１重み変数、並びに前記入力データの各々の前記第２潜在変数及び前記第２重み変数の各々を推定するパラメータ推定手段と、を含み、
前記パラメータ推定手段による推定を繰り返すことにより、前記目的関数の値を最小化したときの前記入力データの各々の前記第１潜在変数及び前記第１重み変数、並びに前記出力データの各々の前記第２潜在変数及び前記第２重み変数を、前記モデルのパラメータの推定結果とする請求項１又は２記載の入出力モデル推定装置。
【請求項４】
前記潜在変数に関する平均及び共分散行列は、前記潜在変数の平均及び共分散行列、または前記潜在変数に関する正規分布の平均及び共分散行列である請求項１〜請求項３の何れか１項記載の入出力モデル推定装置。
【請求項５】
入力データに対して出力データが得られるときの前記入力データから前記出力データを予測するためのモデルのパラメータを推定する入出力モデル推定装置における入出力モデル推定方法であって、
読み込み手段によって、前記入力データの集合である入力された入力データ集合と、前記出力データの集合であって、かつ、前記入力データとの対応付けが未知の入力された出力データ集合とを読み込むステップと、
モデル推定手段によって、前記入力データ集合及び前記出力データ集合に基づいて、前記入力データの各々の第１潜在変数に関する平均と前記出力データの各々の第２潜在変数に関する平均とを近似させ、かつ、前記入力データの各々の第１潜在変数に関する共分散行列と前記出力データの各々の第２潜在変数に関する共分散行列とを近似させるように、前記入力データの各々の第１潜在変数及び該第１潜在変数を前記入力データにマッピングするための第１重み変数、並びに前記出力データの各々の第２潜在変数及び該第２潜在変数を前記出力データにマッピングするための第２重み変数を、前記モデルのパラメータとして推定するステップと、
を含む入出力モデル推定方法。
【請求項６】
予測手段によって、前記入力データ集合のうちの予測対象の入力データと、前記入力データについて推定された前記第１潜在変数と、推定された前記第２重み変数とに基づいて、前記予測対象の入力データに対する出力データを予測するステップを更に含む請求項５記載の入出力モデル推定方法。
【請求項７】
前記モデル推定手段によって推定するステップは、
初期化手段によって、前記入力データの各々の前記第１潜在変数及び前記第１重み変数、並びに前記出力データの各々の前記第２潜在変数及び前記第２重み変数の各々に初期値を設定するステップと、
パラメータ推定手段によって、前記第１潜在変数に関する平均と前記第２潜在変数に関する平均とを近似させ、かつ、前記第１潜在変数に関する共分散行列と前記第２潜在変数に関する共分散行列とを近似させるための予め定められた目的関数に基づいて、前記入力データの各々の前記第１潜在変数及び前記第１重み変数、並びに前記入力データの各々の前記第２潜在変数及び前記第２重み変数の各々を推定するステップと、を含み、
前記パラメータ推定手段による推定を繰り返すことにより、前記目的関数の値を最小化したときの前記入力データの各々の前記第１潜在変数及び前記第１重み変数、並びに前記出力データの各々の前記第２潜在変数及び前記第２重み変数を、前記モデルのパラメータの推定結果とする請求項５又は６記載の入出力モデル推定方法。
【請求項８】
コンピュータを、請求項１〜請求項４のいずれか１項記載の入出力モデル推定装置を構成する各手段として機能させるための入出力モデル推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入出力モデル推定装置、方法、及びプログラムに係り、特に、入力データ集合及び出力データ集合に基づいて、入力データから出力データを予測するためのモデルのパラメータを推定する入出力モデル推定装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
教師あり学習では、入力と出力のペア(x,y)の集合が学習データ｛(xn,yn)｝n=1Nとして与えられたとき、出力が未知の入力の出力を予測するためのモデルを学習する。しかしながら、入力と出力のペアを得ることが困難な場合や、コストがかかる場合がある。
【０００３】
そこで、入力のみの集合、および、出力のみの集合からペアを見つけ出す手法が知られている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Novi Quadrianto, Le Song, Alex J. Smola. “Kernelized Sorting.” Advances in Neural Information Processing Systems 21, pp. 1289-1296, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１では、入力集合と出力集合の大きさが同じである必要がある、という問題点がある。
【０００６】
本発明は上記事情に鑑みてなされたものであり、対応付けが未知の入力データ集合及び出力データ集合から、入力データに対する出力データを予測するためのモデルのパラメータを推定することができる入出力モデル推定装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の入出力モデル推定装置は、入力データに対して出力データが得られるときの前記入力データから前記出力データを予測するためのモデルのパラメータを推定する入出力モデル推定装置であって、前記入力データの集合である入力された入力データ集合と、前記出力データの集合であって、かつ、前記入力データとの対応付けが未知の入力された出力データ集合とを読み込む読み込み手段と、前記入力データ集合及び前記出力データ集合に基づいて、前記入力データの各々の第１潜在変数に関する平均と前記出力データの各々の第２潜在変数に関する平均とを近似させ、かつ、前記入力データの各々の第１潜在変数に関する共分散行列と前記出力データの各々の第２潜在変数に関する共分散行列とを近似させるように、前記入力データの各々の第１潜在変数及び該第１潜在変数を前記入力データにマッピングするための第１重み変数、並びに前記出力データの各々の第２潜在変数及び該第２潜在変数を前記出力データにマッピングするための第２重み変数を、前記モデルのパラメータとして推定するモデル推定手段と、を含んで構成されている。
【０００８】
本発明の入出力モデル推定装置によれば、読み込み手段によって、入力データの集合である入力された入力データ集合と、前記出力データの集合であって、かつ、前記入力データとの対応付けが未知の入力された出力データ集合とを読み込む。
【０００９】
そして、モデル推定手段によって、前記入力データ集合及び前記出力データ集合に基づいて、前記入力データの各々の第１潜在変数に関する平均と前記出力データの各々の第２潜在変数に関する平均とを近似させ、かつ、前記入力データの各々の第１潜在変数に関する共分散行列と前記出力データの各々の第２潜在変数に関する共分散行列とを近似させるように、前記入力データの各々の第１潜在変数及び該第１潜在変数を前記入力データにマッピングするための第１重み変数、並びに前記出力データの各々の第２潜在変数及び該第２潜在変数を前記出力データにマッピングするための第２重み変数を、前記モデルのパラメータとして推定する。
【００１０】
このように、入力データの各々の第１潜在変数に関する平均及び共分散行列と出力データの各々の第２潜在変数に関する平均及び共分散行列とを近似させるように、入力データの各々の第１潜在変数及び第１重み変数、並びに出力データの各々の第２潜在変数及び第２重み変数を推定することにより、対応付けが未知の入力データ集合及び出力データ集合から、入力データに対する出力データを予測するためのモデルのパラメータを推定することができる。
【００１１】
また、本発明の入出力モデル推定方法は、入力データに対して出力データが得られるときの前記入力データから前記出力データを予測するためのモデルのパラメータを推定する入出力モデル推定装置における入出力モデル推定方法であって、読み込み手段によって、前記入力データの集合である入力された入力データ集合と、前記出力データの集合であって、かつ、前記入力データとの対応付けが未知の入力された出力データ集合とを読み込むステップと、モデル推定手段によって、前記入力データ集合及び前記出力データ集合に基づいて、前記入力データの各々の第１潜在変数に関する平均と前記出力データの各々の第２潜在変数に関する平均とを近似させ、かつ、前記入力データの各々の第１潜在変数に関する共分散行列と前記出力データの各々の第２潜在変数に関する共分散行列とを近似させるように、前記入力データの各々の第１潜在変数及び該第１潜在変数を前記入力データにマッピングするための第１重み変数、並びに前記出力データの各々の第２潜在変数及び該第２潜在変数を前記出力データにマッピングするための第２重み変数を、前記モデルのパラメータとして推定するステップと、を含む。
【００１２】
また、本発明の入出力モデル推定プログラムは、コンピュータを、上記の入出力モデル推定装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１３】
以上説明したように、本発明の入出力モデル推定装置、方法、及びプログラムによれば、入力データの各々の第１潜在変数に関する平均及び共分散行列と出力データの各々の第２潜在変数に関する平均及び共分散行列とを近似させるように、入力データの各々の第１潜在変数及び第１重み変数、並びに出力データの各々の第２潜在変数及び第２重み変数を推定することにより、対応付けが未知の入力データ集合及び出力データ集合から、入力データに対する出力データを予測するためのモデルのパラメータを推定することができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態の入出力モデル推定装置の機能的構成を示すブロック図である。
【図２】本発明の実施の形態の入出力モデル推定装置における入出力モデル推定処理ルーチンの内容を示すフローチャートである。
【図３】本発明の実施の形態の入出力モデル推定装置におけるパラメータ集合を推定する処理の流れを示すフローチャートである。
【図４】本実施の形態の入出力モデル推移装置と他の手法との精度比較結果を示す図である。
【図５】本実施の形態の入出力モデル推移装置と他の手法との精度比較結果を示す図である。
【図６】本実施の形態の入出力モデル推移装置と他の手法との精度比較結果を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
＜モデルの概要＞
入力データ集合をX=(xn) n=1N1、出力データ集合をY=(yn) n=1N2とする。ここで入力データおよび出力データは多次元ベクトルxn=(xnm) m=1M1，yn=(ynm) m=1M2とする。出力データ集合Ｙは、入力データに対して所定の関係に基づいて得られる出力データの集合であり、入力データとの対応付けが未知のものである。例えば、入力データが特許文書であり、出力データが、当該特許文書に対するカテゴリである。なお、出力データ集合Ｙの出力データは、入力データ集合に含まれる入力データに対する出力データである必要はなく、入力データ集合に含まれない同様の入力データに対して同様の関係に基づいて得られる出力データであればよい。
【００１７】
入力データ集合Xおよび出力データ集合Yは、それぞれ、以下の（１)式、（２）式のように近似できるとする。
【００１８】
【数１】
0005713877.tif 000002
【００１９】
ここで、uin=(uink)Kk=1、vim=(vimk)Kk=1であり、u1nは、入力データｘnの潜在変数であり、v1mは、潜在変数v1mを入力データにマッピングするための重み変数である。u2nは、出力データｙnの潜在変数であり、v2mは、潜在変数v2mを出力データにマッピングするための重み変数である。なお、潜在変数u1n、u2n、重み変数v1m、v2mが、入力データから出力データを予測するためのモデルのパラメータである。
【００２０】
上記（１)式、（２）式は、入力データ集合を表わす行列および出力データ集合を表わす行列を、それぞれ、２つの低ランク行列の積によって近似すること（行列分解）と同等である。
【００２１】
入力データ集合と出力データ集合を別々に行列分解した場合、得られる低ランク行列のu1nとu2nの各要素の特徴は関連しない。そこで、これらを関連させるために、U1=(u1n) n=1N1の平均とU2=(u2n)N2n=1の平均とが同じであって、かつ、U1=(u1n) n=1N1の共分散行列とU2=(u2n)N2n=1の共分散行列が同じであると仮定する。つまり、以下の（３)式、（４)式が成り立つことを仮定する。
【００２２】
【数２】
0005713877.tif 000003
【００２３】
ここで、μiは平均であり、以下の（５)式で表される。
【００２４】
【数３】
0005713877.tif 000004
【００２５】
また、Ｃiは共分散行列であり、以下の（６)式で表される。
【００２６】
【数４】
0005713877.tif 000005
【００２７】
なお、上記では、U1,U2が同じ平均、共分散行列を持つ場合を例に説明したが、これに限定されるものではなく、U1,U2が同じ平均、共分散行列を持つある正規分布から生成されると仮定してもよい。
【００２８】
本実施の形態では、上記(1)式、(2)式、(3)式、及び(4)式が示す近似が、最小二乗の意味でできるだけ満たされるようにパラメータU1=(u1n) n=1N1、U 2=(u2n) n=1N2、V1=(v1m) m=1M1、V2=(v2m) m=1M2を推定する。つまり、最小化すべき目的関数は以下の（７）式で表される。
【００２９】
【数５】
0005713877.tif 000006
【００３０】
ここで、λ1,λ2,α,βはそれぞれの近似の重要性を示すハイパーパラメータである。ηは正則化のためのハイパーパラメータである。ハイパーパラメータは事前に与えてもよいし、クロスバリデーション等によってデータから推定してもよい。そのときの評価指標としては、上記（１)式、（２）式の近似がどれくらい満たされているなどを使うことができる。
【００３１】
また、各要素の特徴が関連するパラメータを推定することができれば、ある入力xnに対する出力のm番目の要素はuT1nv2mにより予測することができる。
【００３２】
上記（１）式、（２）式のように、入力、出力ともに潜在変数uinの線形和で近似できることを仮定しているが、以下の（８)式、（９)式に示すような任意の関数で近似できると仮定して、これらの近似を満たすようにパラメータを推定してもよい。
【００３３】
【数６】
0005713877.tif 000007
【００３４】
上記（８)式、（９)式で近似する場合、ガウス過程などを用いることにより、非線形関数をモデル化できる。この場合、出力の予測はf2(u1n;v2m)を用いて可能である。
【００３５】
＜システム構成＞
本発明の実施の形態に係る入出力モデル推定装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する入出力モデル推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、読み込み部１０、記憶部２０、推定部３０、及び予測部４０を含んだ構成で表すことができる。
【００３６】
読み込み部１０は、入力集合読み込み部１１と、出力集合読み込み部１２とを備えている。
【００３７】
入力集合読み込み部１１は、入力された入力データ集合Ｘを読み込む。出力集合読み込み部１２は、入力された出力データ集合Ｙを読み込む。
【００３８】
記憶部２０には、読み込まれた入力データ集合Ｘが記憶される入力集合記憶部２１、読み込まれた出力データ集合Ｙが記憶される出力集合記憶部２２、及びパラメータ集合Θが記憶されるパラメータ集合記憶部２３が設けられている。
【００３９】
推定部３０は、初期化部３１と、パラメータ推定部３２と、書き込み部３３とを備えている。
【００４０】
初期化部３１は、パラメータ集合Θの各パラメータに、ランダムに値を設定して初期化する。また、ハイパーパラメータにも、適当な値を設定して初期化する。パラメータ集合Θは、U1=(u1n)n=1N1、U2=(u2n)n=1N2,V1=(v1m)m=1M1,V2=(v2m)m=1M2である。
【００４１】
パラメータ推定部３２は、上記（１)式〜（４)式の近似ができるだけ満たされるように、パラメータ集合を推定する。例えば、上記（７）式の目的関数を最小化するパラメータ集合を求めることにより、上記（１)式〜（４)式の近似が満たされるようなパラメータ集合が得られる。準ニュートン法，勾配法などの方法を用いて目的関数を最小化できる。そのときに必要となる各パラメータに対する勾配は、以下の（１０)式〜（１３)式で表される。
【００４２】
【数７】
0005713877.tif 000008
【００４３】
パラメータ推定部３２は、上記（１０)式〜（１３)式を用いて、上記（７）式の目的関数を最小化するように、一時刻前のパラメータ集合Θに基づいて、パラメータ集合Θを更新する。
【００４４】
パラメータ推定部３２によるパラメータ集合Θの更新を、終了条件が満たされるまで繰り返すことにより、近似をできるだけ満たすパラメータ集合Θを推定する。なお、パラメータ集合Θが、モデルパラメータの一例である。
【００４５】
終了条件としては、例えば、パラメータ集合Θの現在の推定値が、近似をどれくらい満たしているかを示す目的関数が収束することである。
【００４６】
また、終了条件としては、例えば、パラメータ集合Θの現在の推定値が、どのくらい入力データ集合及び出力データ集合を尤もらしく説明できているかを表す、尤度が収束することを用いることができる。また、終了条件として、繰り返し回数、計算時間などが所定値に到達することを用いることができる。
【００４７】
最後に、書き込み部３３は、推定したパラメータ集合Θを書き込む．
【００４８】
予測部４０は、出力予測部４１と、書き込み部４２とを備えている。出力予測部４１は、入力データ集合のうちの予測対象の入力データxnに対して、推定したパラメータ集合Θのうち入力データxnの潜在変数ｕ1nと、出力データの重み変数ｖ2m（ｍ＝１，・・・，Ｍ2）を用い、以下の（１５）式を用いて、出力のm番目（ｍ＝１，・・・，Ｍ2）の要素を予測することにより、予測対象の入力データxnに対する出力データｙを予測する。
【００４９】
【数８】
0005713877.tif 000009
【００５０】
書き込み部４２では、予測した出力データを記憶部２０に書き込む。
【００５１】
＜入出力モデル推定装置の作用＞
本実施の形態の入出力モデル推定装置１００に、入力データ集合Ｘ及び出力データ集合Ｙが入力されると、入出力モデル推定装置１００において、図２に示す、入出力モデル推定処理ルーチンが実行される。
【００５２】
まず、ステップＳ１０１で、読み込み部１０によって、入力された入力データ集合Ｘ及び出力データ集合Ｙを読みこみ、入力集合記憶部２１及び出力集合記憶部２２に格納する。
【００５３】
次のステップＳ１０２では、推定部３０によって、入力データ集合Ｘ及び出力データ集合Ｙに対するパラメータ集合Θを推定する。
【００５４】
ここで、上記ステップＳ１０２は、図３に示す処理ルーチンによって実現される。
【００５５】
ステップＳ１１０において、初期化部３１によって、入力データ集合Ｘの入力データｘの各々にする潜在変数u1n、重み変数v1m、及び出力データ集合Ｙの出力データｙの各々にする潜在変数u2n、重み変数v2mに、ランダムな値を設定して、パラメータ集合Θを初期化する。また、ハイパーパラメータλ1、λ2、α、β、ηに適当な値を設定する。
【００５６】
次のステップＳ１１１では、パラメータ推定部３２によって、初期化されたパラメータ集合Θ、又はステップＳ１１１で前回更新されたパラメータ集合Θを用いて、上記（１０）式〜（１３）式に従って、上記（７）式の目的関数を最小化するように、パラメータ集合Θを更新する。
【００５７】
そして、ステップＳ１１２では、繰り返しの終了条件を満たすか否かを判定する。例えば、上記ステップＳ１１１で求めたパラメータ集合Θに基づいて算出される目的関数の値が収束したか否かを判定する。目的関数の値が収束していない場合には、ステップＳ１１１へ戻って、上記ステップＳ１１１の処理を繰り返す。一方、目的関数の値が収束したと判定された場合には、ステップＳ１１３において、書き込み部３３によって、最終的に推定されたパラメータ集合Θを、パラメータ集合記憶部２３に格納し、上記ステップＳ１０２の処理を終了する。
【００５８】
次に、図２のステップＳ１０３で、出力予測部４１によって、上記ステップＳ１０２で推定されたパラメータ集合Θを用いて、上記（１５）式に従って、予測対象の入力データに対する出力データを予測する。また、書き込み部４２は、予測した出力データを、記憶部２０に書き込み、処理を終了する。
【００５９】
以上説明したように、本発明の実施の形態に係る入出力モデル推定装置によれば、入力データの各々の潜在変数に関する平均及び共分散行列と出力データの各々の潜在変数に関する平均及び共分散行列とを近似させるように、入力データの各々の潜在変数及び重み変数、並びに出力データの各々の潜在変数及び重み変数を推定することにより、対応付けが未知の入力データ集合及び出力データ集合から、入力データに対する出力データを予測するためのモデルのパラメータを推定することができる。
【００６０】
また、入力データと出力データのペアがない場合であっても、予測対象の入力データに対する出力データを予測することができる。
【００６１】
＜実施例＞
本発明を評価するため、人工データを用いた実験を行った。
【００６２】
人工データは以下の手順で作成した。まず、平均0、共分散行列Iをもつ正規分布から、unの平均をサンプリングする。また、平均0、分散1の正規分布から各要素がサンプリングされた上三角行列Lを、LLTとしたものをunの共分散行列とした。この平均、共分散行列の正規分布からU=(un) n=1Nを生成した。また、平均0、共分散行列Iの正規分布から、Vi、i=1,2を生成した。そして、入力データ集合Xおよび出力データ集合Yをxnm=uTnv1mおよびynm=uTnv2mにより生成した。ここで、N=300、M1=300、M2=300、K=3とした。
【００６３】
出力データの正解値ynmと、入力データ集合Ｘおよび出力データ集合Ｙから推定し予測した値＾uT1n＾v2mとの平均二乗誤差を評価指標とする。ベースライン手法として、出力データの各要素のデータの平均1/NΣn=1Nynmを予測値とする手法を用いた。本発明におけるハイパーパラメータはλ1=1、λ2=1、α=1,10,102・・・,107、β=1,10,102・・・,107、η=1とした。またK=1,2,…,5と変化させて実験を行った。
【００６４】
各Kにおいて最良のハイパーパラメータにおける平均二乗誤差を図4に示す。全Kにおいてベースラインよりも誤差が低く、本発明で提案した手法が有効であることが分かった。またデータ生成に用いたK=3のときに最も誤差が低くなっている。
【００６５】
また、αを変化させたときの平均二乗誤差を図5に示す。ここでK=3、β=102とした。また、βを変化させたときの平均二乗誤差を図6に示す。ここでK=3、β=106とした。平均および共分散行列に関する近似の重みが低すぎる場合（α=1、β=1）、誤差が大きく、予測に関してこれらの近似の重要性が示唆される。また、平均および共分散行列に関する近似の重みが高すぎる場合（α=107、β=107）誤差が大きく、これは、相対的に、上記(1)式、(2)式の近似の重みが低くなるため、悪くなると考えられる。
【００６６】
本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６７】
例えば、入力データもしくは出力データの一部の要素が欠損している場合に、目的関数から、該当する入力データ又は出力データにおける欠損部分に関する近似を取り除くようにしてもよい。これにより、欠損データに対応することができる。
【００６８】
また、U1,U2が同じ平均、共分散行列を持つある正規分布から生成されると仮定し、ベイズ推定によりパラメータ集合を推定するようにしてもよい。この際、参考文献（Ruslan Salakhutdinov, Andriy Mnih. “Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo.” International Conference on Machine Learning2008）に記載されているマルコフ連鎖モンテカルロ法や、変分ベイズ法を用いることができる。
【００６９】
また、入力データ、出力データが非負であることが分かっている場合、非負行列分解法と同じように、パラメータに非負制約を入れて、パラメータ集合を推定することもできる。
【００７０】
また、入力データ、出力データが連続値ではなく離散値である場合には、最小二乗ではなく、参考文献（David M. Blei and John Lafferty. “Correlated topic models.” Advances in  Neural Information Processing Systems 17, Cambridge, MA, 2005）に記載されているように、多項分布からの生成を仮定した確率モデルでの、最尤推定もしくは事後確率最大化推定、又はベイズ推定により、パラメータ集合を推定することもできる。
【００７１】
また、上記の実施の形態では、入力データと出力データの2つのデータを用いてパラメータ集合を推定する場合を例に説明したが、これに限定されるものではなく、3つ以上のデータを用いて、それらのデータの潜在変数に関する平均及び共分散行列が同じになるようにパラメータ集合を推定するようにしてもよい。
【００７２】
また、上述の入出力モデル推定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７３】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００７４】
１０   読み込み部
２０   記憶部
３０   推定部
３１   初期化部
３２   パラメータ推定部
４０   予測部
１００ 入出力モデル推定装置
【図１】
0005713877.tif 000010
【図２】
0005713877.tif 000011
【図３】
0005713877.tif 000012
【図４】
0005713877.tif 000013
【図５】
0005713877.tif 000014
【図６】
0005713877.tif 000015