(57)【要約】      （修正有）【課題】リレーショナルモデルを決定する。【解決手段】サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの潜在変数それぞれの変分分布の対数とを取得することと、対数尤度と正規化項と潜在変数それぞれの変分分布の対数とに応じて、目的関数を決定することと、目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータを決定することと、目的関数の収束を可能にする潜在変数の変分分布とモデルパラメータとに応じてリレーショナルモデルを決定することと、を含む。対数尤度と正規化項と潜在変数それぞれの変分分布の対数とに応じて目的関数を決定し、そして、目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータに応じてリレーショナルモデルを決定する。【選択図】図１
2015201176.tif 000002
【特許請求の範囲】
【請求項１】
サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの前記潜在変数それぞれの変分分布の対数とを取得するよう構成された取得モジュールと、
前記対数尤度と前記正規化項と前記潜在変数それぞれの前記変分分布の対数とに応じて、目的関数を決定するよう構成された第１決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の変分分布およびモデルパラメータを決定するよう構成された第２決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記モデルパラメータとに応じてリレーショナルモデルを決定するよう構成された第３決定モジュールと、を備える、
リレーショナルモデルを決定する装置。
【請求項２】
前記取得モジュールにより取得される前記対数尤度は、
【数１】
2015201176.tif 000439
であり、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数２】
2015201176.tif 000440
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはα、βおよびφを含むモデルパラメータ一式を示し、αとβはそれぞれ行と列の混合比であり、φはモデルパラメータである、
請求項１に記載の装置。
【請求項３】
前記取得モジュールにより取得される前記正規化項は、
【数３】
2015201176.tif 000441
であり、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示し、
【数４】
2015201176.tif 000442
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の行の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示し、αとβはそれぞれ行と列の混合比を示し、φは前記モデルパラメータを示し、Ｄαはα次元を示し、Ｄβはβ次元を示し、Ｄφはφ次元を示し、Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数５】
2015201176.tif 000443
を示し、ｂは
【数６】
2015201176.tif 000444
を示す、
請求項１に記載の装置。
【請求項４】
前記取得モジュールにより取得される潜在変数の変分分布の対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す、
請求項１に記載の装置。
【請求項５】
前記第１決定モジュールは、
前記対数尤度の期待値、前記正規化項の期待値および前記潜在変数それぞれの前記変分分布の対数の期待値に応じて前記目的関数を決定するよう構成されている、
請求項１から４のいずれか１項に記載の装置。
【請求項６】
前記第１決定モジュールにより決定される目的関数
【数７】
2015201176.tif 000445
は、
【数８】
2015201176.tif 000446
である、
請求項５に記載の装置。
【請求項７】
前記第２決定モジュールは、
更新された潜在変数の変分分布と更新されたモデルパラメータとを取得するよう構成された取得ユニットと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて前記目的関数が収束するか否かを判別する判別ユニットと、を備え、
前記取得ユニットは、
前記目的関数が収束しない場合、前記目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得するよう構成されている、
請求項６に記載の装置。
【請求項８】
前記取得ユニットは、
前記サンプルデータから抽出されるサブサンプルデータに応じて、前記更新された潜在変数の変分分布を取得するよう構成された第１取得サブユニットと、
前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得するよう構成された第２取得サブユニットと、を備える、
請求項７に記載の装置。
【請求項９】
前記取得ユニットは、更に、
前記更新された潜在変数の変分分布が収束するか否かを判別するよう構成された第１判別サブユニットを備え、
前記第１取得サブユニットは、前記更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて、更新された潜在変数の変分分布を再取得するよう構成され、
前記第２取得サブユニットは、前記収束する更新された潜在変数の変分分布に応じて、前記更新されたモデルパラメータを取得するよう構成されている、
請求項８に記載の装置。
【請求項１０】
サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの前記潜在変数それぞれの変分分布の対数とを取得することと、
前記対数尤度と前記正規化項と前記潜在変数それぞれの前記変分分布の対数とに応じて、目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の変分分布およびモデルパラメータを決定することと、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記モデルパラメータとに応じてリレーショナルモデルを決定することと、を含む、
リレーショナルモデルを決定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、統計の技術分野に関し、特に、リレーショナルモデルを決定する方法および装置に関する。
【背景技術】
【０００２】
統計的手法の一定の発展に伴い、オブジェクト間のリレーショナル情報のモデリングは、注目の話題になっている。オブジェクト間には様々なリレーショナル情報が存在し、例えば、ソーシャルネットワーク内の人々の間の連絡先情報やインターネット上のページ間のリンクリレーショナル情報等が存在する。様々なリレーショナル情報は、１つのカテゴリにおけるオブジェクト間または複数のカテゴリにおけるオブジェクト間の相関を表す。また、リレーショナル情報の分析により、より多くの貴重な情報が取得されうる。従って、近年、リレーショナル情報に基づいた実際の適用は発展を続けている。リレーショナル情報を分析するために、モデル駆動型の方法が広く使用されている。リレーショナルモデリングの１つの重要なモチベーションは、リレーショナルネットワークの基礎となる潜在的なグループ構造（エンティティの接続性に基づいていくつかのグループに分割されたエンティティ）を明らかにすることである。例えば、映画会社は、上映中の映画についてユーザのコメントを取得したい場合、種々の映画のユーザ評価を収集し、リレーショナルモデルを使用してユーザおよび映画を異なるグループに分割する。このように、同時クラスタリングは、ユーザ、映画、評価のために完遂され、そのクラスタリングの結果は、更なる分析に使用される。このプロセスの間、最も重要なステップは、収集されたリレーショナル情報に基づいて、リレーショナルモデルを決定することである。
【０００３】
実際、リレーショナルモデルは、潜在変数の変分分布およびモデルパラメータにより決定される。潜在変数は、直接観測できないがサンプルデータから導出される変数を示す。潜在変数の変分分布は、サンプルデータが特定のカテゴリに分割される確率を表している。モデルパラメータは、各カテゴリのサブモデルのパラメータを表している。現在、ソーシャルネットワークにおける種々の会員の検出（Finding mixed-memberships in social networks）(Koutsourelakis他著,AAAI,2008年)と名付けられた論文では、サンプリングを介して潜在変数の変分分布およびモデルパラメータを決定する方法を提供しており、ここでは、少なくとも１つのサンプルが所定回数の置換によりサンプルデータから抽出され、抽出された各サンプルデータの特徴が、初期化された潜在変数の変分分布およびモデルパラメータによって決定される。それから、更新された潜在変数の変分分布およびモデルパラメータに応じてリレーショナルモデルを決定するために、各サンプルデータの特徴に応じて更新された潜在変数の変分分布およびモデルパラメータが取得される。
【０００４】
本開示の実施例中、発明者らは、先行技術が少なくとも以下のような課題を有することを認識している。
【０００５】
少なくとも１つのサンプルが所定回数の置換によりサンプルデータから抽出され、抽出された各サンプルデータの特徴が初期化された潜在変数の変分分布およびモデルパラメータに応じて決定される、即ち、繰り返しサンプルデータを抽出し各サンプルデータの特徴を決定する必要があるので、リレーショナルモデルを決定する効率が低い。
【発明の概要】
【課題を解決するための手段】
【０００６】
従来技術における技術課題を解決するために、本開示の実施形態では、リレーショナルモデルを決定する方法および装置を提供する。技術的解決方法は以下の通りである。
【０００７】
第１の観点では、リレーショナルモデルを決定する方法は、
サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの前記潜在変数それぞれの変分分布の対数とを取得することと、
前記対数尤度と前記正規化項と前記潜在変数それぞれの前記変分分布の対数とに応じて、目的関数を決定することと、
前記目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータを決定することと、
前記目的関数の収束を可能にする潜在変数の前記変分分布と前記モデルパラメータとに応じてリレーショナルモデルを決定することと、を含む。
【０００８】
第１の観点に関連して、第１の観点の第１の可能な実施形態では、前記サンプルデータ、前記少なくとも２つの潜在変数および前記モデルパラメータに応じて決定された前記対数尤度は、
【数１】
2015201176.tif 000003
であり、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数（joint probability density function）を示し、
【数２】
2015201176.tif 000004
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺRは行の潜在変数を示し、ＺCは列の潜在変数を示し、θはα、βおよびφを含む一組のモデルパラメータを示し、αとβはそれぞれ行と列の混合比であり、φはモデルパラメータである。
【０００９】
第１の観点に関連して、第１の観点の第２の可能な実施形態では、前記サンプルデータ、前記少なくとも２つの潜在変数および前記モデルパラメータに応じて決定された正規化項は、
【数３】
2015201176.tif 000005
【数４】
2015201176.tif 000006
である。ここで、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示す。Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示す。
【数５】
2015201176.tif 000007
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の列の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示す。αとβは、それぞれ行と列の混合比を示し、φはモデルパラメータを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄφはφの次元を示す。Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数６】
2015201176.tif 000008
を示し、ｂは
【数７】
2015201176.tif 000009
を示す。
【００１０】
第１の観点に関連して、第１の観点の第３の可能な実施形態では、前記サンプルデータ、前記少なくとも２つの潜在変数および前記モデルパラメータに応じて決定された潜在変数の前記変分分布の対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）を含む。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【００１１】
第１の観点および第１の観点の第１から第３の可能な実施形態のいずれかに関連して、第１の観点の第４の可能な実施形態では、前記対数尤度と前記正規化項と前記潜在変数それぞれの変分分布の前記対数とに応じて前記目的関数を決定することは、
前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数それぞれの変分分布の前記対数の期待値とに応じて前記目的関数を決定すること、を含む。
【００１２】
第１の観点の第４の可能な実施形態に関して、第１の観点の第５の可能な実施形態では、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数それぞれの変分分布の前記対数の期待値とに応じて決定された目的関数
【数８】
2015201176.tif 000010
は、
【数９】
2015201176.tif 000011
である。
【００１３】
第１の観点の第５の可能な実施形態に関して、第１の観点の第６の可能な実施形態では、前記目的関数の収束を可能にする潜在変数の前記変分分布および前記モデルパラメータを決定することは、
更新された潜在変数の変分分布と更新されたモデルパラメータとを取得することと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて前記目的関数が収束するか否かを判別し、前記目的関数が収束しない場合、前記目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得することと、を含む。
【００１４】
第１の観点の第６の可能な実施形態に関して、第１の観点の第７の可能な実施形態では、  前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとを取得することは、
前記サンプルデータから抽出されるサブサンプルデータに応じて前記更新された潜在変数の変分分布を取得し、前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することを含む。
【００１５】
第１の観点の第７の可能な実施形態に関して、第１の観点の第８の可能な実施形態では、前記方法が、前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得する前に実行される、
前記更新された潜在変数の変分分布が収束するか否かを判別し、前記更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、前記サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を再取得することを更に含み、
前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することは、前記収束する更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することを含む。
【００１６】
第１の観点の第６の可能な実施形態に関して、第１の観点の第９の可能な実施形態では、前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとを取得することは、前記サンプルデータから抽出されたサブサンプルデータに応じて、前記更新されたモデルパラメータを取得し、前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することを含む。
【００１７】
第１の観点の第９の可能な実施形態に関して、第１の観点の第１０の可能な実施形態では、前記方法は、前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得する前に実行される、前記更新されたモデルパラメータが収束するか否かを判別し、前記更新されたモデルパラメータが収束しない場合、更新されたモデルパラメータが収束した形で得られるまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて更新されたモデルパラメータを再取得することを更に含み、
前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することは、前記収束する更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することを含む。
【００１８】
第１の観点の第６から第８までの可能な実施形態のいずれかに関して、第１の観点の第１１の可能な実施形態では、前記サンプルデータから抽出された前記サブサンプルデータに応じて前記更新された潜在変数の変分分布を取得することは、
式
【数１０】
2015201176.tif 000012
を用いて、ｔ３がＴ１に等しいときに
【数１１】
2015201176.tif 000013
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて行の潜在変数の変分分布
【数１２】
2015201176.tif 000014
を繰り返し更新することと、式
【数１３】
2015201176.tif 000015
を用いて、ｔ４がＴ２に等しいときに
【数１４】
2015201176.tif 000016
となるまで、前記サンプルデータから抽出した前記サブサンプルデータに応じて列の潜在変数の変分分布
【数１５】
2015201176.tif 000017
を繰り返し更新することと、所定の終了条件を満たし且つ
【数１６】
2015201176.tif 000018
となるまで、
【数１７】
2015201176.tif 000019
と
【数１８】
2015201176.tif 000020
とを交互に更新し、所定の終了条件を満たし且つ
【数１９】
2015201176.tif 000021
となるまで、
【数２０】
2015201176.tif 000022
と
【数２１】
2015201176.tif 000023
とを交互に更新することと、を含む。ここで、
【数２２】
2015201176.tif 000024
は更新された行の潜在変数の変分分布を示し、
【数２３】
2015201176.tif 000025
は更新された列の潜在変数の変分分布を示す。
前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することは、
以下の式
【数２４】
2015201176.tif 000026
および
【数２５】
2015201176.tif 000027
を用いて、前記更新された潜在変数の変分分布に応じてモデルパラメータ
【数２６】
2015201176.tif 000028
【数２７】
2015201176.tif 000029
を取得することと、式
【数２８】
2015201176.tif 000030
を用いて、ｔ５がＴ３に等しいときに
【数２９】
2015201176.tif 000031
となるまで、更新された潜在変数の変分分布と前記サンプルデータから抽出された前記サブサンプルデータとに応じて、モデルパラメータ
【数３０】
2015201176.tif 000032
を繰り返し更新することと、を含む。ここで、
【数３１】
2015201176.tif 000033
【数３２】
2015201176.tif 000034
および
【数３３】
2015201176.tif 000035
は更新されたモデルパラメータであり、
【数３４】
2015201176.tif 000036
であり、ここで、
【数３５】
2015201176.tif 000037
【数３６】
2015201176.tif 000038
である。ここで、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ５は現在のモデルパラメータの繰り返しの更新を示す。ｔ１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【００１９】
第１の観点の第６、第９または第１０の可能な実施形態に関して、第１の観点の第１２の可能な実施形態では、前記サンプルデータから抽出された前記サブサンプルデータに応じて前記更新されたモデルパラメータを取得することは、
以下の式
【数３７】
2015201176.tif 000039
および
【数３８】
2015201176.tif 000040
を用いて、前記サンプルデータから抽出される前記サブサンプルデータに応じてモデルパラメータ
【数３９】
2015201176.tif 000041
および
【数４０】
2015201176.tif 000042
を取得することと、式
【数４１】
2015201176.tif 000043
を用いて、ｔ５がＴ’３に等しいときに
【数４２】
2015201176.tif 000044
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じてモデルパラメータ
【数４３】
2015201176.tif 000045
を繰り返し更新することと、を含む。ここで、
【数４４】
2015201176.tif 000046
【数４５】
2015201176.tif 000047
および
【数４６】
2015201176.tif 000048
は更新されたモデルパラメータである。前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することは、
式
【数４７】
2015201176.tif 000049
を用いて、ｔ３がＴ’１に等しいときに
【数４８】
2015201176.tif 000050
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出される前記サブサンプルデータとに応じて行の潜在変数の変分分布
【数４９】
2015201176.tif 000051
を繰り返し更新することと、式
【数５０】
2015201176.tif 000052
を用いて、ｔ４がＴ’２に等しいときに
【数５１】
2015201176.tif 000053
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出した前記サブサンプルデータとに応じて列の潜在変数の変分分布
【数５２】
2015201176.tif 000054
を繰り返し更新することと、所定の終了条件を満たし且つ
【数５３】
2015201176.tif 000055
および
【数５４】
2015201176.tif 000056
となるまで
【数５５】
2015201176.tif 000057
と
【数５６】
2015201176.tif 000058
とを交互に更新することと、を含む。ここで、
【数５７】
2015201176.tif 000059
は更新された行の潜在変数の変分分布を示し、
【数５８】
2015201176.tif 000060
は更新された列の潜在変数の変分分布を示す。
【数５９】
2015201176.tif 000061
であり、ここで、
【数６０】
2015201176.tif 000062
【数６１】
2015201176.tif 000063
である。ここで、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータとの現在の取得を示し、ｔ１ｔ’２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ’３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ’４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ’５は現在のモデルパラメータの繰り返しの更新を示す。ｔ’１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ’２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ’５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【００２０】
第１の観点の第６から第１２までの可能な実施形態のいずれかに関連して、第１の観点の第１３の可能な実施形態では、前記更新された潜在変数の変分分布および前記更新されたモデルパラメータに応じて、前記目的関数が収束するか否かを判別することは、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された前記目的関数と、以前に更新された潜在変数の変分分布と以前に更新されたモデルパラメータとに応じて決定された以前に取得した目的関数と、の間の距離が、閾値よりも短いか否かを判別することと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された目的関数と、前記以前に取得した目的関数との間の前記距離が前記閾値よりも短い場合、前記目的関数が収束すると判別することと、を含む。
【００２１】
第２の観点では、リレーショナルモデルを決定する装置が提供される。この装置は、
サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの前記潜在変数それぞれの変分分布の対数とを取得するよう構成された取得モジュールと、
前記対数尤度と前記正規化項と前記潜在変数それぞれの前記変分分布の対数とに応じて、目的関数を決定するよう構成された第１決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の変分分布およびモデルパラメータを決定するよう構成された第２決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記モデルパラメータとに応じてリレーショナルモデルを決定するよう構成された第３決定モジュールと、を備える。
【００２２】
第２の観点に関連して、第２の観点の第１の可能な実施形態では、取得モジュールにより取得される前記対数尤度は、
【数６２】
2015201176.tif 000064
である。ここで、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数、
【数６３】
2015201176.tif 000065
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはα、βおよびφを含むモデルパラメータ一式を示し、αおよびβはそれぞれ行および列の混合比を示し、φはモデルパラメータを示す。
【００２３】
第２の観点に関連して、第２の観点の第２の可能な実施形態では、前記取得モジュールにより取得される正規化項は、
【数６４】
2015201176.tif 000066
である。ここで、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示し、
【数６５】
2015201176.tif 000067
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示す。また、ＺＣｊｌはｌ番目の行の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示す。αとβは、それぞれ行と列の混合比を示し、φはモデルパラメータを示し、Ｄαはα次元を示し、Ｄβはβ次元を示し、Ｄφはφ次元を示す。Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数６６】
2015201176.tif 000068
を示し、ｂは
【数６７】
2015201176.tif 000069
を示す。
【００２４】
第２の観点に関連して、第２の観点の第３の可能な実施形態では、前記取得モジュールにより取得される潜在変数の変分分布の対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）を含む。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【００２５】
第２の観点および第２の観点の第１から第３の可能な実施形態のいずれかに関連して、第２の観点の第４の可能な実施形態では、
前記第１決定モジュールが、
前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数それぞれの変分分布の対数の期待値とに応じて目的関数を決定するよう構成されている。
【００２６】
第２の観点の第４の可能な実施形態に関して、第２の観点の第５の可能な実施形態では、前記第１決定モジュールにより決定される目的関数
【数６８】
2015201176.tif 000070
が
【数６９】
2015201176.tif 000071
である。
【００２７】
第２の観点の第５の可能な実施形態に関して、第２の観点の第６の可能な実施形態では、  前記第２決定モジュールは、
更新された潜在変数の変分分布と更新されたモデルパラメータとを取得するよう構成された取得ユニットと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて前記目的関数が収束するか否かを判別する判別ユニットと、を備え、
前記取得ユニットは、
前記目的関数が収束しない場合、前記目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得するよう構成されている。
【００２８】
第２の観点の第６の可能な実施形態に関して、第２の観点の第７の可能な実施形態では、  前記取得ユニットが、
前記サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を取得するよう構成された第１取得サブユニットと、
前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得するよう構成された第２取得サブユニットと、を備える。
【００２９】
第２の観点の第７の可能な実施形態に関して、第１の観点の第８の可能な実施形態では、
前記取得ユニットが、更に、
前記更新された潜在変数の変分分布が収束するか否かを判別するよう構成された第１判別サブユニットを備え、
前記第１取得サブユニットが、前記更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、前記サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を再取得するよう構成され、
前記第２取得サブユニットが、収束する更新された潜在変数の変分分布に応じて、前記更新されたモデルパラメータを取得するよう構成されている。
【００３０】
第２の観点の第６の可能な実施形態に関して、第２の観点の第９の可能な実施形態では、  前記取得ユニットが、更に、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記更新されたモデルパラメータを取得するよう構成された第３取得サブユニットと、
前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得するよう構成された第４取得サブユニットと、を備える。
【００３１】
第２の観点の第９の可能な実施形態に関して、第２の観点の第１０の可能な実施形態では、
前記取得ユニットが、更に、
前記更新されたモデルパラメータが収束するか否かを判別するよう構成された第２判別サブユニットを備え、
前記第３取得サブユニットは、前記更新されたモデルパラメータが収束しない場合、収束する更新されたモデルパラメータが取得されるまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて更新されたモデルパラメータを再取得するよう構成され、
前記第４取得サブユニットは、前記収束する更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得するよう構成されている。
【００３２】
第２の観点の第６から第８までの可能な実施形態のいずれかに関して、第２の観点の第１１の可能な実施形態では、
前記第１取得サブユニットは、
式
【数７０】
2015201176.tif 000072
を用いて、ｔ３がＴ１に等しいときに
【数７１】
2015201176.tif 000073
となるまで、前記サンプルデータから抽出した前記サブサンプルデータに応じて行の潜在変数の変分分布
【数７２】
2015201176.tif 000074
を繰り返し更新し、
式
【数７３】
2015201176.tif 000075
を用いて、ｔ４がＴ２に等しいときに
【数７４】
2015201176.tif 000076
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて列の潜在変数の変分分布
【数７５】
2015201176.tif 000077
を繰り返し更新し、
所定の終了条件を満たし且つ
【数７６】
2015201176.tif 000078
および
【数７７】
2015201176.tif 000079
となるまで、
【数７８】
2015201176.tif 000080
と
【数７９】
2015201176.tif 000081
とを交互に更新するよう構成されている。ここで、
【数８０】
2015201176.tif 000082
は更新された行の潜在変数の変分分布を示し、
【数８１】
2015201176.tif 000083
は更新された列の潜在変数の変分分布を示す。
前記第２取得サブユニットは、式
【数８２】
2015201176.tif 000084
【数８３】
2015201176.tif 000085
を用いて、前記更新された潜在変数の変分分布に応じて、モデルパラメータ
【数８４】
2015201176.tif 000086
【数８５】
2015201176.tif 000087
を取得し、
式
【数８６】
2015201176.tif 000088
を用いて、ｔ５がＴ３に等しいときに
【数８７】
2015201176.tif 000089
となるまで、前記更新された潜在変数の変分分布と前記サンプルデータから抽出された前記サブサンプルデータとに応じて、モデルパラメータ
【数８８】
2015201176.tif 000090
を繰り返し更新するよう構成されている。ここで、
【数８９】
2015201176.tif 000091
【数９０】
2015201176.tif 000092
および
【数９１】
2015201176.tif 000093
は、更新されたモデルパラメータであり、
【数９２】
2015201176.tif 000094
であり、ここで、
【数９３】
2015201176.tif 000095
【数９４】
2015201176.tif 000096
である。ここで、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ５は現在のモデルパラメータの繰り返しの更新を示す。ｔ１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【００３３】
第２の観点の第６、第９または第１０の可能な実施形態に関して、第２の観点の第１２の可能な実施形態では、前記第３取得サブユニットが、式
【数９５】
2015201176.tif 000097
および
【数９６】
2015201176.tif 000098
を用いて、前記サンプルデータから抽出した前記サブサンプルデータに応じて、モデルパラメータ
【数９７】
2015201176.tif 000099
および
【数９８】
2015201176.tif 000100
を取得し、式
【数９９】
2015201176.tif 000101
を用いて、ｔ５がＴ’３に等しいときに
【数１００】
2015201176.tif 000102
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて、モデルパラメータ
【数１０１】
2015201176.tif 000103
を繰り返し更新するよう構成されている。ここで、
【数１０２】
2015201176.tif 000104
【数１０３】
2015201176.tif 000105
および
【数１０４】
2015201176.tif 000106
は更新されたモデルパラメータである。また、前記第４取得サブユニットは、式
【数１０５】
2015201176.tif 000107
を用いて、ｔ３がＴ’１に等しいときに
【数１０６】
2015201176.tif 000108
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出される前記サブサンプルデータとに応じて、列の潜在変数の変分分布
【数１０７】
2015201176.tif 000109
を繰り返し更新し、式
【数１０８】
2015201176.tif 000110
を用いて、ｔ４がＴ’２に等しいときに
【数１０９】
2015201176.tif 000111
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出した前記サブサンプルデータとに応じて列の潜在変数の変分分布
【数１１０】
2015201176.tif 000112
を繰り返し更新するよう構成され、所定の終了条件を満たし且つ
【数１１１】
2015201176.tif 000113
および
【数１１２】
2015201176.tif 000114
となるまで
【数１１３】
2015201176.tif 000115
と
【数１１４】
2015201176.tif 000116
とを交互に更新するよう構成されている。ここで、
【数１１５】
2015201176.tif 000117
は更新された行の潜在変数の変分分布を示し、
【数１１６】
2015201176.tif 000118
は更新された列の潜在変数の変分分布を示す。
【数１１７】
2015201176.tif 000119
であり、ここで、
【数１１８】
2015201176.tif 000120
【数１１９】
2015201176.tif 000121
である。ここで、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ’２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ’３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ’４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ’５は現在のモデルパラメータの繰り返しの更新を示す。ｔ’１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ’２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ’５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【００３４】
第２の観点の第６から第１２までの可能な実施形態のいずれかに関連して、第２の観点の第１３の可能な実施形態では、
前記第３決定モジュールが、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された前記目的関数と、以前に更新された潜在変数の変分分布と以前に更新されたモデルパラメータとに応じて決定された以前に取得した目的関数と、の間の距離が、閾値よりも短いか否かを判別するよう構成された比較ユニットと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された目的関数と、前記以前に取得した目的関数との間の前記距離が前記閾値よりも短い場合、前記目的関数が収束すると判別するよう構成された判別ユニットと、を備える。
【００３５】
本開示の実施形態により提供される技術的解決方法は、以下の有利な効果を達成する。
対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて目的関数を決定し、そして、目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータに応じてリレーショナルモデルを決定し、それにより、リレーショナルモデルの決定の効率および精度を向上させる。正規化項が用いられる場合、リレーショナルモデルの複雑さは、リレーショナルモデルの決定効率を向上させるように自動的に制御されうる。
【００３６】
本開示の実施形態における技術的解決方法をより明確に説明するために、本実施形態の説明に用いられる添付図を以下簡単に紹介する。以下の説明における添付図面は単に本発明のいくつかの実施形態を例示するものであることは明らかであり、この分野の通常の技量を有する者であれば創作努力を要することなくこれらの添付図面に基づいて他の添付図面を導出しうる。
【図面の簡単な説明】
【００３７】
【図１】本開示の実施形態１に係るリレーショナルモデルを決定する方法のフローチャートである。
【図２】本開示の実施形態２に係るリレーショナルモデルを決定する方法のフローチャートである。
【図３】本開示の実施形態３に係るリレーショナルモデルを決定する装置の概略構成図である。
【図４】本開示の実施形態３に係る第２決定モジュールの概略構成図である
【図５】本開示の実施形態３に係る取得ユニットの概略構成図である。
【図６】本開示の実施形態３に係る他の取得ユニットの概略構成図である。
【図７】本開示の実施形態３に係る更に他の取得ユニットの概略構成図である。
【図８】本開示の実施形態３に係る更に他の取得ユニットの概略構成図である。
【図９】本開示の実施形態３に係る第３決定モジュールの概略構成図である。
【発明を実施するための形態】
【００３８】
目的、技術的解決方法および本発明の利点をより明確にするために、以下添付の図面を参照しながら詳細に説明する。
【００３９】
（実施形態１）
実施において同一のサンプルデータが複数の特徴を有しそれによりクラスタリングにおいて異なるカテゴリに属しうるという条件について、本開示の実施形態はリレーショナルモデルを決定する方法を提供する。図１に示すように、上記方法は、以下に示すステップを含む。
【００４０】
ステップ１０１：サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの潜在変数それぞれの変分分布の対数とを取得する。
【００４１】
任意の実施形態として、サンプルデータ、少なくとも２つの潜在変数およびモデルパラメータに応じて決定された対数尤度は、
【数１２０】
2015201176.tif 000122
である。ここで、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数、
【数１２１】
2015201176.tif 000123
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはα、βおよびφを含むモデルパラメータ一式を示し、αおよびβはそれぞれ行および列の混合比を示し、φはモデルパラメータを示す。
【００４２】
任意の実施形態として、サンプルデータ、少なくとも２つの潜在変数およびモデルパラメータに応じて決定された正規化項は、
【数１２２】
2015201176.tif 000124
である。ここで、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示し、
【数１２３】
2015201176.tif 000125
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示す。また、ＺＣｊｌはｌ番目の行の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示す。αとβは、それぞれ行と列の混合比を示し、φはモデルパラメータを示し、Ｄαはα次元を示し、Ｄβはβ次元を示し、Ｄφはφ次元を示す。Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数１２４】
2015201176.tif 000126
を示し、ｂは
【数１２５】
2015201176.tif 000127
を示す。
【００４３】
任意の実施形態として、サンプルデータ、少なくとも２つの潜在変数およびモデルパラメータに応じて決定された潜在変数の変分分布の対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）を含む。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【００４４】
ステップ１０２：対数尤度と正規化項と潜在変数それぞれの変分分布の対数とに応じて、目的関数を決定する。
【００４５】
任意の実施形態として、対数尤度と正規化項と潜在変数それぞれの変分分布の対数とを決定することは、
対数尤度の期待値と正規化項の期待値と潜在変数の変分分布の対数の期待値とに応じて目的関数を決定すること、を含む。
【００４６】
任意の実施形態として、対数尤度の期待値と正規化項の期待値と潜在変数それぞれの変分分布の対数の期待値とに応じて決定された目的関数
【数１２６】
2015201176.tif 000128
は、
【数１２７】
2015201176.tif 000129
である。
【００４７】
ステップ１０３：目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータを決定し、目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータに応じてリレーショナルモデルを決定する。
【００４８】
任意の実施形態として、目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータを決定することは、
更新された潜在変数の変分分布と更新されたモデルパラメータとを取得することと、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて目的関数が収束するか否かを判別することと、
目的関数が収束しない場合、目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得すること、を含む。
【００４９】
任意の実施形態として、更新された潜在変数の変分分布と更新されたモデルパラメータとを取得することは、
サンプルデータから抽出されたサブサンプルデータに応じて、更新された潜在変数の変分分布を取得することと、更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得することと、を含む。
【００５０】
任意の実施形態として、上記方法は、更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得する前に、更に、
更新された潜在変数の変分分布が収束するか否かを判別することと、更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数が取得されるまで、サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を再取得することと、を含み、
更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得することは、
収束する更新された潜在変数の変分分布に応じて、更新されたモデルパラメータを取得することを含む。
【００５１】
任意の実施形態として、更新された潜在変数の変分分布と更新されたモデルパラメータとを取得することは、
サンプルデータから抽出されたサブサンプルデータに応じて、更新されたモデルパラメータを取得することと、更新されたモデルパラメータに応じて更新された潜在変数の変分分布を取得することと、を含む。
【００５２】
潜在的な実施形態として、上記方法は、更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得する前に、更に、
更新された潜在変数の変分分布が収束するか否かを判別することと、更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を再取得することと、を含み、
更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得することは、
収束する更新された潜在変数の変分分布に応じて、更新されたモデルパラメータを取得することを含む。
【００５３】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて、更新された潜在変数の変分分布を取得することは、式
【数１２８】
2015201176.tif 000130
を用いて、ｔ３がＴ１に等しいときに
【数１２９】
2015201176.tif 000131
となるまで、サンプルデータから抽出したサブサンプルデータに応じて行の潜在変数の変分分布
【数１３０】
2015201176.tif 000132
を繰り返し更新することと、式
【数１３１】
2015201176.tif 000133
を用いて、ｔ４がＴ２に等しいときに
【数１３２】
2015201176.tif 000134
となるまで、サンプルデータから抽出したサブサンプルデータに応じて列の潜在変数の変分分布
【数１３３】
2015201176.tif 000135
を繰り返し更新することと、所定の終了条件を満たし且つ
【数１３４】
2015201176.tif 000136
となるまで、
【数１３５】
2015201176.tif 000137
と
【数１３６】
2015201176.tif 000138
とを交互に更新し、所定の終了条件を満たし且つ
【数１３７】
2015201176.tif 000139
となるまで、
【数１３８】
2015201176.tif 000140
と
【数１３９】
2015201176.tif 000141
とを交互に更新することと、を含む。ここで、
【数１４０】
2015201176.tif 000142
は更新された行の潜在変数の変分分布を示し、
【数１４１】
2015201176.tif 000143
は更新された列の潜在変数の変分分布を示し、
更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得することは、
以下の式
【数１４２】
2015201176.tif 000144
【数１４３】
2015201176.tif 000145
を用いて、更新された潜在変数の変分分布に応じて、モデルパラメータ
【数１４４】
2015201176.tif 000146
および
【数１４５】
2015201176.tif 000147
を取得することと、式
【数１４６】
2015201176.tif 000148
を用いることにより、ｔ５がＴ３に等しいときに
【数１４７】
2015201176.tif 000149
となるまで、更新された潜在変数の変分分布とサンプルデータから抽出されるサブサンプルデータとに応じて、モデルパラメータ
【数１４８】
2015201176.tif 000150
を繰り返し更新することと、を含む。ここで、
【数１４９】
2015201176.tif 000151
【数１５０】
2015201176.tif 000152
および
【数１５１】
2015201176.tif 000153
は更新されたモデルパラメータであり、
【数１５２】
2015201176.tif 000154
であり、ここで、
【数１５３】
2015201176.tif 000155
【数１５４】
2015201176.tif 000156
である。ここで、ｔ１は現在の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得を示し、ｔ１ｔ２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ５は現在のモデルパラメータの繰り返しの更新を示す。ｔ１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータとの初期化を示し、ｔ１ｔ２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【００５４】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて更新されたモデルパラメータを取得することは、
以下の式
【数１５５】
2015201176.tif 000157
および
【数１５６】
2015201176.tif 000158
を用いて、サンプルデータから抽出したサブサンプルデータに応じて、モデルパラメータ
【数１５７】
2015201176.tif 000159
および
【数１５８】
2015201176.tif 000160
を取得することと、式
【数１５９】
2015201176.tif 000161
を用いて、ｔ５がＴ’３に等しいときに
【数１６０】
2015201176.tif 000162
となるまで、サンプルデータから抽出したサブサンプルデータに応じて、モデルパラメータ
【数１６１】
2015201176.tif 000163
を繰り返し更新することと、を含む。ここで、
【数１６２】
2015201176.tif 000164
【数１６３】
2015201176.tif 000165
および
【数１６４】
2015201176.tif 000166
は更新されたモデルパラメータである。
更新されたモデルパラメータに応じて更新された潜在変数の変分分布を取得することは、
式
【数１６５】
2015201176.tif 000167
を用いて、ｔ３がＴ’１に等しいときに
【数１６６】
2015201176.tif 000168
となるまで、更新されたモデルパラメータとサンプルデータから抽出したサブサンプルデータとに応じて列の潜在変数の変分分布
【数１６７】
2015201176.tif 000169
を繰り返し更新することと、式
【数１６８】
2015201176.tif 000170
を用いて、ｔ４がＴ’２に等しいときに
【数１６９】
2015201176.tif 000171
となるまで、更新されたモデルパラメータとサンプルデータから抽出したサブサンプルデータとに応じて列の潜在変数の変分分布
【数１７０】
2015201176.tif 000172
を繰り返し更新し、所定の終了条件を満たし且つ
【数１７１】
2015201176.tif 000173
および
【数１７２】
2015201176.tif 000174
となるまで
【数１７３】
2015201176.tif 000175
と
【数１７４】
2015201176.tif 000176
とを交互に更新することと、を含む。ここで、
【数１７５】
2015201176.tif 000177
は更新された行の潜在変数の変分分布を示し、
【数１７６】
2015201176.tif 000178
は更新された列の潜在変数の変分分布を示す。ここで、
【数１７７】
2015201176.tif 000179
【数１７８】
2015201176.tif 000180
【数１７９】
2015201176.tif 000181
である。ここで、ｔ１は現在の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得を示し、ｔ１ｔ’２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ’３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ’４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ’５は現在のモデルパラメータの繰り返しの更新を示す。ｔ’１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータとの初期化を示し、ｔ１ｔ’２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ’５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【００５５】
任意の実施形態として、更新された潜在変数の変分分布および更新されたモデルパラメータに応じて、目的関数が収束するか否かを判別することは、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、以前に更新された潜在変数の変分分布と以前に更新されたモデルパラメータとに応じて決定された以前に取得した目的関数と、の間の距離が、閾値よりも短いか否かを判別することと、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、以前に取得した目的関数との間の距離が閾値よりも短い場合、目的関数が収束すると判別することと、を含む。
【００５６】
本開示の実施形態において提供される方法は、対数尤度と正規化項と潜在変数それぞれの変分分布の対数とに応じて目的関数を決定し、それから目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータに応じてリレーショナルモデルを決定することにより、リレーショナルモデルの決定の効率と精度を向上させる。正規化項が用いられる場合、リレーショナルモデルの複雑さは、リレーショナルモデルの決定の効率を向上させるように自動的に制御されうる。
【００５７】
（実施形態２）
本開示の本実施形態は、リレーショナルモデルを決定する方法を提供する。本開示の本実施形態で提供される方法は、実施形態１の内容と組み合わせて詳細に説明される。図２に示すように、この方法は、以下のステップを含む。
【００５８】
ステップＳ２０１：サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの潜在変数それぞれの変分分布の対数とを取得する。
【００５９】
本実施形態は、そのサンプルデータの内容および次元に限定されない。特定の実施中、サンプルデータは、複数のユーザにより作成された映画の評価かもしれない。そしてこの場合、サンプルデータの次元は２であり、即ち、ユーザ面と映画面とでの評価のために統計的な収集が実行される。それにも関わらず、上述の内容および次元に加えて、サンプルデータは、他の内容および次元を採用するかもしれない。その上、サンプルデータは、バイナリデータ、自然数、実数等であるかもしれず、ここに記載されたものに限定されない。
【００６０】
理解を容易にするために、例として以下のサンプルデータを用いて説明する。サンプルデータは、５×５の行列形式で表され、行列の行はユーザ１から５を示し、行列の列は映画１から５を示し、行列の要素ｘｉｊはユーザｉの映画ｊに対して作成された評価を示す。ここで、１≦ｉ≦５、１≦ｊ≦５であり、ｉおよびｊの両方は整数である。
【数１８０】
2015201176.tif 000182
【００６１】
各潜在変数は、サンプルデータの特徴を表し、また、リレーショナルモデルはサンプルデータの特徴に応じて、サンプルデータをクラスタ化するように決定される。理解の都合のために、サンプルデータｘ１１およびｘ１２の両方は特徴Ａを有し、サンプルデータｘ１１は更に特徴Ｂを有し、また、サンプルデータｘ１３は特徴Ｂを有する例を挙げて説明する。サンプルデータの特徴に応じて、サンプルデータｘ１１およびｘ１２が特徴Ａに対応するカテゴリＡ’に属し、一方、サンプルデータｘ１１およびｘ１３が特徴Ｂに対応するカテゴリＢ’に属すると決定され、これによりサンプルデータｘ１１、ｘ１２およびｘ１３のクラスタリングを実現する。
【００６２】
モデルパラメータの組は、これに限られないが、行の混合比、列の混合比、モデルパラメータ等を含む。本実施形態ではこれに限定されない。行例の形のサンプルデータを例にとると、行の混合比は決定されたリレーショナルモデルの行列の行の総数に対する、決定されたリレーショナルモデルの各特徴における行列の行の数の比率であり、列の混合比は決定されたリレーショナルモデルの行列の列の総数に対する、決定されたリレーショナルモデルの各特徴における行列の列の数の比率である。また、モデルパラメータは、リレーショナルモデル中のサンプルデータの属する分布のパラメータである。
【００６３】
潜在変数とモデルパラメータとは互いに独立しているかもしれないし、或いは従属関係にあるかもしれないことは留意されるべきである。実施において、潜在変数とモデルパラメータとは相互依存しているので、リレーショナルモデルをより正確なものにするために、本実施形態では、例えば潜在変数とモデルパラメータとが依存関係にある場合を用いて説明する。
【００６４】
更に、サンプルデータと少なくとも２つの潜在変数それぞれとモデルパラメータとに応じて決定された対数尤度と正規化項と少なくとも２つの潜在変数の変分分布の対数とを取得するために、本実施形態で提供される方法は、初めに同時確率密度関数
【数１８１】
2015201176.tif 000183
を導入する。ここで、ｐは同時確率密度関数を示し、
【数１８２】
2015201176.tif 000184
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示す。ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示す。θはα、βおよびφを含むモデルパラメータの組を示し、αとβとはそれぞれ行と列の混合比を示し、φはモデルパラメータを示す。Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示す。ｘｉｊは行ｉ列ｊのサンプルデータを示し、ＺＲｉｋはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の列の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示す。αｋはｋ番目の行の特徴の行の混合比を示し、βｌはｌ番目の列の特徴の列の混合比を示し、ＺＲｉはＺＲのｉ番目の行を示し、ＺＣｊはＺＣのｊ番目の列を示す。
【００６５】
同時確率密度関数は、同時確率密度関数の中のモデルパラメータα、β、φと潜在変数ＺＲおよびＺＣとを決定することによりリレーショナルモデルの確立密度分布を決定し、これにより、リレーショナルモデルを決定する。同時確率密度関数が解けるようにするために、同時密度分布の式の両辺の対数をとって下記の対数尤度を得る。
【数１８３】
2015201176.tif 000185
【００６６】
任意の実施形態として、サンプルデータ、少なくとも２つの潜在変数およびモデルパラメータは、
【数１８４】
2015201176.tif 000186
ここで、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数１８５】
2015201176.tif 000187
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示す。ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示す。θはα、βおよびφを含むモデルパラメータの組を示し、αとβとはそれぞれ行と列の混合比を示し、φはモデルパラメータを示す。
【００６７】
特に、サンプルデータ
【数１８６】
2015201176.tif 000188
が行列の形で表現される場合、Ｎｒは行列の行のサンプルの数を示し、ＮＣは行列の列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示す。ＺＲはＮｒ＊Ｋｒのブロック変数行列であり、ＺＲの各要素はＺＲｉｋ∈｛０,１｝であり、ＺＲｉｋ＝１のときそれはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示す。ＺＣはＮｃ＊Ｋｃのブロック変数行列であり、ＺＣの各要素はＺＣｊｌ∈｛０,１｝であり、ＺＣｊｌ＝１のときそれはｌ番目の列の特徴を有するｊ番目の列のサンプルデータの行の潜在変数を示す。同一のサンプルデータが複数の特徴を有するかもしれないので、行の潜在変数の要素のうちの１つの行の中に１の値を有するいくつかの要素が存在しうるとともに、列の潜在変数の要素のうちの１つの列の中に１の値を有するいくつかの要素が存在しうる。行の混合比αはサンプルデータ行列の行の総数に対する、リレーショナルモデルの各行の特徴における行の数の比率を示し、列の混合比βはサンプルデータ行列の列の総数に対する、リレーショナルモデルの各列の特徴における列の数の比率を示し、モデルパラメータφはリレーショナルモデルにおけるサンプルデータの従う分布のパラメータを示す。例えば、サンプルデータがガウス分布に従う場合、φはガウス分布の期待値μおよび分散δを示す。他の例として、サンプルデータがポアソン分布に従う場合、φはポアソン分布の期待値および分散λを示す。留意すべきは、本実施の形態に限定されるものではなく、サンプルデータは他の分布に応じてもよいことである。
【００６８】
任意の実施形態として、サンプルデータ、少なくとも２つの潜在変数およびモデルパラメータに応じて決定された正規化項は、
【数１８７】
2015201176.tif 000189
である。ここで、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示す。
【数１８８】
2015201176.tif 000190
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示す。また、ＺＣｊｌはｌ番目の列の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示す。αとβは、それぞれ行と列の混合比を示し、φはモデルパラメータを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄφはφの次元を示す。Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数１８９】
2015201176.tif 000191
を示し、ｂは
【数１９０】
2015201176.tif 000192
を示す。このようにして、正規化項は、
【数１９１】
2015201176.tif 000193
と展開されうる。
【００６９】
特に、Ｋｒがブロック変数行列ＺＲの行の特徴の数を示す場合、Ｄα＝Ｄ（α）＝Ｋｒ−１となる。Ｋｃがブロック変数行列ＺＣの列の特徴の数を示す場合、Ｄβ＝Ｄ（β）＝Ｋｃ−１となる。サンプルデータがガウス分布に従う場合、ガウス分布の期待値および分散がμおよびδである（即ち、ガウス分布が２つのパラメータを有する）ので、それぞれＤφ＝Ｄ（φ）＝２となる。サンプルデータがポアソン分布に従う場合、ポアソン分布の期待値および分散の両方がλである（即ち、ポアソン分布が１つのパラメータλを有する）ので、Ｄφ＝Ｄ（φ）＝１となる。
【００７０】
更に、潜在変数の変分分布の近似値は実施形態に限定されず、それは、以前の更新または初期化で取得された、更新された潜在変数の変分分布の値を含む。但し、これに限定されない。理解の都合上、実施形態は、以前の更新または初期化で取得された、更新された潜在変数の変分分布の値が潜在変数の変分分布の近似値
【数１９２】
2015201176.tif 000194
として与えられる例について説明されている。最初に正規化項が決定されるとき、潜在変数の変分分布の近似値は初期化で取得された、更新された潜在変数の変分分布の値であってもよい。次回以降に正規化項が決定されるとき、潜在変数の変分分布の近似値は以前の更新で取得された、更新された潜在変数の変分分布の値であってもよい。
【００７１】
正規化項を決定することにより、決定されたリレーショナルモデルの複雑さが自動的に制御され、これによりリレーショナルモデルの決定効率が改善されることに留意すべきである。
【００７２】
任意の実施形態として、サンプルデータ、少なくとも２つの潜在変数およびモデルパラメータに応じて決定された潜在変数の変分分布の対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）を含む。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。特に、行の潜在変数ＺＲの変分分布は、
【数１９３】
2015201176.tif 000195
であってもよく、列の潜在変数ＺＣの変分分布は、
【数１９４】
2015201176.tif 000196
であってもよい。
【００７３】
ステップ２０２：対数尤度と正規化項と潜在変数それぞれの変分分布の対数とに応じて、目的関数を決定する。
【００７４】
ステップ２０１では、対数尤度が因子化された形で表され、対数尤度が解けることを確かにするために、コンパクト性のある下界を取得するために対数尤度の各因子についてラプラス近似が実行される。即ち因子化情報量基準（Factorized Information Criterion）（ＦＩＣ）は、
【数１９５】
2015201176.tif 000197
である。ここで、
【数１９６】
2015201176.tif 000198
ここで、
【数１９７】
2015201176.tif 000199
は、ＦＩＣが最大値をとったときのθの値である。
【００７５】
更に、ＦＩＣはサンプルデータ
【数１９８】
2015201176.tif 000200
と潜在変数ＺＲおよびＺＣを含むので、解くのには大抵期待値最大化（ＥＭ）アルゴリズムを要求する。しかしながら、リレーショナルモデルは従属する潜在変数を用いて決定されるので、通常のＥＭアルゴリズムはＦＩＣの解法に適用することができない。ＦＩＣが解けることを確実にするために、実施形態は、ＦＩＣの漸近的に一致する下界を取得するためにＦＩＣを拡張する。
【数１９９】
2015201176.tif 000201
ここで、
【数２００】
2015201176.tif 000202
であり、関数Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂである。
【００７６】
任意の実施形態として、対数尤度の期待値と正規化項の期待値と潜在変数それぞれの変分分布の対数の期待値とに応じて決定された目的関数
【数２０１】
2015201176.tif 000203
は、
【数２０２】
2015201176.tif 000204
である。
【００７７】
更に、目的関数の決定は、上述のステップを介して完遂される。また、目的関数を介してリレーショナルモデルを決定するために、本実施形態で提供される方法は、更に以下のステップを含む。
【００７８】
ステップ２０３：更新された潜在変数の変分分布および更新されたモデルパラメータを取得する。
【００７９】
説明では、例としてバイナリデータを得るものとする。ｘｉｊ〜Ｂｅｒｎｏｕｌｌｉ（ｆσ（ＺＲｉＷ（ＺCｊ）Ｔ））、即ち、サンプルデータがベルヌーイ分布に従うと仮定する。ここで、ＺＲｉはＺＲのｉ番目の行であり、ＺＣｊはＺＣのｊ番目の列であり、ベルヌーイ分布のパラメータはＷであり、ｆσ（ｘ）はＳ字関数でありｆσ（ｘ）＝１／（１＋ｅ-x）である。従って、ｐ（ｘｉｊ｜ＺＲｉ，ＺＣｊ，φ）は、
【数２０３】
2015201176.tif 000205
【数２０４】
2015201176.tif 000206
と書き直してもよい。
【００８０】
任意の実施形態として、更新された潜在変数の変分分布および更新されたモデルパラメータを取得することは、サンプルデータから抽出されたサブサンプルデータに応じて、更新された潜在変数の変分分布を取得することと、更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得することと、を含む。但し、これに限定されるわけではない。
【００８１】
任意の実施形態として、上述の方法は、更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得する前に、更に、
更新された潜在変数の変分分布が収束するか否かを判別することと、更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を再取得することと、を含む。また、更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得することは、収束する更新された潜在変数の変分分布に応じて、更新されたモデルパラメータを取得することを含む。但し、これに限定されるわけではない。
【００８２】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて、更新された潜在変数の変分分布を取得することは、
式
【数２０５】
2015201176.tif 000207
を用いて、ｔ３がＴ１に等しいときに
【数２０６】
2015201176.tif 000208
となるまで、サンプルデータから抽出したサブサンプルデータに応じて行の潜在変数の変分分布
【数２０７】
2015201176.tif 000209
を繰り返し更新することと、式
【数２０８】
2015201176.tif 000210
を用いて、ｔ４がＴ２に等しいときに
【数２０９】
2015201176.tif 000211
となるまで、サンプルデータから抽出したサブサンプルデータに応じて列の潜在変数の変分分布
【数２１０】
2015201176.tif 000212
を繰り返し更新することと、所定の終了条件を満たし且つ
【数２１１】
2015201176.tif 000213
および
【数２１２】
2015201176.tif 000214
となるまで、
【数２１３】
2015201176.tif 000215
と
【数２１４】
2015201176.tif 000216
とを交互に更新することと、を含む。ここで、
【数２１５】
2015201176.tif 000217
は更新された行の潜在変数の変分分布を示し、
【数２１６】
2015201176.tif 000218
は列の更新された潜在変数の変分分布を示す。更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得することは、
式
【数２１７】
2015201176.tif 000219
および
【数２１８】
2015201176.tif 000220
を用いて、更新された潜在変数の変分分布に応じて、モデルパラメータ
【数２１９】
2015201176.tif 000221
【数２２０】
2015201176.tif 000222
を取得することと、式
【数２２１】
2015201176.tif 000223
を用いることにより、ｔ５がＴ３に等しいときに
【数２２２】
2015201176.tif 000224
となるまで、更新された潜在変数の変分分布とサンプルデータから抽出されたサブサンプルデータとに応じて、モデルパラメータ
【数２２３】
2015201176.tif 000225
を繰り返し更新することと、を含み、ここで、
【数２２４】
2015201176.tif 000226
【数２２５】
2015201176.tif 000227
および
【数２２６】
2015201176.tif 000228
は更新されたモデルパラメータであり、ここで、
【数２２７】
2015201176.tif 000229
【数２２８】
2015201176.tif 000230
【数２２９】
2015201176.tif 000231
である。ここで、ｔ１は現在の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得を示し、ｔ１ｔ２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ５は現在のモデルパラメータの繰り返しの更新を示す。ｔ１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータとの初期化を示し、ｔ１ｔ２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。但し、これに限定されるわけではない。
【００８３】
サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を取得するために、本開示の本実施形態で提供される方法は、サンプルデータから抽出されるサブサンプルデータに応じて、行の潜在変数の変分分布を繰り返し更新する回数ｔ３の値の範囲を［１，Ｔ１］に設定することと、サンプルデータから抽出されるサブサンプルデータに応じて、列の潜在変数の変分分布を繰り返し更新する回数ｔ４の値の範囲を［１，Ｔ２］に設定すること、即ち、サンプルデータから抽出されるサブサンプルデータに応じて行の潜在変数の変分分布を繰り返し更新する回数がＴ１に到達しない場合、サンプルデータから抽出されるサブサンプルデータに応じて再度行の潜在変数の変分分布を繰り返し更新することと、サンプルデータから抽出されるサブサンプルデータに応じて列の潜在変数の変分分布を繰り返し更新する回数がＴ２に到達しない場合、サンプルデータから抽出されるサブサンプルデータに応じて再度列の潜在変数の変分分布を繰り返し更新することと、を含む。但し、これに限定されるわけではない。
【００８４】
更新された潜在変数の変分分布とサンプルデータから抽出されるサブサンプルデータとに応じてモデルパラメータを繰り返し更新するために、本開示の本実施形態で提供される方法は、更新された潜在変数の変分分布とサンプルデータから抽出されるサブサンプルデータとに応じて、モデルパラメータを繰り返し更新する回数ｔ５の値の範囲を［１，Ｔ３］に設定することと、即ち、更新された潜在変数の変分分布とサンプルデータから抽出されるサブサンプルデータとに応じて、モデルパラメータを繰り返し更新する回数がＴ３に到達しない場合、更新された潜在変数の変分分布とサンプルデータから抽出されるサブサンプルデータとに応じて、再度モデルパラメータを繰り返し更新することを含む。但し、これに限定されるわけではない。
【００８５】
任意の実施形態として、更新された潜在変数の変分分布と更新されたモデルパラメータとを取得することは、サンプルデータから抽出されたサブサンプルデータに応じて、更新されたモデルパラメータを取得することと、更新されたモデルパラメータに応じて、更新された潜在変数の変分分布を取得することと、を含む。
【００８６】
任意の実施形態として、上述の方法は、更新されたモデルパラメータに応じて、更新された潜在変数の変分分布を取得する前に、更に、更新されたモデルパラメータが収束するか否かを判別することと、更新されたモデルパラメータが収束しない場合、更新されたモデルパラメータが収束した形で得られるまで、サンプルデータから抽出されたサブサンプルデータに応じて、更新されたモデルパラメータを再取得することと、を含む。また、更新されたモデルパラメータに応じて、更新された潜在変数の変分分布を取得することは、収束する更新されたモデルパラメータに応じて、更新された潜在変数の変分分布を取得することを含む。
【００８７】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて更新されたモデルパラメータを取得することは、式
【数２３０】
2015201176.tif 000232
および
【数２３１】
2015201176.tif 000233
を用いて、サンプルデータから抽出したサブサンプルデータに応じて、モデルパラメータ
【数２３２】
2015201176.tif 000234
および
【数２３３】
2015201176.tif 000235
を取得することと、式
【数２３４】
2015201176.tif 000236
を用いて、ｔ５がＴ’３に等しいときに
【数２３５】
2015201176.tif 000237
となるまで、サンプルデータから抽出したサブサンプルデータに応じて、モデルパラメータ
【数２３６】
2015201176.tif 000238
を繰り返し更新することと、を含む。ここで、
【数２３７】
2015201176.tif 000239
【数２３８】
2015201176.tif 000240
および
【数２３９】
2015201176.tif 000241
は更新されたモデルパラメータである。
また、更新されたモデルパラメータに応じて、更新された潜在変数の変分分布を取得することは、
式
【数２４０】
2015201176.tif 000242
を用いて、ｔ３がＴ’１に等しいときに
【数２４１】
2015201176.tif 000243
となるまで更新されたモデルパラメータとサンプルデータから抽出したサブサンプルデータとに応じて行の潜在変数の変分分布
【数２４２】
2015201176.tif 000244
を繰り返し更新することと、式
【数２４３】
2015201176.tif 000245
を用いて、ｔ４がＴ’２に等しいときに
【数２４４】
2015201176.tif 000246
となるまで、更新されたモデルパラメータとサンプルデータから抽出したサブサンプルデータとに応じて、列の潜在変数の変分分布
【数２４５】
2015201176.tif 000247
を繰り返し更新することと、を含む。また、所定の終了条件を満たし且つ
【数２４６】
2015201176.tif 000248
および
【数２４７】
2015201176.tif 000249
となるまで
【数２４８】
2015201176.tif 000250
と
【数２４９】
2015201176.tif 000251
とを交互に更新することと、を含む。ここで、
【数２５０】
2015201176.tif 000252
は更新された行の潜在変数の変分分布を示し、
【数２５１】
2015201176.tif 000253
は更新された列の潜在変数の変分分布を示す。ここで、
【数２５２】
2015201176.tif 000254
【数２５３】
2015201176.tif 000255
【数２５４】
2015201176.tif 000256
である。ここで、ｔ’１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ’２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ’３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ’４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ’５は現在のモデルパラメータの繰り返しの更新を示す。ｔ’１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ’２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ’５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【００８８】
サンプルデータから抽出されるサブサンプルデータに応じてモデルパラメータ
【数２５５】
2015201176.tif 000257
を繰り返し更新するために、本開示の本実施形態で提供される方法は、サンプルデータから抽出されるサブサンプルデータに応じて、モデルパラメータを繰り返し更新する回数ｔ５の値の範囲を［１，Ｔ’３］に設定すること、即ち、サンプルデータから抽出されるサブサンプルデータに応じて、モデルパラメータを繰り返し更新する回数がＴ’３に到達しない場合、サンプルデータから抽出されるサブサンプルデータに応じて、再度モデルパラメータ
【数２５６】
2015201176.tif 000258
を繰り返し更新することを含む。但し、これに限定されるわけではない。
【００８９】
更新されたモデルパラメータとサンプルデータから抽出されたサブサンプルデータとに応じて、更新された潜在変数の変分分布を取得するために、本開示の実施形態で提供される方法は、更新されたモデルパラメータとサンプルデータから抽出されるサブサンプルデータとに応じて、行の潜在変数の変分分布を繰り返し更新する回数ｔ３の値の範囲を［１，Ｔ’１］に設定することと、更新されたモデルパラメータとサンプルデータから抽出されるサブサンプルデータとに応じて、列の潜在変数の変分分布を繰り返し更新する回数ｔ４の値の範囲を［１，Ｔ’２］に設定すること、即ち、更新されたモデルパラメータとサンプルデータから抽出されるサブサンプルデータとに応じて行の潜在変数の変分分布を繰り返し更新する回数がＴ’１に到達しない場合、更新されたモデルパラメータとサンプルデータから抽出されるサブサンプルデータとに応じて再度行の潜在変数の変分分布を繰り返し更新することと、更新されたモデルパラメータとサンプルデータから抽出されるサブサンプルデータとに応じて列の潜在変数の変分分布を繰り返し更新する回数がＴ’２に到達しない場合、更新されたモデルパラメータとサンプルデータから抽出されるサブサンプルデータとに応じて再度列の潜在変数の変分分布を繰り返し更新することと、を含む。但し、これに限定されるわけではない。
【００９０】
本実施形態においてＴ１、Ｔ２、Ｔ３、Ｔ’１、Ｔ’２およびＴ’３の値は限定されない。更に、Ｔ１、Ｔ２、Ｔ３、Ｔ’１、Ｔ’２およびＴ’３は同一または互いに異なっていてもよく、また、本明細書においては限定されない。
【００９１】
サンプルデータから抽出されるサブサンプルデータは、行のサンプルデータから抽出されるサブサンプルデータの組Ｓｒと、列のサンプルデータから抽出される組Ｓｃと、を含むが、これに限定されない。更に、初期化の方法は本実施形態に限定されない。実行中、初期化は不規則に実行される。即ち、α、β、φ、ｑ（ＺＲ）およびｑ（ＺＣ）は不規則に初期化される。また、もちろん、他の方法が採用されてもよい。
【００９２】
更に、以前の潜在変数ＺＣの変分分布の計算結果が現在の潜在変数ＺＲの計算の際に用いられるので、各潜在変数の変分分布は交互に更新される、即ち、行の潜在変数ＺＲの変分分布と列の潜在変数ＺＣの変分分布とは所定の終了条件を満たすまで交互に更新される。所定の終了条件は実施形態に限定されない。実行中、更新された潜在変数の変分分布が収束しているか否かが判別され、収束している場合、所定の終了条件を満たす。行の潜在変数ＺＲについて、現在の行の潜在変数と以前の行の潜在変数との間のユークリッド距離が算出されてもよい。算出されたユークリッド距離が距離閾値よりも小さい場合、現在の行の潜在変数の変分分布が収束したと判別される。距離閾値は実際の条件に応じて設定されてもよく、実施形態において限定されるものではない。
【００９３】
また、これに関わらず、更新された潜在変数の変分分布が収束するか否かを判別する上述の方法に加えて、収束する更新された潜在変数の変分分布は、更新回数を設定することにより取得されるものであってもよく、実行中、更新回数が所定の閾値に到達すると、潜在変数の変分分布が収束していると判別され、これにより、潜在変数の収束した変分分布を取得する。更新回数に対する所定の閾値は実施形態に限定されない。
【００９４】
ステップ２０３における上述の式が最初に更新された潜在変数の変分分布およびモデルパラメータを取得するために採用されるとき、ｔ１−１およびｔ’１−１は初期化を示し、ｔ１−１およびｔ’１−１に対応するパラメータは初期値である。これらの式が最初に行の潜在変数の変分分布と列の潜在変数の変分分布とを交互に更新するために採用されるとき、ｔ１ｔ２−１およびｔ１ｔ’２−１は初期化を示し、ｔ１ｔ２−１およびｔ１ｔ’２−１に対応するパラメータは初期値である。これらの式が最初に行の潜在変数の変分分布を繰り返し更新するために採用されるとき、ｔ１ｔ２ｔ３−１およびｔ１ｔ２ｔ’３−１は初期化を示し、ｔ１ｔ２ｔ３−１およびｔ１ｔ２ｔ’３−１に対応するパラメータは初期値である。これらの式が最初に列の潜在変数の変分分布を繰り返し更新するために採用されるとき、ｔ１ｔ２ｔ４−１およびｔ１ｔ２ｔ’４−１は初期化を示し、ｔ１ｔ２ｔ４−１およびｔ１ｔ２ｔ’４−１に対応するパラメータは初期値である。また、これらの式が最初に列の潜在変数の変分分布を繰り返し更新するために採用されるとき、ｔ１ｔ５−１およびｔ１ｔ’５−１は初期化を示し、ｔ１ｔ５−１およびｔ１ｔ’５−１に対応するパラメータは初期値である。例えば、ステップ２０３で最初に更新された潜在変数の変分分布および更新されたモデルパラメータを取得するとき、式
【数２５７】
2015201176.tif 000259
はαｋの初期値を示し、
【数２５８】
2015201176.tif 000260
はβｌの初期値を示す。
【００９５】
ステップ２０３における上述の式が最初に更新された潜在変数の変分分布および更新されたモデルパラメータを取得するために採用されるとき、ｔ１−１、ｔ’１−１、ｔ１ｔ２−１、ｔ１ｔ’２−１、ｔ１ｔ２ｔ３−１、ｔ１ｔ２ｔ’３−１、ｔ１ｔ２ｔ４−１、ｔ１ｔ２ｔ’４−１、ｔ１ｔ５−１およびｔ１ｔ’５−１は以前の更新を示し、従って、それらに対応するパラメータは以前に更新された値である。例えば、ステップ２０３において、３回目に更新された潜在変数の変分分布および更新されたモデルパラメータが取得されるとき、式において、
【数２５９】
2015201176.tif 000261
および
【数２６０】
2015201176.tif 000262
は、それぞれ更新された潜在変数の変分分布および更新されたモデルパラメータが２回目に取得されたときのαｋおよびβｌの値を示す。
【００９６】
更に、更新されたモデルパラメータに応じて更新された潜在変数の変分分布が取得されるとき、行の潜在変数ＺＲの変分分布と列の潜在変数ＺCの変分分布とが、所定の終了条件を満たすまで、交互に更新される必要がある。
【００９７】
加えて、実行中、種々の行の特徴の番号Ｋｒと種々の列の特徴の番号Ｋｃが設定されてもよい。例えば、Ｋｒの最小値はＫｒｍｉｎとして設定され、Ｋｒの最大値はＫｒｍａｘとして設定されてもよい。Ｋｃの最小値はＫｃｍｉｎとして設定され、Ｋｃの最大値はＫｃｍａｘとして設定される。ＫｒとＫｃの値の範囲内で、更新された潜在変数の変分分布と更新されたモデルパラメータとはＫｒとＫｃの値の各組み合わせについて取得される。
【００９８】
更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるべきとき、初めに、潜在変数の変分分布が収束する更新された潜在変数の変分分布が取得されるまで、交互に更新され、そして、更新されたモデルパラメータを取得するために更新された潜在変数の変分分布に応じてモデルパラメータが更新されてもよいことに留意すべきである。或いは、最初に更新されたモデルパラメータを取得するためにモデルパラメータが更新され、それから収束する更新された潜在変数の変分分布を取得するために、更新されたモデルパラメータに応じて潜在変数の変分分布が交互に更新されてもよい。
【００９９】
ステップ２０４：更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて目的関数が収束するか否かを判別し、目的関数が収束しない場合、目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得する。
【０１００】
特に、更新された潜在変数の変分分布および更新されたモデルパラメータに応じて、目的関数が収束するか否かを判別することは、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、以前に更新された潜在変数の変分分布と以前に更新されたモデルパラメータとに応じて決定された以前に取得した目的関数と、の間の距離が、閾値よりも短いか否かを判別することと、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、以前に取得した目的関数との間の距離が閾値よりも短い場合、目的関数が収束すると判別することと、を含む。但し、これに限定されるものではない。
【０１０１】
実施形態において閾値は限定されない。実行中、サンプルデータ等の量に応じて種々の閾値が設定されてもよい。目的関数は、目的関数が対数尤度に連続的に近づくように、更新された潜在変数の変分分布および更新されたモデルパラメータを介して決定される。目的関数が収束するとき、解けない対数尤度を解ける目的関数に変換してリレーショナルモデルを決定するように、対数尤度の値が近似的に目的関数の値としてもよい。
【０１０２】
目的関数が収束しないと判別されるとき、更新された潜在変数の変分分布および更新されたモデルパラメータが再度取得され、フローはステップ２０３に戻り、ステップＳ２０３の方法で更新された潜在変数の変分分布と更新されたモデルパラメータとを再取得することに留意すべきである。最初に更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるとき、ステップ２０３の式におけるｔ１−１、ｔ’１−１、ｔ１ｔ２−１、ｔ１ｔ’２−１、ｔ１ｔ２ｔ３−１、ｔ１ｔ２ｔ’３−１、ｔ１ｔ２ｔ４−１、ｔ１ｔ２ｔ’４−１、ｔ１ｔ５−１およびｔ１ｔ’５−１は初期値を示すが、フローがステップ２０３に戻り、更新された潜在変数の変分分布と更新されたモデルパラメータとを再度取得するとき、ステップ２０３の式におけるｔ１−１、ｔ’１−１、ｔ１ｔ２−１、ｔ１ｔ’２−１、ｔ１ｔ２ｔ３−１、ｔ１ｔ２ｔ’３−１、ｔ１ｔ２ｔ４−１、ｔ１ｔ２ｔ’４−１、ｔ１ｔ５−１およびｔ１ｔ’５−１は以前の更新を示す。例えば、最初にステップ２０３の式において更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるとき、式におけるｔ１−１、ｔ’１−１、ｔ１ｔ２−１、ｔ１ｔ’２−１、ｔ１ｔ２ｔ３−１、ｔ１ｔ２ｔ’３−１、ｔ１ｔ２ｔ４−１、ｔ１ｔ２ｔ’４−１、ｔ１ｔ５−１およびｔ１ｔ’５−１に対応するパラメータは初期値を用い、更新された潜在変数の変分分布および更新されたモデルパラメータは初めて取得される。初めに取得された、更新された潜在変数の変分分布と更新されたモデルパラメータとが目的関数を収束させることができない場合、それらは更新された潜在変数の変分分布と更新されたモデルパラメータとを再取得するために、ステップ２０３におけるｔ１−１、ｔ’１−１、ｔ１ｔ２−１、ｔ１ｔ’２−１、ｔ１ｔ２ｔ３−１、ｔ１ｔ２ｔ’３−１、ｔ１ｔ２ｔ４−１、ｔ１ｔ２ｔ’４−１、ｔ１ｔ５−１およびｔ１ｔ’５−１に対応するパラメータの値とされる。また、再取得された、更新された潜在変数の変分分布と更新されたモデルパラメータとが目的関数の収束を可能にするか否かが判別される。この方法での更新は、目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータが取得されるまで実行される。
【０１０３】
ステップＳ２０５：目的関数の収束を可能にする潜在変数の変分分布とモデルパラメータとに応じてリレーショナルモデルを決定する。
【０１０４】
このステップでは、収束する目的関数の値が対数尤度に近似しており、また、リレーショナルモデルは、目的関数の収束を可能にする潜在変数の変分分布とモデルパラメータとに応じて決定されてもよい。
【０１０５】
更に、種々の行の特徴の数Ｋｒと種々の列の特徴の数Ｋｃが設定されてもよく、更新された潜在変数の変分分布および更新されたモデルパラメータはＫｒおよびＫｃの値の各組み合わせについて取得されてもよい。目的関数が収束することに基づいて、目的関数の値を最大にするＫｒおよびＫｃが選択されてもよい。そして、ＫｒおよびＫｃに応じて算出された潜在変数の変分分布およびモデルパラメータに応じて、リレーショナルモデルが決定される。
【０１０６】
行の特徴の設定された番号Ｋｒおよび列の特徴の番号Ｋｃは、決定されたリレーショナルモデルの行の特徴の数および列の特徴の数と同じであってもよいし異なっていてもよい、即ち、リレーショナルモデルの判別中、リレーショナルモデルの構造は自動的に調整されてもよい。加えて、決定されたリレーショナルモデルにおいて同じサンプルデータが複数の特徴を有しうるので、決定されたリレーショナルモデルは実際の関係により近似している。
【０１０７】
加えて、決定されたリレーショナルモデルは、データのクラスタリングおよびデータの分類に適用されてもよい。データのクラスタリングの場合、リレーショナルモデルを決定する過程はデータをクラスタリングする仮定である。また、データの分類の場合、決定されたリレーショナルモデルに対して更に後処理を実行することも要求される。データのクラスタリングおよび分類の結果は、顧客分析、生物分析、地理分析等を実行するのに用いられてもよく、これにより、多くの社会的価値および経済的価値を生み出す。
【０１０８】
本開示の実施形態において提供される方法は、対数尤度と正規化項と潜在変数それぞれの変分分布の対数とに応じて、目的関数を決定し、そして、目的関数の収束を可能にする潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定する。これにより、リレーショナルモデルの決定の効率および精度を改善する。正規化項が用いられる場合、リレーショナルモデルの複雑さは、リレーショナルモデルの決定の効率が向上するように自動的に制御される。
【０１０９】
（実施形態３）
図３に示すように、本開示の本実施形態は、リレーショナルモデルを決定する装置を提供する。図３に示すように、この装置は、
サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの潜在変数それぞれの変分分布の対数とを取得するよう構成された取得モジュール３０１と、
対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて、目的関数を決定するよう構成された第１決定モジュール３０２と、
目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータを決定するよう構成された第２決定モジュール３０３と、
目的関数の収束を可能にする潜在変数の変分分布とモデルパラメータとに応じてリレーショナルモデルを決定するよう構成された第３決定モジュール３０４と、を備える。
【０１１０】
任意の実施形態として、取得モジュール３０１により取得される対数尤度は、
【数２６１】
2015201176.tif 000263
である。ここで、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数、
【数２６２】
2015201176.tif 000264
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはα、βおよびφを含むモデルパラメータの組を示し、αおよびβはそれぞれ行および列の混合比を示し、φはモデルパラメータを示す。
【０１１１】
任意の実施形態として、取得モジュール３０１により取得される正規化項は、
【数２６３】
2015201176.tif 000265
である。ここで、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示し、
【数２６４】
2015201176.tif 000266
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示す。また、ＺＣｊｌはｌ番目の行の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示す。αとβは、それぞれ行と列の混合比を示し、φはモデルパラメータを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄφはφの次元を示す。Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数２６５】
2015201176.tif 000267
を示し、ｂは
【数２６６】
2015201176.tif 000268
を示す。
【０１１２】
任意の実施形態として、取得モジュール３０１により取得される潜在変数の変分分布の対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）を含む。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【０１１３】
任意の実施形態として、第１決定モジュール３０２は、対数尤度の期待値と正規化項の期待値と潜在変数それぞれの変分分布の対数の期待値とに応じて目的関数を決定するよう構成されている。
【０１１４】
任意の実施形態として、第１決定モジュール３０２により決定される目的関数
【数２６７】
2015201176.tif 000269
は、
【数２６８】
2015201176.tif 000270
である。
【０１１５】
図４に示すように、第２決定モジュール３０３は、
更新された潜在変数の変分分布と更新されたモデルパラメータとを取得するよう構成された取得ユニット３０３１と、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて目的関数が収束するか否かを判別する判別ユニット３０３２と、を備える。
ここで、取得ユニット３０３１は、目的関数が収束しない場合、目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得するよう構成されている。
【０１１６】
任意の実施形態として、図５に示すように、取得ユニット３０３１は、
サンプルデータから抽出されたサブサンプルデータに応じて、更新された潜在変数の変分分布を取得するよう構成された第１取得サブユニット３０３１１と、
更新された潜在変数の変分分布に応じて更新されたモデルパラメータを取得するよう構成された第２取得サブユニット３０３１２と、を備える。
【０１１７】
任意の実施形態として、図６に示すように、取得ユニット３０３１は、更に、
更新された潜在変数の変分分布が収束するか否かを判別するよう構成された第１判別サブユニット３０３１３を備える。
ここで、第１取得サブユニット３０３１１は、更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を再取得するよう構成されている。
また、第２取得サブユニット３０３１２は、収束する更新された潜在変数の変分分布に応じて、更新されたモデルパラメータを取得するよう構成されている。
【０１１８】
任意の実施形態として、図７に示すように、取得ユニット３０３１は、更に、
サンプルデータから抽出されるサブサンプルデータに応じて、更新されたモデルパラメータを取得するよう構成された第３取得サブユニット３０３１４と、
更新されたモデルパラメータに応じて更新された潜在変数の変分分布を取得するよう構成された第４取得サブユニット３０３１５と、を備える。
【０１１９】
任意の実施形態として、図８に示すように、取得ユニット３０３１は、更に、
更新されたモデルパラメータが収束するか否かを判別するよう構成された第２判別サブユニット３０３１６を備える。
ここで、第３取得サブユニット３０３１４は、更新されたモデルパラメータが収束しない場合、収束する更新されたモデルパラメータが取得されるまで、サンプルデータから抽出されたサブサンプルデータに応じて更新されたモデルパラメータを再取得するよう構成されている。
また、第４取得サブユニット３０３１５は、収束する更新されたモデルパラメータに応じて更新された潜在変数の変分分布を取得するよう構成されている。
【０１２０】
任意の実施形態として、第１取得サブユニット３０３１１は、
式
【数２６９】
2015201176.tif 000271
を用いて、ｔ３がＴ１に等しいときに
【数２７０】
2015201176.tif 000272
となるまで、サンプルデータから抽出されるサブサンプルデータに応じて行の潜在変数の変分分布
【数２７１】
2015201176.tif 000273
を繰り返し更新し、式
【数２７２】
2015201176.tif 000274
を用いて、ｔ４がＴ２に等しいときに
【数２７３】
2015201176.tif 000275
となるまで、サンプルデータから抽出されるサブサンプルデータに応じて列の潜在変数の変分分布
【数２７４】
2015201176.tif 000276
を繰り返し更新し、また、所定の終了条件を満たし且つ
【数２７５】
2015201176.tif 000277
および
【数２７６】
2015201176.tif 000278
となるまで、
【数２７７】
2015201176.tif 000279
と
【数２７８】
2015201176.tif 000280
とを交互に更新するよう構成されている。ここで、
【数２７９】
2015201176.tif 000281
は更新された行の潜在変数の変分分布を示し、
【数２８０】
2015201176.tif 000282
は更新された列の潜在変数の変分分布を示す。
【０１２１】
第２取得サブユニット３０３１２は、
式
【数２８１】
2015201176.tif 000283
【数２８２】
2015201176.tif 000284
を用いて、更新された潜在変数の変分分布に応じて、更新されたモデルパラメータ
【数２８３】
2015201176.tif 000285
【数２８４】
2015201176.tif 000286
を取得し、また、式
【数２８５】
2015201176.tif 000287
を用いることにより、ｔ５がＴ３に等しいときに
【数２８６】
2015201176.tif 000288
となるまで、更新された潜在変数の変分分布とサンプルデータから抽出されたサブサンプルデータとに応じて、モデルパラメータ
【数２８７】
2015201176.tif 000289
を繰り返し更新するよう構成されている。ここで、
【数２８８】
2015201176.tif 000290
【数２８９】
2015201176.tif 000291
および
【数２９０】
2015201176.tif 000292
は更新されたモデルパラメータである。ここで、
【数２９１】
2015201176.tif 000293
【数２９２】
2015201176.tif 000294
【数２９３】
2015201176.tif 000295
である。ここで、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ５は現在のモデルパラメータの繰り返しの更新を示す。ｔ１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【０１２２】
任意の実施形態として、第３取得サブユニット３０３１４は、式
【数２９４】
2015201176.tif 000296
および
【数２９５】
2015201176.tif 000297
を用いて、サンプルデータから抽出されるサブサンプルデータに応じて、モデルパラメータ
【数２９６】
2015201176.tif 000298
および
【数２９７】
2015201176.tif 000299
を取得し、式
【数２９８】
2015201176.tif 000300
を用いて、ｔ５がＴ’３に等しいときに
【数２９９】
2015201176.tif 000301
となるまで、サンプルデータから抽出したサブサンプルデータに応じて、モデルパラメータ
【数３００】
2015201176.tif 000302
を繰り返し更新するよう構成されている。ここで、
【数３０１】
2015201176.tif 000303
【数３０２】
2015201176.tif 000304
および
【数３０３】
2015201176.tif 000305
は更新されたモデルパラメータである。
【０１２３】
第４取得サブユニット３０３１５は、式
【数３０４】
2015201176.tif 000306
を用いて、ｔ３がＴ’１に等しいときに
【数３０５】
2015201176.tif 000307
となるまで、更新されたモデルパラメータとサンプルデータから抽出したサブサンプルデータとに応じて列の潜在変数の変分分布
【数３０６】
2015201176.tif 000308
を繰り返し更新し、式
【数３０７】
2015201176.tif 000309
を用いて、ｔ４がＴ’２に等しいときに
【数３０８】
2015201176.tif 000310
となるまで、更新されたモデルパラメータとサンプルデータから抽出したサブサンプルデータとに応じて列の潜在変数の変分分布
【数３０９】
2015201176.tif 000311
を繰り返し更新するよう構成され、また、所定の終了条件を満たし且つ
【数３１０】
2015201176.tif 000312
および
【数３１１】
2015201176.tif 000313
となるまで
【数３１２】
2015201176.tif 000314
と
【数３１３】
2015201176.tif 000315
とを交互に更新するよう構成されている。ここで、
【数３１４】
2015201176.tif 000316
は更新された行の潜在変数の変分分布を示し、
【数３１５】
2015201176.tif 000317
は更新された列の潜在変数の変分分布を示す。ここで、
【数３１６】
2015201176.tif 000318
【数３１７】
2015201176.tif 000319
【数３１８】
2015201176.tif 000320
である。ここで、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ’２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ’３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ’４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ’５は現在のモデルパラメータの繰り返しの更新を示す。ｔ’１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ’２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ’５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す。
【０１２４】
任意の実施形態として、図９に示すように、第３決定モジュール３０４は、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、以前に更新された潜在変数の変分分布と以前に更新されたモデルパラメータとに応じて決定された以前に取得した目的関数と、の間の距離が、閾値よりも短いか否かを判別するよう構成された比較ユニット３０４１と、
更新された潜在変数の変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、以前に取得した目的関数との間の距離が閾値よりも短い場合、目的関数が収束すると判別するよう構成された判別ユニット３０４２と、を備える。
【０１２５】
要するに、本開示の実施形態において提供される装置は、対数尤度と正規化項と潜在変数それぞれの変分分布の対数とに応じて目的関数を決定し、そして、目的関数の収束を可能にする潜在変数の変分分布およびモデルパラメータに応じてリレーショナルモデルを決定する。これにより、リレーショナルモデルの決定の効率および精度が改善される。正規化項が用いられる場合、リレーショナルモデルの複雑さは、リレーショナルモデルの決定効率を向上させるように自動的に制御されうる。
【０１２６】
上述の実施形態において提供されるリレーショナルモデルを決定する装置により実行されるリレーショナルモデルの決定の間、装置は例として上述の機能モジュールに分割したものを用いるもののみで説明されていることに留意すべきである。実際には、上記機能は、必要に応じて実行されるように異なる機能モジュールが割り当てられてもよい。具体的には、装置の内部構造は、上述の機能の全てまたは一部を実行するために異なる機能モジュールに分割されていてもよい。また、リレーショナルモデルを決定する装置とリレーショナルモデルを決定する方法とは、同じ発明概念に基づくものである。具体的な実施態様は、方法の実施形態で記載されているので、ここではこれ以上詳細な説明はしない。
【０１２７】
本発明の前述の実施形態の順番は単に説明し易さのためのものであり、実施形態の優先度を示すものではない。
【０１２８】
この分野の当業者であれば、前述の方法のステップの全部または一部がハードウェアや関連するハードウェアに指示を出すプログラムにより実現されてもよいことを理解すべきである。プログラムは、非一時的なコンピュータで読み取り可能な記憶媒体に記録されていてもよく、少なくとも１つのプロセッサにより実行されてもよい。上記記憶媒体は、読み出し専用メモリ、磁気ディスクまたはコンパクトディスクからなる読み出し専用メモリであってもよい。
【０１２９】
前述では、本発明における好ましい実施形態のみを示しており、本発明がこれに限定されることを意図するものではない。これらの実施形態について、本発明の真意および本質から逸脱しない範囲内において修正がなされたり、同等の構成により置き換えたり或いは改良されたりしたものは、本発明の保護範囲内に含まれる。
【０１３０】
（付記１）     
サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの前記潜在変数それぞれの変分分布の対数とを取得することと、
前記対数尤度と前記正規化項と前記潜在変数それぞれの前記変分分布の対数とに応じて、目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の変分分布およびモデルパラメータを決定することと、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記モデルパラメータとに応じてリレーショナルモデルを決定することと、を含むリレーショナルモデルを決定する方法。
【０１３１】
（付記２）
前記サンプルデータ、前記少なくとも２つの潜在変数および前記モデルパラメータに応じて決定された前記対数尤度は、
【数３１９】
2015201176.tif 000321
であり、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数３２０】
2015201176.tif 000322
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺRは行の潜在変数を示し、ＺCは列の潜在変数を示し、θはα、βおよびφを含む一組のモデルパラメータを示し、αとβはそれぞれ行と列の混合比であり、φはモデルパラメータである付記１に記載の方法。
【０１３２】
（付記３）
前記サンプルデータ、前記少なくとも２つの潜在変数および前記モデルパラメータに応じて決定された前記正規化項は、
【数３２１】
2015201176.tif 000323
であり、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示し、
【数３２２】
2015201176.tif 000324
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の列の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示し、αとβは、それぞれ行と列の混合比を示し、φは前記モデルパラメータを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄφはφの次元を示し、Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数３２３】
2015201176.tif 000325
を示し、ｂは
【数３２４】
2015201176.tif 000326
を示す付記１に記載の方法。
【０１３３】
（付記４）
前記サンプルデータ、前記少なくとも２つの潜在変数および前記モデルパラメータに応じて決定された前記潜在変数の前記変分分布の対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）を含み、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す付記１に記載の方法。
【０１３４】
（付記５）
前記対数尤度と前記正規化項と前記潜在変数それぞれの前記変分分布の対数とに応じて前記目的関数を決定するステップは、
前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数それぞれの前記変分分布の対数の期待値とに応じて前記目的関数を決定することを含む付記１から付記４のいずれかに記載の方法。
【０１３５】
（付記６）
前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数それぞれの前記変分分布の対数の期待値とに応じて決定された目的関数
【数３２５】
2015201176.tif 000327
は、
【数３２６】
2015201176.tif 000328
である付記５に記載の方法。
【０１３６】
（付記７）
前記目的関数の収束を可能にする前記潜在変数の変分分布および前記モデルパラメータを決定するステップは、
更新された潜在変数の変分分布と更新されたモデルパラメータとを取得することと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて前記目的関数が収束するか否かを判別し、前記目的関数が収束しない場合、前記目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得することと、を含む付記６に記載の方法。
【０１３７】
（付記８）
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとを取得するステップは、前記サンプルデータから抽出されるサブサンプルデータに応じて前記更新された潜在変数の変分分布を取得し、前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することを含む付記７に記載の方法。
【０１３８】
（付記９）
前記方法は、前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得する前に実行される、前記更新された潜在変数の変分分布が収束するか否かを判別し、前記更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、前記サンプルデータから抽出されたサブサンプルデータに応じて更新された潜在変数の変分分布を再取得することを更に含み、
前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することは、前記収束する更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することを含む付記８に記載の方法。
【０１３９】
（付記１０）
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとを取得するステップは、前記サンプルデータから抽出されたサブサンプルデータに応じて、前記更新されたモデルパラメータを取得し、前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することを含む付記７に記載の方法。
【０１４０】
（付記１１）
前記方法は、前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得する前に実行される、前記更新されたモデルパラメータが収束するか否かを判別し、前記更新されたモデルパラメータが収束しない場合、収束する更新されたモデルパラメータが取得されるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて更新されたモデルパラメータを再取得することを更に含み、
前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することは、前記収束する更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することを含む付記１０に記載の方法。
【０１４１】
（付記１２）
前記サンプルデータから抽出される前記サブサンプルデータに応じて前記更新された潜在変数の変分分布を取得するステップは、
式
【数３２７】
2015201176.tif 000329
を用いて、ｔ３がＴ１に等しいときに
【数３２８】
2015201176.tif 000330
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて行の潜在変数の変分分布
【数３２９】
2015201176.tif 000331
を、繰り返し更新することと、式
【数３３０】
2015201176.tif 000332
を用いて、ｔ４がＴ２に等しいときに
【数３３１】
2015201176.tif 000333
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて列の潜在変数の変分分布
【数３３２】
2015201176.tif 000334
を、繰り返し更新することと、所定の終了条件が満たされ且つ
【数３３３】
2015201176.tif 000335
となるまで、
【数３３４】
2015201176.tif 000336
と
【数３３５】
2015201176.tif 000337
とを交互に更新し、所定の終了条件が満たされ且つ
【数３３６】
2015201176.tif 000338
となるまで、
【数３３７】
2015201176.tif 000339
と
【数３３８】
2015201176.tif 000340
とを交互に更新することと、を含み、
【数３３９】
2015201176.tif 000341
は更新された行の潜在変数の変分分布を示し、
【数３４０】
2015201176.tif 000342
は更新された列の潜在変数の変分分布を示し、
前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得することは、
式
【数３４１】
2015201176.tif 000343
および
【数３４２】
2015201176.tif 000344
を用いて、前記更新された潜在変数の変分分布に応じてモデルパラメータ
【数３４３】
2015201176.tif 000345
および
【数３４４】
2015201176.tif 000346
を取得することと、式
【数３４５】
2015201176.tif 000347
を用いて、ｔ５がＴ３に等しいときに
【数３４６】
2015201176.tif 000348
となるまで、前記更新された潜在変数の変分分布と前記サンプルデータから抽出される前記サブサンプルデータとに応じて、モデルパラメータ
【数３４７】
2015201176.tif 000349
を繰り返し更新することと、を含み、
【数３４８】
2015201176.tif 000350
【数３４９】
2015201176.tif 000351
および
【数３５０】
2015201176.tif 000352
は更新されたモデルパラメータであり、
【数３５１】
2015201176.tif 000353
【数３５２】
2015201176.tif 000354
【数３５３】
2015201176.tif 000355
であり、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ５は現在のモデルパラメータの繰り返しの更新を示し、ｔ１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す付記７から付記９のいずれかに記載の方法。
【０１４２】
（付記１３）
前記サンプルデータから抽出される前記サブサンプルデータに応じて前記更新されたモデルパラメータを取得することは、
式
【数３５４】
2015201176.tif 000356
および
【数３５５】
2015201176.tif 000357
を用いて、前記サンプルデータから抽出される前記サブサンプルデータに応じてモデルパラメータ
【数３５６】
2015201176.tif 000358
および
【数３５７】
2015201176.tif 000359
を取得することと、式
【数３５８】
2015201176.tif 000360
を用いて、ｔ５がＴ’３に等しいときに
【数３５９】
2015201176.tif 000361
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じてモデルパラメータ
【数３６０】
2015201176.tif 000362
を繰り返し更新することと、を含み、
【数３６１】
2015201176.tif 000363
【数３６２】
2015201176.tif 000364
および
【数３６３】
2015201176.tif 000365
は更新されたモデルパラメータであり、
前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得することは、
式
【数３６４】
2015201176.tif 000366
を用いて、ｔ３がＴ’１に等しいときに
【数３６５】
2015201176.tif 000367
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出される前記サブサンプルデータとに応じて行の潜在変数の変分分布
【数３６６】
2015201176.tif 000368
を繰り返し更新することと、式
【数３６７】
2015201176.tif 000369
を用いて、ｔ４がＴ’２に等しいときに
【数３６８】
2015201176.tif 000370
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出される前記サブサンプルデータとに応じて列の潜在変数の変分分布
【数３６９】
2015201176.tif 000371
を繰り返し更新することと、所定の終了条件を満たし且つ
【数３７０】
2015201176.tif 000372
および
【数３７１】
2015201176.tif 000373
となるまで
【数３７２】
2015201176.tif 000374
と
【数３７３】
2015201176.tif 000375
とを交互に更新することと、を含み、
【数３７４】
2015201176.tif 000376
は更新された行の潜在変数の変分分布を示し、
【数３７５】
2015201176.tif 000377
は更新された列の潜在変数の変分分布を示し、
【数３７６】
2015201176.tif 000378
【数３７７】
2015201176.tif 000379
【数３７８】
2015201176.tif 000380
であり、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ’２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ’３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ’４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ’５は現在のモデルパラメータの繰り返しの更新を示し、ｔ’１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ’２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ’５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す付記７、１０、１１のいずれかに記載の方法。
【０１４３】
（付記１４）
前記更新された潜在変数の変分分布および前記更新されたモデルパラメータに応じて、前記目的関数が収束するか否かを判別するステップは、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された前記目的関数と、以前に更新された潜在変数の変分分布と以前に更新されたモデルパラメータとに応じて決定された以前に取得した目的関数と、の間の距離が、閾値よりも短いか否かを判別することと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された目的関数と、前記以前に取得した目的関数と、の間の前記距離が前記閾値よりも短い場合、前記目的関数が収束すると判別することと、を含む付記７から付記１３のいずれかに記載の方法。
【０１４４】
（付記１５）
サンプルデータ、それぞれサンプルデータの特徴を記述するために用いられる少なくとも２つの潜在変数およびモデルパラメータに応じて決定された、対数尤度と正規化項と少なくとも２つの前記潜在変数それぞれの変分分布の対数とを取得するよう構成された取得モジュールと、
前記対数尤度と前記正規化項と前記潜在変数それぞれの前記変分分布の対数とに応じて、目的関数を決定するよう構成された第１決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の変分分布およびモデルパラメータを決定するよう構成された第２決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記モデルパラメータとに応じてリレーショナルモデルを決定するよう構成された第３決定モジュールと、を備えるリレーショナルモデルを決定する装置。
【０１４５】
（付記１６）
前記取得モジュールにより取得される前記対数尤度は、
【数３７９】
2015201176.tif 000381
であり、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数３８０】
2015201176.tif 000382
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはα、βおよびφを含むモデルパラメータ一式を示し、αとβはそれぞれ行と列の混合比であり、φはモデルパラメータである、
付記１５に記載の装置。
【０１４６】
（付記１７）
前記取得モジュールにより取得される前記正規化項は、
【数３８１】
2015201176.tif 000383
であり、Ｎｒは行のサンプルの数を示し、ＮＣは列のサンプルの数を示し、Ｋｒは行の特徴の数を示し、ＫＣは列の特徴の数を示し、
【数３８２】
2015201176.tif 000384
は潜在変数の変分分布の近似値を示し、ＺRikはｋ番目の行の特徴を有するｉ番目の行のサンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の行の特徴を有するｊ番目の列のサンプルデータの列の潜在変数を示し、αとβはそれぞれ行と列の混合比を示し、φは前記モデルパラメータを示し、Ｄαはα次元を示し、Ｄβはβ次元を示し、Ｄφはφ次元を示し、Ｌ（ａ,ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数３８３】
2015201176.tif 000385
を示し、ｂは
【数３８４】
2015201176.tif 000386
を示す、
付記１５に記載の装置。
【０１４７】
（付記１８）
前記取得モジュールにより取得される潜在変数の変分分布の前記対数は、ｌｏｇｑ（ＺＲ）およびｌｏｇｑ（ＺＣ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す付記１５に記載の装置。
【０１４８】
（付記１９）
前記第１決定モジュールは、
前記対数尤度の期待値、前記正規化項の期待値および前記潜在変数それぞれの前記変分分布の対数の期待値に応じて前記目的関数を決定するよう構成されている付記１５から付記１８のいずれかに記載の装置。
【０１４９】
（付記２０）
前記第１決定モジュールにより決定される目的関数
【数３８５】
2015201176.tif 000387
は、
【数３８６】
2015201176.tif 000388
である付記１９に記載の装置。
【０１５０】
（付記２１）
前記第２決定モジュールは、
更新された潜在変数の変分分布と更新されたモデルパラメータとを取得するよう構成された取得ユニットと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて前記目的関数が収束するか否かを判別する判別ユニットと、を備え、
前記取得ユニットは、
前記目的関数が収束しない場合、前記目的関数の収束を可能にする、更新された潜在変数の変分分布と更新されたモデルパラメータとが取得されるまで、それらを再取得するよう構成されている付記２０に記載の装置。
【０１５１】
（付記２２）
前記取得ユニットは、
前記サンプルデータから抽出されるサブサンプルデータに応じて、前記更新された潜在変数の変分分布を取得するよう構成された第１取得サブユニットと、
前記更新された潜在変数の変分分布に応じて前記更新されたモデルパラメータを取得するよう構成された第２取得サブユニットと、を備える付記２１に記載の装置。
【０１５２】
（付記２３）
前記取得ユニットは、更に、
前記更新された潜在変数の変分分布が収束するか否かを判別するよう構成された第１判別サブユニットを備え、
前記第１取得サブユニットは、前記更新された潜在変数の変分分布が収束しない場合、収束する更新された潜在変数の変分分布が取得されるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて、更新された潜在変数の変分分布を再取得するよう構成され、
前記第２取得サブユニットは、前記収束する更新された潜在変数の変分分布に応じて、前記更新されたモデルパラメータを取得するよう構成されている付記２２に記載の装置。
【０１５３】
（付記２４）
前記取得ユニットは、更に、
前記サンプルデータから抽出される前記サブサンプルデータに応じて前記更新されたモデルパラメータを取得するよう構成された第３取得サブユニットと、
前記更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得するよう構成された第４取得サブユニットと、を備える付記２１に記載の装置。
【０１５４】
（付記２５）
前記取得ユニットは、更に、
前記更新されたモデルパラメータが収束するか否かを判別するよう構成された第２判別サブユニットを備え、
前記第３取得サブユニットは、前記更新されたモデルパラメータが収束しない場合、収束する更新されたモデルパラメータが取得されるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて更新されたモデルパラメータを再取得するよう構成され、
前記第４取得サブユニットは、前記収束する更新されたモデルパラメータに応じて前記更新された潜在変数の変分分布を取得するよう構成されている付記２４に記載の装置。
【０１５５】
（付記２６）
前記第１取得サブユニットは、
式
【数３８７】
2015201176.tif 000389
を用いて、ｔ３がＴ１に等しいときに
【数３８８】
2015201176.tif 000390
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて行の潜在変数の変分分布
【数３８９】
2015201176.tif 000391
を繰り返し更新し、式
【数３９０】
2015201176.tif 000392
を用いて、ｔ４がＴ２に等しいときに
【数３９１】
2015201176.tif 000393
となるまで、前記サンプルデータから抽出した前記サブサンプルデータに応じて列の潜在変数の変分分布
【数３９２】
2015201176.tif 000394
を繰り返し更新し、所定の終了条件を満たし且つ
【数３９３】
2015201176.tif 000395
および
【数３９４】
2015201176.tif 000396
となるまで、
【数３９５】
2015201176.tif 000397
と
【数３９６】
2015201176.tif 000398
とを交互に更新するよう構成され、
【数３９７】
2015201176.tif 000399
は更新された行の潜在変数の変分分布を示し、
【数３９８】
2015201176.tif 000400
は更新された列の潜在変数の変分分布を示し、
前記第２取得サブユニットは、
式
【数３９９】
2015201176.tif 000401
および
【数４００】
2015201176.tif 000402
を用いて、前記更新された潜在変数の変分分布に応じて、更新されたモデルパラメータ
【数４０１】
2015201176.tif 000403
および
【数４０２】
2015201176.tif 000404
を取得し、式
【数４０３】
2015201176.tif 000405
を用いて、ｔ５がＴ３に等しいときに
【数４０４】
2015201176.tif 000406
となるまで、前記更新された潜在変数の変分分布と前記サンプルデータから抽出される前記サブサンプルデータとに応じて、モデルパラメータ
【数４０５】
2015201176.tif 000407
を繰り返し更新するよう構成され、
【数４０６】
2015201176.tif 000408
【数４０７】
2015201176.tif 000409
および
【数４０８】
2015201176.tif 000410
は更新されたモデルパラメータであり、
【数４０９】
2015201176.tif 000411
【数４１０】
2015201176.tif 000412
【数４１１】
2015201176.tif 000413
であり、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ５は現在のモデルパラメータの繰り返しの更新を示し、ｔ１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す付記２１から付記２３のいずれかに記載の装置。
【０１５６】
（付記２７）
前記第３取得サブユニットが、
以下の式
【数４１２】
2015201176.tif 000414
および
【数４１３】
2015201176.tif 000415
を用いて、前記サンプルデータから抽出される前記サブサンプルデータに応じて、モデルパラメータ
【数４１４】
2015201176.tif 000416
および
【数４１５】
2015201176.tif 000417
を取得し、式
【数４１６】
2015201176.tif 000418
を用いて、ｔ５がＴ’３に等しいときに
【数４１７】
2015201176.tif 000419
となるまで、前記サンプルデータから抽出される前記サブサンプルデータに応じて、モデルパラメータ
【数４１８】
2015201176.tif 000420
を繰り返し更新するよう構成され、
【数４１９】
2015201176.tif 000421
【数４２０】
2015201176.tif 000422
および
【数４２１】
2015201176.tif 000423
は更新されたモデルパラメータであり、
前記第４取得サブユニットは、
式
【数４２２】
2015201176.tif 000424
を用いて、ｔ３がＴ’１に等しいときに
【数４２３】
2015201176.tif 000425
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出される前記サブサンプルデータとに応じて、列の潜在変数の変分分布
【数４２４】
2015201176.tif 000426
を繰り返し更新し、式
【数４２５】
2015201176.tif 000427
を用いて、ｔ４がＴ’２に等しいときに
【数４２６】
2015201176.tif 000428
となるまで、前記更新されたモデルパラメータと前記サンプルデータから抽出した前記サブサンプルデータとに応じて、列の潜在変数の変分分布
【数４２７】
2015201176.tif 000429
を繰り返し更新するよう構成され、所定の終了条件を満たし且つ
【数４２８】
2015201176.tif 000430
および
【数４２９】
2015201176.tif 000431
となるまで
【数４３０】
2015201176.tif 000432
と
【数４３１】
2015201176.tif 000433
とを交互に更新するよう構成され、
【数４３２】
2015201176.tif 000434
は更新された行の潜在変数の変分分布を示し、
【数４３３】
2015201176.tif 000435
は更新された列の潜在変数の変分分布を示し、
【数４３４】
2015201176.tif 000436
【数４３５】
2015201176.tif 000437
【数４３６】
2015201176.tif 000438
であり、ｔ１は更新された潜在変数の変分分布と更新されたモデルパラメータの現在の取得を示し、ｔ１ｔ’２は現在の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新を示し、ｔ１ｔ２ｔ’３は現在の行の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ２ｔ’４は現在の列の潜在変数の変分分布の繰り返しの更新を示し、ｔ１ｔ’５は現在のモデルパラメータの繰り返しの更新を示し、ｔ’１−１は以前の更新された潜在変数の変分分布と更新されたモデルパラメータとの取得、または潜在変数の変分分布とモデルパラメータの初期化を示し、ｔ１ｔ’２−１は以前の行の潜在変数の変分分布と列の潜在変数の変分分布との交互の更新、または行の潜在変数の変分分布と列の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’３−１は以前の行の潜在変数の変分分布の繰り返しの更新または行の潜在変数の変分分布の初期化を示し、ｔ１ｔ２ｔ’４−１は以前の列の潜在変数の変分分布の繰り返しの更新または列の潜在変数の変分分布の初期化を示し、ｔ１ｔ’５−１は以前のモデルパラメータの更新またはモデルパラメータの初期化を示す付記２１、付記２４、付記２５のいずれかに記載の装置。
【０１５７】
（付記２８）
前記第３決定モジュールは、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された前記目的関数と、以前に更新された潜在変数の変分分布と以前に更新されたモデルパラメータとに応じて決定された以前に取得した目的関数と、の間の距離が、閾値よりも短いか否かを判別するよう構成された比較ユニットと、
前記更新された潜在変数の変分分布と前記更新されたモデルパラメータとに応じて決定された目的関数と、前記以前に取得した目的関数と、の間の前記距離が前記閾値よりも短い場合、前記目的関数が収束すると判別するよう構成された判別ユニットと、を備える付記２１から付記２７のいずれかに記載の装置。
【図１】
2015201176.tif 000447
【図２】
2015201176.tif 000448
【図３】
2015201176.tif 000449
【図４】
2015201176.tif 000450
【図５】
2015201176.tif 000451
【図６】
2015201176.tif 000452
【図７】
2015201176.tif 000453
【図８】
2015201176.tif 000454
【図９】
2015201176.tif 000455
【外国語明細書】
2015201176000001.pdf