(57)【特許請求の範囲】
【請求項１】
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つの第１のモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の第１の変分分布関数の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の第２の変分分布関数と第２のモデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記第２の変分分布関数と前記第２のモデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含み、
前記取得モジュールによって取得される前記対数尤度は、
【数１】
0005970578.tif 000140
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮｒＮｃは前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θは前記第１のモデルパラメータのセットを示し、前記第１のモデルパラメータはα，β，φを含み、α，βは各々、行の混合比ベクトルと列の混合比ベクトルであり、φはサンプルの各カテゴリ内のサブモデルパラメータを示す、
リレーショナルモデルを決定する装置。
【請求項２】
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つの第１のモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の第１の変分分布関数の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の第２の変分分布関数と第２のモデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記第２の変分分布関数と前記第２のモデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含み、
前記取得モジュールによって取得される前記正規化項は、
【数２】
0005970578.tif 000141
であり、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒはサンプルの行のカテゴリの数を示し、Ｋｃはサンプルの列のカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布関数の近似値を示し、ＺＲｉｋは、サンプルのｋ番目の行のカテゴリにおける、第ｉ行のサンプルデータの行の潜在変数を示し、ＺＣｊｌは、サンプルのｌ番目の列のカテゴリにおける、第ｊ列のサンプルデータの列の潜在変数を示し、α，βは各々、行の混合比ベクトルと列の混合比ベクトルを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌは、サンプルのｋ番目の行のカテゴリかつｌ番目の列のカテゴリ内のサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、ａは
【数３】
0005970578.tif 000142
を示し、ｂは
【数４】
0005970578.tif 000143
を示す、
リレーショナルモデルを決定する装置。
【請求項３】
前記取得モジュールによって取得される、前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
とを含み、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布関数を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布関数を示す請求項１または２に記載の装置。
【請求項４】
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つの第１のモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の第１の変分分布関数の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の第２の変分分布関数と第２のモデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記第２の変分分布関数と前記第２のモデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含み、
前記第１の決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数の期待値とに応じて、前記目的関数を決定するように構成されている、
リレーショナルモデルを決定する装置。
【請求項５】
前記第１の決定モジュールによって決定される前記目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数５】
0005970578.tif 000144
である請求項４に記載の装置。
【請求項６】
前記第２の決定モジュールは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布関数と、更新されたモデルパラメータとを取得するように構成された取得ユニットと、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布関数と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別するように構成された判別ユニットと、
を含み、
前記取得ユニットは、前記目的関数が収束しない場合は、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記第２の変分分布関数と前記第２のモデルパラメータとを取得するまで、前記サンプルデータから再度サブサンプルデータを抽出し、当該抽出されたサブサンプルデータに応じて、再度、前記少なくとも２つの潜在変数の各々の更新された変分分布関数と、更新されたモデルパラメータとを取得するように構成されている、
請求項５に記載の装置。
【請求項７】
前記取得ユニットは、
次の式を使って、前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の変分分布関数の中間値ｑ＾（ＺＲＩｍｋ）、ｑ＾（ＺＣＪｎｌ）を取得し、
【数６】
0005970578.tif 000145
【数７】
0005970578.tif 000146
次の式を使って、前記少なくとも２つの潜在変数の各々の前記変分分布関数の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の前記更新された変分分布関数ｑｔｒ（ＺＲＩｍ）、ｑｔｃ（ＺＣＪｎ）を取得するように構成された第１の取得サブユニットを含み、
【数８】
0005970578.tif 000147
【数９】
0005970578.tif 000148
ここで、ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとは前記サンプルデータの行のサンプルデータから抽出されたサンプルデータの集合を示し、ＵｃとＵ’ｃとは前記サンプルデータの列のサンプルデータから抽出されたサンプルデータの集合を示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒは、ＺＲＩｍの変分分布関数の更新ステップの大きさを示し、ρｔｃｃは、ＺＣＪｎの変分分布関数の更新ステップの大きさを示し、
前記取得ユニットは、更に、
次の式を使って、前記少なくとも２つの潜在変数の各々の前記更新された変分分布関数に応じて、モデルパラメータの中間値α’ｋ、β’ｌ、φ’ｋｌ、φ’’ｋｌを決定するように構成された第１の決定サブユニットと、
【数１０】
0005970578.tif 000149
【数１１】
0005970578.tif 000150
【数１２】
0005970578.tif 000151
【数１３】
0005970578.tif 000152
次の式を使って、前記モデルパラメータの前記中間値に応じて、前記更新されたモデルパラメータαｔ、βｔ、φｔを取得するように構成された第２の取得サブユニットと、
を含み、
【数１４】
0005970578.tif 000153
【数１５】
0005970578.tif 000154
【数１６】
0005970578.tif 000155
ρｔは、前記今回の取得の更新ステップの大きさを示す、
請求項６に記載の装置。
【請求項８】
コンピュータに、
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つの第１のモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の第１の変分分布関数の対数とを取得する機能と、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数とに応じて、目的関数を決定する機能と、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の第２の変分分布関数と第２のモデルパラメータとを決定する機能と、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記第２の変分分布関数と前記第２のモデルパラメータとに応じて、リレーショナルモデルを決定する機能と、
を実現させるためのプログラムであり、
前記取得する機能によって取得される前記対数尤度は、
【数１７】
0005970578.tif 000156
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮｒＮｃは前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θは前記第１のモデルパラメータのセットを示し、前記第１のモデルパラメータはα，β，φを含み、α，βは各々、行の混合比ベクトルと列の混合比ベクトルであり、φはサンプルの各カテゴリ内のサブモデルパラメータを示す、
プログラム。
【請求項９】
コンピュータに、
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つの第１のモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の第１の変分分布関数の対数とを取得する機能と、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数とに応じて、目的関数を決定する機能と、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の第２の変分分布関数と第２のモデルパラメータとを決定する機能と、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記第２の変分分布関数と前記第２のモデルパラメータとに応じて、リレーショナルモデルを決定する機能と、
を実現させるためのプログラムであり、
前記取得する機能によって取得される前記正規化項は、
【数１８】
0005970578.tif 000157
であり、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒはサンプルの行のカテゴリの数を示し、Ｋｃはサンプルの列のカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布関数の近似値を示し、ＺＲｉｋは、サンプルのｋ番目の行のカテゴリにおける、第ｉ行のサンプルデータの行の潜在変数を示し、ＺＣｊｌは、サンプルのｌ番目の列のカテゴリにおける、第ｊ列のサンプルデータの列の潜在変数を示し、α，βは各々、行の混合比ベクトルと列の混合比ベクトルを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌは、サンプルのｋ番目の行のカテゴリかつｌ番目の列のカテゴリ内のサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、ａは
【数１９】
0005970578.tif 000158
を示し、ｂは
【数２０】
0005970578.tif 000159
を示す、
プログラム。
【請求項１０】
コンピュータに、
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つの第１のモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の第１の変分分布関数の対数とを取得する機能と、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数とに応じて、目的関数を決定する機能と、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の第２の変分分布関数と第２のモデルパラメータとを決定する機能と、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記第２の変分分布関数と前記第２のモデルパラメータとに応じて、リレーショナルモデルを決定する機能と、
を実現させるためのプログラムであり、
前記目的関数を決定する機能は、前記対数尤度の期待値と前記正規化項の期待値と前記少なくとも２つの潜在変数の各々の前記第１の変分分布関数の前記対数の期待値とに応じて、前記目的関数を決定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、統計の技術分野に、とりわけ、リレーショナルモデルを決定する方法と装置に関する。
【背景技術】
【０００２】
統計技術の継続的な発達に伴い、オブジェクト間の関連性情報に対するモデリングが、注目の話題になっている。オブジェクト間には、例えば、社会的ネットワーク内の人々の間のコンタクト情報、インターネット上のページ間のリンク関連性情報など様々な関連性情報が存在する。様々な関連性情報は１つのカテゴリー内のオブジェクト間、または複数のカテゴリー内のオブジェクト間の相互関連性を表し、そして、関連性情報の分析によって、より価値ある情報が取得される可能性がある。したがって、関連性情報に基づいた実社会アプリケーションは、近年真っ盛りである。関連性情報を分析するために、モデル駆動型の方法が広く使用されている。リレーショナルモデリングに対する重要な動機づけの１つは、リレーショナルネットワークの根底にある潜在的なグループ構造を明らかにすることである（エンティティを、それらの連結性に基づき、いくつかのグループに分割する）。例えば、映画会社が上映にあたり映画についてのユーザーのコメントを取得することを望むならば、同社は種々の映画に対するユーザーの評価を集め、ユーザーと映画を、リレーショナルモデルを使って、種々のグループに分割する。このように、ユーザーと映画と評価に対し同時のクラスタリングが成し遂げられ、クラスタリング結果は更なる分析に使用される。
【０００３】
実際には、リレーショナルモデルは、潜在変数の変分分布とモデルパラメータとにより決定される。潜在変数とは、直接的には観察できないが、サンプルデータを用いた推論により取得されうる変数をいう。潜在変数の変分分布は、サンプルデータが特定のカテゴリーに分けられる可能性を表すのに用いられる。モデルパラメータは、各カテゴリーのサブモデルのパラメータを表すのに用いられる。リレーショナルモデルを決定するのに現在使われている方法は、大部分は変分推論に基づく。しかし、変分推論のプロセスでは、各サンプルデータを計算する必要がある。結果的に、大量のサンプルデータの処理効率は低い。したがって、大量のサンプルデータに関して迅速にリレーショナルモデルを決定する方法は、リレーション・クラスタリングの研究において重大な問題である。
【０００４】
「重なり合う共同体の拡張性のある推論（Ｓｃａｌａｂｌｅ  ｉｎｆｅｒｅｎｃｅ  ｏｆ  ｏｖｅｒｌａｐｐｉｎｇ  ｃｏｍｍｕｎｉｔｉｅｓ）［ゴーパーラン（Ｇｏｐａｌａｎ）ほか、ＮＩＰＳ、２０１２］という論文は、大規模なネットワークデータに関して潜在変数の変分分布とモデルパラメータとを決定する方法を開示している。当該方法によると、まず、サンプルデータと、潜在変数と、モデルパラメータとに応じて、対数尤度と潜在変数の変分分布の対数とを計算し、次に、対数尤度と潜在変数の変分分布の対数に応じて、目的関数が決定され、最後に、目的関数を収束させることが可能な潜在変数の変分分布とモデルパラメータとが、サンプルデータからランダムに抽出されたサブサンプルデータに応じて決定される。目的関数を収束させることが可能な潜在変数の変分分布とモデルパラメータとは、リレーショナルモデルを決定するために使われる潜在変数の変分分布とモデルパラメータとして使用されても良い。
【０００５】
当該開示の前記プロセスにおいて、発明者は、従来技術が以下の課題を有することを見出している。
【０００６】
リレーショナルモデルを決定する上記方法は、大規模なネットワークデータに限定される。したがって、サブサンプルデータに応じて潜在変数の変分分布とモデルパラメータとを決定する方法がリレーショナルモデルを決定する速度を上げるが、ネットワーク・データは１つのカテゴリー内のオブジェクトの相互関連性であり、すなわち、１つの潜在変数が使用される。結果的に、上記方法によって取得される潜在変数の変分分布とモデルパラメータとに応じて取得されるリレーショナルモデルの適用範囲は限定的である。更に、目的関数が、対数尤度と潜在変数の変分分布の対数とに応じて決定されるので、目的関数に応じて決定されるリレーショナルモデルの複雑性が高い。
【発明の概要】
【課題を解決するための手段】
【０００７】
従来技術の技術的課題を解決するために、本開示の実施形態は、リレーショナルモデルを決定する方法と装置を提供する。技術的な解決方法は以下の通りである。
【０００８】
第１の観点では、リレーショナルモデルを決定する方法が提供される。前記方法は、
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の変分分布の対数とを取得することと、前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の変分分布の前記対数とに応じて、目的関数を決定することと、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数を収束させることが可能な、前記少なくとも２つの潜在変数の各々の変分分布と、前記モデルパラメータとを決定することと、前記目的関数を収束させることが可能な、前記少なくとも２つの潜在変数の各々の前記変分分布と前記モデルパラメータとに応じて、リレーショナルモデルを決定することとを含む。
【０００９】
第１の観点に関して、第１の観点の第１のありうる具体化において、前記サンプルデータと、前記少なくとも２つの潜在変数と、前記モデルパラメータとに応じて決定される前記対数尤度は、
【数１】
0005970578.tif 000002
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮｒＮｃは前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示す。
【００１０】
第１の観点に関して、第１の観点の第２のありうる具体化において、前記サンプルデータと、前記少なくとも２つの潜在変数と、前記モデルパラメータとに応じて決定される前記正規化項は、
【数２】
0005970578.tif 000003
であり、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｑ〜（  ）は前記潜在変数の変分分布の近似値を示し、ＺＲｉｋは、ｋ番目のサンプルカテゴリのｉ番目の行サンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目のサンプルカテゴリのｊ番目の列サンプルデータの列の潜在変数を示し、α，βは各々、行の混合比と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌはｋ番目の列でｌ番目の行サンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、ａは
【数３】
0005970578.tif 000004
を示し、ｂは
【数４】
0005970578.tif 000005
を示す。
【００１１】
第１の観点に関して、第１の観点の第３のありうる具体化において、前記サンプルデータと、前記少なくとも２つの潜在変数と、前記モデルパラメータとに応じて決定される、前記少なくとも２つの潜在変数の各々の変分分布の前記対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
とを含み、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【００１２】
第１の観点から、第１の観点の第３のありうる具体化までの、ありうる具体化のいずれかに関して、第１の観点の第４のありうる具体化において、前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の変分分布の前記対数とに応じて、目的関数を決定することは、
前記対数尤度の期待値と前記正規化項の期待値と前記少なくとも２つの潜在変数の各々の変分分布の前記対数の期待値とに応じて、前記目的関数を決定することを含む。
【００１３】
第１の観点の第４のありうる具体化に関して、第１の観点の第５のありうる具体化において、前記対数尤度の前記期待値と前記正規化項の前記期待値と前記少なくとも２つの潜在変数の各々の変分分布の前記対数の前記期待値とに応じて決定される前記目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数５】
0005970578.tif 000006
である。
【００１４】
第１の観点の第５のありうる具体化に関して、第１の観点の第６のありうる具体化において、前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と前記モデルパラメータとを決定することは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得することと、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別することと、前記目的関数が収束しない場合は、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と、前記モデルパラメータとを取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得することとを含む。
【００１５】
第１の観点の第６のありうる具体化に関して、第１の観点の第７のありうる具体化において、前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得することは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記潜在変数の各々の前記変分分布の中間値を取得することと、前記潜在変数の各々の前記変分分布の前記中間値に応じて、前記潜在変数の各々の更新された変分分布を取得することと、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定することと、前記モデルパラメータの前記中間値に応じて、前記更新されたモデルパラメータを取得することとを含む。
【００１６】
第１の観点の第７のありうる具体化に関して、第１の観点の第８のありうる具体化において、前記方法は、更に、前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定することに先立って実行される、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうか判別することと、前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束しない場合は、前記少なくとも２つの潜在変数の各々の更新され収束した変分分布を取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得することと、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布を再取得することとを含み、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定することは、
前記少なくとも２つの潜在変数の各々の前記更新され収束した変分分布に応じて、前記モデルパラメータの前記中間値を決定することを含む。
【００１７】
第１の観点の第７または第８のありうる具体化に関して、第１の観点の第９のありうる具体化において、前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得することは、
次の式を使って、前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値を取得することと、
【数６】
0005970578.tif 000007
【数７】
0005970578.tif 000008
次の式を使って、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の前記更新された変分分布を取得することと、
【数８】
0005970578.tif 000009
【数９】
0005970578.tif 000010
を含み、ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとは前記サンプルデータの行サンプルデータから抽出されたサンプルデータのセットを示し、ＵｃとＵ’ｃとは前記サンプルデータの列サンプルデータから抽出されたサンプルデータのセットを示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒはＺＲＩｍの変分分布の更新ステップを示し、ρｔｃｃはＺＣＪｎの変分分布の更新ステップを示す。
【００１８】
第１の観点の第９のありうる具体化に関して、第１の観点の第１０のありうる具体化において、前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を前記決定することは、
次の式を使って、前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの前記中間値を決定することを含み、
【数１０】
0005970578.tif 000011
【数１１】
0005970578.tif 000012
【数１２】
0005970578.tif 000013
【数１３】
0005970578.tif 000014
前記モデルパラメータの前記中間値に応じて、更新されたモデルパラメータを前記取得することは、
次の式を使って、前記モデルパラメータの前記中間値に応じて、前記更新されたモデルパラメータを取得することを含み、
【数１４】
0005970578.tif 000015
【数１５】
0005970578.tif 000016
【数１６】
0005970578.tif 000017
ρｔは、前記今回の取得の更新ステップを示す。
【００１９】
第１の観点の第８のありうる具体化に関して、第１の観点の第１１のありうる具体化において、前記方法は、更に、前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうかを前記判別することに先立って実行される、
前記サンプルデータから抽出された前記サブサンプルデータと、前記目的関数とに応じて決定される、前記少なくとも２つの潜在変数の各々に対応する確率関数を取得することを含み、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうか前記判別することは、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記少なくとも２つの潜在変数の各々に対応する前記確率関数が収束するかどうか判別することと、いずれかの潜在変数に対応する確率関数が収束しない場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束しないと判別することと、いずれかの潜在変数に対応する確率関数が収束する場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束すると判別することとを含む。
【００２０】
第１の観点の第１１のありうる具体化に関して、第１の観点の第１２のありうる具体化において、前記サンプルデータから抽出された前記サブサンプルデータと、前記目的関数とに応じて決定される、前記少なくとも２つの潜在変数の各々に対応する前記確率関数は、
【数１７】
0005970578.tif 000018
と、
【数１８】
0005970578.tif 000019
とを含み、ＦＩＣＬＢＩ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は行の潜在変数ＺＲに対応する確率関数を示し、ＦＩＣＬＢＪ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は列の潜在変数ＺＣに対応する確率関数を示す。
【００２１】
第２の観点では、リレーショナルモデルを決定する装置が提供される。前記装置は、
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の変分分布の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の変分分布の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と前記モデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記変分分布と前記モデルパラメータとに応じて、前記リレーショナルモデルを決定するように構成された第３の決定モジュールと
を含む。
【００２２】
第２の観点に関して、第２の観点の第１の具体化において、前記取得モジュールによって取得される前記対数尤度は、
【数１９】
0005970578.tif 000020
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率の密度関数を示し、ｘＮｒＮｃは前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示す。
【００２３】
第２の観点に関して、第２の観点の第２の具体化において、前記取得モジュールによって取得される前記正規化項は、
【数２０】
0005970578.tif 000021
であり、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｑ〜（  ）は前記潜在変数の変分分布の近似値を示し、ＺＲｉｋはｋ番目のサンプルカテゴリのｉ番目の行サンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目のサンプルカテゴリのｊ番目の列サンプルデータの列の潜在変数を示し、α，βは各々、行の混合比と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌはｋ番目の列でｌ番目の行サンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、ａは
【数２１】
0005970578.tif 000022
を示し、ｂは
【数２２】
0005970578.tif 000023
を示す。
【００２４】
第２の観点に関して、第２の観点の第３の具体化において、前記取得モジュールによって取得される前記少なくとも２つの潜在変数の各々の変分分布の前記対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
とを含み、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【００２５】
第２の観点から、第２の観点の第３のありうる具体化までの、ありうる具体化のいずれかに関して、第２の観点の第４のありうる具体化において、前記第１の決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と前記少なくとも２つの潜在変数の各々の変分分布の前記対数の期待値とに応じて、前記目的関数を決定するように構成されている。
【００２６】
第２の観点の第４のありうる具体化に関して、第２の観点の第５の具体化において、前記第１の決定モジュールによって決定される前記目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数２３】
0005970578.tif 000024
である。
【００２７】
第２の観点の第５のありうる具体化に関して、第２の観点の第６の具体化において、前記第２の決定モジュールは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得するように構成された取得ユニットと、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別するように構成された判別ユニットと
を含み、
前記取得モジュールは、前記目的関数が収束しない場合は、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と、前記モデルパラメータとを取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得するように構成されている。
【００２８】
第２の観点の第６のありうる具体化に関して、第２の観点の第７の具体化において、前記取得モジュールは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得し、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の前記更新された変分分布を取得するように構成された第１の取得サブユニットと、
前記少なくとも２つの潜在変数の各々の収束した前記更新された変分分布に応じて、前記モデルパラメータの前記中間値を決定するように構成された第１の決定サブユニットと、
前記中間値に応じて、前記更新されたモデルパラメータを取得するように構成された第２の取得サブユニットと
を含む。
【００２９】
第２の観点の第７のありうる具体化に関して、第２の観点の第８のありうる具体化において、前記取得モジュールは、更に、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうか判別するように構成された第２の判別サブユニットを含み、
前記第１の取得サブユニットは、前記潜在変数の各々の前記更新された変分分布が収束しない場合は、前記潜在変数の各々の更新され収束した変分分布を取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記潜在変数の各々の前記変分分布の前記中間値を取得するように構成され、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布を再取得し、
前記第１の決定サブユニットは、前記少なくとも２つの潜在変数の各々の前記更新され収束した変分分布に応じて、前記モデルパラメータの前記中間値を決定するように構成されている。
【００３０】
第２の観点の第７または第８のありうる具体化に関して、第２の観点の第９の具体化において、前記取得ユニットは、次の式を使って、前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値を取得し、
【数２４】
0005970578.tif 000025
【数２５】
0005970578.tif 000026
次の式を使って、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の前記更新された変分分布を取得するように構成されており、
【数２６】
0005970578.tif 000027
【数２７】
0005970578.tif 000028
ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとは前記サンプルデータの行サンプルデータから抽出されたサンプルデータのセットを示し、ＵｃとＵ’ｃとは前記サンプルデータの列サンプルデータから抽出されたサンプルデータのセットを示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒは、ＺＲＩｍの変分分布の更新ステップを示し、ρｔｃｃは、ＺＣＪｎの変分分布の更新ステップを示す。
【００３１】
第２の観点の第９の具体化に関して、第２の観点の第１０のありうる具体化において、前記第１の決定サブユニットは、次の式を使って、前記少なくとも２つの潜在変数の各々の前記更新され収束した変分分布に応じて、前記モデルパラメータの前記中間値を決定するように構成されており、
【数２８】
0005970578.tif 000029
【数２９】
0005970578.tif 000030
【数３０】
0005970578.tif 000031
【数３１】
0005970578.tif 000032
前記第１の取得サブユニットは、次の式を使って、前記中間値に応じて、前記更新されたモデルパラメータを取得するように構成されており、
【数３２】
0005970578.tif 000033
【数３３】
0005970578.tif 000034
【数３４】
0005970578.tif 000035
ρｔは、前記今回の取得の更新ステップを示す。
【００３２】
第２の観点の第８のありうる具体化に関して、第２の観点の第１１の具体化において、前記取得モジュールは、更に、
前記サンプルデータから抽出された前記サブサンプルデータと、前記目的関数とに応じて決定される、前記少なくとも２つの潜在変数の各々に対応する確率関数を取得するように構成された第３の取得サブユニットを含み、
前記第２の判別サブユニットは、前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記少なくとも２つの潜在変数の各々に対応する前記確率関数が収束するかどうか判別し、いずれかの潜在変数に対応する確率関数が収束しない場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束しないと判別し、いずれかの潜在変数に対応する確率関数が収束する場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束すると判別するように構成されている。
【００３３】
第２の観点の第１１のありうる具体化に関して、第２の観点の第１２のありうる具体化において、前記第２の取得サブユニットによって取得された前記少なくとも２つの潜在変数の各々に対応する前記確率関数は、
【数３５】
0005970578.tif 000036
と、
【数３６】
0005970578.tif 000037
とを含み、ＦＩＣＬＢＩ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は行の潜在変数ＺＲに対応する確率関数を示し、ＦＩＣＬＢＪ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は列の潜在変数ＺＣに対応する確率関数を示す。
【００３４】
本開示の実施形態で提供される技術的解決方法は、以下の有益な効果を成し遂げる。
【００３５】
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得することと、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とに応じて目的関数を決定することによって、目的関数を収束させることが可能であり、かつサンプルデータから抽出されたサブサンプルデータに応じて決定される、少なくとも２つの潜在変数の各々の変分分布と、少なくとも１つのモデルパラメータとに応じて決定されるリレーショナルモデルは、オブジェクトの２以上のカテゴリー間の相互関連性の分析に適用可能である。それにより、リレーショナルモデルの適用範囲を拡張する。更に、正規化項を目的関数に導入することによって、決定されるリレーショナルモデルの複雑性は、自動的に制御される。
【００３６】
本開示の実施形態の技術的解決方法をより理解できるように、実施形態を示す添付図面を、以下で簡単に説明する。明らかに、以下の説明の添付図面は本開示の実施形態のみを示しており、当業者は、創造的努力なしで、これらの添付図面に基づく他の添付図面を導き出す可能性がある。
【図面の簡単な説明】
【００３７】
【図１】本開示の第１の実施形態に関して、リレーショナルモデルを決定する方法のフローチャートである。
【図２】本開示の第２の実施形態に関して、リレーショナルモデルを決定する方法のフローチャートである。
【図３】本開示の第３の実施形態に関して、リレーショナルモデルを決定する装置の概略構成図である。
【図４】本開示の第３の実施形態に関して、第２の決定モジュールの概略構成図である。
【図５】本開示の第３の実施形態に関して、第１の取得ユニットの概略構成図である。
【図６】本開示の第３の実施形態に関して、第２の取得ユニットの概略構成図である。
【図７】本開示の第３の実施形態に関して、第３の取得ユニットの概略構成図である。
【発明を実施するための形態】
【００３８】
本開示の目的と、技術的解決方法と、利点とを、より明らかにするために、添付図面を参照して、本開示の実施形態を以下で詳細に記述する。
【００３９】
実施形態１
本開示の実施形態は、リレーショナルモデルを決定する方法を提供する。図１を参照して、方法は以下のステップを含む。
【００４０】
ステップ１０１：サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得することと、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とに応じて目的関数を決定すること。
【００４１】
任意の実施形態として、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される対数尤度は、
【数３７】
0005970578.tif 000038
であり、ｌｏｇｐ（  ）は対数尤度を示し、ｐは同時確率の密度関数を示し、ｘＮｒＮｃは前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示す。
【００４２】
任意の実施形態として、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される正規化項は、
【数３８】
0005970578.tif 000039
であり、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布の近似値を示し、ＺＲｉｋは、ｋ番目のサンプルカテゴリのｉ番目の行サンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目のサンプルカテゴリのｊ番目の列サンプルデータの列の潜在変数を示し、α，βは各々、行の混合比と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌはｋ番目の列でｌ番目の行サンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。ここで、ａは
【数３９】
0005970578.tif 000040
を示し、ｂは
【数４０】
0005970578.tif 000041
を示す。
【００４３】
任意の実施形態として、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、少なくとも２つの潜在変数の各々の変分分布の対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
とを含む。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【００４４】
任意の実施形態として、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とに応じて、目的関数を決定することは、
対数尤度の期待値と正規化項の期待値と少なくとも２つの潜在変数の各々の変分分布の対数の期待値とに応じて、目的関数を決定することを含む。
【００４５】
任意の実施形態として、対数尤度の期待値と正規化項の期待値と少なくとも２つの潜在変数の各々の変分分布の対数の期待値とに応じて決定される目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数４１】
0005970578.tif 000042
である。
【００４６】
ステップ１０２：サンプルデータから抽出されたサブサンプルデータに応じて、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布と、モデルパラメータとを決定することと、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布と、モデルパラメータとに応じて、リレーショナルモデルを決定すること。
【００４７】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布と、モデルパラメータとを決定することは、
サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得することと、
少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別することと、目的関数が収束しない場合は、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとを取得するまで、サンプルデータから抽出されたサブサンプルデータに応じて、再度、潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得することとを含む。
【００４８】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得することは、
サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することと、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を取得することと、
少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定することと、モデルパラメータの中間値に応じて、更新されたモデルパラメータを取得することとを含む。
【００４９】
任意の実施形態として、方法は、更に、少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定するより前に実行される、
少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか判別することと、少なくとも２つの潜在変数の各々の更新された変分分布が収束しない場合は、少なくとも２つの潜在変数の各々の更新され収束した変分分布を取得するまで、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することと、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を再取得することとを含み、
少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定することは、
少なくとも２つの潜在変数の各々の更新され収束した変分分布に応じて、モデルパラメータの中間値を決定することを含む。
【００５０】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することは、
次の式を使って、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することと、
【数４２】
0005970578.tif 000043
【数４３】
0005970578.tif 000044
次の式を使って、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を取得することとを含む。
【数４４】
0005970578.tif 000045
【数４５】
0005970578.tif 000046
ここで、ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとはサンプルデータの行サンプルデータから抽出されたサンプルデータのセットを示し、ＵｃとＵ’ｃとは、サンプルデータの列サンプルデータから抽出されたサンプルデータのセットを示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒはＺＲＩｍの変分分布の更新ステップ・サイズを示し、ρｔｃｃはＺＣＪｎの変分分布の更新ステップ・サイズを示す。
【００５１】
任意の実施形態として、少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定することは、
次の式を使って、少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定することを含み、
【数４６】
0005970578.tif 000047
【数４７】
0005970578.tif 000048
【数４８】
0005970578.tif 000049
【数４９】
0005970578.tif 000050
モデルパラメータの中間値に応じて、更新されたモデルパラメータを取得することは、
次の式を使って、モデルパラメータの中間値に応じて、更新されたモデルパラメータを取得することを含む。
【数５０】
0005970578.tif 000051
【数５１】
0005970578.tif 000052
【数５２】
0005970578.tif 000053
ここで、ρｔは、今回の取得の更新ステップ・サイズを示す。
【００５２】
任意の実施形態として、方法は、更に、少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうかを判別するより前に実行される、
サンプルデータから抽出されたサブサンプルデータと、目的関数とに応じて決定される、少なくとも２つの潜在変数の各々に対応する確率関数を取得することを含み、
少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか判別することは、
少なくとも２つの潜在変数の各々の更新された変分分布に応じて、少なくとも２つの潜在変数の各々に対応する確率関数が収束するかどうか判別することと、いずれかの潜在変数に対応する確率関数が収束しない場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束しないと判別することと、いずれかの潜在変数に対応する確率関数が収束する場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束すると判別することとを含む。
【００５３】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータと、目的関数とに応じて決定される、少なくとも２つの潜在変数の各々に対応する確率関数は、
【数５３】
0005970578.tif 000054
と、
【数５４】
0005970578.tif 000055
とを含む。ここで、ＦＩＣＬＢＩ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は行の潜在変数ＺＲに対応する確率関数を示し、ＦＩＣＬＢＪ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は列の潜在変数ＺＣに対応する確率関数を示す。
【００５４】
この実施形態で提供される方法に関して、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得することと、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とに応じて目的関数を決定することとによって、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとに応じて決定されるリレーショナルモデルは、オブジェクトの２以上のカテゴリー間の相互関連性の分析に適用可能である。それにより、リレーショナルモデルの適用範囲を拡張する。更に、正規化項を目的関数に導入することによって、決定されるリレーショナルモデルの複雑性は自動的に制御され、リレーショナルモデルの決定における効率と精度は改善される。更に、潜在変数とモデルパラメータとが従属関係におかれているので、潜在変数の変分分布とモデルパラメータとの推定は、より高精度である。
【００５５】
実施形態２
本開示の実施形態は、リレーショナルモデルを決定する方法を提供する。上記の実施形態の説明と関連して、この実施形態で提供される方法を詳細に説明する。図２を参照して、方法は以下のステップを含む。
【００５６】
ステップ２０１：サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得すること。
【００５７】
この実施形態は、サンプルデータの内容と次元に何ら限定を与えるものではない。具体的な実施において、サンプルデータは複数のユーザーが映画に対してつけた得点であっても良く、この場合、サンプルデータの次元は２でも良い。つまり、統計の収集は、ユーザーと映画の次元で、得点に対し実行される。とは言え、上記内容と次元のほかに、サンプルデータは、他の内容と次元を使用しても良い。
【００５８】
理解を容易にするために、例として以下のサンプルデータを用いて説明する。サンプルデータを５×５の行列形式で示し、行列の行はユーザー１〜５を示し、行列の列は映画１〜５を示し、行列の要素ｘｉｊは、ユーザーｉが映画ｊに対し、つけた得点を示す。ここで、１≦ｉ≦５，１≦ｊ≦５であり、ｉとｊは共に整数である。
【数５５】
0005970578.tif 000056
【００５９】
モデルパラメータは、各サンプルカテゴリの、行の混合比と、列の混合比と、サブモデルパラメータとを含むが、これに限定されない。この実施形態は、モデルパラメータの具体的な内容に何ら限定を与えるものではない。例として行列形式サンプルデータを使うと、行の混合比とは、決定されるリレーショナルモデルの各サンプルカテゴリの行列の行の数、対、決定されるリレーショナルモデルの行列の行の総数の割合であり、列の混合比とは、決定されるリレーショナルモデルの各サンプルカテゴリの行列の列の数、対、決定されるリレーショナルモデルの行列の行の総数の割合であり、各サンプルカテゴリのサブモデルパラメータは、決定されるリレーショナルモデルの各サンプルカテゴリのデータ分布のパラメータである。
【００６０】
潜在変数とモデルパラメータとは互いに独立であっても良いし、従属関係におかれているものであっても良いという点に留意すべきである。実際には、潜在変数とモデルパラメータとは相関的であるので、決定されるリレーショナルモデルをより高精度にするために、この実施形態では、例として、潜在変数とモデルパラメータとが従属関係におかれている場合を用いて説明する。更に、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータに応じて決定される、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得するために、本実施形態で提供される方法は、まず、同時確率の密度関数を導入する。
【数５６】
0005970578.tif 000057
【００６１】
上記関数では、ｐは同時確率の密度関数を示し、ｘＮｒＮｃはサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｘｉｊはｉ番目の行でｊ番目の列のサンプルデータを示し、ＺＲｉｋは、サンプルデータｘｉｊがｋ番目の行サンプルカテゴリに属するかどうかを示し、ＺＣｊｌは、サンプルデータｘｉｊがｌ番目の列サンプルカテゴリに属するかどうかを示し、αｋは、ｋ番目の行サンプルカテゴリの行の混合比を示し、βｌは、ｌ番目の列サンプルカテゴリの列の混合比を示す。
【００６２】
同時確率の密度関数は、リレーショナルモデルの確率密度分布を決定する。一旦、同時確率の密度関数のモデルパラメータα，β，φと潜在変数ＺＲ，ＺＣとが決定されると、リレーショナルモデルの確率密度分布が決定され、従って、リレーショナルモデルが決定される。同時確率の密度関数を可解にするために、次の対数尤度を取得するために、関数の両端で、それぞれ対数がとられる。
【数５７】
0005970578.tif 000058
【００６３】
任意の実施形態として、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される対数尤度は、
【数５８】
0005970578.tif 000059
である。ここで、ｌｏｇｐ（  ）は対数尤度を示し、ｐは同時確率の密度関数を示し、ｘＮｒＮｃはサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示す。
【００６４】
具体的に言うと、サンプルデータｘＮｒＮｃが行列で示される場合、Ｎｒは行列の行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ＺＲはＮｒ＊Ｋｒ変数ブロック行列を示す。ここで、ＺＲの各要素に関しては、ＺＲｉｋ∈｛０，１｝であり、ＺＲｉｋ＝１の場合は、当該要素は、サンプルデータｘｉｊがｋ番目の行サンプルカテゴリに属することを示す。ＺＣはＮＣ＊ＫＣ変数ブロック行列を示す。ここで、ＺＣの各要素に関しては、ＺＣｊｌ∈｛０，１｝であり、ＺＣｊｌ＝１の場合は、当該要素は、サンプルデータｘｉｊがｌ番目の列サンプルカテゴリに属することを示す。行の混合比αは、リレーショナルモデルの各行サンプルカテゴリの行の数、対、サンプルデータ行列の行の総数の割合であり、列の混合比βは、リレーショナルモデルの各列サンプルカテゴリの列の数、対、サンプルデータ行列の列の総数の割合であり、各サンプルカテゴリのサブモデルパラメータφは、リレーショナルモデルの各サンプルカテゴリのサンプルデータの分布のパラメータである。例えば、各サンプルカテゴリのサンプルデータがガウス分布に従う場合、φはガウス分布の期待値μと分散δとを示す。更に例えば、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、φはポアソン分布の期待値λと分散λとを示す。上記分布のほかに、各サンプルカテゴリのサンプルデータは他の分布に従うものでも良く、この実施形態に限定されない、という点に留意すべきである。
【００６５】
任意の実施形態として、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータに応じて決定される正規化項は、
【数５９】
0005970578.tif 000060
である。ここで、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布の近似値を示し、ＺＲｉｋは、ｋ番目の行サンプルカテゴリのｉ番目の行サンプルデータの行の潜在変数を示し、ＺＣｊｌは、ｌ番目の列サンプルカテゴリのｊ番目の列サンプルデータの列の潜在変数を示し、α，βは各々、行の混合比と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌはｋ番目の行でｌ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。ここで、ａは
【数６０】
0005970578.tif 000061
を示し、ｂは
【数６１】
0005970578.tif 000062
を示す。それゆえ、正規化項は、
【数６２】
0005970578.tif 000063
と展開しても良い。
【００６６】
具体的に言うと、Ｋｒが変数ブロック行列ＺＲの行サンプルカテゴリの数を示す場合、
Ｄα＝Ｄ（α）＝Ｋｒ−１
であり、Ｋｃが変数ブロック行列ＺＣの列サンプルカテゴリの数を示す場合、
Ｄβ＝Ｄ（β）＝Ｋｃ−１
であり、各サンプルカテゴリのサンプルデータがガウス分布に従う場合、ガウス分布の期待値と分散とは各々μとδ、すなわち、ガウス分布で得られるパラメータは２つなので、
Ｄｋｌ＝Ｄ（φｋｌ）＝２
であり、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、ポアソン分布の期待値と分散は共にλ、すなわち、ポアソン分布で得られるパラメータはλ１つのみなので、
Ｄｋｌ＝Ｄ（φｋｌ）＝１
である。
【００６７】
更に、この実施形態は、潜在変数の変分分布の近似値ｑ〜（  ）に何ら限定を与えるものではなく、潜在変数の変分分布が目的関数を収束させ損なった場合の、前回の取得または初期設定で取得された潜在変数の更新された変分分布の値を含むが、これに限らない。理解を容易にするために、この実施形態では、例として、前回の取得または初期設定で取得された潜在変数の更新された変分分布の値が、潜在変数の変分分布の近似値ｑ〜（  ）を示すのに用いられる場合を使って説明する。正規化項が最初に決定される場合は、潜在変数の変分分布の近似値は、初期設定で取得された潜在変数の更新された変分分布の値であっても良く、正規化項が最初に決定されない場合は、潜在変数の変分分布の近似値は、前回の取得で取得された潜在変数の更新された変分分布の値であっても良い。
【００６８】
正規化項を使うことで、決定されるリレーショナルモデルの複雑性は自動的に制御される可能性があり、リレーショナルモデルの決定における効率と精度は改善される、という点に留意すべきである。
【００６９】
任意の実施形態として、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、少なくとも２つの潜在変数の各々の変分分布の対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
である。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【００７０】
具体的に言うと、行の潜在変数ＺＲの変分分布は、
【数６３】
0005970578.tif 000064
で示されても良いし、列の潜在変数ＺＣの変分分布は、
【数６４】
0005970578.tif 000065
で示されても良い。
【００７１】
ステップ２０２：対数尤度の期待値と、正規化項の期待値と、少なくとも２つの潜在変数の各々の変分分布の対数の期待値とに応じて、目的関数を決定すること。
【００７２】
ステップ２０１では、対数尤度は因数分解の形で示される。対数を可解にするために、コンパクトな下限を取得するために、各因数はラプラス近似に属する。すなわち、因子化情報量基準（Ｆａｃｔｏｒｉｚｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｒｉｔｅｒｉｏｎ（ＦＩＣ））は下記
【数６５】
0005970578.tif 000066
ここで、
【数６６】
0005970578.tif 000067
である。ＦＩＣが最大値をとる場合θ―はθの値を示す。
【００７３】
更に、ＦＩＣはサンプルデータｘＮｒＮｃと潜在変数ＺＲ，ＺＣとを含むので、一般に、期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ  Ｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ））アルゴリズムを用いて解くことを求められる。しかし、リレーショナルモデルは非独立潜在変数に応じて決定されるので、従来のＥＭアルゴリズムを、ＦＩＣを解くことに適用できない。ＦＩＣを可解にするために、ＦＩＣの漸近的な一貫した下界を取得するために、この実施形態ではＦＩＣのスケーリングを用いる。
【数６７】
0005970578.tif 000068
ここで、
【数６８】
0005970578.tif 000069
関数  Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ  である。
【００７４】
漸近的な一貫した下界を以下の形式で示すものとしても良い。
【数６９】
0005970578.tif 000070
【００７５】
それゆえ、任意の実施形態として、対数尤度の期待値と、正規化項の期待値と、少なくとも２つの潜在変数の各々の変分分布の対数の期待値とに応じて決定される目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数７０】
0005970578.tif 000071
である。
【００７６】
更に、上記ステップを使って、目的関数が決定される。目的関数を使ってリレーショナルモデルを決定するために、この実施形態で提供される方法は、更に、以降のステップを含む。
【００７７】
ステップ２０３：サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得すること。
【００７８】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得することは、
サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することと、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を取得することと、
少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定することと、モデルパラメータの中間値に応じて、更新されたモデルパラメータを取得することとを含む。
【００７９】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することは、
次の式を使って、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することと、
【数７１】
0005970578.tif 000072
【数７２】
0005970578.tif 000073
次の式を使って、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を取得することとを含む。しかし、これに限定されない。
【数７３】
0005970578.tif 000074
【数７４】
0005970578.tif 000075
ここで、ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとは、サンプルデータの行サンプルデータから抽出されたサンプルデータのセットを示し、ＵｃとＵ’ｃとは、サンプルデータの列サンプルデータから抽出されたサンプルデータのセットを示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒはＺＲＩｍの変分分布の更新ステップ・サイズを示し、ρｔｃｃはＺＣＪｎの変分分布の更新ステップ・サイズを示す。
【００８０】
潜在変数の更新された変分分布と更新されたモデルパラメータとを最初に取得するのに、ステップ２０３の式が使われる場合、ｔ−１は初期設定を示す。それゆえ、ｔ−１に対応するパラメータは初期設定である。例えば、潜在変数の更新された変分分布と更新されたモデルパラメータとがステップ２０３で最初に取得される場合、式では、αｔ−１ｋはαｋの初期設定値を示し、βｔ−１ｌはβｌの初期値設定値等を示す。
【００８１】
潜在変数の更新された変分分布と更新されたモデルパラメータとを最初にではなく取得するのに、ステップ２０３の式が使われる場合、ｔ−１は前回の取得を示す。それゆえ、ｔ−１に対応するパラメータは前回の取得値である。例えば、潜在変数の更新された変分分布と更新されたモデルパラメータとがステップ２０３で３度目に取得される場合、式では、αｔ−１ｋは、潜在変数の更新された変分分布と更新されたモデルパラメータの２度目の取得において取得されたαｋの値を示し、βｔ−１ｌは、潜在変数の更新された変分分布と更新されたモデルパラメータの２度目の取得において取得されたβｌの値等を示す。
【００８２】
リレーショナルモデルを決定する際の計算作業負担を減らして効率を改善するために、この実施形態で提供される方法では、サンプルデータからサブサンプルデータを抽出する。具体的に言うと、サブサンプルデータはランダム抽出の手法でサンプルデータから抽出されるものでも良い。さりながら、サブサンプルデータを抽出する上記手法のほかに、他の手法を使用しても良い。この実施形態は、サブサンプルデータを抽出する手法に、何ら限定を与えるものではない。
【００８３】
更に、この実施形態は、少なくとも２つの潜在変数の各々の変分分布の中間値を取得する手法に、何ら限定を与えるものではない。具体的な実施において、初期設定は、少なくとも２つの潜在変数の各々の変分分布のモデルパラメータα，β，φを計算するのに使用される。この実施形態は、初期設定の手法に何ら限定を与えるものではない。具体的な実施において、初期設定はランダムな手法で実行される、つまり、ランダムにモデルパラメータα，β，φの値を初期化しても良い。そうは言っても、上記手法のほかに、他の手法が使用されても良い。
【００８４】
更に、この実施形態は、行の潜在変数の変分分布の中間値を取得することと、列の潜在変数の変分分布の中間値を取得することとの手順に何ら限定を与えるものではない。具体的な実施においては、まず、行の潜在変数の変分分布の中間値を取得し、それから、列の潜在変数の変分分布の中間値を取得する。あるいは、まず、列の潜在変数の変分分布の中間値を取得し、それから、行の潜在変数の変分分布の中間値を取得する。
【００８５】
理解を容易にするために、まず行の潜在変数の変分分布の中間値を取得する例を用いて説明する。行の潜在変数の変分分布の中間値を計算するのに使用されるモデルパラメータα，β，φは、ランダムに初期化され、サンプルデータセットＵｒは、行サンプルデータからランダムに抽出され、サンプルデータセットＵ’ｃは、列サンプルデータからランダムに抽出される。行の潜在変数の変分分布の中間値は、初期化されたモデルパラメータと、サンプルデータセットＵｒ，Ｕ’ｃとに応じて計算され、行の潜在変数の変分分布は、更新ステップ・サイズρｔｒｒで更新される。ここで、更新ステップは（ｔ＋τ）−ｋ，τ≧０，ｋ∈（０．５，１］を用いて計算しても良い。
【００８６】
更に例えば、まず列の潜在変数の変分分布の中間値を取得する。列の潜在変数の変分分布の中間値を計算するのに使用されるモデルパラメータα，β，φは、ランダムに初期化され、サンプルデータセットＵｃは、列サンプルデータからランダムに抽出され、サンプルデータセットＵ’ｒは、行サンプルデータからランダムに抽出される。列の潜在変数の変分分布の中間値は、初期化されたモデルパラメータと、サンプルデータセットＵｃ，Ｕ’ｒとに応じて計算され、行の潜在変数の変分分布は、更新ステップ・サイズρｔｃｃで更新される。ここで、更新ステップは（ｔ＋τ）−ｋ，τ≧０，ｋ∈（０．５，１］を用いて計算さしても良い。
【００８７】
任意の実施形態として、方法は、更に、少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定するより前に実行される、
少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか判別することと、少なくとも２つの潜在変数の各々の更新された変分分布が収束しない場合は、少なくとも２つの潜在変数の各々の更新され収束した変分分布を取得するまで、サンプルデータから抽出されたサブサンプルデータに応じて、再度、少なくとも２つの潜在変数の各々の変分分布の中間値を取得することと、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を再取得することとを含む。しかし、これに限定されない。
【００８８】
少なくとも２つの潜在変数の各々の更新され収束した変分分布が取得されたので、少なくとも２つの潜在変数の各々の変分分布に応じて、モデルパラメータの中間値を決定することは、
少なくとも２つの潜在変数の各々の更新され収束した変分分布に応じて、モデルパラメータの中間値を決定することを含む。しかし、これに限定されない。
【００８９】
この実施形態は、少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか決定する手法に何ら限定を与えない。具体的な実施において、少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか決定するのに先立って、サンプルデータから抽出されたサブサンプルデータと目的関数とに応じて決定される、少なくとも２つの潜在変数の各々に対応する確率関数を取得する。
【００９０】
任意の実施形態として、サンプルデータから抽出されたサブサンプルデータと目的関数とに応じて決定される、少なくとも２つの潜在変数の各々に対応する確率関数は、
【数７５】
0005970578.tif 000076
と
【数７６】
0005970578.tif 000077
とを含む。ここで、ＦＩＣＬＢＩ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は行の潜在変数ＺＲに対応する確率関数を示し、ＦＩＣＬＢＪ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は列の潜在変数ＺＣに対応する確率関数を示す。
【００９１】
少なくとも２つの潜在変数の各々に対応する確率関数が決定され、少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか決定することは、
少なくとも２つの潜在変数の各々の更新された変分分布に応じて、少なくとも２つの潜在変数の各々に対応する確率関数が収束するかどうか判別することと、いずれかの潜在変数に対応する確率関数が収束しない場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束しないと判別することと、いずれかの潜在変数に対応する確率関数が収束する場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束すると判別することとを含む。しかし、これに限定されない。
【００９２】
そうは言っても、少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか判別する上記手法のほかに、他の手法が使用されても良い。この実施形態は、少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか判別する手法に何ら限定を与えるものではない。例えば、行の潜在変数に関して、行の潜在変数の今回の変分分布と、行の潜在変数の前回の変分分布とのユークリッド距離を計算するものとしても良い。計算したユークリッド距離が距離の閾値より短い場合は、行の潜在変数の今回の変分分布は収束すると判別する。距離の閾値は実際の要求に応じて決定しても良く、この実施形態に限定されない。
【００９３】
更に例えば、少なくとも２つの潜在変数の各々の変分分布が収束するかどうかは、更新回数を設定する手法で決定する。更新回数を設定する手法では、具体的な実施において、更新回数が、更新回数の所定の閾値に達した場合に、少なくとも２つの潜在変数の各々の変分分布が収束したと判別し、少なくとも２つの潜在変数の各々の更新され収束した変分分布を取得する。この実施形態は、更新回数の所定の閾値に何ら限定を与えるものではない。
【００９４】
更に、少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定することは、
次の式を使って、少なくとも２つの潜在変数の各々の更新された変分分布に応じて、モデルパラメータの中間値を決定することを含み（ただし、これに限定されない）、
【数７７】
0005970578.tif 000078
【数７８】
0005970578.tif 000079
【数７９】
0005970578.tif 000080
【数８０】
0005970578.tif 000081
モデルパラメータの中間値に応じて、更新されたモデルパラメータを取得することは、
次の式を使って、モデルパラメータの中間値に応じて、更新されたモデルパラメータを取得することを含む。しかし、これには限定されない。
【数８１】
0005970578.tif 000082
【数８２】
0005970578.tif 000083
【数８３】
0005970578.tif 000084
ここで、ρｔは、今回の取得の更新ステップ・サイズを示す。
【００９５】
更に、具体的な実施において、行サンプルカテゴリの数Ｋｒと列サンプルカテゴリの数Ｋｃに、それぞれ種々の値が設定されても良い。例えば、Ｋｒの最小値がＫｒｍｉｎに設定され、Ｋｒの最大値がＫｒｍａｘに設定され、Ｋｃの最小値がＫｃｍｉｎに設定され、Ｋｃの最大値がＫｃｍａｘに設定され、ＫｒとＫｃの値の範囲内で、ＫｒとＫｃの値の組み合わせが作られる。そして、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとを取得する。
【００９６】
ステップ２０４：少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別することと、目的関数が収束しない場合、目的関数が収束するまで、サンプルデータから抽出したサブサンプルデータに応じて、再度、潜在変数の更新された変分分布と更新されたモデルパラメータとを取得すること。
【００９７】
目的関数が収束しないと判別された場合、サンプルデータから抽出したサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとの更なる取得において、サンプルデータから抽出したサブサンプルデータは、サブサンプルデータ・セットを形成するという点に留意すべきである。サブサンプルデータ・セットの全てのサブサンプルデータに対応する、少なくとも２つの潜在変数の各々の変分分布は、少なくとも２つの潜在変数の変分分布セットを形成する。各回で、同じサブサンプルデータがサンプルデータから抽出され、同じサブサンプルデータ・セットが取得される場合、取得される、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとは同じになる。それゆえ、繰り返しの計算を避けるためには、サンプルデータから抽出したサブサンプルデータに従った、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとの更なる取得において、今回抽出されたサブサンプルデータで形成されるサブサンプルデータ・セットと、前回抽出されたサブサンプルデータで形成されるサブサンプルデータ・セットとの間に、少なくとも１つの異なるサブサンプルデータが存在することが必要である。例えば、サンプルデータがＡ，Ｂ，Ｃ，Ｄ，Ｅで、最初にサンプルデータから抽出されたサブサンプルデータがＡとＢとＣである。サンプルデータから抽出したサブサンプルデータに応じた、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとの更なる取得において、取得された潜在変数の２つの変分分布セットが異なるものになるように、抽出するサブサンプルデータは、サンプルデータＢとＣとＤである。
【００９８】
具体的に言うと、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとに応じた目的関数の決定において、目的関数の潜在変数の変分分布は、全てのサンプルデータに対応する潜在変数の変分分布を示す。それゆえ、目的関数は、潜在変数の全ての更新された変分分布と更新されたモデルパラメータとに応じて決定される必要がある。ステップ２０３では、少なくとも２つの潜在変数の各々の更新された変分分布の取得において、サンプルデータから抽出された各サブサンプルデータに対応する潜在変数の変分分布が取得される。具体的には、ステップ２０３では、取得された、少なくとも２つの潜在変数の各々の更新された変分分布は、サンプルデータから抽出されたサブサンプルデータの一部に対応するだけの潜在変数の変分分布である。目的関数の値を決定するために、全てのサンプルデータに対応する潜在変数の変分分布を目的関数に導入する。この実施形態で提供される方法では、全てのサンプルデータに対応する潜在変数の変分分布の取得において、今回サンプルデータから抽出されたサブサンプルデータに関しては、サンプルデータから抽出された各サブサンプルデータに対応する潜在変数の変分分布が上記ステップ２０３により取得されても良い。サンプルデータから抽出されない、それらのサブサンプルデータに関しては、対応する潜在変数の変分分布は、初期値に設定されても良い。サンプルデータから、これまでに抽出されたことがあるが、今回はサンプルデータから抽出されていないサブサンプルデータに関しては、最も近くに上記ステップ２０３により取得された潜在変数の変分分布が、サンプルデータに対応する潜在変数の変分分布として使用される。
【００９９】
理解を容易にするために、例として、サンプルデータがＡ，Ｂ，Ｃ，Ｄ，Ｅである場合を用いて説明する。全てのサンプルデータに対応する潜在変数の変分分布の最初の取得において、今回抽出されたサブサンプルデータが、サンプルデータＡとＢである場合、抽出されていないサブサンプルデータはサンプルデータＣ，Ｄ，Ｅである。それゆえ、サンプルデータＡとＢに対応する潜在変数の変分分布が上記ステップ２０３により。初期値は、サンプルデータＣ，Ｄ，Ｅの各々に対し設定されても良い。
【０１００】
全てのサンプルデータに対応する潜在変数の変分分布の２回目の取得において、サブサンプルデータが、サンプルデータから再抽出され、今回抽出されたサブサンプルデータが、サンプルデータＢとＣである場合、抽出されていないサブサンプルデータは、サンプルデータＡ，Ｄ，Ｅである。それゆえ、サンプルデータＢとＣに対応する潜在変数の変分分布が、上記ステップ２０３により取得される。サンプルデータＡは抽出されていないが、前に抽出されたので、最初のサンプルデータの抽出で、上記ステップ２０３で取得されたサンプルデータＡに対応する潜在変数の変分分布を、今回のサンプルデータＡに対応する潜在変数の変分分布として使用しても良い。サンプルデータＤとＥはこれまで抽出されたことがないので、サンプルデータＤとＥに対応する潜在変数の変分分布は、まだ初期値である。
【０１０１】
潜在変数の変分分布の３回目の取得において、サンプルデータから再抽出されたサブサンプルデータはＤとＥで、抽出されていないサブサンプルデータは、サンプルデータＡ，Ｂ，Ｃである。サンプルデータＤとＥに関しては、サンプルデータＤとＥに対応する潜在変数の変分分布は、上記ステップ２０３により取得される。サンプルデータＡに関しては、最初のサンプルデータＡの抽出で、上記ステップ２０３で取得されたサンプルデータＡに対応する潜在変数の変分分布を、今回のサンプルデータＡに対応する潜在変数の変分分布として使用しても良い。サンプルデータＢとＣに関しては、２回目のサンプルデータＢの抽出で、上記ステップ２０３で取得されたサンプルデータＢに対応する潜在変数の変分分布を、今回のサンプルデータＢに対応する潜在変数の変分分布として使用しても良く、２回目のサンプルデータＣの抽出で、上記ステップ２０３で取得されたサンプルデータＣに対応する潜在変数の変分分布を、今回のサンプルデータＣに対応する潜在変数の変分分布として使用しても良い。目的関数の収束を可能にする潜在変数の変分分布を取得するまで、推論が同様に行われても良い。
【０１０２】
目的関数が収束しないと判別された場合の、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとの更なる取得において、プロセスはステップ２０３に戻っても良く、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとは、再度、上記ステップ２０３により取得されるという点に留意すべきである。少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータの１回目の取得においては、ステップ２０３の式のｔ−１は初期値を意味するのに対し、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとを再び取得するために、プロセスがステップ２０３に戻った場合は、ステップ２０３の式のｔ−１は前回の取得を意味する。例えば、ステップ２０３の式を用いた、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとの最初の取得においては、式のｔ−１に対応するパラメータに初期値を使用して、最初に取得される潜在変数の更新された変分分布とモデルパラメータとが取得される。最初に取得された潜在変数の更新された変分分布と更新されたモデルパラメータとが、目的関数を収束させることができない場合、最初に取得された潜在変数の更新された変分分布とモデルパラメータとが、ｔ−１に対応するパラメータ値として使用されて、潜在変数の更新された変分分布と更新されたモデルパラメータとが再度取得される。そして、再度取得された潜在変数の更新された変分分布と更新されたモデルパラメータとが、決定された目的関数を収束させることができるかどうか判別される。目的関数を収束させることができる潜在変数の更新された変分分布を取得するまで、推論が同様に行われても良い。
【０１０３】
少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとに応じて、目的関数が収束するかどうかを判別する方法は、
潜在変数の各々の更新された変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、前回取得した目的関数との距離が、閾値より短いかどうか判別することと、前回取得した目的関数は、潜在変数の各々の前回の更新された変分分布と前回の更新されたモデルパラメータとに応じて決定されており、
潜在変数の各々の更新された変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、前回取得した目的関数との距離が、閾値より短い場合は、目的関数が収束すると判別することとを含む。しかし、これに限定されない。
【０１０４】
この実施形態は、閾値の具体的な値に何ら限定を与えない。具体的な実施において、サンプルデータのデータ量のようなファクターに応じて、種々の閾値が設定されても良い。少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとに応じて決定された目的関数は、対数尤度にコンスタントに近づいていく。目的関数が収束する場合、対数尤度の値が、目的関数の値に近似している。このように、解けない対数を解ける目的関数に変換することで、リレーショナルモデルの決定を成し遂げる。
【０１０５】
更に、上記ステップ２０３〜２０４に従うことにより、サブサンプルデータがサンプルデータから抽出され、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとが決定される。リレーショナルモデルの決定を成し遂げるために、この実施形態で提供される方法は、更に、以降のステップを含む。
【０１０６】
ステップ２０５：目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定すること。
【０１０７】
このステップでは、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとに応じて、収束が対数尤度に近づくときの目的関数の値と、リレーショナルモデルが決定されても良い。
【０１０８】
更に、行サンプルカテゴリの数Ｋｒと列サンプルカテゴリの数Ｋｃとのそれぞれに、種々の値を設定しても良い。ＫｒとＫｃの値の各組み合わせに対し、少なくとも２つの潜在変数の各々の更新された変分分布と更新されたモデルパラメータとが取得される。この場合、目的関数を収束させることが可能である以外に、目的関数を最大値にすることが可能なＫｒとＫｃが選択されても良く、ＫｒとＫｃに応じた計算により取得された、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとに応じて、リレーショナルモデルが決定されても良い。
【０１０９】
行サンプルカテゴリの数Ｋｒと列サンプルカテゴリの数Ｋｃとが、各々、決定されるリレーショナルモデルの行サンプルカテゴリの数と列サンプルカテゴリの数と同じでも異なっていても良い、ということに留意すべきである。すなわち、リレーショナルモデルを決定するプロセスにおいて、リレーショナルモデルの構造が自動的に調節されても良い。
【０１１０】
決定されるリレーショナルモデルを、データのクラスタリングとデータのカテゴライジングに適用しても良い。データのクラスタリングの場合は、リレーショナルモデルを決定するプロセスは、データのクラスタリングのプロセスであり、データのカテゴライジングの場合は、決定されたリレーショナルモデルへ更に後処理を実行することが、なお必要とされる。データのクラスタリングとカテゴライジングの結果は、顧客分析、バイオ分析、地理分析等を実行するのに使用されても良い。それにより、多くの社会的価値と経済価値とを生み出す。
【０１１１】
この実施形態で提供される方法に関して、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得することと、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とに応じて、目的関数を決定することとにより、目的関数を収束させることが可能で、サンプルデータから抽出されたサブサンプルデータに応じて決定された、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとに応じて決定されたリレーショナルモデルは、オブジェクトの２以上のカテゴリー間の相互関連性の分析に適用可能である。それにより、リレーショナルモデルの適用範囲を拡張する。更に、正規化項を目的関数に導入することにより、決定されるリレーショナルモデルの複雑性が自動的に制御され、リレーショナルモデルの決定における効率と精度が改善される。更に、潜在変数とモデルパラメータとが従属関係におかれているので、潜在変数の変分分布とモデルパラメータとの推定は、より正確である。
【０１１２】
実施形態３
図３を参照して、本開示の実施形態は、リレーショナルモデルを決定する装置を提供する。当該装置は、
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得するように構成された取得モジュール３０１と、
対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とに応じて目的関数を決定するように構成された第１の決定モジュール３０２と、
サンプルデータから抽出されたサブサンプルデータに応じて、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとを決定するように構成された第２の決定モジュール３０３と、
目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュール３０４とを含む。
【０１１３】
任意の実施形態として、取得モジュール３０１により取得される対数尤度は、
【数８４】
0005970578.tif 000085
である。ここで、ｌｏｇｐ（  ）は対数尤度を示し、ｐは同時確率の密度関数を示し、ｘＮｒＮｃはサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示す。
【０１１４】
任意の実施形態として、取得モジュール３０１により取得される正規化項は、
【数８５】
0005970578.tif 000086
である。ここで、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布の近似値を示し、ＺＲｉｋは、ｋ番目の行サンプルカテゴリのｉ番目の行サンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の列サンプルカテゴリのｊ番目の列サンプルデータの列の潜在変数を示し、α，βは各々、行の混合比と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌはｋ番目の行でｌ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。ここで、ａは
【数８６】
0005970578.tif 000087
を示し、ｂは
【数８７】
0005970578.tif 000088
を示す。
【０１１５】
任意の実施形態として、取得モジュール３０１により取得される、少なくとも２つの潜在変数の各々の変分分布の対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
とを含む。ここで、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す。
【０１１６】
それゆえ、任意の実施形態として、第１の決定モジュール３０２は、対数尤度の期待値と、正規化項の期待値と、少なくとも２つの潜在変数の各々の変分分布の対数の期待値とに応じて、目的関数を決定するように構成されている。
【０１１７】
任意の実施形態として、第１の決定モジュール３０２によって決定される目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数８８】
0005970578.tif 000089
である。
【０１１８】
任意の実施形態として、図４を参照して、第２の決定モジュール３０３は、
サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得するように構成された取得ユニット３０３１と、
少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別するように構成された判別ユニット３０３２とを含み、
取得ユニット３０３１は、目的関数が収束しない場合は、目的関数の収束を可能にする、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとを取得するまで、サンプルデータから抽出されたサブサンプルデータに応じて、再度、潜在変数の更新された変分分布と更新されたモデルパラメータとを取得するように構成されている。
【０１１９】
任意の実施形態として、図５を参照して、取得ユニット３０３１は、
サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得し、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を取得するように構成された第１の取得サブユニット３０３１１と、
少なくとも２つの潜在変数の各々の更新され収束した変分分布に応じて、モデルパラメータの中間値を決定するように構成された第１の決定サブユニット３０３１２と、
当該中間値に応じて、更新されたモデルパラメータを取得するように構成された第２の取得サブユニット３０３１３とを含む。
【０１２０】
任意の実施形態として、図６を参照して、取得ユニット３０３１は、更に、
少なくとも２つの潜在変数の各々の更新された変分分布が収束するかどうか判別するように構成された第２の判別サブユニット３０３１４を含み、
第１の取得サブユニット３０３１１は、少なくとも２つの潜在変数の各々の更新された変分分布が収束しない場合は、少なくとも２つの潜在変数の各々の更新され収束した変分分布を取得するまで、サンプルデータから抽出されたサブサンプルデータに応じて、再度、少なくとも２つの潜在変数の各々の変分分布の中間値を取得するように構成され、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を再取得し、
第１の決定サブユニット３０３１２は、少なくとも２つの潜在変数の各々の更新され収束した変分分布に応じて、モデルパラメータの中間値を決定するように構成されている。
【０１２１】
任意の実施形態として、取得ユニット３０３１は、次の式を使って、サンプルデータから抽出されたサブサンプルデータに応じて、少なくとも２つの潜在変数の各々の変分分布の中間値を取得し、
【数８９】
0005970578.tif 000090
【数９０】
0005970578.tif 000091
次の式を使って、少なくとも２つの潜在変数の各々の変分分布の中間値に応じて、少なくとも２つの潜在変数の各々の更新された変分分布を取得するように構成されている。
【数９１】
0005970578.tif 000092
【数９２】
0005970578.tif 000093
ここで、ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとは、サンプルデータの行サンプルデータから抽出されたサンプルデータのセットを示し、ＵｃとＵ’ｃとは、サンプルデータの列サンプルデータから抽出されたサンプルデータのセットを示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒは、ＺＲＩｍの変分分布の更新ステップ・サイズを示し、ρｔｃｃは、ＺＣＪｎの変分分布の更新ステップ・サイズを示す。
【０１２２】
任意の実施形態として、第１の決定サブユニット３０３１２は、次の式を使って、少なくとも２つの潜在変数の各々の更新され収束した変分分布に応じて、モデルパラメータの中間値を決定するように構成され、
【数９３】
0005970578.tif 000094
【数９４】
0005970578.tif 000095
【数９５】
0005970578.tif 000096
【数９６】
0005970578.tif 000097
第１の取得サブユニット３０３１１は、次の式を使って、中間値に応じて、更新されたモデルパラメータを取得するように構成されている。
【数９７】
0005970578.tif 000098
【数９８】
0005970578.tif 000099
【数９９】
0005970578.tif 000100
ここで、ρｔは、今回の取得の更新ステップ・サイズを示す。
【０１２３】
任意の実施形態として、図７を参照して、取得ユニット３０３１は、更に、
サンプルデータから抽出されたサブサンプルデータと、目的関数とに応じて決定された、少なくとも２つの潜在変数の各々に対応する確率関数を取得するように構成された第３の取得サブユニット３０３１５と、
少なくとも２つの潜在変数の各々の更新された変分分布に応じて、少なくとも２つの潜在変数の各々に対応する確率関数が収束するかどうか判別し、いずれかの潜在変数に対応する確率関数が収束しない場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束しないと判別し、いずれかの潜在変数に対応する確率関数が収束する場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束すると判別するように構成された第２の判別サブユニット３０３１４とを含む。
【０１２４】
任意の実施形態として、第３の取得サブユニット３０３１５によって取得される、少なくとも２つの潜在変数の各々に対応する確率関数は、
【数１００】
0005970578.tif 000101
と、
【数１０１】
0005970578.tif 000102
とを含む。ここで、ＦＩＣＬＢＩ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は行の潜在変数ＺＲに対応する確率関数を示し、ＦＩＣＬＢＪ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は列の潜在変数ＺＣに対応する確率関数を示す。
【０１２５】
この実施形態で提供される装置に関して、サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とを取得することと、対数尤度と正規化項と少なくとも２つの潜在変数の各々の変分分布の対数とに応じて、目的関数を決定することにより、目的関数を収束させることが可能で、サンプルデータから抽出されたサブサンプルデータに応じて決定された、少なくとも２つの潜在変数の各々の変分分布とモデルパラメータとに応じて決定されたリレーショナルモデルは、オブジェクトの２以上のカテゴリー間の相互関連性の分析に適用可能である。それにより、リレーショナルモデルの適用範囲を拡張する。更に、正規化項を目的関数に導入することにより、決定されるリレーショナルモデルの複雑性が自動的に制御され、リレーショナルモデルの決定における効率と精度が改善される。更に、潜在変数とモデルパラメータとが従属関係におかれているので、潜在変数の変分分布とモデルパラメータとの推定は、より正確である。
【０１２６】
上記実施形態で提供された、リレーショナルモデルを決定する装置により実行されるリレーショナルモデルの決定において、上記機能モジュールの分割は、例としてのみ使用して、装置を説明した。実際には、機能は、実施のために必要に応じて種々の機能モジュールに割り当てられても良い。具体的には、上記機能の全部または一部を実行するために、装置の内部構造は、種々の機能モジュールに分割される。更に、リレーショナルモデルを決定する装置とリレーショナルモデルを決定する方法とは、同じ発明コンセプトに属しており、その具体的な実施は、方法の実施形態で詳述されており、ここでは、もう詳しく述べない。
【０１２７】
本開示の上記実施形態のシーケンス番号は、説明の簡単のためだけであって、実施形態の優先度を意味するものではない。
【０１２８】
当業者は、上記方法の全てまたは一部のステップが、ハードウェアまたはプログラムの指示に従うハードウェアで実行されても良いと理解すべきである。プログラムは、非一時的なコンピュータ読取り可能な記憶媒体に格納されても良く、少なくとも１台のプロセッサーにより実行されても良い。記憶媒体は、読出し専用メモリ、または磁気ディスク、またはコンパクト・ディスク読出し専用メモリであっても良い。
【０１２９】
上記記載は本開示の単なる好ましい実施形態であって、本開示を限定することを目的としない。本開示の意図と原理から逸脱しない範囲でなされる、いかなる変更、または等価な置換、または改良は、本開示の保護範囲に入るべきである。
【０１３０】
（付記１）
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の変分分布の対数とを取得することと、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の変分分布の前記対数とに応じて、目的関数を決定することと、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と、前記モデルパラメータとを決定することと、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記変分分布と前記モデルパラメータとに応じて、リレーショナルモデルを決定することと、
を含むリレーショナルモデルを決定する方法。
【０１３１】
（付記２）
前記サンプルデータと、前記少なくとも２つの潜在変数と、前記少なくとも１つのモデルパラメータとに応じて決定される前記対数尤度は、
【数１０２】
0005970578.tif 000103
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率の密度関数を示し、ｘＮｒＮｃは前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示す付記１に記載の方法。
【０１３２】
（付記３）
前記サンプルデータと、前記少なくとも２つの潜在変数と、前記少なくとも１つのモデルパラメータとに応じて決定される前記正規化項は、
【数１０３】
0005970578.tif 000104
であり、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｑ〜（  ）は前記潜在変数の変分分布の近似値を示し、ＺＲｉｋは、ｋ番目の行サンプルカテゴリのｉ番目の行サンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の列サンプルカテゴリのｊ番目の列サンプルデータの列の潜在変数を示し、α，βは各々、行の混合比と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌはｋ番目の行でｌ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、ａは
【数１０４】
0005970578.tif 000105
を示し、ｂは
【数１０５】
0005970578.tif 000106
を示す付記１に記載の方法。
【０１３３】
（付記４）
前記サンプルデータと、前記少なくとも２つの潜在変数と、前記少なくとも１つのモデルパラメータとに応じて決定される、前記少なくとも２つの潜在変数の各々の変分分布の前記対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
とを含み、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す付記１に記載の方法。
【０１３４】
（付記５）
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の変分分布の前記対数とに応じて、目的関数を決定する前記ステップは、
前記対数尤度の期待値と前記正規化項の期待値と前記少なくとも２つの潜在変数の各々の変分分布の前記対数の期待値とに応じて、前記目的関数を決定することを含む付記１乃至４のいずれかに記載の方法。
【０１３５】
（付記６）
前記対数尤度の前記期待値と前記正規化項の前記期待値と前記少なくとも２つの潜在変数の各々の変分分布の前記対数の前記期待値とに応じて決定される前記目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数１０６】
0005970578.tif 000107
である付記５に記載の方法。
【０１３６】
（付記７）
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と前記モデルパラメータとを決定する前記ステップは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得することと、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別することと、前記目的関数が収束しない場合は、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と、前記モデルパラメータとを取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得することと、
を含む付記６に記載の方法。
【０１３７】
（付記８）
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得する前記ステップは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得することと、
前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布を取得することと、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定することと、
前記モデルパラメータの前記中間値に応じて、前記更新されたモデルパラメータを取得することと、
を含む付記７に記載の方法。
【０１３８】
（付記９）
前記方法は、更に、前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定する前記ステップに先立って実行される、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうか判別することと、前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束しない場合は、前記少なくとも２つの潜在変数の各々の更新され収束した変分分布を取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得することと、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布を再取得することとを含み、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定することは、
前記少なくとも２つの潜在変数の各々の前記更新され収束した変分分布に応じて、前記モデルパラメータの中間値を決定することを含む、
付記８に記載の方法。
【０１３９】
（付記１０）
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得する前記ステップは、
次の式を使って、前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得することと、
【数１０７】
0005970578.tif 000108
【数１０８】
0005970578.tif 000109
次の式を使って、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布を取得することと、
【数１０９】
0005970578.tif 000110
を含み、
【数１１０】
0005970578.tif 000111
ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとは前記サンプルデータの行サンプルデータから抽出されたサンプルデータのセットを示し、ＵｃとＵ’ｃとは前記サンプルデータの列サンプルデータから抽出されたサンプルデータのセットを示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒはＺＲＩｍの変分分布の更新ステップ・サイズを示し、ρｔｃｃはＺＣＪｎの変分分布の更新ステップ・サイズを示す、
付記８または９に記載の方法。
【０１４０】
（付記１１）
前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定する前記ステップは、
次の式を使って、前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記モデルパラメータの中間値を決定することを含み、
【数１１１】
0005970578.tif 000112
【数１１２】
0005970578.tif 000113
【数１１３】
0005970578.tif 000114
【数１１４】
0005970578.tif 000115
前記モデルパラメータの前記中間値に応じて、更新されたモデルパラメータを前記取得することは、
次の式を使って、前記モデルパラメータの前記中間値に応じて、前記更新されたモデルパラメータを取得することを含み、
【数１１５】
0005970578.tif 000116
【数１１６】
0005970578.tif 000117
【数１１７】
0005970578.tif 000118
ρｔは、前記今回の取得の更新ステップ・サイズを示す、
付記１０に記載の方法。
【０１４１】
（付記１２）
前記方法は、更に、前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうかを判別する前記ステップに先立って実行される、
前記サンプルデータから抽出された前記サブサンプルデータと、前記目的関数とに応じて決定される、前記少なくとも２つの潜在変数の各々に対応する確率関数を取得することを含み、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうか前記判別することは、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記少なくとも２つの潜在変数の各々に対応する前記確率関数が収束するかどうか判別することと、いずれかの潜在変数に対応する確率関数が収束しない場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束しないと判別することと、いずれかの潜在変数に対応する確率関数が収束する場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束すると判別することとを含む、
付記９に記載の方法。
【０１４２】
（付記１３）
前記サンプルデータから抽出された前記サブサンプルデータと、前記目的関数とに応じて決定される、前記少なくとも２つの潜在変数の各々に対応する前記確率関数は、
【数１１８】
0005970578.tif 000119
【数１１９】
0005970578.tif 000120
を含み、ＦＩＣＬＢＩ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は行の潜在変数ＺＲに対応する確率関数を示し、ＦＩＣＬＢＪ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は列の潜在変数ＺＣに対応する確率関数を示す付記１２に記載の方法。
【０１４３】
（付記１４）
サンプルデータと、少なくとも２つの潜在変数と、少なくとも１つのモデルパラメータとに応じて決定される、対数尤度と正規化項と前記少なくとも２つの潜在変数の各々の変分分布の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と前記少なくとも２つの潜在変数の各々の変分分布の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記サンプルデータから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と前記モデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の前記変分分布と前記モデルパラメータとに応じて、前記リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含むリレーショナルモデルを決定する装置。
【０１４４】
（付記１５）
前記取得モジュールによって取得される前記対数尤度は、
【数１２０】
0005970578.tif 000121
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率の密度関数を示し、ｘＮｒＮｃは前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、ＺＣは列の潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα，β，φを含み、α，βは各々、行の混合比と列の混合比であり、φは各サンプルカテゴリのサブモデルパラメータを示す付記１４に記載の装置。
【０１４５】
（付記１６）
前記取得モジュールによって取得される前記正規化項は、
【数１２１】
0005970578.tif 000122
であり、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ｑ〜（  ）は前記潜在変数の変分分布の近似値を示し、ＺＲｉｋはｋ番目の行サンプルカテゴリのｉ番目の行サンプルデータの行の潜在変数を示し、ＺＣｊｌはｌ番目の列サンプルカテゴリのｊ番目の列サンプルデータの列の潜在変数を示し、α，βは各々、行の混合比と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌはｋ番目の行でｌ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、ａは
【数１２２】
0005970578.tif 000123
を示し、ｂは
【数１２３】
0005970578.tif 000124
を示す付記１４に記載の装置。
【０１４６】
（付記１７）
前記取得モジュールによって取得される、前記少なくとも２つの潜在変数の各々の変分分布の前記対数は、
ｌｏｇｑ（ＺＲ）とｌｏｇｑ（ＺＣ）
とを含み、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（ＺＣ）は列の潜在変数ＺＣの変分分布を示す付記１４に記載の装置。
【０１４７】
（付記１８）
前記第１の決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と前記少なくとも２つの潜在変数の各々の変分分布の前記対数の期待値とに応じて、前記目的関数を決定するように構成されている付記１４乃至１７のいずれかに記載の装置。
【０１４８】
（付記１９）
前記第１の決定モジュールによって決定される前記目的関数ＦＩＣＬＢ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は、
【数１２４】
0005970578.tif 000125
である付記１８に記載の装置。
【０１４９】
（付記２０）
前記第２の決定モジュールは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布と、更新されたモデルパラメータとを取得するように構成された取得ユニットと、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別するように構成された判別ユニットと
を含み、
前記取得ユニットは、前記目的関数が収束しない場合は、前記目的関数の収束を可能にする、前記少なくとも２つの潜在変数の各々の変分分布と、前記モデルパラメータとを取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得するように構成されている、
付記１９に記載の装置。
【０１５０】
（付記２１）
前記取得ユニットは、
前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の中間値を取得し、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の前記更新された変分分布を取得するように構成された第１の取得サブユニットと、
前記少なくとも２つの潜在変数の各々の収束した前記更新された変分分布に応じて、前記モデルパラメータの前記中間値を決定するように構成された第１の決定サブユニットと、
前記モデルパラメータの前記中間値に応じて、前記更新されたモデルパラメータを取得するように構成された第２の取得サブユニットと、
を含む付記２０に記載の装置。
【０１５１】
（付記２２）
前記取得ユニットは、更に、
前記少なくとも２つの潜在変数の各々の前記更新された変分分布が収束するかどうか判別するように構成された第２の判別サブユニットを含み、
前記第１の取得サブユニットは、前記潜在変数の各々の前記更新された変分分布が収束しない場合は、前記少なくとも２つの潜在変数の各々の更新され収束した変分分布を取得するまで、前記サンプルデータから抽出された前記サブサンプルデータに応じて、再度、前記潜在変数の各々の前記変分分布の中間値を取得するように構成され、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の更新された変分分布を再取得し、
前記第１の決定サブユニットは、前記少なくとも２つの潜在変数の各々の前記更新され収束した変分分布に応じて、前記モデルパラメータの前記中間値を決定するように構成されている、
付記２１に記載の装置。
【０１５２】
（付記２３）
前記取得ユニットは、
次の式を使って、前記サンプルデータから抽出された前記サブサンプルデータに応じて、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値を取得し、
【数１２５】
0005970578.tif 000126
【数１２６】
0005970578.tif 000127
次の式を使って、前記少なくとも２つの潜在変数の各々の前記変分分布の前記中間値に応じて、前記少なくとも２つの潜在変数の各々の前記更新された変分分布を取得するように構成されており、
【数１２７】
0005970578.tif 000128
【数１２８】
0005970578.tif 000129
ｔとｔｒとｔｃとは今回の取得を示し、ｔ−１とｔｒ−１とｔｃ−１とは前回の取得または初期設定を示し、ＵｒとＵ’ｒとは前記サンプルデータの行サンプルデータから抽出されたサンプルデータのセットを示し、ＵｃとＵ’ｃとは前記サンプルデータの列サンプルデータから抽出されたサンプルデータのセットを示し、Ｃ’ｃはＵ’ｃのサンプルデータの数量を示し、Ｃ’ｒはＵ’ｒのサンプルデータの数量を示し、ＩｍはＵｒのサンプルデータを示し、ＪｎはＵｃのサンプルデータを示し、Ｊ’ｎはＵ’ｃのサンプルデータを示し、Ｉ’ｍはＵ’ｒのサンプルデータを示し、ρｔｒｒは、ＺＲＩｍの変分分布の更新ステップ・サイズを示し、ρｔｃｃは、ＺＣＪｎの変分分布の更新ステップ・サイズを示す付記２１または２２に記載の装置。
【０１５３】
（付記２４）
前記第１の決定サブユニットは、次の式を使って、前記少なくとも２つの潜在変数の各々の前記更新され収束した変分分布に応じて、前記モデルパラメータの中間値を決定するように構成されており、
【数１２９】
0005970578.tif 000130
【数１３０】
0005970578.tif 000131
【数１３１】
0005970578.tif 000132
【数１３２】
0005970578.tif 000133
前記第１の取得サブユニットは、次の式を使って、前記中間値に応じて、前記更新されたモデルパラメータを取得するように構成されており、
【数１３３】
0005970578.tif 000134
【数１３４】
0005970578.tif 000135
【数１３５】
0005970578.tif 000136
ρｔは、前記今回の取得の更新ステップ・サイズを示す、
付記２３に記載の装置。
【０１５４】
（付記２５）
前記取得ユニットは、更に、
前記サンプルデータから抽出された前記サブサンプルデータと、前記目的関数とに応じて決定される、前記少なくとも２つの潜在変数の各々に対応する確率関数を取得するように構成された第３の取得サブユニット
を含み、
前記第２の判別サブユニットは、前記少なくとも２つの潜在変数の各々の前記更新された変分分布に応じて、前記少なくとも２つの潜在変数の各々に対応する前記確率関数が収束するかどうか判別し、いずれかの潜在変数に対応する確率関数が収束しない場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束しないと判別し、いずれかの潜在変数に対応する確率関数が収束する場合は、当該いずれかの潜在変数に対応する更新された変分分布は収束すると判別するように構成されている、
付記２２に記載の装置。
【０１５５】
（付記２６）
前記第２の取得サブユニットによって取得された前記少なくとも２つの潜在変数の各々に対応する前記確率関数は、
【数１３６】
0005970578.tif 000137
【数１３７】
0005970578.tif 000138
【数１３８】
0005970578.tif 000139
を含み、ＦＩＣＬＢＩ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は行の潜在変数ＺＲに対応する確率関数を示し、ＦＩＣＬＢＪ（ｑ，ｑ〜，θ，ｘＮｒＮｃ）は列の潜在変数ＺＣに対応する確率関数を示す付記２５に記載の装置。
【図１】
0005970578.tif 000160
【図２】
0005970578.tif 000161
【図３】
0005970578.tif 000162
【図４】
0005970578.tif 000163
【図５】
0005970578.tif 000164
【図６】
0005970578.tif 000165
【図７】
0005970578.tif 000166