(57)【特許請求の範囲】
【請求項１】
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布関数の対数とを取得するように構成された取得モジュールを含むリレーショナルモデルを決定する装置であって、潜在変数の前記変分分布関数は、サンプルデータが、対応するカテゴリにクラスタ化されている可能性を表す分布関数であって、
前記リレーショナルモデルを決定する装置は、更に、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布関数の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の収束可能化変分分布関数と収束可能化モデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の前記収束可能化変分分布関数と前記収束可能化モデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含み、
前記取得モジュールにより取得される前記対数尤度は、
【数１】
0006047190.tif 000216
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比ベクトルを示し、βはリレーションＸまたはＹの列の混合比ベクトルを示し、γはリレーションＹの行の混合比ベクトルを示し、φはリレーションＸのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示し、ωはリレーションＹのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示す、
リレーショナルモデルを決定する装置。
【請求項２】
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布関数の対数とを取得するように構成された取得モジュールを含むリレーショナルモデルを決定する装置であって、潜在変数の前記変分分布関数は、サンプルデータが、対応するカテゴリにクラスタ化されている可能性を表す分布関数であって、
前記リレーショナルモデルを決定する装置は、更に、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布関数の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の収束可能化変分分布関数と収束可能化モデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の前記収束可能化変分分布関数と前記収束可能化モデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含み、
前記取得モジュールにより取得される前記正規化項は、
【数２】
0006047190.tif 000217
であり、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸのサンプルの行のカテゴリの数を示し、Ｋｒ２はリレーションＹのサンプルの行のカテゴリの数を示し、ＫｃはリレーションＸまたはＹのサンプルの列のカテゴリの数を示し、ｑ〜（  ）は、初期設定で取得された、潜在変数の更新された変分分布関数の値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、サンプルのｐ番目の行のカテゴリに対する、ｉ番目の行のサンプルデータの所属を表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、サンプルのｒ番目の行のカテゴリに対する、ｌ番目の行のサンプルデータの所属を表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、サンプルのｑ番目の列のカテゴリに対する、ｊ番目の列のサンプルデータの所属を表しており、αはリレーションＸの行の混合比ベクトルを示し、βはリレーションＸまたはＹの列の混合比ベクトルを示し、γはリレーションＹの行の混合比ベクトルを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのサンプルの、ｐ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、Ｄｒｑは、リレーションＹのサンプルの、ｒ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、
【数３】
0006047190.tif 000218
では、ａは
【数４】
0006047190.tif 000219
を示し、ｂは
【数５】
0006047190.tif 000220
を示し、
【数６】
0006047190.tif 000221
では、ａは
【数７】
0006047190.tif 000222
を示し、ｂは
【数８】
0006047190.tif 000223
を示す、
リレーショナルモデルを決定する装置。
【請求項３】
前記取得モジュールにより取得される、潜在変数の前記変分分布関数の前記対数は、
ｌｏｇｑ（ＺＲ１）と、ｌｏｇｑ（ＺＲ２）と、ｌｏｇｑ（ＺＣ）
とであり、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布関数を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布関数を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布関数を示す請求項１または２に記載の装置。
【請求項４】
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布関数の対数とを取得するように構成された取得モジュールを含むリレーショナルモデルを決定する装置であって、潜在変数の前記変分分布関数は、サンプルデータが、対応するカテゴリにクラスタ化されている可能性を表す分布関数であって、
前記リレーショナルモデルを決定する装置は、更に、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布関数の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の収束可能化変分分布関数と収束可能化モデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の前記収束可能化変分分布関数と前記収束可能化モデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含み、
前記第１の決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と各潜在変数の前記変分分布関数の前記対数の期待値とに応じて、前記目的関数を決定するように構成されており、
前記第１の決定モジュールにより決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数９】
0006047190.tif 000224
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比ベクトルを示し、βはリレーションＸまたはＹの列の混合比ベクトルを示し、γはリレーションＹの行の混合比ベクトルを示し、φはリレーションＸのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示し、ωはリレーションＹのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示し、Ｋｒ１はリレーションＸのサンプルの行のカテゴリの数を示し、Ｋｒ２はリレーションＹのサンプルの行のカテゴリの数を示し、ＫｃはリレーションＸまたはＹのサンプルの列のカテゴリの数を示し、ｑ〜（  ）は、初期設定で取得された、潜在変数の更新された変分分布関数の値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、サンプルのｐ番目の行のカテゴリに対する、ｉ番目の行のサンプルデータの所属を表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、サンプルのｒ番目の行のカテゴリに対する、ｌ番目の行のサンプルデータの所属を表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、サンプルのｑ番目の列のカテゴリに対する、ｊ番目の列のサンプルデータの所属を表しており、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのサンプルの、ｐ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、Ｄｒｑは、リレーションＹのサンプルの、ｒ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布関数を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布関数を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布関数を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、
【数１０】
0006047190.tif 000225
では、ａは
【数１１】
0006047190.tif 000226
を示し、ｂは
【数１２】
0006047190.tif 000227
を示し、
【数１３】
0006047190.tif 000228
では、ａは
【数１４】
0006047190.tif 000229
を示し、ｂは
【数１５】
0006047190.tif 000230
を示す、
リレーショナルモデルを決定する装置。
【請求項５】
前記第２の決定モジュールは、
各潜在変数の更新された変分分布関数と、更新されたモデルパラメータとを取得するように構成された取得ユニットと、
各潜在変数の前記更新された変分分布関数と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別するように構成された判別ユニットとを含み、
前記取得ユニットは、前記目的関数が収束しない場合は、前記目的関数の収束を可能にするものが取得されるまで、各潜在変数の更新された変分分布関数と更新されたモデルパラメータとを再取得するように構成されており、
ｑ〜（  ）は、前回の更新で取得された、潜在変数の更新された変分分布関数の値、または、初期設定で取得された、潜在変数の更新された変分分布関数の値を示す、
請求項４に記載の装置。
【請求項６】
前記取得ユニットは、
各潜在変数の更新され収束した変分分布関数が取得されるまで、次の式を使って、各潜在変数の前記変分分布関数を交互に更新するように構成された第１の更新サブユニットと、
【数１６】
0006047190.tif 000231
【数１７】
0006047190.tif 000232
【数１８】
0006047190.tif 000233
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の前記更新され収束した変分分布関数に応じて、前記モデルパラメータを更新するように構成された第２の更新サブユニットとを含み、
【数１９】
0006047190.tif 000234
【数２０】
0006047190.tif 000235
【数２１】
0006047190.tif 000236
【数２２】
0006047190.tif 000237
【数２３】
0006047190.tif 000238
ここで、
【数２４】
0006047190.tif 000239
【数２５】
0006047190.tif 000240
であり、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す
請求項５に記載の装置。
【請求項７】
前記取得ユニットは、
更新されたモデルパラメータを取得するために、次の式を使って、前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
【数２６】
0006047190.tif 000241
【数２７】
0006047190.tif 000242
【数２８】
0006047190.tif 000243
【数２９】
0006047190.tif 000244
【数３０】
0006047190.tif 000245
ここで、
【数３１】
0006047190.tif 000246
【数３２】
0006047190.tif 000247
であり、
各潜在変数の更新され収束した変分分布関数を取得するために、次の式を使って、前記更新されたモデルパラメータに応じて、各潜在変数の前記変分分布関数を交互に更新するように構成された第４の更新サブユニットとを含み、
【数３３】
0006047190.tif 000248
【数３４】
0006047190.tif 000249
【数３５】
0006047190.tif 000250
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す
請求項５に記載の装置。
【請求項８】
コンピュータに、
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布関数の対数とを取得する機能を実現させるためのプログラムであり、潜在変数の前記変分分布関数は、サンプルデータが、対応するカテゴリにクラスタ化されている可能性を表す分布関数であって、
前記プログラムは、更に、コンピュータに、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布関数の前記対数とに応じて、目的関数を決定する機能と、
前記目的関数の収束を可能にする各潜在変数の収束可能化変分分布関数と収束可能化モデルパラメータとを決定し、前記目的関数の収束を可能にする各潜在変数の前記収束可能化変分分布関数と前記収束可能化モデルパラメータとに応じて、リレーショナルモデルを決定する機能と、
を実現させるためのプログラムであり、
前記取得する機能により取得される前記対数尤度は、
【数３６】
0006047190.tif 000251
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比ベクトルを示し、βはリレーションＸまたはＹの列の混合比ベクトルを示し、γはリレーションＹの行の混合比ベクトルを示し、φはリレーションＸのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示し、ωはリレーションＹのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示す、
プログラム。
【請求項９】
コンピュータに、
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布関数の対数とを取得する機能を実現させるためのプログラムであり、潜在変数の前記変分分布関数は、サンプルデータが、対応するカテゴリにクラスタ化されている可能性を表す分布関数であって、
前記プログラムは、更に、コンピュータに、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布関数の前記対数とに応じて、目的関数を決定する機能と、
前記目的関数の収束を可能にする各潜在変数の収束可能化変分分布関数と収束可能化モデルパラメータとを決定し、前記目的関数の収束を可能にする各潜在変数の前記収束可能化変分分布関数と前記収束可能化モデルパラメータとに応じて、リレーショナルモデルを決定する機能と、
を実現させるためのプログラムであり、
前記取得する機能により取得される前記正規化項は、
【数３７】
0006047190.tif 000252
であり、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸのサンプルの行のカテゴリの数を示し、Ｋｒ２はリレーションＹのサンプルの行のカテゴリの数を示し、ＫｃはリレーションＸまたはＹのサンプルの列のカテゴリの数を示し、ｑ〜（  ）は、初期設定で取得された、潜在変数の更新された変分分布関数の値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、サンプルのｐ番目の行のカテゴリに対する、ｉ番目の行のサンプルデータの所属を表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、サンプルのｒ番目の行のカテゴリに対する、ｌ番目の行のサンプルデータの所属を表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、サンプルのｑ番目の列のカテゴリに対する、ｊ番目の列のサンプルデータの所属を表しており、αはリレーションＸの行の混合比ベクトルを示し、βはリレーションＸまたはＹの列の混合比ベクトルを示し、γはリレーションＹの行の混合比ベクトルを示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのサンプルの、ｐ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、Ｄｒｑは、リレーションＹのサンプルの、ｒ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、
【数３８】
0006047190.tif 000253
では、ａは
【数３９】
0006047190.tif 000254
を示し、ｂは
【数４０】
0006047190.tif 000255
を示し、
【数４１】
0006047190.tif 000256
では、ａは
【数４２】
0006047190.tif 000257
を示し、ｂは
【数４３】
0006047190.tif 000258
を示す、
プログラム。
【請求項１０】
コンピュータに、 
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布関数の対数とを取得する機能を実現させるためのプログラムであり、潜在変数の前記変分分布関数は、サンプルデータが、対応するカテゴリにクラスタ化されている可能性を表す分布関数であって、
前記プログラムは、更に、コンピュータに、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布関数の前記対数とに応じて、目的関数を決定する機能と、
前記目的関数の収束を可能にする各潜在変数の収束可能化変分分布関数と収束可能化モデルパラメータとを決定し、前記目的関数の収束を可能にする各潜在変数の前記収束可能化変分分布関数と前記収束可能化モデルパラメータとに応じて、リレーショナルモデルを決定する機能と、
を実現させるためのプログラムであり、
前記目的関数を決定する機能により、前記対数尤度の期待値と前記正規化項の期待値と各潜在変数の前記変分分布関数の前記対数の期待値とに応じて、前記目的関数が決定され、
前記目的関数を決定する機能により決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数４４】
0006047190.tif 000259
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比ベクトルを示し、βはリレーションＸまたはＹの列の混合比ベクトルを示し、γはリレーションＹの行の混合比ベクトルを示し、φはリレーションＸのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示し、ωはリレーションＹのサンプルの、各カテゴリのサンプルデータが従う分布のパラメータを示し、Ｋｒ１はリレーションＸのサンプルの行のカテゴリの数を示し、Ｋｒ２はリレーションＹのサンプルの行のカテゴリの数を示し、ＫｃはリレーションＸまたはＹのサンプルの列のカテゴリの数を示し、ｑ〜（  ）は、初期設定で取得された、潜在変数の更新された変分分布関数の値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、サンプルのｐ番目の行のカテゴリに対する、ｉ番目の行のサンプルデータの所属を表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、サンプルのｒ番目の行のカテゴリに対する、ｌ番目の行のサンプルデータの所属を表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、サンプルのｑ番目の列のカテゴリに対する、ｊ番目の列のサンプルデータの所属を表しており、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのサンプルの、ｐ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、Ｄｒｑは、リレーションＹのサンプルの、ｒ番目の行のカテゴリであって、かつｑ番目の列のカテゴリのサンプルデータが従う分布のパラメータの次元を示し、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布関数を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布関数を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布関数を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、
【数４５】
0006047190.tif 000260
では、ａは
【数４６】
0006047190.tif 000261
を示し、ｂは
【数４７】
0006047190.tif 000262
を示し、
【数４８】
0006047190.tif 000263
では、ａは
【数４９】
0006047190.tif 000264
を示し、ｂは
【数５０】
0006047190.tif 000265
を示す、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、統計の技術分野に、とりわけリレーショナルモデルのモデル選択の方法と装置に関する。
【背景技術】
【０００２】
統計技術の継続的な発達に伴い、オブジェクト間の関連性情報のモデリングが、注目の話題になっている。オブジェクト間には、例えば、調査される母集団の個人間のコンタクト情報や、インターネット上のページ間のリンク関連性情報など様々な関連性情報が存在する。様々な関連性情報は１つのカテゴリ内のオブジェクト間、または複数のカテゴリ内のオブジェクト間の相互関連性を表し、そして、関連性情報の分析によって、より価値ある情報が得られる可能性がある。この理由により、ますます多くの関連性情報に基づくアプリケーションが推進されている。そのうちの１つは、関連性情報に応じて、種々のサンプルデータに対するリレーション・クラスタリングを実行することである。しかし、リレーション・クラスタリングにおいては、通常リレーショナルモデルが使用される。例えば、映画会社が、客の反応情報に基づき現在上映中の一連の映画の広範囲の評価をすることを望むならば、同社は、現在上映中の一連の映画に対してユーザグループによってつけられた得点を集め、リレーショナルモデルを用いることで、ユーザと映画とを、種々のサンプルカテゴリに分類する。このように、同時のクラスタリングは、ユーザと、映画と、得点とに対し成し遂げられる。そして、クラスタリングの結果を分析することによって、例えば、その観衆の特徴など、映画に関する有用な情報を取得できる。したがって、リレーショナルモデルを決定する方法が、現在、リレーショナル・クラスタリングを研究するための鍵になっている。
【０００３】
実際には、リレーショナルモデルは、潜在変数の変分分布とモデルパラメータとにより決定される。潜在変数とは、直接的には観察できないが、サンプルデータから得られるであろう変数をいい、潜在変数の変分分布は、サンプルデータが対応するカテゴリにクラスタ化されている可能性を表す。モデルパラメータは、各カテゴリのサブモデルのパラメータを表す。現在、「関連予測のための非母数潜在特徴モデル（Ｎｏｎｐａｒａｍｅｔｒｉｃ  Ｌａｔｅｎｔ  Ｆｅａｔｕｒｅ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｌｉｎｋ  Ｐｒｅｄｉｃｔｉｏｎ）」［ミラー（Ｍｉｌｌｅｒ）ほか，ＮＩＰＳ‘０９会報，２００９］という論文で、潜在変数の変分分布とモデルパラメータを決定する方法が提示されている。その方法では、まず、１セットのサンプルデータの行と列のサンプルデータと、２セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と各潜在変数の変分分布の対数とを取得し、次に、対数尤度と各潜在変数の変分分布とに応じて目的関数を決定し、そして、目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとを決定する。それらをリレーショナルモデルの決定に使用することができる。
【０００４】
本開示の具体化において、発明者は、従来技術が少なくとも次の課題を有すると確認した。
【０００５】
リレーショナルモデルを決定するための上記方法は、１セットのサンプルデータ内の２種類のサンプルデータ（行と列）に対し提供されている。しかし、実際、リレーションは、大抵、数セットのサンプルデータの、複数種類のサンプルデータ間に存在する。このように、上記方法を用い、潜在変数の変分分布とモデルパラメータとに応じて決定されたリレーショナルモデルは、適用範囲が限定される。更に、目的関数が、対数尤度と潜在変数の変分分布とに応じて決定されるので、目的関数に応じて決定されたリレーショナルモデルは複雑である。
【発明の概要】
【課題を解決するための手段】
【０００６】
従来技術の技術的課題を解決するために、本開示の実施形態は、リレーショナルモデルを決定する方法と装置を提供する。技術的な解決方法は以下の通りである。
【０００７】
第１の観点では、リレーショナルモデルを決定する方法が提供される。前記方法は、
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得することと、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布の前記対数とに応じて、目的関数を決定することと、
前記目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとを決定し、前記目的関数の収束を可能にする各潜在変数の前記変分分布と前記モデルパラメータとに応じて、リレーショナルモデルを決定することとを含む。
【０００８】
前記第１の観点との組み合わせで、前記第１の観点の第１のありうる具体化では、前記少なくとも２セットのサンプルデータと、前記少なくとも３セットの潜在変数と、前記モデルパラメータとに応じて決定される前記対数尤度は、
【数１】
0006047190.tif 000002
である。ここで、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示す。
【０００９】
前記第１の観点との組み合わせで、前記第１の観点の第２のありうる具体化では、前記少なくとも２セットのサンプルデータと、前記少なくとも３セットの潜在変数と、前記モデルパラメータとに応じて決定される前記正規化項は、
【数２】
0006047190.tif 000003
である。ここで、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、ＫｃはリレーションＸまたはＹの列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の前記変分分布の近似値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属すことを表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属すことを表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属すことを表しており、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのｐ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、Ｄｒｑは、リレーションＹのｒ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。
【数３】
0006047190.tif 000004
では、ａは
【数４】
0006047190.tif 000005
を示し、ｂは
【数５】
0006047190.tif 000006
を示し、
【数６】
0006047190.tif 000007
では、ａは
【数７】
0006047190.tif 000008
を示し、ｂは
【数８】
0006047190.tif 000009
を示す。
【００１０】
前記第１の観点との組み合わせで、前記第１の観点の第３のありうる具体化では、前記少なくとも２セットのサンプルデータと、前記少なくとも３セットの潜在変数と、前記モデルパラメータとに応じて決定される、潜在変数の前記変分分布の前記対数は、
ｌｏｇｑ（ＺＲ１）とｌｏｇｑ（ＺＲ２）とｌｏｇｑ（ＺＣ）
とである。ここで、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布である。
【００１１】
前記第１の観点の第３のありうる具体化までの前記第１の観点のいずれかとの組み合わせで、第１の観点の第４のありうる具体化では、前記対数尤度と前記正規化項と各潜在変数の前記変分分布の前記対数とに応じて、前記目的関数を決定することは、
前記対数尤度の期待値と前記正規化項の期待値と各潜在変数の前記変分分布の前記対数の期待値とに応じて、前記目的関数を決定することを含む。
【００１２】
前記第１の観点の第４のありうる具体化との組み合わせで、前記第１の観点の第５のありうる具体化では、前記対数尤度の前記期待値と前記正規化項の前記期待値と各潜在変数の前記変分分布の前記対数の前記期待値とに応じて決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数９】
0006047190.tif 000010
である。
【００１３】
前記第１の観点の第５のありうる具体化との組み合わせで、前記第１の観点の第６のありうる具体化では、前記目的関数の収束を可能にする、各潜在変数の前記変分分布と前記モデルパラメータとを決定することは、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得することと、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別することと、前記目的関数が収束しない場合は、前記目的関数の収束を可能にするものが取得されるまで、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得することとを含む。
【００１４】
前記第１の観点の第６のありうる具体化との組み合わせで、前記第１の観点の第７のありうる具体化では、各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得することは、
各潜在変数の更新され収束した変分分布が取得されるまで、次の式を使って、各潜在変数の前記変分分布を交互に更新することと、
【数１０】
0006047190.tif 000011
【数１１】
0006047190.tif 000012
【数１２】
0006047190.tif 000013
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の前記更新され収束した変分分布に応じて、前記モデルパラメータを更新することとを含む。
【数１３】
0006047190.tif 000014
【数１４】
0006047190.tif 000015
【数１５】
0006047190.tif 000016
【数１６】
0006047190.tif 000017
【数１７】
0006047190.tif 000018
ここで、
【数１８】
0006047190.tif 000019
【数１９】
0006047190.tif 000020
であり、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００１５】
前記第１の観点の第６のありうる具体化との組み合わせで、前記第１の観点の第８のありうる具体化では、各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得することは、
更新されたモデルパラメータを取得するために、次の式を使って、前記モデルパラメータを更新することと、
【数２０】
0006047190.tif 000021
【数２１】
0006047190.tif 000022
【数２２】
0006047190.tif 000023
【数２３】
0006047190.tif 000024
【数２４】
0006047190.tif 000025
前記
【数２５】
0006047190.tif 000026
前記
【数２６】
0006047190.tif 000027
各潜在変数の更新され収束した変分分布を取得するために、次の式を使って、前記更新されたモデルパラメータに応じて、各潜在変数の前記変分分布を交互に更新することとを含む。
【数２７】
0006047190.tif 000028
【数２８】
0006047190.tif 000029
【数２９】
0006047190.tif 000030
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００１６】
前記第１の観点の第６から第８までのありうる具体化のいずれかとの組み合わせで、前記第１の観点の第９のありうる具体化では、各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別することは、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前回取得された目的関数との距離が、閾値より短いかどうか判別することと、前記前回取得された目的関数は、各潜在変数の前回の前記更新された変分分布と、前回の前記更新されたモデルパラメータとに応じて決定されており、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前記前回取得された目的関数との距離が、前記閾値より短い場合は、前記目的関数が収束すると判別することとを含む。
【００１７】
第２の観点では、リレーショナルモデルを決定する装置が提供され、当該装置は、
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の前記変分分布と前記モデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールとを含む。
【００１８】
前記第２の観点との組み合わせで、前記第２の観点の第１のありうる具体化では、前記取得モジュールにより取得される前記対数尤度は、
【数３０】
0006047190.tif 000031
である。ここで、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示す。
【００１９】
前記第２の観点との組み合わせで、前記第２の観点の第２のありうる具体化では、前記取得モジュールにより取得される前記正規化項は、
【数３１】
0006047190.tif 000032
である。ここで、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、ＫｃはリレーションＸまたはＹの列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の前記変分分布の近似値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属すことを表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属すことを表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属すことを表しており、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのｐ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、Ｄｒｑは、リレーションＹのｒ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。前記
【数３２】
0006047190.tif 000033
では、ａは
【数３３】
0006047190.tif 000034
を示し、ｂは
【数３４】
0006047190.tif 000035
を示し、前記
【数３５】
0006047190.tif 000036
では、ａは
【数３６】
0006047190.tif 000037
を示し、ｂは
【数３７】
0006047190.tif 000038
を示す。
【００２０】
前記第２の観点との組み合わせで、前記第２の観点の第３のありうる具体化では、前記取得モジュールにより取得される、潜在変数の前記変分分布の前記対数は、
ｌｏｇｑ（ＺＲ１）とｌｏｇｑ（ＺＲ２）とｌｏｇｑ（ＺＣ）
とである。ここで、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布を示す。
【００２１】
前記第２の観点の第３のありうる具体化までの前記第２の観点のいずれかとの組み合わせで、第２の観点の第４のありうる具体化では、前記第１の決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と各潜在変数の前記変分分布の前記対数の期待値とに応じて、前記目的関数を決定するように構成されている。
【００２２】
前記第２の観点の第４のありうる具体化との組み合わせで、前記第２の観点の第５のありうる具体化では、前記第１の決定モジュールにより決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数３８】
0006047190.tif 000039
である。
【００２３】
前記第２の観点の第５のありうる具体化との組み合わせで、前記第２の観点の第６のありうる具体化では、前記第２の決定モジュールは、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得するように構成された取得ユニットと、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別するように構成された判別ユニットとを含み、
前記取得ユニットは、前記目的関数が収束しない場合は、前記目的関数の収束を可能にするものが取得されるまで、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得するように構成されている。
【００２４】
前記第２の観点の第６のありうる具体化との組み合わせで、前記第２の観点の第７のありうる具体化では、前記取得ユニットは、
各潜在変数の更新され収束した変分分布が取得されるまで、次の式を使って、各潜在変数の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
【数３９】
0006047190.tif 000040
【数４０】
0006047190.tif 000041
【数４１】
0006047190.tif 000042
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の前記更新され収束した変分分布に応じて、前記モデルパラメータを更新するように構成された第２の更新サブユニットとを含む。
【数４２】
0006047190.tif 000043
【数４３】
0006047190.tif 000044
【数４４】
0006047190.tif 000045
【数４５】
0006047190.tif 000046
【数４６】
0006047190.tif 000047
ここで、
【数４７】
0006047190.tif 000048
【数４８】
0006047190.tif 000049
であり、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００２５】
前記第２の観点の第６のありうる具体化との組み合わせで、前記第２の観点の第８のありうる具体化では、前記取得ユニットは、
更新されたモデルパラメータを取得するために、次の式を使って、前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
【数４９】
0006047190.tif 000050
【数５０】
0006047190.tif 000051
【数５１】
0006047190.tif 000052
【数５２】
0006047190.tif 000053
【数５３】
0006047190.tif 000054
ここで、
【数５４】
0006047190.tif 000055
であり、
【数５５】
0006047190.tif 000056
であって、
各潜在変数の更新され収束した変分分布を取得するために、次の式を使って、前記更新されたモデルパラメータに応じて、各潜在変数の前記変分分布を交互に更新するように構成された第４の更新サブユニットとを含む。
【数５６】
0006047190.tif 000057
【数５７】
0006047190.tif 000058
【数５８】
0006047190.tif 000059
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００２６】
前記第２の観点の第６から第８までのありうる具体化のいずれかとの組み合わせで、前記第２の観点の第９のありうる具体化では、前記判別ユニットは、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前回取得された目的関数との距離が、閾値より短いかどうか判別するように構成された比較サブユニットを含み、前記前回取得された目的関数は、各潜在変数の前回の前記更新された変分分布と、前回の前記更新されたモデルパラメータとに応じて決定されており、
前記判別ユニットは、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前記前回取得された目的関数との距離が、前記閾値より短い場合は、前記目的関数が収束すると判別するように構成された判別サブユニットを含む。
【００２７】
本開示の実施形態で提供される技術的解決方法は、以下の有益な効果を達成する。
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて、目的関数が決定され、目的関数の収束を可能にする各潜在変数の前記変分分布と前記モデルパラメータとに応じて、前記リレーショナルモデルが決定され、それにより、数セットのサンプルデータ間の複数のリレーションに従ったリレーショナルモデルを決定するだけではなく、リレーショナルモデルの決定における効率と精度を改善する。更に、前記正規化項が導入されるので、前記リレーショナルモデルの複雑性は、自動的に制御されうる。
【００２８】
本開示の実施形態の技術的解決方法をより明瞭に記述するために、実施形態の記述に必要となる添付図面を、以下で簡単に紹介する。明らかに、以下の説明の添付図面は本開示の実施形態のみを示し、当業者は、創造的努力なしで、これらの添付図面に基づく他の添付図面を導き出す可能性がある。
【図面の簡単な説明】
【００２９】
【図１】本開示の実施形態１に関して、リレーショナルモデルを決定する方法のフローチャートである。
【図２】本開示の実施形態２に関して、リレーショナルモデルを決定する方法のフローチャートである。
【図３】本開示の実施形態３に関して、リレーショナルモデルを決定する装置の概略構成図である。
【図４】本開示の実施形態３に関して、第２の決定モジュールの概略構成図である。
【図５】本開示の実施形態３に関して、取得ユニットの概略構成図である。
【図６】本開示の実施形態３に関して、他の取得ユニットの概略構成図である。
【図７】本開示の実施形態３に関して、判別ユニットの概略構成図である。
【発明を実施するための形態】
【００３０】
本開示の目的と、技術的解決方法と、利点とを、より明らかにするために、本開示の実施形態を、添付図面を参照して以下で詳細に記述する。
【００３１】
実施形態１
本開示の実施形態は、リレーショナルモデルを決定する方法を提供する。図１を参照して、方法は以下のステップを含む。
ステップ１０１：少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得すること。
【００３２】
任意の実施形態として、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される対数尤度は、
【数５９】
0006047190.tif 000060
である。ここで、ｌｏｇｐ（  ）は対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹのモデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示す。
【００３３】
任意の実施形態として、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される正規化項は、
【数６０】
0006047190.tif 000061
である。ここで、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、ＫｃはリレーションＸまたはＹの列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布の近似値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属すことを表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属すことを表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属すことを表しており、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのｐ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、Ｄｒｑは、リレーションＹのｒ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。
【数６１】
0006047190.tif 000062
では、ａは
【数６２】
0006047190.tif 000063
を示し、ｂは
【数６３】
0006047190.tif 000064
を示し、
【数６４】
0006047190.tif 000065
では、ａは
【数６５】
0006047190.tif 000066
を示し、ｂは
【数６６】
0006047190.tif 000067
を示す。
【００３４】
任意の実施形態として、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、潜在変数の変分分布の対数は、
ｌｏｇｑ（ＺＲ１）とｌｏｇｑ（ＺＲ２）とｌｏｇｑ（ＺＣ）
とである。ここで、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布を示す。
【００３５】
ステップ２０１：対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて、目的関数を決定すること。
【００３６】
任意の実施形態として、対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて、目的関数を決定することは、
対数尤度の期待値と正規化項の期待値と各潜在変数の変分分布の対数の期待値とに応じて目的関数を決定することを含む。
【００３７】
任意の実施形態として、対数尤度の期待値と正規化項の期待値と各潜在変数の変分分布の対数の期待値とに応じて決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数６７】
0006047190.tif 000068
である。
【００３８】
ステップ１０３：目的関数の収束を可能にする、各潜在変数の変分分布とモデルパラメータとを決定することと、目的関数の収束を可能にする、各潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定する。
【００３９】
任意の実施形態として、目的関数の収束を可能にする、各潜在変数の変分分布とモデルパラメータとを決定することは、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得することと、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別することと、目的関数が収束しない場合は、目的関数の収束を可能にするものが取得されるまで、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得することとを含む。
【００４０】
任意の実施形態として、各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得することは、
各潜在変数の更新され収束した変分分布が取得されるまで、次の式を使って、各潜在変数の変分分布を交互に更新することと、
【数６８】
0006047190.tif 000069
【数６９】
0006047190.tif 000070
【数７０】
0006047190.tif 000071
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の更新され収束した変分分布に応じて、モデルパラメータを更新することとを含む。
【数７１】
0006047190.tif 000072
【数７２】
0006047190.tif 000073
【数７３】
0006047190.tif 000074
【数７４】
0006047190.tif 000075
【数７５】
0006047190.tif 000076
【数７６】
0006047190.tif 000077
【数７７】
0006047190.tif 000078
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００４１】
任意の実施形態として、各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得することは、
更新されたモデルパラメータを取得するために、次の式を使って、モデルパラメータを更新することと、
【数７８】
0006047190.tif 000079
【数７９】
0006047190.tif 000080
【数８０】
0006047190.tif 000081
【数８１】
0006047190.tif 000082
【数８２】
0006047190.tif 000083
【数８３】
0006047190.tif 000084
【数８４】
0006047190.tif 000085
各潜在変数の更新され収束した変分分布を取得するために、次の式を使って、更新されたモデルパラメータに応じて、各潜在変数の変分分布を交互に更新することとを含む。
【数８５】
0006047190.tif 000086
【数８６】
0006047190.tif 000087
【数８７】
0006047190.tif 000088
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００４２】
任意の実施形態として、各潜在変数の更新された変分分布と、更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別することは、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとに応じて決定された目的関数と、前回取得された目的関数との距離が、閾値より短いかどうか判別することと、前回取得された目的関数は、各潜在変数の前回の更新された変分分布と、前回の更新されたモデルパラメータとに応じて決定されており、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとに応じて決定された目的関数と、前回取得された目的関数との距離が、閾値より短い場合は、目的関数が収束すると判別することとを含む。
【００４３】
本開示の実施形態で提供される方法は、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて目的関数を決定し、それから目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定する。それにより、数セットのサンプルデータ間の複数のリレーションに従ったリレーショナルモデルを決定するだけではなく、リレーショナルモデルの決定における効率と精度を改善する。更に、正規化項が導入されるので、リレーショナルモデルの複雑性は、自動的に制御されうる。
【００４４】
実施形態２
本開示のこの実施形態は、リレーショナルモデルを決定する方法を提供する。本開示の実施形態で提供される方法を、実施形態１の内容との組み合わせで詳細に説明する。図２を参照して、方法は以下のステップを含む。
ステップ２０１：少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得すること。
【００４５】
この実施形態は、サンプルデータの内容と次元に何ら限定を与えるものではない。具体的な実施において、サンプルデータは複数のユーザが映画に対してつけた得点であっても良く、この場合、サンプルデータの次元は２でも良い。つまり、統計の収集は、ユーザと映画との次元で、得点に対し実行される。とは言え、上記内容と次元に加え、サンプルデータは、他の内容と次元を使用しても良い。
【００４６】
理解を容易にするために、例として以下のサンプルデータを用いて説明する。サンプルデータを５×５の行列形式で示し、行列の行はユーザ１〜５を示し、行列の列は映画１〜５を示し、行列の要素ｘｉｊは、ユーザｉが映画ｊに対してつけた得点を示す。ここで、１≦ｉ≦５，１≦ｊ≦５であり、ｉとｊは共に整数である。
【数８８】
0006047190.tif 000089
【００４７】
上記サンプルデータは、１種類の関連性情報に対応するサンプルデータのセットであり、当該サンプルデータは当該関連性情報に応じて、クラスタ化されても良い。しかし、実際には、サンプルデータは、しばしば複数種類の関連性情報に応じて、クラスタ化される。例えば、関連性情報Ａは、ユーザとショッピングリストとのリレーションを示し、関連性情報Ｂはショッピングリストと商品とのリレーションを示し、ユーザと商品とは関連性情報ＡとＢに応じてクラスタ化される。複数種類の関連性情報に応じて、サンプルデータをクラスタ化する場合、複数種類の関連性情報に応じてリレーショナルモデルを決定するために、各々が１種類の関連性情報に対応する、少なくとも２セットのサンプルデータが必要である。
【００４８】
潜在変数は、行と列の潜在変数を含むが、これに限定されない。潜在変数の内容は本実施形態に限定されない。実施において、潜在変数は、ブロック変数行列Ｚであっても良く、行列のいずれかの要素Ｚｉｐは、ｐ番目のサンプルカテゴリに関してｉ番目のサンプルデータに属することを示す。
【００４９】
少なくとも２セットのサンプルデータが必要であり、各セットは少なくとも２セットの潜在変数に対応する。そのうえ、リレーショナルモデルが複数種類の関連性情報に応じて決定される場合、種々の関連性情報が少なくとも１つの同一オブジェクトを示し、サンプルデータの種々のセットに対応する潜在変数の中で、少なくとも１セットが同一になる。よって、２セットのサンプルデータが３セットの潜在変数に対応する。サンプルデータを複数種類の関連性情報に応じてクラスタリングする場合、複数種類の関連性情報に応じてリレーショナルモデルを決定するために、少なくとも３セットの潜在変数が必要である。
【００５０】
モデルパラメータは、各サンプルカテゴリの、行の混合比と、列の混合比と、サブモデルパラメータとを含むが、これに限定されるものではない。この実施形態は、モデルパラメータの具体的な内容に何ら限定を与えるものではない。例として行列形式サンプルデータを使うと、行の混合比とは、決定されたリレーショナルモデルでの各サンプルカテゴリの行列の行の数、対、決定されたリレーショナルモデルでの行の総数の割合であり、列の混合比とは、決定されたリレーショナルモデルでの各サンプルカテゴリの行列の列の数、対、決定されたリレーショナルモデルでの行の総数の割合であり、各サンプルカテゴリのサブモデルパラメータは、決定されたリレーショナルモデルでの各サンプルカテゴリのデータ分布のパラメータである。
【００５１】
サンプルデータの種々のセットに対応する潜在変数の中に、少なくとも１つの同一の潜在変数が存在するので、サンプルデータの種々のセットに対応するモデルパラメータの中に、少なくとも１つの同一のモデルパラメータが存在する。例として、２セットの２次元サンプルデータを挙げると、２セットのサンプルデータに対応するモデルパラメータは、全て、各サンプルカテゴリの、行の混合比と、列の混合比と、サブモデルパラメータとを少なくとも含む。よって、２セットのサンプルデータに対応する行の混合比または列の混合比が同一である。
【００５２】
潜在変数とモデルパラメータとは互いに独立でも良いし、従属関係におかれていても良い点に留意すべきである。実際、潜在変数とモデルパラメータとは従属関係におかれているので、決定されたリレーショナルモデルをより正確にするために、例として、この実施形態では、潜在変数とモデルパラメータとが従属関係におかれている場合を用いて説明する。
【００５３】
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得するために、この実施形態で提供される方法は、最初に、同時確率密度関数を導入する。
【数８９】
0006047190.tif 000090
ここで、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹのモデルパラメータのセットを示し、α，β，γ，φ，ωを含み、ここで、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、Ｋｃは、リレーションＸまたはＹの列サンプルカテゴリの数を示し、ＸｉｊはリレーションＸのｉ番目の行でｊ番目の列のサンプルデータを示し、ＹｌｊはリレーションＹのｌ番目の行でｊ番目の列のサンプルデータを示し、φｐｑはリレーションＸのｐ番目の行でｑ番目の列のサンプルカテゴリのサブモデルパラメータを示し、ωｒｑはリレーションＹのｒ番目の行でｑ番目の列のサンプルカテゴリのサブモデルパラメータを示し、ＺＲ１ｉｐはリレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属することを示し、ＺＣｊｑはリレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属することを示し、ＺＲ２ｌｒはリレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属することを示し、αｐはリレーションＸのｐ番目の行サンプルカテゴリの行の混合比を示し、γｒはリレーションＸまたはＹのｒ番目の列サンプルカテゴリの列の混合比を示し、βｑはリレーションＹのｑ番目の列サンプルカテゴリの列の混合比を示す。
【００５４】
同時確率密度関数の式から分かるように、本開示の実施形態で提供される方法は、列のサンプルの数と、列サンプルカテゴリの数と、リレーションＸとＹの列の潜在変数とが同一である例を用いて記述される。更に、列のサンプルデータに対応するオブジェクトを通じてリレーションＸとＹが互いに関連付けられるように、２セットのサンプルデータは共に次元が２であり、それにより、リレーションＸとＹの行のサンプルデータに対応するオブジェクトをクラスタリングする。すなわち、リレーショナルモデルを決定する。関連付けは、列のサンプルデータに対応するオブジェクトを通じて実行されても良い。とは言え、関連付けは、行のサンプルデータに対応するオブジェクトを通じて実行されても良い。更に、サンプルデータが３，４，５のような他の次元である場合、関連付けは、いずれかの次元のサンプルデータに対応するオブジェクトを通じて実行されても良く、これらに限定されない。
【００５５】
同時確率密度関数によってリレーショナルモデルの確率密度分布は決定される。同時確率密度関数のモデルパラメータα，β，γ，φ，ωと、潜在変数ＺＲ１，ＺＲ２，ＺＣとを決定することで、リレーショナルモデルの確率密度分布が決定され、それによりリレーショナルモデルを決定する。同時確率密度関数を可解にするために、以下の対数尤度を取得するために同時密度分布の式の両側で、対数がとられる。
【数９０】
0006047190.tif 000091
【００５６】
任意の実施形態として、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される対数尤度は、
【数９１】
0006047190.tif 000092
である。ここで、ｌｏｇｐ（  ）は対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹのモデルパラメータのセットを示し、α，β，γ，φ，ωを含み、ここでαはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示す。
【００５７】
具体的に言うと、リレーションＸのサンプルデータＸＮｒ１Ｎｃが行列形式で表現される場合、Ｎｒ１は行列の行のサンプルの数を示し、Ｎｃは行列の列のサンプルの数を示し、Ｋｒ１は行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ＺＲ１はＮｒ１＊Ｋｒ１ブロック変数行列を示し、ＺＲ１の各要素は、ＺＲ１ｉｐ ∈｛０，１｝であり、ＺＲ１ｉｐ＝１の場合は、ｉ番目の行のサンプルデータがｐ番目の行サンプルカテゴリに属することを示し、ＺＣはＮＣ＊ＫＣブロック変数行列を示し、ＺＣの各要素は、ＺＣｊｑ ∈｛０，１｝であり、ＺＣｊｑ＝１の場合は、ｊ番目の列のサンプルデータがｑ番目の列サンプルカテゴリに属することを示す。行の混合比αは、リレーショナルモデルの各行サンプルカテゴリの行の数、対、サンプルデータ行列の行の総数の割合を示し、列の混合比βは、リレーショナルモデルの各列サンプルカテゴリの列の数、対、サンプルデータ行列の列の総数の割合であり、各構成要素のモデルパラメータφは、リレーショナルモデルの各サンプルカテゴリのサンプルデータが、サンプルカテゴリで従う分布のパラメータを示す。例えば、各サンプルカテゴリのサンプルデータがガウス分布に従う場合、φはガウス分布の期待値μと分散δとを示す。更に例えば、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、φはポアソン分布の期待値と分散λとを示す。各サンプルカテゴリのサンプルデータは他の分布に従うものでも良く、本実施形態に限定されるものではない、という点に留意すべきである。
【００５８】
更に、リレーションＹのサンプルデータＹＮｒ２Ｎｃが行列形式で表現される場合、Ｎｒ２は行列の行のサンプルの数を示し、Ｎｃは行列の列のサンプルの数を示し、Ｋｒ２は行サンプルカテゴリの数を示し、Ｋｃは列サンプルカテゴリの数を示し、ＺＲ２はＮｒ２＊Ｋｒ２ブロック変数行列を示し、ＺＲ２の各要素は、ＺＲ２ｌｒ ∈｛０，１｝であり、ＺＲ２ｌｒ＝１の場合は、ｌ番目の行のサンプルデータがｑ番目の行サンプルカテゴリに属することを示し、ＺＣはＮＣ＊ＫＣブロック変数行列を示し、ＺＣの各要素は、ＺＣｊｑ ∈｛０，１｝であり、ＺＣｊｑ＝１の場合は、ｊ番目の列のサンプルデータがｑ番目の列サンプルカテゴリに属することを示す。行の混合比γは、リレーショナルモデルの各行サンプルカテゴリの行の数、対、サンプルデータ行列の行の総数の割合を示し、列の混合比βは、リレーショナルモデルの各列サンプルカテゴリの列の数、対、サンプルデータ行列の列の総数の割合であり、各構成要素のモデルパラメータωは、リレーショナルモデルの各サンプルカテゴリのサンプルデータが、サンプルカテゴリで従う分布のパラメータを示す。例えば、各サンプルカテゴリのサンプルデータがガウス分布に従う場合、ωはガウス分布の期待値μと分散δとを示す。更に例えば、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、ωはポアソン分布の期待値と分散λとを示す。上記分布の他に、各サンプルカテゴリのサンプルデータは他の分布に従うものでも良く、本実施形態に限定されるものではない、という点に留意すべきである。
【００５９】
任意の実施形態として、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータに応じて決定される正規化項は、
【数９２】
0006047190.tif 000093
である。ここで、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、ＫｃはリレーションＸまたはＹの列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布の近似値を示し、ＺＲ１ｉｐはリレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属することを示し、ＺＲ２ｌｒはリレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属することを示し、ＺＣｊｑはリレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属することを示し、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、ＤｐｑはリレーションＸのｐ番目の行でｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、ＤｒｑはリレーションＹのｒ番目の行でｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。
【数９３】
0006047190.tif 000094
では、ａは
【数９４】
0006047190.tif 000095
を示し、ｂは
【数９５】
0006047190.tif 000096
を示し、
【数９６】
0006047190.tif 000097
では、ａは
【数９７】
0006047190.tif 000098
を示し、ｂは
【数９８】
0006047190.tif 000099
を示す。それゆえ、正規化項は、
【数９９】
0006047190.tif 000100
に展開されても良い。
【００６０】
具体的に言うと、Ｋｒ１がブロック変数行列ＺＲ１の行サンプルカテゴリの数を示す場合、
Ｄα＝Ｄ（α）＝Ｋｒ１−１
であり、Ｋｃがブロック変数行列ＺＣの列サンプルカテゴリの数を示す場合、
Ｄβ＝Ｄ（β）＝Ｋｃ−１
であり、Ｋｒ２がブロック変数行列ＺＲ２の行サンプルカテゴリの数を示す場合、
Ｄγ＝Ｄ（γ）＝Ｋｒ２−１
であり、リレーションＸで、各サンプルカテゴリのサンプルデータがガウス分布に従う場合、ガウス分布の期待値と分散は各々μとδ（すなわち、ガウス分布は２つのパラメータを有する）なので、
Ｄｐｑ＝Ｄ（φｐｑ）＝２
であり、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、ポアソン分布の期待値と分散は共にλ（すなわち、ポアソン分布は１つのパラメータλを有する）なので、
Ｄｐｑ＝Ｄ（φｐｑ）＝１
であり、リレーションＹで、各サンプルカテゴリのサンプルデータがガウス分布に従う場合、ガウス分布の期待値と分散は各々μとδ（すなわち、ガウス分布は２つのパラメータを有する）なので、
Ｄｒｑ＝Ｄ（φｒｑ）＝２
であり、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、ポアソン分布の期待値と分散は共にλ（すなわち、ポアソン分布は１つのパラメータλを有する）なので、
Ｄｐｑ＝Ｄ（φｐｑ）＝１
である。
【００６１】
更に、潜在変数の変分分布の近似値ｑ〜（  ）は本実施形態に限定されず、前回の更新または初期設定で取得された潜在変数の更新された変分分布の値を含むが、これに限定されない。理解しやすくするために、本実施形態は、前回の取得または初期設定で取得された潜在変数の更新された変分分布の値が、潜在変数の変分分布の近似値ｑ〜（  ）として用いられる場合を例にして説明する。正規化項が最初の回で決定される場合は、潜在変数の変分分布の近似値は、初期設定で取得された潜在変数の更新された変分分布の値であっても良い。正規化項が他の回で決定される場合は、潜在変数の変分分布の近似値は、前回の更新で取得された潜在変数の更新された変分分布の値であっても良い。
【００６２】
正規化項を決定することで、決定されたリレーショナルモデルの複雑性を自動的に制御可能なので、リレーショナルモデルの決定における効率が改善される、という点に留意すべきである。
【００６３】
任意の実施形態として、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、潜在変数の変分分布の対数は、
ｌｏｇｑ（ＺＲ１）とｌｏｇｑ（ＺＲ２）とｌｏｇｑ（ＺＣ）
である。ここで、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布を示す。
【００６４】
具体的に言うと、リレーションＸの行の潜在変数ＺＲ１の変分分布は、
【数１００】
0006047190.tif 000101
でも良いし、リレーションＹの行の潜在変数ＺＲ２の変分分布は、
【数１０１】
0006047190.tif 000102
でも良いし、リレーションＸまたはＹの列の潜在変数ＺＣの変分分布は、
【数１０２】
0006047190.tif 000103
でも良い。
【００６５】
ステップ２０２：対数尤度の期待値と、正規化項の期待値と、各潜在変数の変分分布の対数の期待値とに応じて目的関数を決定すること。
【００６６】
ステップ２０１では、対数尤度は因数分解の形で表現される。対数が可解であることを保証するために、対数尤度のコンパクトな下界を取得するために、各因数に対しラプラス近似が実行される。、すなわち、因子化情報量基準（Ｆａｃｔｏｒｉｚｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｒｉｔｅｒｉｏｎ（ＦＩＣ））は、
【数１０３】
0006047190.tif 000104
ここで、
【数１０４】
0006047190.tif 000105
である。ＦＩＣが最大値をとる場合、θ―はθの値である。
【００６７】
更に、ＦＩＣがサンプルデータＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃと潜在変数ＺＲ１，ＺＲ２，ＺＣとを含むので、通常は、解法は期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ  Ｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ））アルゴリズムを必要とする。しかし、リレーショナルモデルは非独立潜在変数を用いて決定されるので、従来のＥＭアルゴリズムをＦＩＣの解法に適用できない。ＦＩＣが可解であることを保証するために、本実施形態では、ＦＩＣの漸近的に一致する下限を取得するためにＦＩＣを調整する。
【数１０５】
0006047190.tif 000106
ここで、
【数１０６】
0006047190.tif 000107
であり、関数
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。
【００６８】
任意の実施形態として、対数尤度の期待値と、正規化項の期待値と、各潜在変数の変分分布の対数の期待値とに応じて決定された目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数１０７】
0006047190.tif 000108
である。
【００６９】
更に、上記ステップにより目的関数の決定が終了し、当該目的関数によりリレーショナルモデルを決定するために、本実施形態で提供される方法は、更に、以降のステップを含む。
【００７０】
ステップ２０３：各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得すること。
【００７１】
任意の実施形態として、各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得することは、
各潜在変数の更新され収束した変分分布を取得するまで、次の式を使って、各潜在変数の変分分布を交互に更新することと、
【数１０８】
0006047190.tif 000109
【数１０９】
0006047190.tif 000110
【数１１０】
0006047190.tif 000111
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の更新され収束した変分分布に応じて、モデルパラメータを更新することとを含む。しかし、これに限定されない。
【数１１１】
0006047190.tif 000112
【数１１２】
0006047190.tif 000113
【数１１３】
0006047190.tif 000114
【数１１４】
0006047190.tif 000115
【数１１５】
0006047190.tif 000116
【数１１６】
0006047190.tif 000117
【数１１７】
0006047190.tif 000118
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００７２】
初期設定の手法は、本実施形態に限定されない。実施において、初期設定はランダムに実行されても良い。すなわち、α，γ，β，φ，ωの値はランダムに初期化される。とは言え、他の手法が使われても良い。
【００７３】
更に、前回の潜在変数ＺＣの変分分布の計算結果が、今回の潜在変数ＺＲ１とＺＲ２の変分分布の計算プロセスで使われるので、各潜在変数の変分分布は交互に更新されるだろう。すなわち、各潜在変数の更新され収束した変分分布が取得されるまで、潜在変数ＺＲ１とＺＲ２の変分分布と、潜在変数ＺＣの変分分布とは交互に更新される。各潜在変数の変分分布の収束条件は、本実施形態に限定されない。実施において、行の潜在変数ＺＲ１とＺＲ２に対し、今回の行の潜在変数の変分分布と、前回の行の潜在変数の変分分布とのユークリッド距離を計算しても良い。計算したユークリッド距離が距離閾値より短い場合、行の潜在変数の変分分布が収束すると判別する。距離閾値は実際の状況に応じて設定しても良く、本実施形態に限定されない。
【００７４】
とは言え、各潜在変数の更新された変分分布が収束しているかどうか判別する上記手法に加え、各潜在変数の収束された変分分布は、更新回数を設定することにより取得しても良い。実施において、更新回数が所定の閾値に達した場合、各潜在変数の変分分布が収束したと判別する。それにより、各潜在変数の更新され収束した変分分布を取得する。更新回数の所定の閾値は本実施形態に限定されない。
【００７５】
任意の実施形態として、上記手法で各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得することに加え、本実施形態で提供される方法は、更に、各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得する下記手法を含むが、これに限定されない。当該手法は、
更新されたモデルパラメータを取得するために次の式を使ってモデルパラメータを更新することと、
【数１１８】
0006047190.tif 000119
【数１１９】
0006047190.tif 000120
【数１２０】
0006047190.tif 000121
【数１２１】
0006047190.tif 000122
【数１２２】
0006047190.tif 000123
【数１２３】
0006047190.tif 000124
【数１２４】
0006047190.tif 000125
各潜在変数の更新され収束した変分分布を取得するために、更新したモデルパラメータに応じて、次の式を使って、各潜在変数の更新された変分分布を交互に更新することとを含む。
【数１２５】
0006047190.tif 000126
【数１２６】
0006047190.tif 000127
【数１２７】
0006047190.tif 000128
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００７６】
初回に各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得するために上記ステップ２０３の式が使われる場合、ｔ−１は初期設定を示し、ｔ−１に対応するパラメータは初期値である。例えば、ステップ２０３で初回に各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得する場合、式では、α（ｔ−１）ｐはαｐの初期値を示し、β（ｔ−１）ｑはβｑの初期値を示す。初期設定の手法は本実施形態に限定されない。実施において、ｑ（ＺＲ１），ｑ（ＺＲ２），ｑ（ＺＣ）はランダムに初期化されても良い。とは言え、他の手法が使用されても良い。
【００７７】
他の回に各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得するために上記ステップ２０３の式が使われる場合、ｔ−１は前回の更新を示し、ｔ−１に対応するパラメータは前回の更新の値である。例えば、ステップ２０３で３回目に各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得する場合、式では、α（ｔ−１）ｐは、各潜在変数の更新された変分分布と更新されたモデルパラメータとが２回目に取得された際に取得されたαｐの値を示し、β（ｔ−１）ｑは各潜在変数の更新された変分分布と更新されたモデルパラメータとが２回目に取得された際に取得されたβｐの値を示す。
【００７８】
更に、各潜在変数の変分分布が、更新されたモデルパラメータに応じて更新される場合、潜在変数ＺＲの変分分布と潜在変数ＺＣの変分分布もまた、各潜在変数の更新され収束した変分分布が取得されるまで、交互に更新される必要がある。
【００７９】
更に、実施において、行サンプルカテゴリの数Ｋｒ１，Ｋｒ２と、列サンプルカテゴリの数Ｋｃに種々の数が設定されても良い。例えば、Ｋｒ１の最小値がＫｒ１ｍｉｎと設定され、Ｋｒ１の最大値がＫｒ１ｍａｘであり、Ｋｒ２の最小値がＫｒ２ｍｉｎと設定され、Ｋｒ２の最大値がＫｒ２ｍａｘであり、Ｋｃの最小値がＫｃｍｉｎと設定され、Ｋｃの最大値がＫｃｍａｘである。Ｋｒ１，Ｋｒ２，Ｋｃの値の範囲内で、Ｋｒ１，Ｋｒ２，Ｋｃの値の各組み合わせに対して、各潜在変数の更新された変分分布と更新されたモデルパラメータとが取得される。
【００８０】
各潜在変数の更新された変分分布と更新されたモデルパラメータとが取得される場合、最初に、各潜在変数の更新され収束した変分分布が取得されるまで、潜在変数の変分分布が交互に更新され、それから、更新されたモデルパラメータを取得するために、各潜在変数の更新された変分分布に応じて、モデルパラメータが更新されても良い、という点に留意する必要がある。あるいは、最初に、更新されたモデルパラメータを取得するために、モデルパラメータが更新され、それから、各潜在変数の更新され収束した変分分布を取得するために、更新されたモデルパラメータに応じて、各潜在変数の変分分布が交互に更新されても良い。つまり、各潜在変数の変分分布とモデルパラメータとの更新順序は、ここでの記載に限定されない。
【００８１】
ステップ２０４：各潜在変数の更新された変分分布と更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別することと、目的関数が収束しない場合、目的関数の収束を可能にするものを取得するまで、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得すること。
【００８２】
具体的に言うと、各潜在変数の更新された変分分布と更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別することは、
各潜在変数の更新された変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、前回取得された目的関数との距離が閾値より短いかどうか判別することと、前回取得された目的関数は、各潜在変数の前回の更新された変分分布と前回の更新されたモデルパラメータとに応じて決定されており、
各潜在変数の更新された変分分布と更新されたモデルパラメータとに応じて決定された目的関数と、前回取得された目的関数との距離が閾値より短い場合は、目的関数が収束すると決定することとを含むが、これに限定されない。
【００８３】
閾値は本実施形態に限定されない。実施において、サンプルデータ量等に応じて、種々の閾値が設定されても良い。目的関数が連続的に対数尤度に漸近していくように、各潜在変数の更新された変分分布と更新されたモデルパラメータとにより目的関数を決定し、解けない対数尤度を解ける目的関数に転換し、リレーショナルモデルを決定するために、目的関数が収束する場合、対数尤度の値は近似的に目的関数の値であると捉えられても良い。
【００８４】
目的関数が収束しないと判別され、再度、各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得する場合、ステップ２０３の手法で各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得するために、フローはステップ２０３に戻っても良い、という点に留意する必要がある。最初に各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得する場合は、ステップ２０３の式のｔ−１は初期値を示したが、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得するためにフローがステップ２０３に戻った場合は、ステップ２０３の式のｔ−１は前回の更新を示す。例えば、最初にステップ２０３の式で各潜在変数の更新された変分分布と更新されたモデルパラメータとを取得する場合、各潜在変数の更新された変分分布と更新されたモデルパラメータとを最初に取得するために、式のｔ−１に対応するパラメータには、初期値を使用する。最初に取得された各潜在変数の更新された変分分布と更新されたモデルパラメータとが目的関数を収束させることができない場合、それらは、ステップ２０３の式のｔ−１に対応するパラメータの値として、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得するために用いられ、再取得された潜在変数の更新された変分分布と再取得された更新されたモデルパラメータとが目的関数を収束させることが可能かどうか判別される。目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとを取得するまで、更新は、この手法で実行される。
【００８５】
ステップ２０５：目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定すること。
【００８６】
このステップでは、目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとに応じて、対数尤度に漸近する収束した目的関数の値とリレーショナルモデルとが決定されても良い。
【００８７】
更に、行サンプルカテゴリの数Ｋｒ１，Ｋｒ２と、列サンプルカテゴリの数Ｋｃに種々の数が設定されても良い。Ｋｒ１，Ｋｒ２，Ｋｃの値の各組み合わせに対して、各潜在変数の更新された変分分布と更新されたモデルパラメータとが取得されても良い。目的関数が収束するということを原則にして、目的関数の値を最大化するＫｒ１，Ｋｒ２，Ｋｃとが選択され、それからＫｒ１，Ｋｒ２，Ｋｃに応じて計算された各潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルが決定されても良い。
【００８８】
行サンプルカテゴリのセット数Ｋｒ１，Ｋｒ２と列サンプルカテゴリの数Ｋｃとが、決定されたリレーショナルモデルの行サンプルカテゴリの数と列サンプルカテゴリの数と同一であっても異なっていても良い。つまり、リレーショナルモデルの決定において、リレーショナルモデルの構造は自動的に調節されても良い。
【００８９】
決定されたリレーショナルモデルはデータのクラスタリングとデータの分類に使用されても良い。決定されたリレーショナルモデルがデータのクラスタリングに使用される場合、リレーショナルモデルを決定するプロセスは、データのクラスタリングのプロセスである。決定されたリレーショナルモデルがデータの分類に使用される場合、決定されたリレーショナルモデルは、更に処理されるだろう。データのクラスタリングとデータの分類の結果に応じて、顧客分析と、生物学的分析と、地理的分析とが実行されても良い。それにより、多くの社会的価値と経済的価値を生み出す。
【００９０】
本開示の実施形態で提供される方法では、少なくとも２セットのサンプルデータと少なくとも３セットの潜在変数とモデルパラメータとに応じて決定された対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて目標関数を決定し、それから、目標関数を収束させることが可能な各潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定する。それにより、数セットのサンプルデータ間の複数のリレーションに応じて、リレーショナルモデルを決定するだけではなく、リレーショナルモデルの決定における効率と精度を改善する。更に、正規化項が導入されるので、リレーショナルモデルの複雑性が自動的に制御されうる。
【００９１】
実施形態３
図３を参照して、本開示のこの実施形態では、リレーショナルモデルを決定する装置を提供する。当該装置は、
少なくとも２セットのサンプルデータと少なくとも３セットの潜在変数とモデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得するように構成された取得モジュール３０１と、
対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて、目的関数を決定するように構成された第１の決定モジュール３０２と、
目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとを決定するように構成された第２の決定モジュール３０３と、
目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュール３０４とを含む。
【００９２】
任意の実施形態として、取得モジュール３０１により取得される対数尤度は、
【数１２８】
0006047190.tif 000129
である。ここで、ｌｏｇｐ（  ）は対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹのモデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示す。
【００９３】
任意の実施形態として、取得モジュール３０１によって取得される正規化項は、
【数１２９】
0006047190.tif 000130
である。ここで、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、ＫｃはリレーションＸまたはＹの列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の変分分布の近似値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属すことを表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属すことを表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属すことを表しており、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのｐ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、Ｄｒｑは、リレーションＹのｒ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
である。
【数１３０】
0006047190.tif 000131
では、ａは
【数１３１】
0006047190.tif 000132
を示し、ｂは
【数１３２】
0006047190.tif 000133
を示し、
【数１３３】
0006047190.tif 000134
では、ａは
【数１３４】
0006047190.tif 000135
を示し、ｂは
【数１３５】
0006047190.tif 000136
を示す。
【００９４】
任意の実施形態として、取得モジュール３０１によって取得される、潜在変数の変分分布の対数は、
ｌｏｇｑ（ＺＲ１）とｌｏｇｑ（ＺＲ２）とｌｏｇｑ（ＺＣ）
とである。ここで、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布を示す。
【００９５】
任意の実施形態として、第１の決定モジュール３０２は、対数尤度の期待値と正規化項の期待値と各潜在変数の変分分布の対数の期待値とに応じて、目的関数を決定するように構成されている。
【００９６】
任意の実施形態として、第１の決定モジュール３０２により決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数１３６】
0006047190.tif 000137
である。
【００９７】
任意の実施形態として、図４を参照して、第２の決定モジュール３０３は、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得するように構成された取得ユニット３０３１と、
各潜在変数の更新された変分分布と更新されたモデルパラメータとに応じて、目的関数が収束するかどうか判別するように構成された判別ユニット３０３２とを含み、
取得ユニット３０３１は、目的関数が収束しない場合は、目的関数の収束を可能にするものが取得されるまで、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得するように構成されている。
【００９８】
任意の実施形態として、図５を参照して、取得ユニット３０３１は、
各潜在変数の更新され収束した変分分布が取得されるまで、次の式を使って、各潜在変数の変分分布を交互に更新するように構成された第１の更新サブユニット３０３１１と、
【数１３７】
0006047190.tif 000138
【数１３８】
0006047190.tif 000139
【数１３９】
0006047190.tif 000140
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の更新され収束した変分分布に応じて、モデルパラメータを更新するように構成された第２の更新サブユニット３０３１２とを含む。
【数１４０】
0006047190.tif 000141
【数１４１】
0006047190.tif 000142
【数１４２】
0006047190.tif 000143
【数１４３】
0006047190.tif 000144
【数１４４】
0006047190.tif 000145
【数１４５】
0006047190.tif 000146
【数１４６】
0006047190.tif 000147
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【００９９】
任意の実施形態として、図６を参照して、取得ユニット３０３１は、
更新されたモデルパラメータを取得するために、次の式を使って、モデルパラメータを更新するように構成された第３の更新サブユニット３０３１３と、
【数１４７】
0006047190.tif 000148
【数１４８】
0006047190.tif 000149
【数１４９】
0006047190.tif 000150
【数１５０】
0006047190.tif 000151
【数１５１】
0006047190.tif 000152
【数１５２】
0006047190.tif 000153
【数１５３】
0006047190.tif 000154
各潜在変数の更新され収束した変分分布を取得するために、次の式を使って、更新されたモデルパラメータに応じて、各潜在変数の変分分布を交互に更新するように構成された第４の更新サブユニット３０３１４とを含む。
【数１５４】
0006047190.tif 000155
【数１５５】
0006047190.tif 000156
【数１５６】
0006047190.tif 000157
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す。
【０１００】
任意の実施形態として、図７を参照して、判別ユニット３０３２は、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとに応じて決定された目的関数と、前回取得された目的関数との距離が、閾値より短いかどうか判別するように構成された比較サブユニット３０３２１を含み、前回取得された目的関数は、各潜在変数の前回の更新された変分分布と、前回の更新されたモデルパラメータとに応じて決定されており、
判別ユニット３０３２は、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとに応じて決定された目的関数と、前回取得された目的関数との距離が、閾値より短い場合は、目的関数が収束すると判別するように構成された判別サブユニット３０３２２を含む。
【０１０１】
結論として、本開示の実施形態で提供される装置は、少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とに応じて、目的関数を決定し、それから、目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとに応じて、リレーショナルモデルを決定し、それにより、数セットのサンプルデータ間の複数のリレーションに従ったリレーショナルモデルを決定するだけではなく、リレーショナルモデルの決定における効率と精度を改善する。更に、正規化項が導入されるので、リレーショナルモデルの複雑性は、自動的に制御されうる。
【０１０２】
上記実施形態で提供された、リレーショナルモデルを決定する装置により実行されるリレーショナルモデルの決定において、上記機能モジュールの分割は、例としてのみ使用して、装置が説明されている。実際には、機能は、実施の必要に応じて種々の機能モジュールに割り当てられても良い。具体的には、上記機能の全部または一部を実施するために、装置の内部構造は、種々の機能モジュールに分割される。更に、リレーショナルモデルを決定する装置とリレーショナルモデルを決定する方法とは、同じ発明コンセプトに属し、その具体的な実施は、方法の実施形態で詳述されており、ここでは、もう詳しく述べない。
【０１０３】
本開示の上記実施形態のシーケンス番号は、説明の簡単のためだけであって、実施形態の優先度を意味するものではない。
【０１０４】
当業者は、上記方法の全てまたは一部のステップが、ハードウェアまたはプログラムの指示に従うハードウェアで実施されても良いと理解すべきである。プログラムは、非一時的なコンピュータ読取り可能な記憶媒体に格納されても良く、少なくとも１台のプロセッサーにより実行されても良い。記憶媒体は、読出し専用メモリ、または磁気ディスク、またはコンパクトディスク読出し専用メモリであっても良い。
【０１０５】
上記記載は本開示の単なる好ましい実施形態であって、本開示を限定することを目的としない。本開示の意図と原理から逸脱しない範囲でなされる、いかなる変更、または等価な置換、または改良は、本開示の保護範囲に入るべきである。
【０１０６】
（付記１）
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得することと、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布の前記対数とに応じて、目的関数を決定することと、
前記目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとを決定し、前記目的関数の収束を可能にする各潜在変数の前記変分分布と前記モデルパラメータとに応じて、リレーショナルモデルを決定することと、
を含むリレーショナルモデルを決定する方法。
【０１０７】
（付記２）
前記少なくとも２セットのサンプルデータと、前記少なくとも３セットの潜在変数と、前記モデルパラメータとに応じて決定される前記対数尤度は、
【数１５７】
0006047190.tif 000158
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示す付記１に記載の方法。
【０１０８】
（付記３）
前記少なくとも２セットのサンプルデータと、前記少なくとも３セットの潜在変数と、前記モデルパラメータとに応じて決定される前記正規化項は、
【数１５８】
0006047190.tif 000159
であり、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、ＫｃはリレーションＸまたはＹの列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の前記変分分布の近似値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属すことを表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属すことを表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属すことを表しており、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのｐ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、Ｄｒｑは、リレーションＹのｒ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、
【数１５９】
0006047190.tif 000160
では、ａは
【数１６０】
0006047190.tif 000161
を示し、ｂは
【数１６１】
0006047190.tif 000162
を示し、
【数１６２】
0006047190.tif 000163
では、ａは
【数１６３】
0006047190.tif 000164
を示し、ｂは
【数１６４】
0006047190.tif 000165
を示す付記１に記載の方法。
【０１０９】
（付記４）
前記少なくとも２セットのサンプルデータと、前記少なくとも３セットの潜在変数と、前記モデルパラメータとに応じて決定される、潜在変数の前記変分分布の前記対数は、
ｌｏｇｑ（ＺＲ１）とｌｏｇｑ（ＺＲ２）とｌｏｇｑ（ＺＣ）
とであり、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布を示す付記１に記載の方法。
【０１１０】
（付記５）
前記対数尤度と前記正規化項と各潜在変数の前記変分分布の前記対数とに応じて、前記目的関数を決定するステップは、
前記対数尤度の期待値と前記正規化項の期待値と各潜在変数の前記変分分布の前記対数の期待値とに応じて、前記目的関数を決定することを含む付記１乃至４のいずれかに記載の方法。
【０１１１】
（付記６）
前記対数尤度の前記期待値と前記正規化項の前記期待値と各潜在変数の前記変分分布の前記対数の前記期待値とに応じて決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数１６５】
0006047190.tif 000166
である付記５に記載の方法。
【０１１２】
（付記７）
前記目的関数の収束を可能にする、各潜在変数の前記変分分布と前記モデルパラメータとを決定するステップは、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得することと、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別することと、前記目的関数が収束しない場合は、前記目的関数の収束を可能にするものが取得されるまで、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得することと、
を含む付記６に記載の方法。
【０１１３】
（付記８）
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得するステップは、
各潜在変数の更新され収束した変分分布が取得されるまで、次の式を使って、各潜在変数の前記変分分布を交互に更新することと、
【数１６６】
0006047190.tif 000167
【数１６７】
0006047190.tif 000168
【数１６８】
0006047190.tif 000169
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の前記更新され収束した変分分布に応じて、前記モデルパラメータを更新することとを含み、
【数１６９】
0006047190.tif 000170
【数１７０】
0006047190.tif 000171
【数１７１】
0006047190.tif 000172
【数１７２】
0006047190.tif 000173
【数１７３】
0006047190.tif 000174
ここで、
【数１７４】
0006047190.tif 000175
【数１７５】
0006047190.tif 000176
であり、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す
付記７に記載の方法。
【０１１４】
（付記９）
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとを取得するステップは、
更新されたモデルパラメータを取得するために、次の式を使って、前記モデルパラメータを更新することと、
【数１７６】
0006047190.tif 000177
【数１７７】
0006047190.tif 000178
【数１７８】
0006047190.tif 000179
【数１７９】
0006047190.tif 000180
【数１８０】
0006047190.tif 000181
ここで、
【数１８１】
0006047190.tif 000182
【数１８２】
0006047190.tif 000183
であり、
各潜在変数の更新され収束した変分分布を取得するために、次の式を使って、前記更新されたモデルパラメータに応じて、各潜在変数の前記変分分布を交互に更新することとを含み、
【数１８３】
0006047190.tif 000184
【数１８４】
0006047190.tif 000185
【数１８５】
0006047190.tif 000186
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す
付記７に記載の方法。
【０１１５】
（付記１０）
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別するステップは、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前回取得された目的関数との距離が、閾値より短いかどうか判別することと、前記前回取得された目的関数は、各潜在変数の前回の前記更新された変分分布と、前回の前記更新されたモデルパラメータとに応じて決定されており、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前記前回取得された目的関数との距離が、前記閾値より短い場合は、前記目的関数が収束すると判別することと、
を含む付記７乃至９のいずれかに記載の方法。
【０１１６】
（付記１１）
少なくとも２セットのサンプルデータと、少なくとも３セットの潜在変数と、モデルパラメータとに応じて決定される、対数尤度と正規化項と各潜在変数の変分分布の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と各潜在変数の前記変分分布の前記対数とに応じて、目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の変分分布とモデルパラメータとを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする各潜在変数の前記変分分布と前記モデルパラメータとに応じて、リレーショナルモデルを決定するように構成された第３の決定モジュールと、
を含むリレーショナルモデルを決定する装置。
【０１１７】
（付記１２）
前記取得モジュールにより取得される前記対数尤度は、
【数１８６】
0006047190.tif 000187
であり、ｌｏｇｐ（  ）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ＸＮｒ１ＮｃはリレーションＸのサンプルデータを示し、ＹＮｒ２ＮｃはリレーションＹのサンプルデータを示し、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、Ｎｃは、リレーションＸまたはＹの列のサンプルの数を示し、ＺＲ１はリレーションＸの行の潜在変数を示し、ＺＲ２はリレーションＹの行の潜在変数を示し、ＺＣはリレーションＸまたはＹの列の潜在変数を示し、θはリレーションＸとＹの前記モデルパラメータのセットを示し、α，β，γ，φ，ωを含み、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、φはリレーションＸの各サンプルカテゴリのサブモデルパラメータを示し、ωはリレーションＹの各サンプルカテゴリのサブモデルパラメータを示す付記１１に記載の装置。
【０１１８】
（付記１３）
前記取得モジュールにより取得される前記正規化項は、
【数１８７】
0006047190.tif 000188
であり、Ｎｒ１はリレーションＸの行のサンプルの数を示し、Ｎｒ２はリレーションＹの行のサンプルの数を示し、ＮｃはリレーションＸまたはＹの列のサンプルの数を示し、Ｋｒ１はリレーションＸの行サンプルカテゴリの数を示し、Ｋｒ２はリレーションＹの行サンプルカテゴリの数を示し、ＫｃはリレーションＸまたはＹの列サンプルカテゴリの数を示し、ｑ〜（  ）は潜在変数の前記変分分布の近似値を示し、ＺＲ１ｉｐは、リレーションＸの行の潜在変数を示し、ｐ番目の行サンプルカテゴリに関してｉ番目の行のサンプルデータに属すことを表しており、ＺＲ２ｌｒは、リレーションＹの行の潜在変数を示し、ｒ番目の行サンプルカテゴリに関してｌ番目の行のサンプルデータに属すことを表しており、ＺＣｊｑは、リレーションＸまたはＹの列の潜在変数を示し、ｑ番目の列サンプルカテゴリに関してｊ番目の列のサンプルデータに属すことを表しており、αはリレーションＸの行の混合比を示し、βはリレーションＸまたはＹの列の混合比を示し、γはリレーションＹの行の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄγはγの次元を示し、Ｄｐｑは、リレーションＸのｐ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、Ｄｒｑは、リレーションＹのｒ番目の行、ｑ番目の列のサンプルカテゴリのサブモデルパラメータの次元を示し、
Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂ
であり、
【数１８８】
0006047190.tif 000189
では、ａは
【数１８９】
0006047190.tif 000190
を示し、ｂは
【数１９０】
0006047190.tif 000191
を示し、
【数１９１】
0006047190.tif 000192
では、ａは
【数１９２】
0006047190.tif 000193
を示し、ｂは
【数１９３】
0006047190.tif 000194
を示す付記１１に記載の装置。
【０１１９】
（付記１４）
前記取得モジュールにより取得される、潜在変数の前記変分分布の前記対数は、
ｌｏｇｑ（ＺＲ１）と、ｌｏｇｑ（ＺＲ２）と、ｌｏｇｑ（ＺＣ）
とであり、ｑ（ＺＲ１）はリレーションＸの行の潜在変数ＺＲ１の変分分布を示し、ｑ（ＺＲ２）はリレーションＹの行の潜在変数ＺＲ２の変分分布を示し、ｑ（ＺＣ）はリレーションＸまたはＹの列の潜在変数ＺＣの変分分布を示す付記１１に記載の装置。
【０１２０】
（付記１５）
前記第１の決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と各潜在変数の前記変分分布の前記対数の期待値とに応じて、前記目的関数を決定するように構成されている付記１１乃至１４のいずれかに記載の装置。
【０１２１】
（付記１６）
前記第１の決定モジュールにより決定される目的関数Γ（ｑ，ｑ〜，θ，ＸＮｒ１Ｎｃ，ＹＮｒ２Ｎｃ）は、
【数１９４】
0006047190.tif 000195
である付記１５に記載の装置。
【０１２２】
（付記１７）
前記第２の決定モジュールは、
各潜在変数の更新された変分分布と、更新されたモデルパラメータとを取得するように構成された取得ユニットと、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて、前記目的関数が収束するかどうか判別するように構成された判別ユニットとを含み、
前記取得ユニットは、前記目的関数が収束しない場合は、前記目的関数の収束を可能にするものが取得されるまで、各潜在変数の更新された変分分布と更新されたモデルパラメータとを再取得するように構成されている
付記１６に記載の装置。
【０１２３】
（付記１８）
前記取得ユニットは、
各潜在変数の更新され収束した変分分布が取得されるまで、次の式を使って、各潜在変数の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
【数１９５】
0006047190.tif 000196
【数１９６】
0006047190.tif 000197
【数１９７】
0006047190.tif 000198
更新されたモデルパラメータを取得するために、次の式を使って、各潜在変数の前記更新され収束した変分分布に応じて、前記モデルパラメータを更新するように構成された第２の更新サブユニットとを含み、
【数１９８】
0006047190.tif 000199
【数１９９】
0006047190.tif 000200
【数２００】
0006047190.tif 000201
【数２０１】
0006047190.tif 000202
【数２０２】
0006047190.tif 000203
ここで、
【数２０３】
0006047190.tif 000204
【数２０４】
0006047190.tif 000205
であり、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す
付記１７に記載の装置。
【０１２４】
（付記１９）
前記取得ユニットは、
更新されたモデルパラメータを取得するために、次の式を使って、前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
【数２０５】
0006047190.tif 000206
【数２０６】
0006047190.tif 000207
【数２０７】
0006047190.tif 000208
【数２０８】
0006047190.tif 000209
【数２０９】
0006047190.tif 000210
ここで、
【数２１０】
0006047190.tif 000211
【数２１１】
0006047190.tif 000212
であり、
各潜在変数の更新され収束した変分分布を取得するために、次の式を使って、前記更新されたモデルパラメータに応じて、各潜在変数の前記変分分布を交互に更新するように構成された第４の更新サブユニットとを含み、
【数２１２】
0006047190.tif 000213
【数２１３】
0006047190.tif 000214
【数２１４】
0006047190.tif 000215
ここで、ｔは今回の更新を示し、ｔ−１は前回の更新または初期設定を示す
付記１７に記載の装置。
【０１２５】
（付記２０）
前記判別ユニットは、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前回取得された目的関数との距離が、閾値より短いかどうか判別するように構成された比較サブユニットを含み、前記前回取得された目的関数は、各潜在変数の前回の前記更新された変分分布と、前回の前記更新されたモデルパラメータとに応じて決定されており、
前記判別ユニットは、
各潜在変数の前記更新された変分分布と、前記更新されたモデルパラメータとに応じて決定された前記目的関数と、前記前回取得された目的関数との距離が、前記閾値より短い場合は、前記目的関数が収束すると判別するように構成された判別サブユニットを含む
付記１７乃至１９のいずれかに記載の装置。
【図１】
0006047190.tif 000266
【図２】
0006047190.tif 000267
【図３】
0006047190.tif 000268
【図４】
0006047190.tif 000269
【図５】
0006047190.tif 000270
【図６】
0006047190.tif 000271
【図７】
0006047190.tif 000272