(57)【特許請求の範囲】
【請求項１】
サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュールと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュールと、
を備えるリレーショナルモデル決定用の装置。
【請求項２】
前記取得モジュールによって取得される前記対数尤度は、
【数１】
0005965011.tif 000201
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数２】
0005965011.tif 000202
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、前記モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示す、
請求項１に記載の装置。
【請求項３】
前記取得モジュールによって取得される前記正規化項は、
【数３】
0005965011.tif 000203
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数４】
0005965011.tif 000204
は前記潜在変数の前記変分分布の近似値を示し、
【数５】
0005965011.tif 000205
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数６】
0005965011.tif 000206
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、
【数７】
0005965011.tif 000207
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示し、
【数８】
0005965011.tif 000208
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数９】
0005965011.tif 000209
においてａは
【数１０】
0005965011.tif 000210
を示し、ｂは
【数１１】
0005965011.tif 000211
を示し、
【数１２】
0005965011.tif 000212
においてａは
【数１３】
0005965011.tif 000213
を示し、ｂは
【数１４】
0005965011.tif 000214
を示し、
【数１５】
0005965011.tif 000215
においてａは
【数１６】
0005965011.tif 000216
を示し、ｂは
【数１７】
0005965011.tif 000217
を示す、
請求項１に記載の装置。
【請求項４】
前記取得モジュールによって取得される前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの前記変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの前記変分分布を示す請求項１に記載の装置。
【請求項５】
前記第１の決定モジュールは、前記対数尤度の期待値、前記正規化項の期待値、及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて目的関数を決定するように構成されている請求項１乃至４の何れか一項に記載の装置。
【請求項６】
前記第１の決定モジュールによって決定された前記目的関数
【数１８】
0005965011.tif 000218
は、
【数１９】
0005965011.tif 000219
である請求項５に記載の装置。
【請求項７】
前記第２の決定モジュールは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するように構成された判別ユニットと、
を含み、
前記取得ユニットは、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを取得するまで前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを再取得するように構成されている、
請求項６に記載の装置。
【請求項８】
前記取得ユニットは、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数２０】
0005965011.tif 000220
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
更新されたモデルパラメータを取得するために下記の式
【数２１】
0005965011.tif 000221
ここで、
【数２２】
0005965011.tif 000222
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記目的関数の収束を可能にする前記潜在変数の各々の前記更新された変分分布に応じて前記モデルパラメータを更新するように構成された第２の更新サブユニットと、
を含む請求項７に記載の装置。
【請求項９】
前記取得ユニットは、
前記更新されたモデルパラメータを取得するために下記の式
【数２３】
0005965011.tif 000223
ここで、
【数２４】
0005965011.tif 000224
を使用することによって前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するために下記の式
【数２５】
0005965011.tif 000225
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新するように構成された第４の更新サブユニットと、
を含む請求項７に記載の装置。
【請求項１０】
サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得することと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定し、前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定することと、
を備えるリレーショナルモデル決定用の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、統計の技術分野に関する。特に、リレーショナルモデルのモデル選択用の方法と装置に関する。
【背景技術】
【０００２】
統計的手法の継続的な発展に伴い、オブジェクト間のリレーショナル情報をモデリングすることは注目の話題になっている。オブジェクト間には様々なリレーショナル情報が存在し、例えば、調査対象の母集団に含まれる人々の間の連絡先情報、インターネット上のページ間のリンクのリレーショナル情報が存在する。様々なリレーショナル情報は、１つのカテゴリにおけるオブジェクト間又は複数のカテゴリにおけるオブジェクト間の相関を表現する。また、リレーショナル情報についての分析により、より価値のある情報が取得されてよい。このため、リレーショナル情報に基づく適用がますます勧められており、その１つはリレーショナル情報に応じた異なるサンプルデータ用にリレーションクラスタリングを行っている。しかしながら、リレーションクラスタリング中、通常、リレーショナルモデルが使用される。例えば、映画会社が、顧客の応答情報に基づいて現在上映中の映画シリーズに総合的な評価を与えることを望む場合、現在上映中の映画シリーズについてユーザのグループにより与えられたスコアを収集し、リレーショナルモデルを使用することによってユーザと映画を異なるサンプルカテゴリにグループ化する。このようにして、ユーザ、映画及びスコアについて同時クラスタリングが実現される。また、クラスタリング結果解析によって、その視聴者の特徴といった映画についての有益な情報が取得される。実際のクラスタリング中、リレーショナル情報と共に、属性情報のような非リレーショナル情報が一般的に使用される。そのため、現在、クラスタリングにおいてリレーショナル情報を非リレーショナル情報に連携させること（例えばリレーショナル情報及び非リレーショナル情報に応じてリレーショナルモデルを決定すること）は、リレーションクラスタリングについて学習するための重要な課題になっている。
【０００３】
実際には、リレーショナルモデルは、潜在変数及びモデルパラメータ、又は、潜在変数の変分分布及びモデルパラメータによって決定される。潜在変数は、直接観測できないがサンプルデータから導出できる変数のことである。潜在変数の変分分布は、対応するカテゴリにおけるクラスタリングサンプルデータの確率を記述するために使用される。一方、モデルパラメータは、各カテゴリ下のサブモデルのパラメータを記述するために使用される。現在、回帰に基づく潜在因子モデル（Regression-based latent factor models）［ディーパック アガーワル（Deepak Agarwal）他著、ＫＤＤ’０９会報、２００９］という論文において、潜在変数及びモデルパラメータを決定する方法が提案されている。この方法において、第一に、サンプルデータ、２つのサンプル属性のグループ、２つの潜在変数のグループ、及びモデルパラメータに応じて対数尤度が取得される。第二に、目的関数が対数尤度に応じて与えられ、更に、目的関数の収束を可能にする潜在変数の各々及びモデルパラメータがサンプリング手段によって決定される。目的関数の収束を可能にする潜在変数及びモデルパラメータは、リレーショナルモデル決定用の潜在変数及びモデルパラメータとして機能してよい。
【０００４】
本開示の実施例中、発明者は、先行技術が少なくとも下記のような課題を有することを確認している。
【０００５】
目的関数が対数尤度のみに応じて決定されるため、この目的関数によって決定されるリレーショナルモデルは最適なモデル構造及びパラメータを自動的に獲得することができない。また、モデル選択は非常に複雑である。加えて、目的関数の収束を可能にする潜在変数及びモデルパラメータがサンプリング手段によって決定されるときの効率が悪い。また、決定されたリレーショナルモデルの精度が低い。
【発明の概要】
【課題を解決するための手段】
【０００６】
先行技術における課題を解決するために、本開示の実施形態は、リレーショナルモデル決定用の方法及び装置を提供する。技術的解決方法は具体的には下記の通りである。
【０００７】
第１の観点によると、提供されるリレーショナルモデル決定用の方法は、
サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得することと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定し、前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定することと、
を備える。
【０００８】
第１の観点に関し、第１の観点の第１の可能な実施例において、前記サンプルデータ、前記少なくとも２つのサンプル属性のグループ、前記少なくとも２つの潜在変数のグループ、及び前記モデルパラメータに応じて決定される前記対数尤度は、
【数１】
0005965011.tif 000002
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数２】
0005965011.tif 000003
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、前記モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示す。
【０００９】
第１の観点に関し、第１の観点の第２の可能な実施例において、前記サンプルデータ、前記少なくとも２つのサンプル属性のグループ、前記少なくとも２つの潜在変数のグループ、及び前記モデルパラメータに応じて決定される前記正規化項は、
【数３】
0005965011.tif 000004
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数４】
0005965011.tif 000005
は前記潜在変数の前記変分分布の近似値を示し、
【数５】
0005965011.tif 000006
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数６】
0005965011.tif 000007
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、
【数７】
0005965011.tif 000008
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示し、
【数８】
0005965011.tif 000009
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数９】
0005965011.tif 000010
においてａは
【数１０】
0005965011.tif 000011
を示し、ｂは
【数１１】
0005965011.tif 000012
を示し、
【数１２】
0005965011.tif 000013
においてａは
【数１３】
0005965011.tif 000014
を示し、ｂは
【数１４】
0005965011.tif 000015
を示し、
【数１５】
0005965011.tif 000016
においてａは
【数１６】
0005965011.tif 000017
を示し、ｂは
【数１７】
0005965011.tif 000018
を示す。
【００１０】
第１の観点に関し、第１の観点の第３の可能な実施例において、前記サンプルデータ、前記少なくとも２つのサンプル属性のグループ、前記少なくとも２つの潜在変数のグループ、及び前記モデルパラメータに応じて決定される前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数行列ＺＲの前記変分分布を示し、ｑ（Ｚｃ）は列の潜在変数行列Ｚｃの前記変分分布を示す。
【００１１】
第１の観点の第３の可能な実施例に対する第１の観点の何れかに関し、第１の観点の第４の実施例において、前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することは、前記対数尤度の期待値、前記正規化項の期待値、及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて前記目的関数を決定することを含む。
【００１２】
第１の観点の第４の可能な実施例に関し、第１の観点の第５の実施例において、前記対数尤度の期待値、前記正規化項の期待値、及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて決定された前記目的関数
【数１８】
0005965011.tif 000019
は、
【数１９】
0005965011.tif 000020
である。
【００１３】
第１の観点の第５の可能な実施例に関し、第１の観点の第６の実施例において、前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定することは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別し、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータを取得するまで前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータを再取得することと、
を含む。
【００１４】
第１の観点の第６の可能な実施例に関し、第１の観点の第７の実施例において、前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数２０】
0005965011.tif 000021
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新することと、
下記の式
【数２１】
0005965011.tif 000022
ここで、
【数２２】
0005965011.tif 000023
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記目的関数の収束を可能にする前記潜在変数の各々の前記更新された変分分布に応じて前記モデルパラメータを更新することと、
を含む。
【００１５】
第１の観点の第６の可能な実施例に関し、第１の観点の第８の実施例において、前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
前記更新されたモデルパラメータを取得するために下記の式
【数２３】
0005965011.tif 000024
ここで、
【数２４】
0005965011.tif 000025
を使用することによって前記モデルパラメータを更新することと、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するために下記の式
【数２５】
0005965011.tif 000026
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新することと、
を含む。
【００１６】
第１の観点の第６から８の実施例の何れかに関し、第１の観点の第９の実施例において、前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別することは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを比較することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別することと、
を含む。
【００１７】
第２の観点において、提供されるリレーショナルモデル決定用の装置は、
サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュールと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュールと、
を備える。
【００１８】
第２の観点に関し、第２の観点の第１の可能な実施例において、前記取得モジュールによって取得される前記対数尤度は、
【数２６】
0005965011.tif 000027
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数２７】
0005965011.tif 000028
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、前記モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示す。
【００１９】
第２の観点に関し、第２の観点の第２の可能な実施例において、前記取得モジュールによって取得される前記正規化項は、
【数２８】
0005965011.tif 000029
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数２９】
0005965011.tif 000030
は前記潜在変数の前記変分分布の近似値を示し、
【数３０】
0005965011.tif 000031
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数３１】
0005965011.tif 000032
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、
【数３２】
0005965011.tif 000033
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示し、
【数３３】
0005965011.tif 000034
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数３４】
0005965011.tif 000035
においてａは
【数３５】
0005965011.tif 000036
を示し、ｂは
【数３６】
0005965011.tif 000037
を示し、
【数３７】
0005965011.tif 000038
においてａは
【数３８】
0005965011.tif 000039
を示し、ｂは
【数３９】
0005965011.tif 000040
を示し、
【数４０】
0005965011.tif 000041
においてａは
【数４１】
0005965011.tif 000042
を示し、ｂは
【数４２】
0005965011.tif 000043
を示す。
【００２０】
第２の観点に関し、第２の観点の第３の可能な実施例において、前記取得モジュールによって取得される前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの前記変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの前記変分分布を示す。
【００２１】
第２の観点の第３の可能な実施例に対する第２の観点の何れかに関し、第２の観点の第４の可能な実施例において、前記第１の決定モジュールは、前記対数尤度の期待値、前記正規化項の期待値、及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて目的関数を決定するように構成されている。
【００２２】
第２の観点の第４の可能な実施例に関し、第２の観点の第５の可能な実施例において、前記第１の決定モジュールによって決定された前記目的関数
【数４３】
0005965011.tif 000044
は、
【数４４】
0005965011.tif 000045
である。
【００２３】
第２の観点の第５の可能な実施例に関し、第２の観点の第６の可能な実施例において、前記第２の決定モジュールは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するように構成された判別ユニットと、
を含み、
前記取得ユニットは、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを取得するまで前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを再取得するように構成されている。
【００２４】
第２の観点の第６の可能な実施例に関し、第２の観点の第７の可能な実施例において、前記取得ユニットは、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数４５】
0005965011.tif 000046
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
更新されたモデルパラメータを取得するために下記の式
【数４６】
0005965011.tif 000047
ここで、
【数４７】
0005965011.tif 000048
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記目的関数の収束を可能にする前記潜在変数の各々の前記更新された変分分布に応じて前記モデルパラメータを更新するように構成された第２の更新サブユニットと、
を含む。
【００２５】
第２の観点の第６の可能な実施例に関し、第２の観点の第８の可能な実施例において、前記取得ユニットは、
前記更新されたモデルパラメータを取得するために下記の式
【数４８】
0005965011.tif 000049
ここで、
【数４９】
0005965011.tif 000050
を使用することによって前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するために下記の式
【数５０】
0005965011.tif 000051
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新するように構成された第４の更新サブユニットと、
を含む。
【００２６】
第２の観点の第６から８の実施例に関し、第２の観点の第９の可能な実施例において、前記判別ユニットは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを比較するように構成された比較サブユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別するように構成された判別サブユニットと、
を含む。
【００２７】
本開示の実施形態によって提供される技術的解決方法は下記の利点を有する。
【００２８】
目的関数は、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて決定される。また、リレーショナルモデルは、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定される。このようにして、リレーショナルモデル決定の効率及び精度が改善される。更に、正規化項を使用することによって、モデルの複雑性が自動的に制御されてよい。その結果、モデル決定の効率が改善される。
【００２９】
本開示の実施形態における技術的解決法をより明確に説明するために、実施形態を記述するために使用される添付の図面は、下記のように簡単に紹介される。明らかに、以下に記載の添付図面は本開示のいくつかの実施形態だけを示し、当業者は創造的な努力なしでこれらの添付図面から更に他の添付図面を導き出してよい。
【図面の簡単な説明】
【００３０】
【図１】本開示の実施形態１に係るリレーショナルモデル決定用の方法のフローチャートである。
【図２】本開示の実施形態２に係るリレーショナルモデル決定用の方法のフローチャートである。
【図３】本開示の実施形態３に係るリレーショナルモデル決定用の装置の概略構成図である。
【図４】本開示の実施形態３に係る第２の決定モジュールの概略構成図である。
【図５】本開示の実施形態３に係る取得ユニットの概略構成図である。
【図６】本開示の実施形態３に係る別の取得ユニットの概略構成図である。
【図７】本開示の実施形態３に係る判別ユニットの概略構成図である。
【発明を実施するための形態】
【００３１】
本開示の目的、技術的解決方法、及び利点をより明確にするために、本開示の実施形態では、添付図面を参照して以下に詳細に説明する。
【００３２】
（実施形態１）
本開示の実施形態は、リレーショナルモデル決定用の方法を提供する。図１を参照すると、方法は下記のステップを備える。
【００３３】
ステップ１０１：サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得すること。
【００３４】
任意の実施形態のように、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度は、
【数５１】
0005965011.tif 000052
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数５２】
0005965011.tif 000053
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性のモデルパラメータを示す。
【００３５】
任意の実施形態のように、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される正規化項は、
【数５３】
0005965011.tif 000054
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数５４】
0005965011.tif 000055
は潜在変数の変分分布の近似値を示し、
【数５５】
0005965011.tif 000056
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数５６】
0005965011.tif 000057
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、
【数５７】
0005965011.tif 000058
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性のモデルパラメータを示し、
【数５８】
0005965011.tif 000059
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数５９】
0005965011.tif 000060
においてａは
【数６０】
0005965011.tif 000061
を示し、ｂは
【数６１】
0005965011.tif 000062
を示し、
【数６２】
0005965011.tif 000063
においてａは
【数６３】
0005965011.tif 000064
を示し、ｂは
【数６４】
0005965011.tif 000065
を示し、
【数６５】
0005965011.tif 000066
においてａは
【数６６】
0005965011.tif 000067
を示し、ｂは
【数６７】
0005965011.tif 000068
を示す。
【００３６】
任意の実施形態のように、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される潜在変数の各々の変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの変分分布を示す。
【００３７】
ステップ１０２：対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定すること。
【００３８】
任意の実施形態のように、対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定することは、対数尤度の期待値、正規化項の期待値、及び潜在変数の各々の変分分布の対数の期待値に応じて目的関数を決定することを含む。
【００３９】
任意の実施形態のように、対数尤度の期待値、正規化項の期待値、及び潜在変数の各々の変分分布の対数の期待値に応じて決定された目的関数
【数６８】
0005965011.tif 000069
は、
【数６９】
0005965011.tif 000070
である。
【００４０】
ステップ１０３：目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータを決定し、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルを決定すること。
【００４１】
任意の実施形態のように、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータを決定することは、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することと、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別し、目的関数が収束しない場合には目的関数の収束を可能にする潜在変数の各々の変分分布及び更新されたモデルパラメータを取得するまで潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを再取得することと、
を含む。
【００４２】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
目的関数の収束を可能にする潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数７０】
0005965011.tif 000071
を使用することによって潜在変数の各々の変分分布を交互に更新することと、
更新されたモデルパラメータを取得するために下記の式
【数７１】
0005965011.tif 000072
ここで、
【数７２】
0005965011.tif 000073
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって目的関数の収束を可能にする潜在変数の各々の更新された変分分布に応じてモデルパラメータを更新することと、
を含む。
【００４３】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
更新されたモデルパラメータを取得するために下記の式
【数７３】
0005965011.tif 000074
ここで、
【数７４】
0005965011.tif 000075
を使用することによってモデルパラメータを更新することと、
目的関数の収束を可能にする潜在変数の各々の更新された変分分布を取得するために下記の式
【数７５】
0005965011.tif 000076
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって更新されたモデルパラメータに応じて潜在変数の各々の変分分布を交互に更新することと、
を含む。
【００４４】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別することは、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と、潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを比較することと、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と前回取得された目的関数との間の距離が閾値より短い場合には目的関数が収束すると判別することと、
を含む。
【００４５】
本開示のこの実施形態に応じた方法において、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定し、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルを決定することによって、リレーショナルモデル決定の効率及び精度は改善される。更に、正規化項の使用によってモデルの複雑性は自動的に制御されてよいので、モデル決定の効率は改善される。
【００４６】
（実施形態２）
本開示の実施形態は、リレーショナルモデル決定用の方法を提供する。上記方法の実施形態の内容に関し、本開示のこの実施形態に応じた方法は詳細に記述される。図２を参照すると、方法は下記のステップを備える。
【００４７】
ステップ２０１：サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得すること。
【００４８】
サンプルデータの内容及び次元は、この実施形態において限定されない。特定の実施例中、サンプルデータは複数の映画ついての複数のユーザによって与えられたスコアであってよい。この場合、サンプルデータの次元は２でよい。つまり、スコアの統計は２次元（例えばユーザと映画）から行われる。それにもかかわらず、上記内容及び次元に加えて、サンプルデータは他の内容及び次元を有していて構わない。
【００４９】
理解を容易にするために、サンプルデータは例として下記に示すように記述される。サンプルデータは、５×５の行列として表される。行列の行はユーザ１からユーザ５までを示し、一方で行列の列は映画１から映画５を示す。行列の任意の要素Ｘｉｊはユーザｉにより与えられた映画ｊについてのスコアを示す。なお、１≦ｉ≦５、１≦ｊ≦５、ｉとｊはいずれも整数である。
【数７６】
0005965011.tif 000077
【００５０】
サンプル属性は、これに限定されないが、行のサンプル属性、列のサンプル属性等を含む。サンプル属性の具体的内容はこの実施形態において限定されない。特定の実施例中、サンプル属性はサンプルデータに対応するオブジェクトの属性であってよい。理解を容易にするために、サンプルデータはまだ例として上記に示すように記述される。行のサンプル属性は行のサンプルデータに対応するユーザの属性（例えば、年齢、性別）であってよい。一方、列のサンプル属性は列のサンプルデータに対応する映画の属性（例えば、映画の種類、開始時間）であってよい。サンプル属性に応じて対数尤度、正規化項、及び潜在変数の各々の変分分布の対数を決定することによって、リレーショナル情報をクラスタリング用の非リレーショナル情報に連携させることが達成される。つまり、リレーショナルモデルは、リレーショナル情報及び非リレーショナル情報に応じて決定される。
【００５１】
潜在変数は、これに限定されないが、行の潜在変数、列の潜在変数等を含む。潜在変数の具体的内容はこの実施形態において限定されない。特定の実施例中、潜在変数は、潜在変数行列Ｚであってよい。なお、行列において任意の要素Ｚｉｐは、第ｉ行のサンプルデータが第ｐ行のサンプルカテゴリに従属することを示す。
【００５２】
モデルパラメータは、これに限定されないが、行の混合比、列の混合比、各サンプルカテゴリにおけるサブモデルパラメータ等を含む。モデルパラメータの具体的内容はこの実施形態において限定されない。行列形式のサンプルデータを例に取ると、行の混合比は、決定されたリレーショナルモデルにおける行列の行の総数に対する決定されたリレーショナルモデルの各サンプルカテゴリにおける行列の行の数の比である。列の混合比は、決定されたリレーショナルモデルにおける行列の列の総数に対する決定されたリレーショナルモデルの各サンプルカテゴリにおける行列の列の数の比である。また、各サンプルカテゴリにおけるサブモデルパラメータは、決定されたリレーショナルモデルの各サンプルカテゴリにおけるデータ分布のパラメータである。
【００５３】
潜在変数は、モデルパラメータから独立又はモデルパラメータに依存していてよいことに留意すべきである。実際には潜在変数とモデルパラメータとの間に依存性が存在するので、決定されたリレーショナルモデルをより正確にするために、本開示の実施形態は、潜在変数とモデルパラメータとの間に依存性が存在するシナリオを例として取ることによって記述される。
【００５４】
この実施形態に応じた方法において、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得するために、最初に下記に示す同時確率密度関数（joint probability density distribution）が演繹される。
【数７７】
0005965011.tif 000078
ここで、ｐは同時確率密度関数を示し、
【数７８】
0005965011.tif 000079
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、モデルパラメータはα、β、φ、η及びξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性のモデルパラメータを示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、Ｘｉｊは第ｉ行第ｊ列のサンプルデータを示し、φｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータを示し、
【数７９】
0005965011.tif 000080
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数８０】
0005965011.tif 000081
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αｐは第ｐ行のサンプルカテゴリの行の混合比を示し、βｐは第ｐ列のサンプルカテゴリの列の混合比を示し、
【数８１】
0005965011.tif 000082
は第ｉ行の行のサンプル属性を示し、
【数８２】
0005965011.tif 000083
は第ｊ列の列のサンプル属性を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、ξｐは第ｑ列のサンプルカテゴリにおける列のサンプル属性のモデルパラメータを示す。
【００５５】
上記同時確率密度関数は、リレーショナルモデルの確率密度分布を決定する。リレーショナルモデルの確率密度分布は、同時確率密度関数における潜在変数ＺＲ及びＺｃと同様にモデルパラメータα、β、φ、η及びξを決定することによって決定されてよい。また、リレーショナルモデルはこのように決定される。同時確率密度関数を解けるようにするにあたり、下記の確率密度分布の等式の両辺の対数は、対数尤度を取得するために計算される。
【数８３】
0005965011.tif 000084
【００５６】
任意の実施形態のように、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度は、
【数８４】
0005965011.tif 000085
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数８５】
0005965011.tif 000086
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性のモデルパラメータを示す。
【００５７】
特に、サンプルデータ
【数８６】
0005965011.tif 000087
が行列形式で表される場合には、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ｕは行のサンプル属性の次元を示し、ｖは列のサンプル属性の次元を示し、ＡＲはＮｒ*ｕの行列を示し、ＡＣはＮｃ*ｖの行列を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示す。ＺＲはＮｒ*Ｋｒのブロック変数行列である。ＺＲの各要素は
【数８７】
0005965011.tif 000088
である。
【数８８】
0005965011.tif 000089
の場合、それは第ｉ行のサンプルデータが第ｐ行のサンプルカテゴリに属することを示す。ＺｃはＮｃ*Ｋｃのブロック変数行列である。Ｚｃの各要素は
【数８９】
0005965011.tif 000090
である。
【数９０】
0005965011.tif 000091
の場合、それは第ｊ列のサンプルデータが第ｑ列のサンプルカテゴリに属することを示す。行の混合比αは、サンプルデータ行列の行の総数に対するリレーショナルデータモデルの各サンプルカテゴリにおける行の数の比を示す。列の混合比βは、サンプルデータ行列の列の総数に対するリレーショナルデータモデルの各サンプルカテゴリにおける列の数の比を示す。各サブモデルにおけるモデルパラメータφは、リレーショナルモデルにおける各サンプルカテゴリのサンプルデータがサンプルカテゴリにおいて従う分布のパラメータを示す。例えば、各サンプルカテゴリにおけるサンプルデータがガウス分布に従う場合、φはガウス分布における期待値μ及び分散δを示す。他の例として、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、φは、ポアソン分布における期待値及び分散λを示す。ここで、各サンプルカテゴリにおけるサンプルデータは上記の分布以外の他の分布に従っていてよく、この実施形態において分布は限定されないことに留意すべきである。各サンプルカテゴリにおける行のサンプル属性のモデルパラメータηは各サンプルカテゴリにおけるサンプルに対応する行のオブジェクトの属性を示し、各サンプルカテゴリにおける列のサンプル属性のモデルパラメータξは各サンプルカテゴリにおけるサンプルに対応する列のオブジェクトの属性を示す。
【００５８】
任意の実施形態のように、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される正規化項は、
【数９１】
0005965011.tif 000092
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数９２】
0005965011.tif 000093
は潜在変数の変分分布の近似値を示し、
【数９３】
0005965011.tif 000094
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数９４】
0005965011.tif 000095
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、
【数９５】
0005965011.tif 000096
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性のモデルパラメータを示し、
【数９６】
0005965011.tif 000097
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数９７】
0005965011.tif 000098
においてａは
【数９８】
0005965011.tif 000099
を示し、ｂは
【数９９】
0005965011.tif 000100
を示し、
【数１００】
0005965011.tif 000101
においてａは
【数１０１】
0005965011.tif 000102
を示し、ｂは
【数１０２】
0005965011.tif 000103
を示し、
【数１０３】
0005965011.tif 000104
においてａは
【数１０４】
0005965011.tif 000105
を示し、ｂは
【数１０５】
0005965011.tif 000106
を示す。従って、正規化項は下記のように拡張されてよい。
【数１０６】
0005965011.tif 000107
【００５９】
特に、Ｋｒがブロック変数行列ＺＲの行のサンプルカテゴリの数を示す場合には、Ｄα＝Ｄ（α）＝Ｋｒ−１である。Ｋｃがブロック変数行列ＺＲの列のサンプルカテゴリの数を示す場合には、Ｄβ＝Ｄ（β）＝Ｋｃ−１である。各サンプルカテゴリにおけるサンプルデータがガウス分布に従い、ガウス分布の期待値と分散がそれぞれμとδ、即ち、ガウス分布が２つのパラメータを有する場合には、Ｄｋｌ＝Ｄ（φｋｌ）＝２である。各サンプルカテゴリにおけるサンプルデータがポアソン分布に従い、ポアソン分布の期待値と分散がいずれもλ、即ち、ポアソン分布が１つのパラメータλを有する場合には、Ｄｋｌ＝Ｄ（φｋｌ）＝１である。
【００６０】
更に、潜在変数の変分分布の近似値
【数１０７】
0005965011.tif 000108
は、この実施形態において具体的に限定されず、前回更新された潜在変数又は初期設定から取得された更新された潜在変数の変分分布の値を含むがこれに限定されない。理解を容易にするために、この実施形態では、例として、前回更新された潜在変数又は潜在変数の変分分布の近似値
【数１０８】
0005965011.tif 000109
である初期設定から取得された更新された潜在変数、の変分分布の値を採用することによって説明する。正規化項を初めて決定する場合、潜在変数の変数分布の近似値は、初期設定から取得された更新された潜在変数の変数分布の値であってよい。正規化項を決定することが初めてではない場合、潜在変数の変数分布の近似値は、前回更新された潜在変数の変分分布の値であってよい。
【００６１】
ここで、正規化項を決定することによって、決定されたリレーショナルモデルの複雑性が自動的に制御されてよいし、リレーショナルモデルを決定することの効率が改善されることに留意すべきである。
【００６２】
任意の実施形態のように、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される潜在変数の各々の変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの変分分布を示す。
【００６３】
特に、ＺＲの潜在変数の変分分布は下記のように表現されてよい。
【数１０９】
0005965011.tif 000110
【００６４】
Ｚｃの潜在変数の変分分布は下記のように表現されてよい。
【数１１０】
0005965011.tif 000111
【００６５】
ステップ２０２：対数尤度の期待値、正規化項の期待値、及び潜在変数の各々の変分分布の対数の期待値に応じて目的関数を決定すること。
【００６６】
対数尤度は、ステップ２０１において因子化された表現として記載されている。対数尤度を解けるようにするにあたり、下記に示す因子化情報量基準（Factorized Information Criterion）（ＦＩＣ）を一例とするタイトな下界（tight lower bound）を取得するために、各因子にラプラス近似が行われる。
【数１１１】
0005965011.tif 000112
ここで、
【数１１２】
0005965011.tif 000113
ＦＩＣが最大の場合、
【数１１３】
0005965011.tif 000114
はθの値を示す。
【００６７】
更に、ＦＩＣがサンプルデータ
【数１１４】
0005965011.tif 000115
と潜在変数ＺＲ及びＺｃとを含むため、解答は、通常、期待値最大化（ＥＭ）アルゴリズムを介して行われる。しかしながら、リレーショナルモデルは、従属潜在変数によって決定されるので、従来のＥＭアルゴリズムは、ＦＩＣの解法に適用できない。ＦＩＣを解けるようにするにあたり、この実施形態は、ＦＩＣの漸近的に一様な下界を取得するために、下記に示すスケーリングＦＩＣの方法を採用する。
【数１１５】
0005965011.tif 000116
ここで、
【数１１６】
0005965011.tif 000117
関数はＬ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂである。
【００６８】
任意の実施形態のように、対数尤度の期待値、正規化項の期待値、及び潜在変数の各々の変分分布の対数の期待値に応じて決定された目的関数
【数１１７】
0005965011.tif 000118
は、
【数１１８】
0005965011.tif 000119
である。
【００６９】
更に、目的関数は、上記ステップによって決定される。目的関数を介してリレーショナル関数を決定するために、この実施形態に応じた方法は下記に示す後続のステップを更に含む。
【００７０】
ステップ２０３：潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得すること。
【００７１】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
目的関数の収束を可能にする潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数１１９】
0005965011.tif 000120
を使用することによって潜在変数の各々の変分分布を交互に更新することと、
更新されたモデルパラメータを取得するために下記の式
【数１２０】
0005965011.tif 000121
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって目的関数の収束を可能にする潜在変数の各々の更新された変分分布に応じてモデルパラメータを更新することと、
を含む。
【００７２】
初期設定の方法は、この実施形態に限定されない。特定の実施例において、初期設定は、確率論的な方法によって行われてよい。即ち、α、β、φ、η及びξの値は、確率論的に初期設定される。しかし、上記の方法に加えて、他の方法も可能である。
【００７３】
更に、現在の潜在変数ＺＲの変分分布が計算されるときに前回の潜在変数Ｚｃの変分分布が使用されるように、目的関数の収束を可能にする潜在変数の各々の更新された変分分布が取得されるまで、潜在変数の各々の変分分布を交互に更新すること、即ち、潜在変数Ｚｃの変分分布と潜在変数ＺＲの変分分布とを交互に更新することが必要とされる。潜在変数の各々の変分分布を収束する条件は、この実施形態において限定されない。特定の実施例において、行の潜在変数ＺＲについて、行の潜在変数の現在の変分分布と行の潜在変数の前回の変分分布との間のユークリッド距離が計算されてもよい。計算されたユークリッド距離が距離の閾値より短い場合には、行の潜在変数の現在の変分分布が収束していると判別される。距離の閾値の値は、実際の状態に応じて設定されてよいが、この実施形態において限定されない。
【００７４】
それにもかかわらず、潜在変数の各々の更新された変分分布が収束しているか否かを判別する方法に加え、更新回数を設定する方法において潜在変数の各々の収束された変分分布が取得されてもよい。この方法において、特定の実施例中、更新回数が更新回数の閾値に達した場合には、潜在変数の各々の変分分布が収束すると判別され、目的関数の収束を可能にする潜在変数の各々の更新された変分分布が取得される。更新回数の閾値の設定は、この実施形態において限定されない。
【００７５】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得する上記方法に加え、この実施形態において提供される方法は（潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得する下記の方法に限定されないが）、
更新されたモデルパラメータを取得するために下記の式
【数１２１】
0005965011.tif 000122
を使用することによってモデルパラメータを取得することと、
目的関数の収束を可能にする潜在変数の各々の更新された変分分布を取得するために下記の式
【数１２２】
0005965011.tif 000123
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって更新されたモデルパラメータに応じて潜在変数の各々の変分分布を交互に更新することと、
を更に含む。
【００７６】
ステップ２０３において上記の式を使用することにより潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが初めて取得された場合、ｔ−１が初期設定を示すので、ｔ−１に対応するパラメータは初期値である。例えば、ステップ２０３において潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが初めて取得された場合、上記の式における
【数１２３】
0005965011.tif 000124
はαｐの初期値を示し、
【数１２４】
0005965011.tif 000125
はβｑの初期値を示す。なお、初期設定の方法はこの実施形態において限定されない。特定の実施例において、確率論的な初期設定の方法は、ｑ（ＺＲ）及びｑ（ＺＣ）を初期化するために使用されてよい。それにもかかわらず、確率論的な初期設定の方法に加え、他の方法も可能であってよい。
【００７７】
ステップ２０３において上記の式を使用することにより潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することが初めてではない場合、ｔ−１は前回の更新を示すので、ｔ−１に対応するパラメータは前回更新された値である。例えば、ステップ２０３において潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを３回取得した場合、上記の式における
【数１２５】
0005965011.tif 000126
は潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを２回取得した場合に取得されたαｐの値を示し、
【数１２６】
0005965011.tif 000127
は潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを２回取得した場合に取得されたβｑの値を示す。
【００７８】
更に、潜在変数の各々の変分分布が更新されたモデルパラメータに応じて更新された場合、目的関数の収束を可能にする潜在変数の各々の更新された変分分布が取得されるまで、潜在変数ＺＲの変分分布と潜在変数Ｚｃの変分分布とを交互に更新することも必要とされる。
【００７９】
加えて、特定の実施例において、行のサンプル成分の異なる数Ｋｒ及び列のサンプル成分の異なる数Ｋｃが設定されてよい。例えば、Ｋｒの最小値がＫｒｍｉｎとして設定され、一方でＫｒの最大値がＫｒｍａｘとして設定される。また、Ｋｃの最小値がＫｃｍｉｎとして設定され、一方でＫｃの最大値がＫｃｍａｘとして設定される。ＫｒとＫｃの範囲内で、ＫｒとＫｃの各値の組み合わせについて、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが取得される。
【００８０】
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータの取得時において、目的関数の収束を可能にする潜在変数の各々の更新された変分分布が取得されるまで、潜在変数の各々の変分分布が最初に交互に更新されてよいこと、及び、更新されたモデルパラメータを取得するために、モデルパラメータが潜在変数の各々の更新された変分分布に応じて更新されることに留意すべきである。又は、更新されたモデルパラメータを取得するためにモデルパラメータが最初に更新されてよいこと、及び、目的関数の収束を可能にする潜在変数の各々の更新された変分分布を取得するために、潜在変数の各々の変分分布が更新されたモデルパラメータに応じて交互に更新されることに留意すべきである。つまり、潜在変数の各々の変分分布とモデルパラメータの更新順序はこの実施形態において限定されない。
【００８１】
ステップ２０４：潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別し、目的関数が収束しない場合には目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータを取得するまで潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを再取得すること。
【００８２】
特に、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別することは、これに限定されないが、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と、潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを比較することと、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と前回取得された目的関数との間の距離が閾値より短い場合には目的関数が収束すると判別することと、
を含む。
【００８３】
閾値の大きさはこの実施形態において限定されない。特定の実施例では、異なる閾値は、サンプルデータの容量に応じて設定されて構わない。目的関数は潜在変数の各々の更新された変分分布及び更新されたモデルパラメータによって決定されるので、目的関数は対数尤度に連続的に近似されてよい。目的関数が収束する場合、対数尤度の値は目的関数の値に近似されるので、解けない対数尤度は解ける対数尤度に変換されてよく、リレーショナルモデルの決定はこのように実現される。
【００８４】
目的関数が収束しないと判別された場合、及び潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが再取得される場合、処理はステップ２０３に戻り、ステップ２０３に記述された方法において潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが再取得される。潜在変数の更新された変分分布及び更新されたモデルパラメータが初めて取得された場合、ステップ２０３の式においてｔ−１は初期値を示す。しかしながら、潜在変数の更新された変分分布及び更新されたモデルパラメータを再取得するためにステップ２０３に戻った場合、ステップ２０３の式においてｔ−１は前回の更新を示す。例えば、ステップ２０３の式を使用することにより潜在変数の更新された変分分布及び更新されたモデルパラメータが初めて取得された場合、上記の式におけるｔ−１に対応するパラメータは初期値であり、初めて取得された潜在変数の更新された変分分布及び更新されたモデルパラメータが取得される。初めて取得された潜在変数の更新された変分分布及び更新されたモデルパラメータが目的関数を収束させられない場合、初めて取得された潜在変数の更新された変分分布及び更新されたモデルパラメータは、ステップ２０３においてｔ−１に対応するパラメータの値として使用される。それから、潜在変数の更新された変分分布及び更新されたモデルパラメータが再取得され、再取得された潜在変数の更新された変分分布及び更新されたモデルパラメータが目的関数を収束させられるか否かが判断される。更新は、収束を可能にする潜在変数の各々の変分分布及びモデルパラメータが取得されるまでこのような方法で繰り返される。
【００８５】
ステップ２０５：目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルを決定すること。
【００８６】
このステップにおいて、収束時の目的関数の値が対数尤度に近似すると、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルが決定されてよい。
【００８７】
更に、行のサンプルカテゴリの異なる数Ｋｒ及び列のサンプルカテゴリの異なる数Ｋｃが設定されてよい。また、ＫｒとＫｃの各値の組み合わせについて、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが取得されると、目的関数の最大値を可能にするＫｒとＫｃは、目的関数の収束を可能にすることに基づいて選択されてよい。更に、リレーショナルモデルは、ＫｒとＫｃの使用により計算された潜在変数の各々の変分分布及びモデルパラメータに応じて決定される。
【００８８】
行のサンプルカテゴリの値Ｋｒ及び列のサンプルカテゴリの値Ｋｃは、決定されたリレーショナルモデルにおける行のサンプルカテゴリの値及び列のサンプルカテゴリの値と同じであってもよいし、異なっていてもよいことに留意すべきである。つまり、リレーショナルモデルの構造は、リレーショナルモデルを決定する処理の間に自動的に調整されてよい。
【００８９】
決定されたリレーショナルモデルは、データのクラスタリング及びデータのカテゴライゼーションに適用されてよい。決定されたリレーショナルモデルがデータのクラスタリングに適用された場合、リレーショナルモデルを決定する処理はクラスタリングデータの処理である。決定されたリレーショナルモデルがデータのカテゴライゼーションに適用された場合、リレーショナルモデルを決定するために更なる処理を行うことも必要とされる。データクラスタリング及びカテゴライゼーションの結果は顧客分析、生物分析、土地分析（geoanalysis）等に対して使用されてよいので、多くの社会的価値及び経済的価値が発生する。
【００９０】
本開示のこの実施形態に応じた方法において、目的関数は、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて決定される。また、リレーショナルモデルは、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定される。この方法において、リレーショナルモデル決定の効率及び精度は改善される。更に、正規化項を使用することによってモデルの複雑性は自動的に制御されてよいので、モデル決定の効率は改善される。
【００９１】
（実施形態３）
本開示の実施形態は、リレーショナルモデル決定用の装置を提供する。図３を参照すると、装置は、
サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュール３０１と、
対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュール３０２と、
目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュール３０３と、
目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュール３０４と、
を備える。
【００９２】
任意の実施形態のように、取得モジュール３０１によって取得される対数尤度は、
【数１２７】
0005965011.tif 000128
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数１２８】
0005965011.tif 000129
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性のモデルパラメータを示す。
【００９３】
任意の実施形態のように、取得モジュール３０１によって取得される正規化項は、
【数１２９】
0005965011.tif 000130
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数１３０】
0005965011.tif 000131
は潜在変数の変分分布の近似値を示し、
【数１３１】
0005965011.tif 000132
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数１３２】
0005965011.tif 000133
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性のモデルパラメータを示し、
【数１３３】
0005965011.tif 000134
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性のモデルパラメータを示し、
【数１３４】
0005965011.tif 000135
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数１３５】
0005965011.tif 000136
においてａは
【数１３６】
0005965011.tif 000137
を示し、ｂは
【数１３７】
0005965011.tif 000138
を示し、
【数１３８】
0005965011.tif 000139
においてａは
【数１３９】
0005965011.tif 000140
を示し、ｂは
【数１４０】
0005965011.tif 000141
を示し、
【数１４１】
0005965011.tif 000142
においてａは
【数１４２】
0005965011.tif 000143
を示し、ｂは
【数１４３】
0005965011.tif 000144
を示す。
【００９４】
任意の実施形態のように、取得モジュール３０１によって取得される潜在変数の各々の変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの変分分布を示す。
【００９５】
任意の実施形態のように、第１の決定モジュール３０２によって決定された目的関数
【数１４４】
0005965011.tif 000145
は、
【数１４５】
0005965011.tif 000146
である。
【００９６】
任意の実施形態のように、図４を参照すると、第２の決定モジュール３０３は、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニット３０３１と、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別するように構成された判別ユニット３０３２と、
を含み、
取得ユニット３０３１は、目的関数が収束しない場合には目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータを取得するまで潜在変数の各々の変分分布及び更新されたモデルパラメータを再取得するように構成されている。
【００９７】
任意の実施形態のように、図５を参照すると、取得ユニット３０３１は、
目的関数の収束を可能にする潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数１４６】
0005965011.tif 000147
を使用することによって潜在変数の各々の変分分布を交互に更新するように構成された第１の更新サブユニット３０３１１と、
更新されたモデルパラメータを取得するために下記の式
【数１４７】
0005965011.tif 000148
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって目的関数の収束を可能にする潜在変数の各々の更新された変分分布に応じてモデルパラメータを更新するように構成された第２の更新サブユニット３０３１２と、
を含む。
【００９８】
任意の実施形態のように、図６を参照すると、取得ユニット３０３１は、
更新されたモデルパラメータを取得するために下記の式
【数１４８】
0005965011.tif 000149
を使用することによってモデルパラメータを更新するように構成された第３の更新サブユニット３０３１３と、
目的関数の収束を可能にする潜在変数の各々の更新された変分分布を取得するために下記の式
【数１４９】
0005965011.tif 000150
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって更新されたモデルパラメータに応じて潜在変数の各々の変分分布を交互に更新するように構成された第４の更新サブユニット３０３１４と、
を含む。
【００９９】
任意の実施形態のように、図７を参照すると、判別ユニット３０３２は、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と、潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを比較するように構成された比較サブユニット３０３２１と、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と前回取得された目的関数との間の距離が閾値より短い場合には目的関数が収束すると判別するように構成された判別サブユニット３０３２２と、
を含む。
【０１００】
結論として、本開示の実施形態に応じた装置において、目的関数は、サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて決定される。また、リレーショナルモデルは、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定される。この方法において、リレーショナルモデル決定の効率及び精度は改善される。更に、正規化項を使用することによってモデルの複雑性は自動的に制御されてよいので、モデル決定の効率は改善される。
【０１０１】
上記実施形態によって提供されるリレーショナルモデル決定用の装置がリレーショナルモデルを決定する場合における上記全ての機能モジュールの分割は例にすぎないことに留意すべきである。実際には、上記機能は必要に応じて異なる機能モジュールに分散されていてよい、即ち、装置の内部構造は上述の全て又は一部の機能を実施するために異なる機能モジュールに分割されていてよい。加えて、上記実施形態において提供されるリレーショナルモデル決定用の装置及びリレーショナルモデル決定用の方法は同一の思想であり、装置の具体的な実施処理は方法の実施形態を参照するが、ここでは繰り返さない。
【０１０２】
本開示の上記実施形態の連番は単に説明の目的で提供されたものにすぎず、実施形態の優先度を示すものではない。
【０１０３】
当業者は、前述の方法のステップの全部又は一部がハードウェア又は関連付けられたハードウェアに指示するプログラムによって実行されてよいことを理解すべきである。プログラムは、コンピュータ読み取り可能な記録媒体に格納されてよい。記録媒体は、読み出し専用メモリ、磁気ディスク、光ディスク等であってよい。
【０１０４】
上記は、単に本開示の好ましい実施形態であって、本発明を限定するものではない。本開示の精神及び原理から逸脱することなく行われる種々の修正、同等の置換、又は改良は、本発明の保護範囲内に含まれるべきである。
【０１０５】
（付記１）
サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得することと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定し、前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定することと、
を備えるリレーショナルモデル決定用の方法。
【０１０６】
（付記２）
前記サンプルデータ、前記少なくとも２つのサンプル属性のグループ、前記少なくとも２つの潜在変数のグループ、及び前記モデルパラメータに応じて決定される前記対数尤度は、
【数１５０】
0005965011.tif 000151
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数１５１】
0005965011.tif 000152
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、前記モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示す、
付記１に記載の方法。
【０１０７】
（付記３）
前記サンプルデータ、前記少なくとも２つのサンプル属性のグループ、前記少なくとも２つの潜在変数のグループ、及び前記モデルパラメータに応じて決定される前記正規化項は、
【数１５２】
0005965011.tif 000153
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数１５３】
0005965011.tif 000154
は前記潜在変数の前記変分分布の近似値を示し、
【数１５４】
0005965011.tif 000155
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数１５５】
0005965011.tif 000156
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、
【数１５６】
0005965011.tif 000157
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示し、
【数１５７】
0005965011.tif 000158
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数１５８】
0005965011.tif 000159
においてａは
【数１５９】
0005965011.tif 000160
を示し、ｂは
【数１６０】
0005965011.tif 000161
を示し、
【数１６１】
0005965011.tif 000162
においてａは
【数１６２】
0005965011.tif 000163
を示し、ｂは
【数１６３】
0005965011.tif 000164
を示し、
【数１６４】
0005965011.tif 000165
においてａは
【数１６５】
0005965011.tif 000166
を示し、ｂは
【数１６６】
0005965011.tif 000167
を示す、
付記１に記載の方法。
【０１０８】
（付記４）
前記サンプルデータ、前記少なくとも２つのサンプル属性のグループ、前記少なくとも２つの潜在変数のグループ、及び前記モデルパラメータに応じて決定される前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの前記変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの前記変分分布を示す付記１に記載の方法。
【０１０９】
（付記５）
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するステップは、前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて前記目的関数を決定することを含む付記１乃至４の何れかに記載の方法。
【０１１０】
（付記６）
前記対数尤度の期待値、前記正規化項の期待値、及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて決定された前記目的関数
【数１６７】
0005965011.tif 000168
は、
【数１６８】
0005965011.tif 000169
である付記５に記載の方法。
【０１１１】
(付記７)
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定するステップは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別し、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを取得するまで前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータを再取得することと、
を含む付記６に記載の方法。
【０１１２】
（付記８）
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するステップは、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数１６９】
0005965011.tif 000170
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新することと、
更新されたモデルパラメータを取得するために下記の式
【数１７０】
0005965011.tif 000171
ここで、
【数１７１】
0005965011.tif 000172
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記目的関数の収束を可能にする前記潜在変数の各々の前記更新された変分分布に応じて前記モデルパラメータを更新することと、
を含む付記７に記載の方法。
【０１１３】
（付記９）
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するステップは、
前記更新されたモデルパラメータを取得するために下記の式
【数１７２】
0005965011.tif 000173
ここで、
【数１７３】
0005965011.tif 000174
を使用することによって前記モデルパラメータを更新することと、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するために下記の式
【数１７４】
0005965011.tif 000175
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新することと、
を含む付記７に記載の方法。
【０１１４】
（付記１０）
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するステップは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを比較することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別することと、
を含む付記７乃至９の何れかに記載の方法。
【０１１５】
（付記１１）
サンプルデータ、少なくとも２つのサンプル属性のグループ、少なくとも２つの潜在変数のグループ、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュールと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュールと、
を備えるリレーショナルモデル決定用の装置。
【０１１６】
（付記１２）
前記取得モジュールによって取得される前記対数尤度は、
【数１７５】
0005965011.tif 000176
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数１７６】
0005965011.tif 000177
は前記サンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＡＲは行のサンプル属性のセットを示し、ＡＣは列のサンプル属性のセットを示し、ＺＲは行の潜在変数行列を示し、Ｚｃは列の潜在変数行列を示し、θはモデルパラメータのセットを示し、前記モデルパラメータはα、β、φ、η、ξを含み、α、βはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、ηは各サンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、ξは各サンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示す、
付記１１に記載の装置。
【０１１７】
（付記１３）
前記取得モジュールによって取得される前記正規化項は、
【数１７７】
0005965011.tif 000178
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数１７８】
0005965011.tif 000179
は前記潜在変数の前記変分分布の近似値を示し、
【数１７９】
0005965011.tif 000180
は第ｐ行のサンプルカテゴリに対する第ｉ行のサンプルデータの会員を記述するための行の潜在変数を示し、
【数１８０】
0005965011.tif 000181
は第ｑ列のサンプルカテゴリに対する第ｊ列のサンプルデータの会員を記述するための列の潜在変数を示し、αとβはそれぞれ行と列の混合比であり、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｐｑは第ｐ行第ｑ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示し、ηｐは第ｐ行のサンプルカテゴリにおける行のサンプル属性の前記モデルパラメータを示し、
【数１８１】
0005965011.tif 000182
はηｐの次元を示し、ξｑは第ｑ列のサンプルカテゴリにおける列のサンプル属性の前記モデルパラメータを示し、
【数１８２】
0005965011.tif 000183
はξｑの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、
【数１８３】
0005965011.tif 000184
においてａは
【数１８４】
0005965011.tif 000185
を示し、ｂは
【数１８５】
0005965011.tif 000186
を示し、
【数１８６】
0005965011.tif 000187
においてａは
【数１８７】
0005965011.tif 000188
を示し、ｂは
【数１８８】
0005965011.tif 000189
を示し、
【数１８９】
0005965011.tif 000190
においてａは
【数１９０】
0005965011.tif 000191
を示し、ｂは
【数１９１】
0005965011.tif 000192
を示す、
付記１１に記載の装置。
【０１１８】
（付記１４）
前記取得モジュールによって取得される前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）であり、ｑ（ＺＲ）は行の潜在変数ＺＲの前記変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの前記変分分布を示す付記１１に記載の装置。
【０１１９】
（付記１５）
前記第１の決定モジュールは、前記対数尤度の期待値、前記正規化項の期待値、及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて目的関数を決定するように構成されている付記１１乃至１４の何れかに記載の装置。
【０１２０】
（付記１６）
前記第１の決定モジュールによって決定された前記目的関数
【数１９２】
0005965011.tif 000193
は、
【数１９３】
0005965011.tif 000194
である付記１５に記載の装置。
【０１２１】
（付記１７）
前記第２の決定モジュールは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するように構成された判別ユニットと、
を含み、
前記取得ユニットは、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを取得するまで前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを再取得するように構成されている、
付記１６に記載の装置。
【０１２２】
（付記１８）
前記取得ユニットは、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するまで、下記の式
【数１９４】
0005965011.tif 000195
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
更新されたモデルパラメータを取得するために下記の式
【数１９５】
0005965011.tif 000196
ここで、
【数１９６】
0005965011.tif 000197
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記目的関数の収束を可能にする前記潜在変数の各々の前記更新された変分分布に応じて前記モデルパラメータを更新するように構成された第２の更新サブユニットと、
を含む付記１７に記載の装置。
【０１２３】
（付記１９）
前記取得ユニットは、
前記更新されたモデルパラメータを取得するために下記の式
【数１９７】
0005965011.tif 000198
ここで、
【数１９８】
0005965011.tif 000199
を使用することによって前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
前記目的関数の収束を可能にする前記潜在変数の各々の更新された変分分布を取得するために下記の式
【数１９９】
0005965011.tif 000200
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新するように構成された第４の更新サブユニットと、
を含む付記１７に記載の装置。
【０１２４】
（付記２０）
前記判別ユニットは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを比較するように構成された比較サブユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別するように構成された判別サブユニットと、
を含む付記１７乃至１９の何れかに記載の装置。
【図１】
0005965011.tif 000226
【図２】
0005965011.tif 000227
【図３】
0005965011.tif 000228
【図４】
0005965011.tif 000229
【図５】
0005965011.tif 000230
【図６】
0005965011.tif 000231
【図７】
0005965011.tif 000232