(57)【要約】      （修正有）【課題】リレーショナルモデルを決定する効率及び精度が改善し、リレーショナルモデルの複雑性を自動的に制御する。【解決手段】サンプルデータ、サンプルデータのサンプルカテゴリを記述するための少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定し１０２、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルを決定する１０３。【選択図】図１
2015181001.tif 000002
【特許請求の範囲】
【請求項１】
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュールと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュールと、
を備え、
前記潜在変数の各々は、前記サンプルデータのサンプルカテゴリを記述するために使用される、
リレーショナルモデル決定用の装置。
【請求項２】
前記取得モジュールによって取得された前記対数尤度は、
【数１】
2015181001.tif 000161
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数２】
2015181001.tif 000162
は前記サンプルデータを示し、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα１，．．．，αｄ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す、
請求項１に記載の装置。
【請求項３】
前記取得モジュールによって取得された前記正規化項は、
【数３】
2015181001.tif 000163
であって、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数４】
2015181001.tif 000164
は前記潜在変数の前記変分分布の近似値を示し、
【数５】
2015181001.tif 000165
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数６】
2015181001.tif 000166
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数７】
2015181001.tif 000167
はαｉの次元を示し、
【数８】
2015181001.tif 000168
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数９】
2015181001.tif 000169
を示し、ｂは
【数１０】
2015181001.tif 000170
を示す、
請求項１に記載の装置。
【請求項４】
前記取得モジュールによって取得された前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含み、ｑ（Ｚ１）は潜在変数Ｚ１の前記変分分布を示し、ｑ（Ｚｄ）は潜在変数Ｚｄの前記変分分布を示す請求項１に記載の装置。
【請求項５】
前記第１の決定モジュールは、前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて目的関数を決定するように構成されている請求項１乃至４の何れか一項に記載の装置。
【請求項６】
前記第１の決定モジュールによって決定された前記目的関数
【数１１】
2015181001.tif 000171
は、
【数１２】
2015181001.tif 000172
である請求項５に記載の装置。
【請求項７】
前記第２の決定モジュールは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するように構成された判別ユニットと、
を含み、
前記取得ユニットは、前記目的関数が収束するまで前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを再取得するように構成されている、
請求項６に記載の装置。
【請求項８】
前記取得ユニットは、
前記潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数１３】
2015181001.tif 000173
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
下記の式
【数１４】
2015181001.tif 000174
ここで、
【数１５】
2015181001.tif 000175
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記潜在変数の各々の前記更新された変分分布に応じて前記更新されたモデルパラメータを取得するように構成された第２の更新サブユニットと、
を含む請求項７に記載の装置。
【請求項９】
前記取得ユニットは、
前記更新されたモデルパラメータを取得するために下記の式
【数１６】
2015181001.tif 000176
ここで、
【数１７】
2015181001.tif 000177
を使用することによって前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
前記潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数１８】
2015181001.tif 000178
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新するように構成された第４の更新サブユニットと、
を含む請求項７に記載の装置。
【請求項１０】
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得することと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定し、前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定することと、
を備え、
前記潜在変数の各々は、前記サンプルデータのサンプルカテゴリを記述するために使用される、
リレーショナルモデル決定用の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、統計の技術分野に関する。特に、リレーショナルモデル決定用の方法と装置に関する。
【背景技術】
【０００２】
統計的手法の一定の発展に伴い、オブジェクト間のリレーショナル情報用のモデリングは、注目の話題になっている。オブジェクト間には様々なリレーショナル情報が存在し、例えば、ソーシャルネットワーク内の人々の間の連絡先情報、インターネット上のページ間のリンクリレーショナル情報が存在する。様々なリレーショナル情報は、１つのカテゴリにおけるオブジェクト間又は複数のカテゴリにおけるオブジェクト間の相関を表現する。また、リレーショナル情報についての分析により、より多くの貴重な情報が取得されてもよい。従って、近年、リレーショナル情報に基づいた実際の適用は発展を続けている。リレーショナル情報を分析するために、モデル駆動型の方法が広く使用されている。リレーショナルモデリング用の１つの重要なモチベーションは、リレーショナルネットワークの基礎となる潜在的なグループ構造（エンティティの接続性に基づいていくつかのグループに分割されたエンティティ）を明らかにすることである。例えば、映画会社が上映中の映画についてユーザのコメントを取得したい場合、同社は種々の映画用のユーザの評価を収集し、リレーショナルモデルを使用してユーザと映画を異なるグループに分割する。このように、同時クラスタリングは、ユーザ、映画、評価用に成し遂げられ、クラスタリングの結果は、更なる分析用に使用される。このプロセスの間、最も重要なステップは、収集されたリレーショナル情報に基づいて、リレーショナルモデルを決定することである。
【０００３】
実際には、リレーショナルモデルは、潜在変数の変分分布及びモデルパラメータによって決定される。潜在変数は、直接観測できないがサンプルデータを使用した推論により取得可能な変数のことである。潜在変数の変分分布は、サンプルデータが特定のカテゴリに分割される確率を表現するために使用される。モデルパラメータは、各カテゴリのサブモデルのパラメータを表現するために使用される。現在、確率論的なブロックモデル用の変分ベイズ推論及び複雑性制御（Variational Bayesian inference and complexity control for stochastic block models）［ラトゥーシュ（Latouche）他著、統計モデリング、２０１２年］と名付けられた論文は、ネットワークデータに基づいた潜在変数の変分分布及びモデルパラメータを決定する方法を提案している。この方法によれば、第一に、我々は、サンプルデータ、潜在変数、及びモデルパラメータに基づいて対数尤度（log-likelihood）と潜在変数の変分分布（variational distribution）の対数とを計算する。第二に、目的関数は、対数尤度と潜在変数の変分分布の対数とに応じて決定される。そして、最後に、目的関数の収束を可能にする潜在変数の変分分布及びモデルパラメータは決定され、リレーショナルモデルを構成するために使用される。
【０００４】
本開示の実施例中、発明者は、先行技術が以下のような課題を有することを確認している。
【０００５】
上記方法が同一カテゴリのオブジェクト間の相互関係を記述するネットワークデータに制限されているので、この方法は潜在変数を１つしか含まない。その結果、上記方法で取得された潜在変数の変分分布及びモデルパラメータによって決定されたリレーショナルモデルの適用は、いくつかの制限を有する。更に、目的関数が対数尤度の期待値と潜在変数の変分分布の対数の期待値に応じて決定されるように、目的関数によって決定されるリレーショナルモデルの複雑性は高い。
【発明の概要】
【課題を解決するための手段】
【０００６】
先行技術に存在する技術的課題を解決するために、本開示の実施形態は、リレーショナルモデル決定用の方法及び装置を提供する。技術的解決方法は下記の通りである。
【０００７】
第１の観点によると、提供されるリレーショナルモデル決定用の方法は、
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得することと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定し、前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定することと、
を備え、
前記潜在変数の各々は、前記サンプルデータのサンプルカテゴリを記述するために使用される。
【０００８】
第１の観点に関し、第１の観点の第１の可能な実施例において、前記サンプルデータ、前記少なくとも２つの潜在変数及び前記モデルパラメータに応じて決定される前記対数尤度は、
【数１】
2015181001.tif 000003
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数２】
2015181001.tif 000004
は前記サンプルデータを示し、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα１，．．．，αｄ ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す。
【０００９】
第１の観点に関し、第１の観点の第２の可能な実施例において、前記サンプルデータ、前記少なくとも２つの潜在変数及び前記モデルパラメータに応じて決定される前記正規化項は、
【数３】
2015181001.tif 000005
であって、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数４】
2015181001.tif 000006
は前記潜在変数の前記変分分布の近似値を示し、
【数５】
2015181001.tif 000007
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数６】
2015181001.tif 000008
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数７】
2015181001.tif 000009
はαｉの次元を示し、
【数８】
2015181001.tif 000010
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数９】
2015181001.tif 000011
を示し、ｂは
【数１０】
2015181001.tif 000012
を示す。
【００１０】
第１の観点に関し、第１の観点の第３の可能な実施例において、前記サンプルデータ、前記少なくとも２つの潜在変数及び前記モデルパラメータに応じて決定される前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含み、ｑ(Ｚ１)は潜在変数Ｚ１の前記変分分布を示し、ｑ(Ｚｄ)は潜在変数Ｚｄの前記変分分布を示す。
【００１１】
第１の観点の第１から３の可能な実施例に関し、第１の観点の第４の実施例において、前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することは、前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて前記目的関数を決定することを含む。
【００１２】
第１の観点の第４の可能な実施例に関し、第１の観点の第５の実施例において、前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて決定された前記目的関数
【数１１】
2015181001.tif 000013
は、
【数１２】
2015181001.tif 000014
である。
【００１３】
第１の観点の第５の可能な実施例に関し、第１の観点の第６の実施例において、前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及び前記モデルパラメータを決定することは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別し、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを取得するまで前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータを再取得することと、
を含む。
【００１４】
第１の観点の第６の可能な実施例に関し、第１の観点の第７の実施例において、前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
前記潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数１３】
2015181001.tif 000015
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新することと、
下記の式
【数１４】
2015181001.tif 000016
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記潜在変数の各々の前記更新された変分分布に応じて前記更新されたモデルパラメータを取得することと、
を含む。
【００１５】
第１の観点の第６の可能な実施例に関し、第１の観点の第８の実施例において、前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
前記更新されたモデルパラメータを取得するために下記の式
【数１５】
2015181001.tif 000017
を使用することによって前記モデルパラメータを更新することと、
前記潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数１６】
2015181001.tif 000018
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新することと、
を含む。
【００１６】
第１の観点の第６から８の可能な実施例のいずれかに関し、第１の観点の第９の実施例において、前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別することは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを判別することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別することと、
を含む。
【００１７】
第２の観点によると、提供されるリレーショナルモデル決定用の装置は、
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュールと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュールと、
を備え、
前記潜在変数の各々は、前記サンプルデータのサンプルカテゴリを記述するために使用される。
【００１８】
第２の観点に関し、第２の観点の第１の可能な実施例において、前記取得モジュールによって取得された前記対数尤度は、
【数１７】
2015181001.tif 000019
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数１８】
2015181001.tif 000020
は前記サンプルデータを示し、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα１，．．．，αｄ ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す。
【００１９】
第２の観点に関し、第２の観点の第２の可能な実施例において、前記取得モジュールによって取得された前記正規化項は、
【数１９】
2015181001.tif 000021
であって、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数２０】
2015181001.tif 000022
は前記潜在変数の前記変分分布の近似値を示し、
【数２１】
2015181001.tif 000023
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数２２】
2015181001.tif 000024
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数２３】
2015181001.tif 000025
はαｉの次元を示し、
【数２４】
2015181001.tif 000026
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数２５】
2015181001.tif 000027
を示し、ｂは
【数２６】
2015181001.tif 000028
を示す。
【００２０】
第２の観点に関し、第２の観点の第３の可能な実施例において、前記取得モジュールによって取得された前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含み、ｑ（Ｚ１）は潜在変数Ｚ1の前記変分分布を示し、ｑ（Ｚｄ）は潜在変数Ｚｄの前記変分分布を示す。
【００２１】
第２の観点の第３の可能な実施例における第２の観点のいずれかに関し、第２の観点の第４の可能な実施例において、前記第１の決定モジュールは、前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて目的関数を決定するように構成されている。
【００２２】
第２の観点の第４の可能な実施例に関し、第２の観点の第５の可能な実施例において、前記第１の決定モジュールによって決定された前記目的関数
【数２７】
2015181001.tif 000029
は、
【数２８】
2015181001.tif 000030
である。
【００２３】
第２の観点の第５の可能な実施例に関し、第２の観点の第６の可能な実施例において、前記第２の決定モジュールは、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するように構成された判別ユニットと、
を含み、
前記取得ユニットは、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及び前記モデルパラメータを取得するまで前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを再取得するように構成されている。
【００２４】
第２の観点の第６の可能な実施例に関し、第２の観点の第７の可能な実施例において、前記取得ユニットは、
前記潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数２９】
2015181001.tif 000031
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
下記の式
【数３０】
2015181001.tif 000032
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記潜在変数の各々の前記更新された変分分布に応じて前記更新されたモデルパラメータを取得するように構成された第２の更新サブユニットと、
を含む。
【００２５】
第２の観点の第６の可能な実施例に関し、第２の観点の第８の可能な実施例において、前記取得ユニットは、
前記更新されたモデルパラメータを取得するために下記の式
【数３１】
2015181001.tif 000033
を使用することによって前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
前記潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数３２】
2015181001.tif 000034
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新するように構成された第４の更新サブユニットと、
を含む。
【００２６】
第２の観点の第６から８の実施例のいずれかに関し、第２の観点の第９の実施例において、前記判別ユニットは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを判別するように構成された比較サブユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別するように構成された判別サブユニットと、
を含む。
【００２７】
本開示の実施形態において提供される技術的解決方法は、下記の有益な効果を得る。
【００２８】
サンプルデータ、サンプルデータのサンプルカテゴリを記述するための少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得し、対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定することによって、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定されたリレーショナルモデルは、２つ以上のエンティティ間における相互関係の分析に適用可能になり、その結果、リレーショナルモデルの適用範囲を拡張する。更に、目的関数に正規化項を導入することによって、決定されたリレーショナルモデルの複雑性は自動的に制御される。
【００２９】
本開示の実施形態における技術的解決法をより明確に説明するために、実施形態を記述するために使用される添付の図面は、下記のように簡単に紹介される。明らかに、以下に記載の添付図面は、本発明のいくつかの実施形態だけを説明し、当業者は、いかなる創造的な努力もすることなく、これらの添付図面に基づいて、他の添付図面を導き出してもよい。
【図面の簡単な説明】
【００３０】
【図１】本開示の実施形態１に係るリレーショナルモデル決定用の方法のフローチャートである。
【図２】本開示の実施形態２に係るリレーショナルモデル決定用の方法のフローチャートである。
【図３】本開示の実施形態３に係るリレーショナルモデル決定用の装置の概略構成図である。
【図４】本開示の実施形態３に係る第２の決定モジュールの概略構成図である。
【図５】本開示の実施形態３に係る第１の取得ユニットの概略構成図である。
【図６】本開示の実施形態３に係る第２の取得ユニットの概略構成図である。
【図７】本開示の実施形態３に係る判別ユニットの概略構成図である。
【発明を実施するための形態】
【００３１】
本発明の目的、技術的解決方法、及び利点をより明確にするために、本発明の実施形態では、添付図面を参照して以下に詳細に説明する。
【００３２】
（実施形態１）
本開示の実施形態は、リレーショナルモデル決定用の方法を提供する。図１を参照すると、方法は下記のステップを含む。
【００３３】
ステップ１０１：サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、が取得される。なお、潜在変数の各々は、サンプルデータのサンプルカテゴリを記述するために使用される。
【００３４】
任意の実施形態のように、サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度は、
【数３３】
2015181001.tif 000035
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数３４】
2015181001.tif 000036
はサンプルデータを示し、ｄはサンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα１ ，．．．，αｄ ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す。
【００３５】
任意の実施形態のように、サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される正規化項は、
【数３５】
2015181001.tif 000037
であって、ｄはサンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数３６】
2015181001.tif 000038
は潜在変数の変分分布の近似値を示し、
【数３７】
2015181001.tif 000039
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数３８】
2015181001.tif 000040
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数３９】
2015181001.tif 000041
はαｉの次元を示し、
【数４０】
2015181001.tif 000042
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数４１】
2015181001.tif 000043
を示し、ｂは
【数４２】
2015181001.tif 000044
を示す。
【００３６】
任意の実施形態のように、サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される潜在変数の各々の変分分布の対数はｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含み、ｑ（Ｚ１）は潜在変数Ｚ１の変分分布を示し、ｑ（Ｚｄ）は潜在変数Ｚｄの変分分布を示す。
【００３７】
ステップ１０２：目的関数が、対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて決定される。
【００３８】
任意の実施形態のように、対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定することは、対数尤度の期待値、正規化項の期待値及び潜在変数の各々の変分分布の対数の期待値に応じて目的関数を決定することを含む。
【００３９】
任意の実施形態のように、対数尤度の期待値、正規化項の期待値及び潜在変数の各々の変分分布の対数の期待値に応じて決定された目的関数
【数４３】
2015181001.tif 000045
は、下記の式で表される。
【数４４】
2015181001.tif 000046
【００４０】
ステップ１０３：目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータが決定され、リレーショナルモデルが目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定される。
【００４１】
任意の実施形態のように、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータを決定することは、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することと、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別し、目的関数が収束しない場合には目的関数の収束を可能にする潜在変数の各々の変分分布及び更新されたモデルパラメータを取得するまで潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを再取得することと、
を含む。
【００４２】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数４５】
2015181001.tif 000047
を使用することによって潜在変数の各々の変分分布を交互に更新することと、
下記の式
【数４６】
2015181001.tif 000048
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって潜在変数の各々の更新された変分分布に応じて更新されたモデルパラメータを取得することと、
を含む。
【００４３】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
更新されたモデルパラメータを取得するために下記の式
【数４７】
2015181001.tif 000049
を使用することによってモデルパラメータを更新することと、
潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数４８】
2015181001.tif 000050
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって更新されたモデルパラメータに応じて潜在変数の各々の変分分布を交互に更新することと、
を含む。
【００４４】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別することは、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを判別することと、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と前回取得された目的関数との間の距離が閾値より短い場合には目的関数が収束すると判別することと、
を含む。
【００４５】
本開示の実施形態において提供される方法によれば、サンプルデータ、サンプルデータのサンプルカテゴリを記述するための少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得し、取得された対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定することによって、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定されたリレーショナルモデルは、２つ以上のエンティティ間における相互関係の分析に適用可能になり、その結果、リレーショナルモデルの適用範囲を拡張する。加えて、目的関数に正規化項を導入することによって、決定されたリレーショナルモデルの複雑性は自動的に制御され、リレーショナルモデルを決定する効率は改善される。更に、潜在変数とモデルパラメータとが相互に依存しているので、潜在変数の各々の変分分布及びモデルパラメータの決定はより正確である。
【００４６】
（実施形態２）
本開示の実施形態はリレーショナルモデル決定用の方法を提供する。実施形態１の内容に関し、２であるサンプルデータの次元を取得した場合を例に、本開示のこの実施形態において提供される方法を詳細に説明する。図２を参照すると、方法は下記のステップを含む。
【００４７】
ステップ２０１：サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、が取得される。なお、潜在変数の各々は、サンプルデータのサンプルカテゴリを記述するために使用される。
【００４８】
この実施形態は、サンプルデータの内容及び次元に何の限定も設けない。特定の実施例中、サンプルデータは、映画についての複数のユーザによってなされた評価であってよい。この場合には、サンプルデータの次元は２であってよい。即ち、統計収集は、ユーザ及び映画の次元における評価のために行われる。それにもかかわらず、上記内容及び次元に加えて、サンプルデータが他の内容及び次元を採用してもよい。
【００４９】
理解を容易にするために、説明は、一例としての下記のサンプルデータを使用してなされる。サンプルデータは、５×５の行列形式で表される。なお、行列の行はユーザ１から５までを示し、行列の列は映画１から５を示す。行列の任意の要素Ｘｉｊはユーザｉによりなされた映画ｊに対する評価を示す。なお、１≦ｉ≦５、１≦ｊ≦５、ｉとｊはいずれも整数である。
【数４９】
2015181001.tif 000051
【００５０】
モデルパラメータは、これらに限定されないが、各サンプルカテゴリにおいて、行の混合比、列の混合比、及びサブモデルパラメータを含む。この実施形態は、具体的なモデルパラメータの内容に何の限定も設けない。一例としての行列形式のサンプルデータを使用する場合、行の混合比は、決定されたリレーショナルモデル内の行の総数に対する決定されたリレーショナルモデル内の各サンプルカテゴリにおける行列の行の数の比であり、列の混合比は、決定されたリレーショナルモデル内の行の総数に対する決定されたリレーショナルモデル内の各サンプルカテゴリにおける行列の列の数の比であり、各サンプルカテゴリにおけるサブモデルパラメータは、決定されたリレーショナルモデル内の各サンプルカテゴリにおけるデータ分布のパラメータである。
【００５１】
ここで、潜在変数とモデルパラメータは互いに独立であってよい又は依存関係の対象であってよいことに留意すべきである。実際には、決定されたリレーショナルモデルをより正確なものにするために潜在変数とモデルパラメータは相互依存しているので、この実施形態は、一例として、潜在変数とモデルパラメータが依存関係の対象になっている場合を用いて説明する。
【００５２】
更に、サンプルデータ、少なくとも２つの潜在変数、及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得するために、この実施形態で提供される方法は、最初に、下記の同時確率密度関数を導入する。
【数５０】
2015181001.tif 000052
ここで、ｐは同時確率密度関数を示し、
【数５１】
2015181001.tif 000053
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺＲは行の潜在変数を示し、Ｚｃは列の潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα、β、φを含み、αとβはそれぞれ行と列の混合比であり、φは各サンプルカテゴリにおけるサブモデルパラメータを示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、Ｘｉｊは第ｉ行第ｊ列のサンプルデータを示し、
【数５２】
2015181001.tif 000054
はサンプルデータＸｉｊが第ｋ行のサンプルカテゴリに属するか否かを示し、
【数５３】
2015181001.tif 000055
はサンプルデータＸｉｊが第ｌ列のサンプルカテゴリに属するか否かを示し、αｋは第ｋ行のサンプルカテゴリの行の混合比を示し、βｌは第ｌ列のサンプルカテゴリの列の混合比を示す。
【００５３】
上記同時確率密度関数は、リレーショナルモデルの確率密度分布を決定する。リレーショナルモデルの確率密度分布は、同時確率密度関数における潜在変数ＺＲ、Ｚｃ及びリレーショナルモデルがこのようにして決定されるのと同様に、モデルパラメータα、β、φを決定することによって決定されてよい。同時確率密度関数を解けるようにするにあたり、下記の同時確率密度分布（joint probability density distribution）の等式の両辺の各々についての対数は、対数尤度を取得するために計算される。
【数５４】
2015181001.tif 000056
【００５４】
任意の実施形態のように、サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度は、
【数５５】
2015181001.tif 000057
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数５６】
2015181001.tif 000058
はサンプルデータを示し、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、ＺRは行の潜在変数を示し、Ｚｃは列の潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα、β、φを含み、αとβはそれぞれ行と列の混合比を示し、φは各サンプルカテゴリにおけるモデルパラメータを示す。
【００５５】
特に、サンプルデータ
【数５７】
2015181001.tif 000059
が行列形式で表される場合、Ｎｒは行列における行のサンプルの数を示し、Ｎｃは行列における列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示す。ＺＲはＮｒ*Ｋｒのブロック変数行列である。ＺＲの各要素は
【数５８】
2015181001.tif 000060
である。
【数５９】
2015181001.tif 000061
の場合、それはサンプルデータＸｉｊが第ｋ行のサンプルカテゴリに属することを示す。ＺｃはＮｃ*Ｋｃのブロック変数行列である。Ｚｃの各要素は
【数６０】
2015181001.tif 000062
である。
【数６１】
2015181001.tif 000063
の場合、それはサンプルデータＸｉｊが第１行のサンプルカテゴリに属することを示す。行の混合比αは、サンプルデータ行列の行の総数に対するリレーショナルデータモデルの各サンプルカテゴリにおける行の数の比を示す。列の混合比βは、サンプルデータ行列の列の総数に対するリレーショナルデータモデルの各サンプルカテゴリにおける列の数の比を示す。各要素におけるモデルパラメータφは、リレーショナルモデルにおける各サンプルカテゴリのサンプルデータがサンプルカテゴリにおいて従う分布のパラメータを示す。例えば、各サンプルカテゴリにおけるサンプルデータがガウス分布に従う場合、φはガウス分布における期待値μ及び分散δを示す。他の例として、各サンプルカテゴリのサンプルデータがポアソン分布に従う場合、φは、ポアソン分布における期待値及び分散λを示す。ここで、各サンプルカテゴリにおけるサンプルデータは上記の分布以外の他の分布に従っていてよく、この実施形態において分布は限定されないことに留意すべきである。
【００５６】
任意の実施形態において、サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される正規化項は、
【数６２】
2015181001.tif 000064
であって、Ｎｒは行のサンプルの数を示し、Ｎｃは列のサンプルの数を示し、Ｋｒは行のサンプルカテゴリの数を示し、Ｋｃは列のサンプルカテゴリの数を示し、
【数６３】
2015181001.tif 000065
は潜在変数の変分分布の近似値を示し、
【数６４】
2015181001.tif 000066
は第ｋサンプルカテゴリにおける第ｉ行のサンプルデータの行の潜在変数を示し、
【数６５】
2015181001.tif 000067
は、第ｌサンプルカテゴリにおける第ｊ列のサンプルデータの列の潜在変数を示し、αとβはそれぞれ行と列の混合比を示し、Ｄαはαの次元を示し、Ｄβはβの次元を示し、Ｄｋｌは第ｋ行第ｌ列のサンプルカテゴリにおけるサブモデルパラメータの次元を示す。Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであり、ａは
【数６６】
2015181001.tif 000068
を示し、ｂは
【数６７】
2015181001.tif 000069
を示す。従って、正規化項は、下記の式のように拡張されてもよい。
【数６８】
2015181001.tif 000070
【００５７】
特に、Ｋｒがブロック変数行列ＺＲの行のサンプルカテゴリの数を示す場合にはＤα＝Ｄ（α）＝Ｋｒ−１であり、Ｋｃがブロック変数行列Ｚｃの列のサンプルカテゴリの数を示す場合にはＤβ＝Ｄ（β）＝Ｋｃ−１であり、各サンプルカテゴリにおけるサンプルデータが、期待値μ及び分散δを有するガウス分布に従う場合にはＤｋｌ＝Ｄ（φｋｌ）＝２であり、各サンプルカテゴリにおけるサンプルデータが、期待値及び分散λを有するポアソン分布に従う場合にはＤｋｌ＝Ｄ（φｋｌ）＝１である。
【００５８】
更に、潜在変数の変分分布の近似値
【数６９】
2015181001.tif 000071
は、この実施形態に限定されない。
【数７０】
2015181001.tif 000072
の値は、前回の更新又は初期設定によって取得された更新された潜在変数の変分分布の値を取るがこれに限定されるわけではない。理解を容易にするために、この実施形態では、前回更新された潜在変数の変分分布の値又は潜在変数の変分分布の近似値
【数７１】
2015181001.tif 000073
として、初期設定から取得された、更新された潜在変数を採用して説明する。正規化項を初めて決定する場合、潜在変数の変数分布の近似値は、初期設定から取得された更新された潜在変数の変数分布の値であってよい。正規化項を決定することが初めてではない場合、潜在変数の変数分布の近似値は、前回更新された潜在変数の変分分布の値であってよい。
【００５９】
ここで、正規化項を決定することによって、決定されたリレーショナルモデルの複雑性が自動的に制御されてよいし、リレーショナルモデルを決定することの効率が改善されることに留意すべきである。
【００６０】
任意の実施形態において、サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される潜在変数の各々の変分分布の対数は、ｌｏｇｑ（ＺＲ）及びｌｏｇｑ（Ｚｃ）を含み、ｑ（ＺＲ）は行の潜在変数ＺＲの変分分布を示し、ｑ（Ｚｃ）は列の潜在変数Ｚｃの変分分布を示す。
【００６１】
特に、行の潜在変数ＺＲの変分分布は、下記のように表現されてよい。
【数７２】
2015181001.tif 000074
【００６２】
特に、列の潜在変数Ｚｃの変分分布は、下記のように表現されてよい。
【数７３】
2015181001.tif 000075
【００６３】
ステップ２０２：目的関数は、対数尤度の期待値、正規化項の期待値及び潜在変数の各々の変分分布の対数の期待値に応じて決定される。
【００６４】
対数尤度は、ステップ２０１において因数分解表現として記載されている。対数尤度を解けるようにするにあたり、下記に示す因子化情報量基準（Factorized Information Criterion）（ＦＩＣ）を一例とするタイトな下界（tight lower bound）を取得するために、各因数にラプラス近似が行われる。
【数７４】
2015181001.tif 000076
ここで、
【数７５】
2015181001.tif 000077
ＦＩＣが最大の場合、
【数７６】
2015181001.tif 000078
はθの値を示す。
【００６５】
更に、ＦＩＣがサンプルデータ
【数７７】
2015181001.tif 000079
と潜在変数ＺＲ及びＺｃとを含むため、解答は、通常、期待値最大化（ＥＭ）アルゴリズムを介して行われる。しかしながら、リレーショナルモデルは、従属潜在変数によって決定されるので、従来のＥＭアルゴリズムは、ＦＩＣの解法に適用できない。ＦＩＣを解けるようにするにあたり、この実施形態は、漸近的に一様な下界を取得するために、下記の収束ＦＩＣ方法を採用する。
【数７８】
2015181001.tif 000080
ここで、
【数７９】
2015181001.tif 000081
関数はＬ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂである。
【００６６】
任意の実施形態のように、対数尤度の期待値、正規化項の期待値及び潜在変数の各々の変分分布の対数の期待値に応じて決定された目的関数
【数８０】
2015181001.tif 000082
は、下記の式で表される。
【数８１】
2015181001.tif 000083
【００６７】
更に、目的関数は、上記ステップによって決定される。目的関数を介してリレーショナル関数を決定するために、この実施形態において提供される方法は、下記の後続のステップを更に含む。
【００６８】
ステップ２０３：潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが取得される。
【００６９】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、
潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数８２】
2015181001.tif 000084
を使用することによって潜在変数の各々の変分分布を交互に更新することと、
下記の式
【数８３】
2015181001.tif 000085
ここで、
【数８４】
2015181001.tif 000086
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって潜在変数の各々の更新された変分分布に応じて更新されたモデルパラメータを取得することと、
を含む。
【００７０】
初期設定の方法は、この実施形態に限定されない。特定の実施例において、初期設定は、確率論的な方法によって行われてもよい。即ち、α、β、φの値は、確率論的に初期設定される。しかし、上記の方法に加えて、他の方法も可能である。
【００７１】
更に、現在の潜在変数ＺＲの変分分布が計算されるときに前回の潜在変数Ｚｃの変分分布の計算結果が使用されるように、潜在変数の各々の収束され更新された変分分布が取得されるまで、潜在変数の各々の変分分布を交互に更新すること、即ち、潜在変数Ｚｃの変分分布と潜在変数ＺＲの変分分布とを交互に更新することが必要とされる。収束条件は、この実施形態において限定されない。特定の実施例において、行の潜在変数ＺＲについて、行の潜在変数の現在の変分分布と行の潜在変数の前回の変分分布との間のユークリッド距離が計算されてもよい。計算されたユークリッド距離が距離の閾値より短い場合には、行の潜在変数の現在の変分分布が収束していると判別される。距離の閾値の値は、実際の要件に応じて設定されてよいが、この実施形態において限定されない。
【００７２】
それにもかかわらず、潜在変数の各々の更新された変分分布が収束しているか否かを判別する方法に加え、更新の固定回数を設定する方法において潜在変数の各々の収束された変分分布が取得されてもよい。更新回数の設定方法において、特定の実施例中、更新回数が所定の更新回数の閾値に達した場合には、反復が停止し、少なくとも２つの潜在変数の各々の更新された変分分布が取得される。なお、この実施形態は、所定の更新回数の閾値の値に限定を設けない。
【００７３】
任意の実施形態のように、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得する上記方法に加え、この実施形態において提供される方法は（潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得する下記の方法に限定されないが）、
下記の式
【数８５】
2015181001.tif 000087
を使用してモデルパラメータを更新することによって更新されたモデルパラメータを取得することと、
潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数８６】
2015181001.tif 000088
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって更新されたモデルパラメータに応じて潜在変数の各々の変分分布を交互に更新することと、
を含む。
【００７４】
ステップ２０３における式が潜在変数の更新された変分分布及び更新されたモデルパラメータを取得するために初めて使用された場合、ｔ−１が初期設定を示すので、ｔ−１に対応するパラメータは初期値である。例えば、ステップ２０３において、潜在変数の更新された変分分布及び更新されたモデルパラメータが初めて取得された場合、例えば、上記の式における
【数８７】
2015181001.tif 000089
はαｋの初期値を示し、
【数８８】
2015181001.tif 000090
はβｌの初期値を示す。なお、この実施形態は、初期設定の方法に限定を設けない。特定の実施例において、確率論的な初期設定の方法は、ｑ（ＺＲ）及びｑ（ＺＣ）を初期化するために使用されてよい。それにもかかわらず、確率論的な初期設定の方法に加え、他の方法も可能であってよい。
【００７５】
ステップ２０３において上記の式を使用することによって潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することが初めてではない場合、ｔ−１は前回の更新を示すので、ｔ−１に対応するパラメータは前回更新された値である。例えば、ステップ２０３において潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを３回取得した場合、上記の式における
【数８９】
2015181001.tif 000091
は潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを２回取得した場合に取得されたαｋの値を示し、
【数９０】
2015181001.tif 000092
は潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを２回取得した場合に取得されたβｌの値を示す。
【００７６】
更に、潜在変数の各々の変分分布が更新されたモデルパラメータに応じて更新された場合、潜在変数の各々の収束され更新された変分分布が取得されるまで、潜在変数ＺＲの変分分布と潜在変数Ｚｃの変分分布とを交互に更新することも必要とされる。
【００７７】
加えて、特定の実施例において、行のサンプルカテゴリの異なる数Ｋｒ及び列のサンプルカテゴリの異なる数Ｋｃが設定されてもよい。例えば、Ｋｒの最小値がＫｒｍｉｎとして設定され、一方でＫｒの最大値がＫｒｍａｘとして設定される。また、Ｋｃの最小値がＫｃｍｉｎとして設定され、一方でＫｃの最大値がＫｃｍａｘとして設定される。ＫｒとＫｃの範囲内で、ＫｒとＫｃの各値の組み合わせについて、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが取得される。
【００７８】
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータの取得時において、潜在変数の各々の収束され更新された変分分布が取得されるまで、潜在変数の各々の変分分布が最初に交互に更新されてよいこと、及び、更新されたモデルパラメータを取得するために、モデルパラメータが潜在変数の各々の更新された変分分布に応じて更新されることに留意すべきである。又は、更新されたモデルパラメータを取得するためにモデルパラメータが最初に更新されてよいこと、及び、潜在変数の各々の収束され更新された変分分布を取得するために、潜在変数の各々の変分分布が更新されたモデルパラメータに応じて交互に更新されることに留意すべきである。つまり、潜在変数の各々の変分分布とモデルパラメータの更新順序はこの実施形態において限定されない。
【００７９】
ステップ２０４：潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かが判別され、目的関数が収束しない場合には潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが再取得される。
【００８０】
特に、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別することは、これに限定されないが、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と、潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを判別することと、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と前回取得された目的関数との間の距離が閾値より短い場合には目的関数が収束すると判別することと、
を含む。
【００８１】
この実施形態は、閾値を特定の値に限定しない。特定の実施例中、異なる閾値が、サンプルデータのデータ量のような要因に応じて設定されてよい。目的関数は、少なくとも２つの潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定され、その結果、対数尤度に常に漸近する。目的関数が収束すると、対数尤度の値は、目的関数の値に近似される。このように、解けない対数は解ける目的関数に変換されるので、リレーショナルモデルの決定が達成される。
【００８２】
少なくとも２つの潜在変数の各々の更新された変分分布及び更新されたモデルパラメータの他の取得中に目的関数が収束していないと判別された場合、処理はステップ２０３に戻り、ステップ２０３において少なくとも２つの潜在変数の各々の更新された変分分布及び更新されたモデルパラメータは再度取得されることに留意すべきである。少なくとも２つの潜在変数の各々の更新された変分分布の最初の取得中、ステップ２０３の式におけるｔ−１は初期値を示す。一方で、少なくとも２つの潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを再度取得するために、処理がステップ２０３に戻った場合、ステップ２０３の式におけるｔ−１は前回の取得を示す。例えば、ステップ２０３における式の使用による少なくとも２つの潜在変数の各々の更新された変分分布及び更新されたモデルパラメータの初回取得中、上記の式におけるｔ−１に対応するパラメータは初期値を使用し、初回に取得された潜在変数の更新された変分分布及び更新されたモデルパラメータが取得される。初回に取得された潜在変数の更新された変分分布及び更新されたモデルパラメータが目的関数を収束させることに失敗した場合には、初回に取得された潜在変数の更新された変分分布及び更新されたモデルパラメータは上記ステップ２０３におけるｔ−１に対応するパラメータの値として使用され、潜在変数の更新された変分分布及び更新されたモデルパラメータは再度取得される。そして、再度取得された潜在変数の更新された変分分布及び更新されたモデルパラメータが、決定された目的関数を収束させられるか否かが判別される。更新は、目的関数を収束可能な潜在変数の更新された変分分布及び更新されたモデルパラメータが取得されるまで、このような方法で行われる。
【００８３】
ステップ２０５：目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルが決定される。
【００８４】
このステップにおいて、収束時の目的関数の値が対数尤度に近似すると、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルが決定されてよい。
【００８５】
更に、行のサンプルカテゴリの異なる数Ｋｒ及び列のサンプルカテゴリの異なる数Ｋｃが設定されてよい。また、ＫｒとＫｃの各値の組み合わせについて、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータが取得されると、目的関数の最大値を可能にするＫｒとＫｃは、目的関数の収束を可能にすることに基づいて選択されてよい。更に、リレーショナルモデルは、ＫｒとＫｃの使用により計算された潜在変数の各々の変分分布及びモデルパラメータに応じて決定される。
【００８６】
決定されたリレーショナルモデルにおいて、行のサンプルカテゴリの初期値Ｋｒ及び列のサンプルカテゴリの初期値Ｋｃは、行のサンプルカテゴリの最終値及び列のサンプルカテゴリの最終値と同じであってもよいし、異なっていてもよいことに留意すべきである。つまり、リレーショナルモデルの構造は、リレーショナルモデルを決定する処理の間に自動的に調整されてよい。
【００８７】
２次元のサンプルデータのリレーショナルモデルは、ステップ２０１からステップ２０５において決定される。この実施形態において提供される方法は、２以上の次元を有するサンプルデータのリレーショナルモデルに対して更に使用されてもよい。例えば、サンプルデータの次元は、３、４、５等であってよい。
【００８８】
本開示のこの実施形態において提供される方法が２以上の次元を有するサンプルデータのリレーショナルモデルの決定に対して使用された場合、ステップ２０１において、サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度は下記の式で表される。
【数９１】
2015181001.tif 000093
ここで、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数９２】
2015181001.tif 000094
はサンプルデータを示し、ｄはサンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα１，．．．，αｄ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す。
【００８９】
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される正規化項は下記の式で表される。
【数９３】
2015181001.tif 000095
ここで、ｄはサンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数９４】
2015181001.tif 000096
は潜在変数の変分分布の近似値を示し、
【数９５】
2015181001.tif 000097
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数９６】
2015181001.tif 000098
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数９７】
2015181001.tif 000099
はαｉの次元を示し、
【数９８】
2015181001.tif 000100
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数９９】
2015181001.tif 000101
を示し、ｂは
【数１００】
2015181001.tif 000102
を示す。
【００９０】
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される潜在変数の各々の変分分布の対数は、ｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含む。ここで、ｑ（Ｚ１）は潜在変数Ｚ１の変分分布を示し、ｑ（Ｚｄ）は潜在変数Ｚｄの変分分布を示す。
【００９１】
ステップ２０２において、対数尤度の期待値、正規化項の期待値及び潜在変数の各々の変分分布の対数の期待値に応じて決定された目的関数
【数１０１】
2015181001.tif 000103
は、下記の式で表される。
【数１０２】
2015181001.tif 000104
【００９２】
任意の実施形態のように、ステップ２０３において、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、これに限定されないが、
潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数１０３】
2015181001.tif 000105
を使用することによって潜在変数の各々の変分分布を交互に更新することと、
下記の式
【数１０４】
2015181001.tif 000106
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって潜在変数の各々の更新された変分分布に応じて更新されたモデルパラメータを取得することと、
を含む。
【００９３】
任意の実施形態のように、ステップ２０３において、潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することは、これに限定されないが、
更新されたモデルパラメータを取得するために下記の式
【数１０５】
2015181001.tif 000107
を使用することによってモデルパラメータを更新することと、
潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数１０６】
2015181001.tif 000108
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって更新されたモデルパラメータに応じて潜在変数の各々の変分分布を交互に更新することと、
を含む。
【００９４】
ステップ２０４及びステップ２０５の本実施方法は、２以上の次元を有するサンプルデータに直接的に適用されてよいので、リレーショナルモデルの決定に直接的に適用されてもよい。
【００９５】
決定されたリレーショナルモデルは、データのクラスタリング及びデータのカテゴライジングに適用されてよい。クラスタリングデータの場合、リレーショナルモデルを決定する処理はクラスタリングデータの処理である。カテゴライジングデータの場合、リレーショナルモデルを決定するために更なる後処理をまだ行う必要がある。クラスタリング及びカテゴライジングの結果は顧客分析、生物分析、土地分析（geoanalysis）等に対して使用されるので、多くの社会的価値及び経済的価値が発生する。
【００９６】
本開示の実施形態において提供される方法によれば、サンプルデータ、サンプルデータのサンプルカテゴリを記述するための少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得し、対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定することによって、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定されたリレーショナルモデルは、２つ以上のエンティティ間における相互関係の分析に適用可能になり、その結果、リレーショナルモデルの適用範囲を拡張する。加えて、目的関数に正規化項を導入することによって、決定されたリレーショナルモデルの複雑性は自動的に制御され、リレーショナルモデルを決定する効率は改善される。更に、潜在変数とモデルパラメータとが相互に依存しているので、潜在変数の各々の変分分布及びモデルパラメータの決定はより正確である。
【００９７】
（実施形態３）
図３を参照すると、本開示のこの実施形態は、リレーショナルモデル決定用の装置を提供する。なお、この装置は、
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュール３０１と、
対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュール３０２と、
目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュール３０３と、
目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュール３０４と、
を備え、
潜在変数の各々は、サンプルデータのサンプルカテゴリを記述するために使用される。
【００９８】
任意の実施形態のように、取得モジュール３０１によって取得された対数尤度は、
【数１０７】
2015181001.tif 000109
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、
【数１０８】
2015181001.tif 000110
はサンプルデータを示し、ｄはサンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θはモデルパラメータのセットを示し、モデルパラメータはα１ ，．．．，αｄ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す。
【００９９】
任意の実施形態のように、取得モジュール３０１によって取得された正規化項は、
【数１０９】
2015181001.tif 000111
であって、ｄはサンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数１１０】
2015181001.tif 000112
は潜在変数の変分分布の近似値を示し、
【数１１１】
2015181001.tif 000113
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数１１２】
2015181001.tif 000114
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数１１３】
2015181001.tif 000115
はαｉの次元を示し、
【数１１４】
2015181001.tif 000116
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数１１５】
2015181001.tif 000117
を示し、ｂは
【数１１６】
2015181001.tif 000118
を示す。
【０１００】
任意の実施形態のように、取得モジュール３０１によって取得された潜在変数の各々の変分分布の対数はｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含み、ｑ（Ｚ１）は潜在変数Ｚ１の変分分布を示し、ｑ（Ｚｄ）は潜在変数Ｚｄの変分分布を示す。
【０１０１】
任意の実施形態のように、第１の決定モジュール３０２は、対数尤度の期待値、正規化項の期待値及び潜在変数の各々の変分分布の対数の期待値に応じて目的関数を決定するように構成されている。
【０１０２】
任意の実施形態のように、第１の決定モジュール３０２によって決定された目的関数
【数１１７】
2015181001.tif 000119
は、
【数１１８】
2015181001.tif 000120
である。
【０１０３】
任意の実施形態のように、図４を参照すると、第２の決定モジュール３０３は、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニット３０３１と、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて目的関数が収束するか否かを判別するように構成された判別ユニット３０３２と、
を含み、
取得ユニット３０３１は、目的関数が収束するまで潜在変数の各々の変分分布及び更新されたモデルパラメータを再取得するように構成されている。
【０１０４】
任意の実施形態のように、図５を参照すると、取得ユニット３０３１は、
潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数１１９】
2015181001.tif 000121
を使用することによって潜在変数の各々の変分分布を交互に更新するように構成された第１の更新サブユニット３０３１１と、
下記の式
【数１２０】
2015181001.tif 000122
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって潜在変数の各々の更新された変分分布に応じて更新されたモデルパラメータを取得するように構成された第２の更新サブユニット３０３１２と、
を含む。
【０１０５】
任意の実施形態のように、図６を参照すると、取得ユニット３０３１は、
更新されたモデルパラメータを取得するために下記の式
【数１２１】
2015181001.tif 000123
を使用することによってモデルパラメータを更新するように構成された第３の更新サブユニット３０３１３と、
潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数１２２】
2015181001.tif 000124
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって更新されたモデルパラメータに応じて潜在変数の各々の変分分布を交互に更新するように構成された第４の更新サブユニット３０３１４と、
を含む。
【０１０６】
任意の実施形態のように、図７を参照すると、判別ユニット３０３２は、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と前回取得された目的関数との間の距離が閾値より短いか否かを判別するように構成された比較サブユニット３０３２１と、
潜在変数の各々の更新された変分分布及び更新されたモデルパラメータに応じて決定された目的関数と前回取得された目的関数との間の距離が閾値より短い場合には目的関数が収束すると判別するように構成された判別サブユニット３０３２２と、
を含む。
【０１０７】
結論として、本開示の実施形態において提供される装置によれば、サンプルデータ、サンプルデータのサンプルカテゴリを記述するための少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、を取得し、対数尤度と、正規化項と、潜在変数の各々の変分分布の対数と、に応じて目的関数を決定することによって、目的関数の収束を可能にする潜在変数の各々の変分分布及びモデルパラメータに応じて決定されたリレーショナルモデルは、２つ以上のエンティティ間における相互関係の分析に適用可能になり、その結果、リレーショナルモデルの適用範囲を拡張する。加えて、目的関数に正規化項を導入することによって、決定されたリレーショナルモデルの複雑性は自動的に制御され、リレーショナルモデルを決定する効率は改善される。更に、潜在変数とモデルパラメータとが相互に依存しているので、潜在変数の各々の変分分布及びモデルパラメータの概算はより正確である。
【０１０８】
上記実施形態において提供されるリレーショナルモデル決定用の装置によって行われるリレーショナルモデルの決定中、装置は、一例として、上記機能モジュールの分割を用いて記述されているにすぎないことに留意すべきである。実際には、機能は、必要に応じて実施のために別の機能モジュールに割り当てられてよい。具体的には、装置の内部構造は、上記機能の全部又は一部を実施するために別の機能モジュールに分割される。加えて、リレーショナルモデル決定用の装置及びリレーショナルモデル決定用の方法は、同一の発明思想に関連する。なお、特定の実施例は、方法の実施形態において説明されるが、ここではこれ以上詳述しない。
【０１０９】
本発明の前述の実施形態の連番は、説明を容易にするためのものにすぎず、実施形態の優先度を示すものではない。
【０１１０】
当業者は、前述の方法のステップの全部又は一部は、ハードウェア又はプログラムの指示に従うハードウェアよって実行されてよいことを理解すべきである。プログラムは、非一時的なコンピュータ読み取り可能な記録媒体に格納されてよいし、少なくとも１つのプロセッサによって実行されてよい。記録媒体は、読み出し専用メモリ、磁気ディスク、又はコンパクトディスク読み出し専用メモリであってよい。
【０１１１】
上記は、単に本発明の好ましい実施形態であって、本発明を限定するものではない。本発明の精神及び原理から逸脱することなく行われる種々の修正、同等の置換、又は改良は、本発明の保護範囲内に含まれるべきである。
【０１１２】
（付記１）
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得することと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定することと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定し、前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定することと、
を備え、
前記潜在変数の各々は、前記サンプルデータのサンプルカテゴリを記述するために使用される、
リレーショナルモデル決定用の方法。
【０１１３】
（付記２）
前記サンプルデータ、前記少なくとも２つの潜在変数及び前記モデルパラメータに応じて決定される前記対数尤度は、
【数１２３】
2015181001.tif 000125
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数１２４】
2015181001.tif 000126
は前記サンプルデータを示し、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα１ ，．．．，αｄ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す、
付記１に記載の方法。
【０１１４】
（付記３）
前記サンプルデータ、前記少なくとも２つの潜在変数及び前記モデルパラメータに応じて決定される前記正規化項は、
【数１２５】
2015181001.tif 000127
であって、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数１２６】
2015181001.tif 000128
は前記潜在変数の前記変分分布の近似値を示し、
【数１２７】
2015181001.tif 000129
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数１２８】
2015181001.tif 000130
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数１２９】
2015181001.tif 000131
はαｉの次元を示し、
【数１３０】
2015181001.tif 000132
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数１３１】
2015181001.tif 000133
を示し、ｂは
【数１３２】
2015181001.tif 000134
を示す、
付記１に記載の方法。
【０１１５】
（付記４）
前記サンプルデータ、前記少なくとも２つの潜在変数及び前記モデルパラメータに応じて決定される前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含み、ｑ（Ｚ１）は潜在変数Ｚ１の前記変分分布を示し、ｑ（Ｚｄ）は潜在変数Ｚｄの前記変分分布を示す付記１に記載の方法。
【０１１６】
（付記５）
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するステップは、前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて前記目的関数を決定することを含む付記１乃至４の何れかに記載の方法。
【０１１７】
（付記６）
前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて決定された前記目的関数
【数１３３】
2015181001.tif 000135
は、
【数１３４】
2015181001.tif 000136
である付記５に記載の方法。
【０１１８】
(付記７)
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及び前記モデルパラメータを決定するステップは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別し、前記目的関数が収束しない場合には前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを取得するまで前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータを再取得することと、
を含む付記６に記載の方法。
【０１１９】
（付記８）
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するステップは、
前記潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数１３５】
2015181001.tif 000137
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新することと、
下記の式
【数１３６】
2015181001.tif 000138
ここで、
【数１３７】
2015181001.tif 000139
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記潜在変数の各々の前記更新された変分分布に応じて前記更新されたモデルパラメータを取得することと、
を含む付記７に記載の方法。
【０１２０】
（付記９）
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するステップは、
前記更新されたモデルパラメータを取得するために下記の式
【数１３８】
2015181001.tif 000140
ここで、
【数１３９】
2015181001.tif 000141
を使用することによって前記モデルパラメータを更新することと、
前記潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数１４０】
2015181001.tif 000142
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新することと、
を含む付記７に記載の方法。
【０１２１】
（付記１０）
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するステップは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを判別することと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別することと、
を含む付記７乃至９の何れかに記載の方法。
【０１２２】
（付記１１）
サンプルデータ、少なくとも２つの潜在変数及びモデルパラメータに応じて決定される対数尤度と、正規化項と、前記潜在変数の各々の変分分布の対数と、を取得するように構成された取得モジュールと、
前記対数尤度と、前記正規化項と、前記潜在変数の各々の前記変分分布の対数と、に応じて目的関数を決定するように構成された第１の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の変分分布及びモデルパラメータを決定するように構成された第２の決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の各々の前記変分分布及び前記モデルパラメータに応じてリレーショナルモデルを決定するように構成された第３の決定モジュールと、
を備え、
前記潜在変数の各々は、前記サンプルデータのサンプルカテゴリを記述するために使用される、
リレーショナルモデル決定用の装置。
【０１２３】
（付記１２）
前記取得モジュールによって取得された前記対数尤度は、
【数１４１】
2015181001.tif 000143
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、
【数１４２】
2015181001.tif 000144
は前記サンプルデータを示し、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｚ１は第１次元のサンプルデータの潜在変数を示し、Ｚｄは第ｄ次元のサンプルデータの潜在変数を示し、θは前記モデルパラメータのセットを示し、前記モデルパラメータはα１ ，．．．，αｄ，φを含み、α１は第１次元の混合比であり、αｄは第ｄ次元の混合比であり、φはモデルパラメータを示す、
付記１１に記載の装置。
【０１２４】
（付記１３）
前記取得モジュールによって取得された前記正規化項は、
【数１４３】
2015181001.tif 000145
であって、ｄは前記サンプルデータの次元を示し、Ｎ１は第１次元のサンプルデータの数を示し、Ｎｄは第ｄ次元のサンプルデータの数を示し、Ｎｉは第ｉ次元のサンプルデータの数を示し、Ｋｌは第１次元のサンプルカテゴリの数を示し、Ｋｄは第ｄ次元のサンプルカテゴリの数を示し、
【数１４４】
2015181001.tif 000146
は前記潜在変数の前記変分分布の近似値を示し、
【数１４５】
2015181001.tif 000147
は第ｐ１サンプルカテゴリにおける第１次元の第ｊ１サンプルデータの潜在変数を示し、
【数１４６】
2015181001.tif 000148
は、第ｐｄサンプルカテゴリにおける第ｄ次元の第ｊｄサンプルデータの潜在変数を示し、αｉは第ｉ次元の混合比を示し、
【数１４７】
2015181001.tif 000149
はαｉの次元を示し、
【数１４８】
2015181001.tif 000150
は第１次元の第ｐ１サンプルカテゴリ，．．．，第ｄ次元の第ｐｄサンプルカテゴリにおけるサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋(ａ−ｂ)／ｂであって、ａは
【数１４９】
2015181001.tif 000151
を示し、ｂは
【数１５０】
2015181001.tif 000152
を示す、
付記１１に記載の装置。
【０１２５】
（付記１４）
前記取得モジュールによって取得された前記潜在変数の各々の前記変分分布の対数はｌｏｇｑ（Ｚ１），．．．ｌｏｇｑ（Ｚｄ）を含み、ｑ（Ｚ１）は潜在変数Ｚ１の前記変分分布を示し、ｑ（Ｚｄ）は潜在変数Ｚｄの前記変分分布を示す付記１１に記載の装置。
【０１２６】
（付記１５）
前記第１の決定モジュールは、前記対数尤度の期待値、前記正規化項の期待値及び前記潜在変数の各々の前記変分分布の対数の期待値に応じて目的関数を決定するように構成されている付記１１乃至１４の何れかに記載の装置。
【０１２７】
（付記１６）
前記第１の決定モジュールによって決定された前記目的関数
【数１５１】
2015181001.tif 000153
は、
【数１５２】
2015181001.tif 000154
である付記１５に記載の装置。
【０１２８】
（付記１７）
前記第２の決定モジュールは、
前記潜在変数の各々の更新された変分分布及び更新されたモデルパラメータを取得するように構成された取得ユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて前記目的関数が収束するか否かを判別するように構成された判別ユニットと、
を含み、
前記取得ユニットは、前記目的関数が収束するまで前記潜在変数の各々の前記変分分布及び前記更新されたモデルパラメータを再取得するように構成されている、
付記１６に記載の装置。
【０１２９】
（付記１８）
前記取得ユニットは、
前記潜在変数の各々の収束され更新された変分分布を取得するまで、下記の式
【数１５３】
2015181001.tif 000155
を使用することによって前記潜在変数の各々の前記変分分布を交互に更新するように構成された第１の更新サブユニットと、
下記の式
【数１５４】
2015181001.tif 000156
ここで、
【数１５５】
2015181001.tif 000157
ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記潜在変数の各々の前記更新された変分分布に応じて前記更新されたモデルパラメータを取得するように構成された第２の更新サブユニットと、
を含む付記１７に記載の装置。
【０１３０】
（付記１９）
前記取得ユニットは、
前記更新されたモデルパラメータを取得するために下記の式
【数１５６】
2015181001.tif 000158
ここで、
【数１５７】
2015181001.tif 000159
を使用することによって前記モデルパラメータを更新するように構成された第３の更新サブユニットと、
前記潜在変数の各々の収束され更新された変分分布を取得するために下記の式
【数１５８】
2015181001.tif 000160
ここで、ｔは現在の更新を示し、ｔ−１は前回の更新又は初期設定を示す、
を使用することによって前記更新されたモデルパラメータに応じて前記潜在変数の各々の前記変分分布を交互に更新するように構成された第４の更新サブユニットと、
を含む付記１７に記載の装置。
【０１３１】
（付記２０）
前記判別ユニットは、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と、前記潜在変数の各々の前回更新された変分分布及び前回更新されたモデルパラメータに応じて決定された前回取得された目的関数と、の間の距離が閾値より短いか否かを判別するように構成された比較サブユニットと、
前記潜在変数の各々の前記更新された変分分布及び前記更新されたモデルパラメータに応じて決定された前記目的関数と前記前回取得された目的関数との間の距離が前記閾値より短い場合には前記目的関数が収束すると判別するように構成された判別サブユニットと、
を含む付記１７乃至１９の何れかに記載の装置。
【図１】
2015181001.tif 000179
【図２】
2015181001.tif 000180
【図３】
2015181001.tif 000181
【図４】
2015181001.tif 000182
【図５】
2015181001.tif 000183
【図６】
2015181001.tif 000184
【図７】
2015181001.tif 000185
【外国語明細書】
2015181001000001.pdf