(57)【特許請求の範囲】
【請求項１】
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度と正規化項と前記潜在変数の変分分布関数の対数とを取得するように構成された取得モジュールと、
前記取得された前記対数尤度と前記正規化項と前記潜在変数の前記変分分布関数の対数とに応じて目的関数を決定するように構成された第１決定モジュールと、
サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする前記潜在変数の変分分布関数と前記コンポーネントパラメータとを決定するように構成された第２決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布関数と前記コンポーネントパラメータとに応じて、混合モデルを決定するように構成された第３決定モジュールと、
を含み、
前記第１決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布関数の対数の期待値とに応じて、前記目的関数を決定するように構成されている、
混合モデル決定用の装置。
【請求項２】
前記取得モジュールにより取得される前記対数尤度は、
【数１】
0005970579.tif 000159
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮは前記サンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは前記潜在変数を示し、θはコンポーネントパラメータのセットを示し、前記コンポーネントパラメータは、α、φを含み、αはコンポーネントの混合比を示し、φはコンポーネント用のモデルパラメータを示し、各コンポーネントは、自身を表現するモデルパラメータのサブセットを有する、
請求項１に記載の装置。
【請求項３】
前記取得モジュールにより取得される前記正規化項は、
【数２】
0005970579.tif 000160
であって、Ｎは前記サンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは前記潜在変数を示し、
【数３】
0005970579.tif 000161
は潜在変数の変分分布関数の値を所定の近似手法により近似した近似値を示し、αはコンポーネントの混合比を示し、Ｄαはαの次元を示し、Ｄｃはコンポーネントｃのサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌоｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数４】
0005970579.tif 000162
を示し、ｂは、
【数５】
0005970579.tif 000163
を示す、
請求項１に記載の装置。
【請求項４】
前記取得モジュールによって取得される前記潜在変数の前記変分分布関数の対数は、ｌｏｇｑ（ＺＮ）であり、
ｑ（ＺＮ）は前記潜在変数ＺＮの変分分布関数を示し、Ｎはサンプルデータの数を示す、
請求項１に記載の装置。
【請求項５】
前記第１決定モジュールにより決定される前記目的関数
【数６】
0005970579.tif 000164
は、
【数７】
0005970579.tif 000165
である、
請求項１に記載の装置。
【請求項６】
前記第２決定モジュールは、
前記サンプルセットから抽出された各サブサンプルデータに応じて、前記潜在変数の変分分布関数とコンポーネントパラメータとを取得するように構成された取得ユニットと、
前記潜在変数の前記変分分布関数と前記コンポーネントパラメータとに応じて、前記目的関数が収束するかどうかを判別するように構成された判別ユニットと、
前記目的関数が収束しない場合、前記目的関数の収束を可能にする前記潜在変数の前記変分分布関数と前記コンポーネントパラメータを取得するまで、前記サンプルセットから抽出された前記各サンプルデータに応じて、前記潜在変数の前記変分分布関数と前記コンポーネントパラメータとを再取得するように構成された取得ユニットと、
を含む、
請求項５に記載の装置。
【請求項７】
前記取得ユニットは、
前記各サブサンプルデータに対応する変分分布関数を、前記サンプルセットから抽出された前記各サブサンプルデータに応じて、取得するように構成された第１取得サブユニットと、
各サブサンプルデータに対応する各コンポーネントパラメータの中央値を、前記各サブサンプルデータに対応する前記潜在変数の変分分布関数に応じて、取得するように構成された第２取得サブユニットと、
前記コンポーネントパラメータのひとつの平均値を、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中央値に応じて、取得するように構成された第１決定サブユニットと、
前記コンポーネントパラメータの前記平均値に応じて前記コンポーネントパラメータを取得するように構成された第３取得サブユニットと、
を含む、
請求項６に記載の装置。
【請求項８】
前記第１取得サブユニットは、各サブサンプルデータに対応する前記潜在変数の変分分布関数を、次の数式
【数８】
0005970579.tif 000166
を使用することにより、前記サンプルセットから抽出された前記各サブサンプルデータに応じて取得するように構成されており、
前記第２取得サブユニットは、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中央値
【数９】
0005970579.tif 000167
と
【数１０】
0005970579.tif 000168
とを、次の数式
【数１１】
0005970579.tif 000169
を使用することにより、前記各サブサンプルデータに対応する前記潜在変数の変分分布関数に応じて取得するように構成されており、
前記第１決定サブユニットは、前記コンポーネントパラメータの前記平均値
【数１２】
0005970579.tif 000170
と
【数１３】
0005970579.tif 000171
とを、次の数式
【数１４】
0005970579.tif 000172
を使用することにより、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中央値に応じて決定するように構成されており、
前記第３取得サブユニットは、前記コンポーネントパラメータ
【数１５】
0005970579.tif 000173
と
【数１６】
0005970579.tif 000174
とを、次の数式
【数１７】
0005970579.tif 000175
を使用することにより、前記コンポーネントパラメータの前記平均値に応じて取得するように構成されており、
ｔは現在の取得を示し、ｔ−１は前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数１８】
0005970579.tif 000176
はｃ番目のコンポーネント内の第Ｉｍサブサンプルデータに対応する前記潜在変数の変分分布関数を示し、Ｓはサブサンプルデータセットを示し、
【数１９】
0005970579.tif 000177
は、前記サブサンプルデータセット中の第Ｉｍサブサンプルデータを示し、αｃはｃ番目のコンポーネントのコンポーネントパラメータαを示し、φｃはｃ番目のコンポーネントのコンポーネントパラメータφを示す、
請求項７に記載の装置。
【請求項９】
混合モデル決定用の装置が、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度と正規化項と前記潜在変数の変分分布関数の対数とを取得する取得ステップ、
前記装置が、前記取得された前記対数尤度と前記正規化項と前記潜在変数の前記変分分布関数の対数とに応じて目的関数を決定する第１決定ステップ、
前記装置が、サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする前記潜在変数の変分分布関数と前記コンポーネントパラメータとを決定する第２決定ステップ、
前記装置が、前記目的関数の収束を可能にする前記潜在変数の前記変分分布関数と前記コンポーネントパラメータとに応じて混合モデルを決定する第３決定ステップ、
を含み、
前記第１決定ステップでは、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布関数の対数の期待値とに応じて、前記目的関数を決定する、
混合モデル決定用の方法。
【請求項１０】
コンピュータに、
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度と正規化項と前記潜在変数の変分分布関数の対数とを取得する取得手順、
前記取得された前記対数尤度と前記正規化項と前記潜在変数の前記変分分布関数の対数とに応じて目的関数を決定する第１決定手順、
サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする前記潜在変数の変分分布関数と前記コンポーネントパラメータとを決定する第２決定手順、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布関数と前記コンポーネントパラメータとに応じて混合モデルを決定する第３決定手順、を実行させ、
前記第１決定手順では、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布関数の対数の期待値とに応じて、前記目的関数を決定する、
混合モデル決定用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、統計の技術分野に関する。特に、混合モデルのモデル選択用の方法と装置に関する。
【背景技術】
【０００２】
統計的手法の継続的な発展に伴い、混合モデルは産業分野で幅広く利用されている。混合モデルは、データ分布を見積もり、複合分布又はデータクラスタリングの構築を完璧に行う、混合型の確率密度関数を採用する。例えば、テキストカテゴライゼイション、手書き認識、不明瞭画像の分割、行動検出等を、混合モデルを使用して達成することができる。混合モデルは、ガウス混合モデル、ストキャスティックリレーショナルモデル等を包含する確率モデル族を含む。どのタイプの混合モデルでもあろうと、混合モデルは、潜在変数の変分分布とモデルパラメータに応じて決定され得る。潜在変数は、直接観測できないがサンプルデータに基づく推論により取得される変数である。潜在変数の変分分布はサンプルデータがその対応するカテゴリにクラスタ化される確率を表す。モデルパラメータは、混合モデルを含む各サブモデルパラメータを表す。混合モデルがより幅広く適用されるようになったことに伴い、そのモデル選択の課題は話題の研究テーマになっている。
【０００３】
現在、ストキャスティック変分推論（Stochastic Variational Inference）［マット  ホフマン（Matt Hoffman）他著、マシンラーニングリサーチジャーナル（Journal of Machine Learning Research）、２０１３年］の論文は、混合モデルのモデル選択の方法を提案している。この方法によれば、第一に、サンプルデータと潜在変数とモデルパラメータとに応じて決定された対数尤度（logarithm likelihood）と、潜在変数の変分分布（variational distribution）の対数と、が取得される。第二に、ストキャスティック平均場変分推論理論（stochastic mean-field variational inference theory）に基づいて、目的関数は、対数尤度と潜在変数の変分分布の対数とに応じて推論される。そして、第三に、いくつかの潜在変数とモデルパラメータとが選択され、サンプルセットから抽出されたサブサンプルのセットに応じて評価され、このようにすることは、目的関数の収束を保証するモデルパラメータと潜在変数の変分分布とを決定する助けとなる。そして、最後に、混合モデルが、目的関数の収束を可能にする潜在変数の変分分布とモデルパラメータとに応じて決定される。
【０００４】
本開示のプロセスにおいて、発明者は先行技術が以下のような課題を有することを見つける。
【０００５】
目的関数が対数尤度と潜在変数の変分分布の対数とに応じて決定されるため、目的関数に応じて決定される混合モデルは複雑である。
【発明の概要】
【課題を解決するための手段】
【０００６】
先行技術の技術的課題を解決するために、本開示の実施形態は、混合モデル決定用の方法及び装置を提供する。技術的解決方法は以下の通りである。
【０００７】
第１の観点によると、提供される混合モデル決定用の方法は、
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度と正規化項と前記潜在変数の変分分布の対数とを取得し、前記対数尤度と前記正規化項と潜在変数の前記変分分布の対数とに応じて目的関数を決定すること、
前記サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする潜在変数の変分分布と前記コンポーネントパラメータとを決定し、前記目的関数の収束を可能にする前記潜在変数の変分分布と前記コンポーネントパラメータとに応じて混合モデルを決定すること、
を含む。
【０００８】
第１の観点に関し、第１の観点の第１の可能な実施方法において、
前記サンプルデータと前記潜在変数と前記コンポーネントパラメータとに応じて決定される前記対数尤度は、
【数１】
0005970579.tif 000002
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮは前記サンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは前記潜在変数を示し、θはコンポーネントパラメータのセットを示し、前記コンポーネントパラメータは、α、φを含み、αは前記コンポーネントの混合比を示し、φはコンポーネント用のモデルパラメータを示し、各コンポーネントは自身を表現するモデルパラメータのサブセットを有する。
【０００９】
第１の観点に関し、第１の観点の第２の第１の可能な実施方法において、前記サンプルデータと前記潜在変数と前記コンポーネントパラメータとに応じて決定される前記正規化項は、
【数２】
0005970579.tif 000003
であって、Ｎはサンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは前記潜在変数を示し、
【数３】
0005970579.tif 000004
は潜在変数の変分分布の近似値を示し、αはコンポーネントの混合比を示し、Ｄαはαの次元を示し、ＤｃはコンポーネントＣの前記サブモデルパラメータの次元を示し、Ｌ（ａ、ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであって、ａは、
【数４】
0005970579.tif 000005
を示し、ｂは
【数５】
0005970579.tif 000006
を示す。
【００１０】
第１の観点に関し、第１の観点の第３の可能な実施方法において、前記サンプルデータと前記潜在変数と前記コンポーネントパラメータとに応じて決定される潜在変数の前記変分分布の対数はｌｏｇｑ（ＺＮ）であり、ｑ（ＺＮ）は潜在変数ＺＮの変分分布を示し、Ｎはサンプルデータの数を示す。
【００１１】
第１の観点の、第１の観点から第３の可能な実施方法までのいずれの可能な実施方法に関し、第１の観点の第４の可能な実施方法において、前記対数尤度と前記正規化項と前記潜在変数の前記変分分布の対数とに応じて目的関数を決定することは、
前記対数尤度の期待値と前記正規化項の期待値と潜在変数の前記変分分布の対数の期待値とに応じて、前記目的関数を決定することを含む。
【００１２】
第１の観点の第４の可能な実施方法に関し、第１の観点の第５の可能な実施方法において、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布の対数の期待値とに応じて決定された前記目的関数
【数６】
0005970579.tif 000007
は、
【数７】
0005970579.tif 000008
である。
【００１３】
第１の観点の第５の可能な実施方法に関し、第１の観点の第６の実施方法において、前記サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする前記潜在変数の変分分布と前記コンポーネントパラメータとを決定することは、
前記サンプルセットから抽出された各サブサンプルデータに応じて、前記潜在変数の変分分布とコンポーネントパラメータとを取得すること、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、前記目的関数が収束するかどうかを判別し、前記目的関数が収束しない場合、前記目的関数の収束を可能にする潜在変数の前記変分分布と前記コンポーネントパラメータとを取得するまで、前記サンプルセットから抽出された前記各サブサンプルデータに応じて、前記潜在変数の前記変分分布と前記コンポーネントパラメータを再取得すること、
を含む。
【００１４】
第１の観点の第６の可能な実施方法に関して、第１の観点の第７の可能な実施方法において、前記サンプルセットから抽出された各サブサンプルデータに応じて、前記潜在変数の変分分布とコンポーネントパラメータを取得することは、
各サブサンプル用の前記潜在変分分布を、前記サンプルセットから抽出された前記サブサンプルデータに応じて、取得し、各コンポーネントパラメータの中間値を、前記各サブサンプルデータに対応する前記潜在変数の前記変分分布に応じて、取得すること、
前記コンポーネントパラメータのひとつの平均値を、前記サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて、決定し、前記コンポーネントパラメータの前記平均値に応じて前記コンポーネントパラメータを取得すること、
を含む。
【００１５】
第１の観点の第７の可能な実施方法に関して、第１の観点の第８の可能な実施方法において、各サブサンプル用の前記潜在変分分布は、次の数式
【数８】
0005970579.tif 000009
を使用することにより、前記サンプルセットから抽出された前記各サブサンプルデータに応じて取得され、
前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値
【数９】
0005970579.tif 000010
と
【数１０】
0005970579.tif 000011
とは、次の数式
【数１１】
0005970579.tif 000012
を使用することにより、各サブサンプル用の前記潜在変分分布に応じて取得され
前記コンポーネントパラメータの前記平均値
【数１２】
0005970579.tif 000013
と
【数１３】
0005970579.tif 000014
は、次の数式
【数１４】
0005970579.tif 000015
を使用することにより、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて決定され、
前記コンポーネントパラメータ
【数１５】
0005970579.tif 000016
と
【数１６】
0005970579.tif 000017
とは、次の数式
【数１７】
0005970579.tif 000018
を使用することにより、前記コンポーネントパラメータの前記平均値に応じて取得され、
ｔは現在の取得を示し、ｔ−１は前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数１８】
0005970579.tif 000019
は、ｃ番目のコンポーネント内の第Ｉｍのサブサンプルデータに対応する前記潜在変分分布を示し、Ｓはサブサンプルデータセットを示し、
【数１９】
0005970579.tif 000020
は、前記サブサンプルデータセット内の第Ｉｍのサブサンプルデータを示し、αｃはｃ番目のコンポーネントパラメータαを示し、φｃはｃ番目のコンポーネントの前記コンポーネントパラメータφを示す。
【００１６】
第１の観点の第６の可能な実施方法から第８の可能な実施方法までのいずれかの可能な実施方法に関し、第１の観点の第９の可能な実施方法において、前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、前記目的関数が収束するかどうかを判別するステップは、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前回取得された前記潜在変数の変分分布とコンポーネントパラメータとに応じて決定される前回取得された目的関数の値と、の差（距離）がしきい値より小さいかどうかを判別すること、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前記前回取得された目的関数の値と、の差（距離）が前記しきい値より小さい場合、前記目的関数が収束していると判別すること、
を含む。
【００１７】
第２の観点によると、提供される混合モデル決定用の装置は、
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度と正規化項と前記潜在変数の変分分布の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と潜在変数の前記変分分布の対数とに応じて目的関数を決定するように構成された第１決定モジュールと、
サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする潜在変数の変分分布と前記コンポーネントパラメータとを決定するように構成された第２決定モジュールと、
前記目的関数の収束を可能にする潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、混合モデルを決定するように構成された第３決定モジュールと、
を含む。
【００１８】
第２の観点に関し、第２の観点の第１の実施方法において、前記取得モジュールにより取得される前記対数尤度は、
【数２０】
0005970579.tif 000021
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮは前記サンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは前記潜在変数を示し、θはコンポーネントパラメータのセットを示し、前記コンポーネントパラメータは、α、φを含み、αはコンポーネントの混合比を示し、φはコンポーネント用のモデルパラメータを示し、各コンポーネントは、自身を表現するモデルパラメータのサブセットを有する。
【００１９】
第２の観点に関し、第２の観点の第２の実施方法において、前記取得モジュールにより取得される前記正規化項は、
【数２１】
0005970579.tif 000022
であって、Ｎは前記サンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは前記潜在変数を示し、
【数２２】
0005970579.tif 000023
は潜在変数の変分分布の近似値を示し、αはコンポーネントの混合比を示し、Ｄαはαの次元を示し、Ｄｃは前記コンポーネントｃの前記サブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌоｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数２３】
0005970579.tif 000024
を示し、ｂは、
【数２４】
0005970579.tif 000025
を示す。
【００２０】
第２の観点に関し、第２の観点の第３の実施方法において、前記取得モジュールによって取得される前記潜在変数の前記変分分布の対数は、ｌｏｇｑ（ＺＮ）であり、
ｑ（ＺＮ）は潜在変数ＺＮの変分分布を示し、Ｎはサンプルデータの数を示す。
【００２１】
第２の観点の第２の観点から第３の可能な実施方法までのいずれかの可能な実施方法に関し、第２の観点の第４の可能な実施方法において、前記第１決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布の対数の期待値とに応じて、前記目的関数を決定するように構成されている。
【００２２】
第２の観点の第４の可能な実施方法に関し、第２の観点の第５の実施方法において、前記第１決定モジュールにより決定される前記目的関数
【数２５】
0005970579.tif 000026
は、
【数２６】
0005970579.tif 000027
である。
【００２３】
第２の観点の第５の可能な実施方法に関し、第２の観点の第６の実施方法において、前記第２決定モジュールは、
前記サンプルセットから抽出された各サブサンプルデータに応じて、前記潜在変数の変分分布とコンポーネントパラメータとを取得するように構成された取得ユニットと、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、前記目的関数が収束するかどうかを判別するように構成された判別ユニットと、
前記目的関数が収束しない場合、前記目的関数の収束を可能にする潜在変数の前記変分分布と前記コンポーネントパラメータを取得するまで、前記サンプルセットから抽出された前記各サンプルデータに応じて、前記潜在変数の前記変分分布と前記コンポーネントパラメータとを再取得するように構成された取得ユニットと、
を含む。
【００２４】
第２の観点の第６の可能な実施方法に関し、第２の観点の第７の実施方法において、前記取得ユニットは、
各サブサンプルデータ用の前記潜在変分分布を、前記サンプルセットから抽出された前記各サブサンプルデータに応じて、取得するように構成された第１取得サブユニットと、
各コンポーネントパラメータの中間値を、前記各サブサンプルデータに対応する前記潜在変数の前記変分分布に応じて、取得するように構成された第２取得サブユニットと、
前記コンポーネントパラメータのひとつの平均値を、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて、決定するように構成された第１決定サブユニットと、
前記コンポーネントパラメータの前記平均値に応じて前記コンポーネントパラメータを取得するように構成された第３取得サブユニットと、
を含む。
【００２５】
第１の観点の第７の可能な実施方法に関し、第１の観点の第８の可能な実施方法において、前記第１取得サブユニットは、各サブサンプルデータ用の前記潜在変分分布を、次の数式
【数２７】
0005970579.tif 000028
を使用することにより、前記サンプルセットから抽出された前記各サブサンプルデータに応じて取得するように構成されており、
前記第２取得サブユニットは、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値
【数２８】
0005970579.tif 000029
と
【数２９】
0005970579.tif 000030
とを、次の数式
【数３０】
0005970579.tif 000031
を使用することにより、各サブサンプルデータ用の前記潜在変分分布に応じて取得するように構成されており、
前記第１決定サブユニットは、前記コンポーネントパラメータの前記平均値
【数３１】
0005970579.tif 000032
と
【数３２】
0005970579.tif 000033
とを、次の数式
【数３３】
0005970579.tif 000034
を使用することにより、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて取得するように構成されており、
前記第３取得サブユニットは、前記コンポーネントパラメータ
【数３４】
0005970579.tif 000035
と
【数３５】
0005970579.tif 000036
とを、次の数式
【数３６】
0005970579.tif 000037
を使用することにより、前記コンポーネントパラメータの前記中間値に応じて取得するように構成されており、
ｔは現在の取得を示し、ｔ−１は前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数３７】
0005970579.tif 000038
はｃ番目のコンポーネント内の第Ｉｍサブサンプルデータに対応する前記潜在変分分布を示し、Ｓはサブサンプルデータセットを示し、
【数３８】
0005970579.tif 000039
は、前記サブサンプルデータセット中の第Ｉｍサブサンプルデータを示し、αｃはｃ番目のコンポーネントのコンポーネントパラメータαを示し、φｃはｃ番目のコンポーネントのコンポーネントパラメータφを示す。
【００２６】
第２の観点の第６の可能な実施方法から第７の実施方法までのいずれかの可能な実施方法に関し、第２の観点の第９の可能な実施方法において、前記判別ユニットは、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前回取得された前記潜在変数の変分分布とコンポーネントパラメータとに応じて決定される前回取得された目的関数の値との差（距離）がしきい値より小さいかどうかを判別するように構成された比較サブユニットと、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前記前回取得された目的関数の値との差（距離）が前記しきい値より小さい場合、前記目的関数が収束していると決定する構成された、第２決定サブユニットと、
を含む。
【００２７】
本開示の実施形態において提供される技術的解決方法は、次のような有益な効果を得る。
目的関数は、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される、対数尤度と正規化項と潜在変数の変分分布の対数とに応じて決定される。混合モデルは、目的関数の収束を可能にする、潜在変数の変分分布とコンポーネントパラメータとに応じて決定される。正規化項が目的関数に導入されるので、混合モデルの複雑性が自動的に制御され、大規模なデータ処理に適用される。
【００２８】
本開示の実施形態における技術的解決方法をより良く理解するために、実施形態を記述するための添付図面は以下のように簡単に説明される。明らかに、以下の説明における添付図面は、本開示のいくつかの実施形態だけを説明し、当業者は、いかなる創造的な努力をすることもなく、これたの添付図面に基づいて、他の添付図面を導きだしてもよい。
【図面の簡単な説明】
【００２９】
【図１】本開示の実施形態１に係る混合モデル決定用の方法のフローチャートである。
【図２】本開示の実施形態２に係る混合モデル決定用の方法のフローチャートである。
【図３】本開示の実施形態３に係る混合モデル決定用の装置の概略構成図である。
【図４】本開示の実施形態３に係る第２決定モジュールの概略構成図である。
【図５】本開示の実施形態３に係る取得ユニットの概略構成図である。
【図６】本開示の実施形態３に係る判別ユニットの概略構成図である。
【発明を実施するための形態】
【００３０】
本開示の目的、技術的解決方法、及び利点をより明確するために、本開示の実施形態では、添付図面を参照して以下に詳細に説明する。
【００３１】
（実施形態１）
本開示の実施形態は、混合モデル決定用の方法を提供する。図１を参照し、方法は以下のステップを含む。
【００３２】
ステップ１０１：サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される、対数尤度と正規化項と潜在変数の変分分布の対数とを取得する。対数尤度と正規化項と潜在変数の変分分布の対数とに応じて目的関数を決定する。
【００３３】
任意の実施形態のように、
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定された対数尤度は、
【数３９】
0005970579.tif 000040
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮはサンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは潜在変数を示し、θはコンポーネントパラメータのセットを示し、コンポーネントパラメータは、α、φを含み、αはコンポーネントの混合比を示し、φはコンポーネントのモデルパラメータを示し、各コンポーネントは自身を表現するモデルパラメータのサブセットを有する。
【００３４】
任意の実施形態のように、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定された正規化項は、
【数４０】
0005970579.tif 000041
であって、Ｎはサンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは潜在変数を示し、
【数４１】
0005970579.tif 000042
は潜在変数の変分分布の近似値を示し、αはコンポーネントの混合比を示し、Ｄαはαの次元を示し、Ｄｃは、コンポーネントｃのサブモデルパラメータの次元を示し、Ｌ（ａ、ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであって、ａは、
【数４２】
0005970579.tif 000043
を示し、ｂは
【数４３】
0005970579.tif 000044
を示す。
【００３５】
任意の実施形態のように、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定された潜在変数の変分分布の対数はｌｏｇｑ（ＺＮ）であり、ｑ（ＺＮ）は潜在変数ＺＮの変分分布を示し、Ｎはサンプルデータの数を示す。
【００３６】
任意の実施形態のように、対数尤度と正規化項と潜在変数の変分分布の対数とに応じて目的関数を決定することは、
対数尤度の期待値と正規化項の期待値と潜在変数の変分分布の対数の期待値とに応じて目的関数を決定することを含む。
【００３７】
任意の実施形態のように、目的関数
【数４４】
0005970579.tif 000045
は、対数尤度の期待値と正規化項の期待値と潜在変数の変分分布の対数の期待値とに応じて決定され、
【数４５】
0005970579.tif 000046
である。
【００３８】
ステップ１０２：サンプルセットから抽出されたサブサンプルデータに応じて、目的関数の収束を可能にする潜在変数の変分分布とコンポーネントパラメータとを決定する。目的関数の収束を可能にする潜在変数の変分分布とコンポーネントパラメータとに応じて混合モデルを決定する。
【００３９】
任意の実施形態のように、目的関数の収束を可能にする潜在変数の変分分布とコンポーネントパラメータを、サンプルセットから抽出されたサブサンプルデータに応じて決定することは、
サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータとを取得すること、
潜在変数の変分分布とコンポーネントパラメータとに応じて、目的関数が収束するかどうかを判別し、目的関数が収束しない場合、サンプルセットから抽出された各サブサンプルデータに応じて、目的関数の収束を可能にする潜在変数の変分分布とコンポーネントパラメータを取得するまで、潜在変数の変分分布とコンポーネントパラメータを再取得すること、
を含む。
【００４０】
任意の実施形態のように、サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータを取得することは、
サンプルセットから抽出された各サブサンプルデータに対応する潜在変数の変分分布を、各サブサンプルデータに応じて、取得し、各サブサンプルデータに対応するコンポーネントパラメータの中間値を、各サブサンプルデータに対応する潜在変数の変分分布に応じて、取得すること、
サブサンプルデータに対応するコンポーネントパラメータの中間値に応じて、コンポーネントパラメータのひとつの平均値を決定し、コンポーネントパラメータの平均値に応じてコンポーネントパラメータを取得すること、
を含む。
【００４１】
任意の実施形態のように、各サブサンプルに対応する潜在変数の変分分布は、次の数式を使用して、サンプルセットから抽出された各サブサンプルデータに応じて取得される。
【数４６】
0005970579.tif 000047
【００４２】
各サブサンプルデータに対応するコンポーネントパラメータの中間値
【数４７】
0005970579.tif 000048
と
【数４８】
0005970579.tif 000049
とは、次の数式を使用して、各サブサンプルデータに対応する潜在変数の変分分布に応じて取得される。
【数４９】
0005970579.tif 000050
【００４３】
コンポーネントパラメータの平均値
【数５０】
0005970579.tif 000051
と
【数５１】
0005970579.tif 000052
とは、次の数式を使用して、各サブサンプルデータに対応するコンポーネントパラメータの中間値に応じて、決定される。
【数５２】
0005970579.tif 000053
【００４４】
コンポーネントパラメータ
【数５３】
0005970579.tif 000054
と、
【数５４】
0005970579.tif 000055
とは、次の数式を使用し、コンポーネントパラメータの平均値に応じて、取得される。
【数５５】
0005970579.tif 000056
【００４５】
ここで、ｔは現在の取得を示し、ｔ−１は前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数５６】
0005970579.tif 000057
はｃ番目のコンポーネント内の第Ｉｍのサブサンプルデータに対応する潜在変数の変分分布を示し、Ｓはサブサンプルデータセットを示し、
【数５７】
0005970579.tif 000058
は、サブサンプルデータセット中の第Ｉｍのサブサンプルデータを示し、αｃはｃ番目のコンポーネントのコンポーネントパラメータαを示し、φｃはｃ番目のコンポーネントのコンポーネントパラメータφを示す。
【００４６】
任意の実施形態のように、潜在変数の変分分布とコンポーネントパラメータとに応じて、目的関数が収束するかどうかを判別することは、
潜在変数の変分分布とコンポーネントパラメータとに応じて決定された目的関数の値と、前回取得された潜在変数の変分分布とコンポーネントパラメータとに応じて決定される前回取得された目的関数の値と、の差（距離）がしきい値より小さいかどうかを判別すること、
潜在変数の変分分布とコンポーネントパラメータとに応じて決定された目的関数の値と、前回取得された目的関数の値との差（距離）がしきい値より小さい場合、目的関数が収束していると判別すること、
を含む。
【００４７】
本開示において提供される方法によれば、目的関数は、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される、対数尤度と正規化項と潜在変数の変分分布の対数とに応じて決定される。混合モデルは、目的関数の収束を可能にする潜在変数の変分分布とコンポーネントパラメータとに応じて決定される。正規化項が導入されるので、混合モデルの複雑性は自動的に制御され、大規模なデータ処理に適用される。さらに、潜在変数とコンポーネントパラメータとは互いに依存関係にあるため、潜在変数の変分分布とコンポーネントパラメータとの決定はより正確であり、混合モデルの決定もより正確である。
【００４８】
（実施形態２）
本開示の実施形態は混合モデル決定用の方法を提供する。上述の実施形態の説明に関し、この実施形態において提供する方法を詳細に説明する。図２を参照し、方法は以下のステップを含む。
【００４９】
ステップ２０１：サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される、対数尤度と正規化項と潜在変数の変分分布の対数とを取得する。
【００５０】
この実施形態は、サンプルデータの内容に何の限定も設けない。特定の実施例中、各サンプルデータは、１又は複数の特徴ベクトルを含む。
【００５１】
理解を容易にするために、説明は、一例として下記のサンプルデータを使用してなされる。サンプルデータはベクトル形式で表される。ベクトルの要素は、商品１から５を示す。ベクトル中のいずれかの要素ｘｊは商品ｊの特徴ベクトルを示し、ｘｊ＝（ｘｊ１，…，ｘｊｎ）、１≦ｊ≦５であり、ｊとｎとはいずれも正の整数である。ｘｊｎは、温度、日付、商品の注文数量のようなアトリビュートを示してもよい。
【数５８】
0005970579.tif 000059
【００５２】
コンポーネントパラメータは、コンポーネント混合比、各コンポーネントのサブモデルパラメータ等を含むが、これらに限定されない。この実施形態は、コンポーネントパラメータの特定の内容に何の限定も設けない。一例として、ベクター形式のサンプルデータを使用する場合、コンポーネント混合比は、決定された混合モデルにおけるベクトルの要素の総数に対する、決定された混合モデルにおける各コンポーネント内の要素数の比である。各コンポーネントのサブモデルパラメータは、決定された混合モデルにおける各コンポーネントのデータ分布のパラメータである。
【００５３】
留意すべきは、潜在変数とコンポーネントパラメータとは互いに独立であってよい、又は、互いに依存関係にあってもよい。実際には、決定された混合モデルをより正確にするために、潜在変数とコンポーネントパラメータとは依存関係にあるので、この実施形態においては、潜在変数とコンポーネントパラメータとが依存関係にある場合を例に説明する。
【００５４】
さらに、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される、対数尤度と正規化項と潜在変数の変分分布の対数を取得するため、まず、同時確率密度関数がこの実施形態で提供される方法に導入される。
【数５９】
0005970579.tif 000060
ここで、ｐは同時確率密度関数を示し、ｘＮはサンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは潜在変数を示し、θはコンポーネントパラメータのセットを示す。コンポーネントパラメータはα、φを含み、αはコンポーネント混合比を示し、φはコンポーネントのモデルパラメータを示し、Ｃはコンポーネントの個数を示す。
【００５５】
混合モデルの確率密度分布は、上述の同時確率密度関数によって決定される。コンポーネントパラメータα、φと、同時確率密度関数中の潜在変数ＺＮが一旦決定されると、混合モデルの確率密度分布が決定され、このようにして、混合モデルは決定される。同時確率密度関数を解けるようにするため、次のような対数尤度を取得するため、対数は関数の両端で分けられる。
【数６０】
0005970579.tif 000061
【００５６】
任意の実施形態のように、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度は、
【数６１】
0005970579.tif 000062
であって、ｌоｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮはサンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは潜在変数を示し、θはコンポーネントパラメータのセットを示す。コンポーネントパラメータは、α、φを含み、αはコンポーネント混合比を示し、φはコンポーネントのためのモデルパラメータを示す。
【００５７】
具体的には、サンプルデータｘＮがベクトル形式で表される場合、Ｎはベクトルの要素数を示し、Ｃはコンポーネントの個数を示す。ＺＮは、Ｎ×Ｃの潜在変数の行列を示す、ＺＮの各要素を考慮すると、
【数６２】
0005970579.tif 000063
であって、Ｚｎｃ＝１の場合、要素は、サンプルデータｘｎがｃ番目のコンポーネントに適切であることを示し、Ｚｎｃ＝０の場合、要素は、サンプルデータｘｎがｃ番目のコンポーネントに適切でないことを示す。コンポーネント混合比αは、サンプルデータ中のベクトルの要素の総数に対する、混合モデルの各コンポーネントの要素数の比である。ここで、各コンポーネントのサブモデルパラメータφは、混合モデル中の各コンポーネントのサンプルデータがコンポーネント内で従う分布のパラメータである。例えば、コンポーネントの各々のサンプルデータがガウス分布に従う場合、φはガウス分布の期待値μと分散δとを示す。例えば、コンポーネントの各々のサンプルデータがポアソン分布に従う場合、φはポアソン分布の期待値と分散λを示す。加えて、上述の分布、各コンポーネントのサンプルデータは他の分布に従ってもよいことに留意すべきであり、この実施形態ではこれらを限定しない。
【００５８】
任意の実施形態のように、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される正規化項は、
【数６３】
0005970579.tif 000064
であって、Ｎはサンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは潜在変数を示し、
【数６４】
0005970579.tif 000065
は、潜在変数の変分分布の近似値を示し、αはコンポーネントの混合比を示し、Ｄαはαの次元を示し、ＤｃはコンポーネントＣのサブモデルパラメータの次元を示す。Ｌ（ａ，ｂ）＝ｌоｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数６５】
0005970579.tif 000066
を示し、ｂは、
【数６６】
0005970579.tif 000067
を示す。
【００５９】
具体的には、Ｃが潜在変数の行列ＺＮ中のコンポーネントの個数を示す場合、Ｄα＝Ｄ（α）＝Ｃ−１である。各コンポーネントのサンプルデータがガウス分布に従うとき、ガウス分布の期待値と分散はそれぞれμとδであるため、ガウス分布は２つのパラメータを含み、Ｄα＝Ｄ（α）＝２である。各コンポーネントのサンプルデータがポアソン分布に従うとき、ポアソン分布の期待値と分散はいずれもλであり、言い換えれば、ポアソン分布はパラメータλのみを含み、Ｄα＝Ｄ（α）＝１である。
【００６０】
加えて、この実施形態では、潜在変数の変分分布の近似値
【数６７】
0005970579.tif 000068
には、何の限定も設けないものの、前回の取得又は初期設定において取得された更新された潜在変数の変分分布の値が含まれる。ただし、これに限られない。ここで、潜在変数の変分分布は目的関数の収束を可能にすることができない。理解を容易にするため、この実施形態は、前回の取得又は初期設定において取得された、更新された潜在変数の変分分布の値が、潜在変数の変分分布の近似値
【数６８】
0005970579.tif 000069
を示す例により、説明される。正規化項が最初に決定されるとき、潜在変数の変分分布の近似値が、潜在変数の変分分布の初期値とされる。正規化項が最初に決定されないとき、潜在変数の変分分布の近似値は、前回の取得の際に、更新された潜在変数の変分分布の値とされる。
【００６１】
正規化項を使用することにより、決定された混合モデルの複雑性が自動的に制御され、混合モデルの決定の効率が向上されることに留意すべきである。
【００６２】
任意の実施形態のように、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される潜在変数の変分分布の対数は、ｌоｇｑ（ＺＮ）であって、ｑ（ＺＮ）は潜在変数ＺＮの変分分布を示し、Ｎはサンプルデータの数を示す。
【００６３】
具体的には、潜在変数ＺＮの変分分布は、
【数６９】
0005970579.tif 000070
と示されてよい。
【００６４】
ステップ２０２：対数尤度の期待値と正規化項の期待値と潜在変数の変分分布の対数の期待値とに応じて目的関数を決定する。
【００６５】
ステップ２０１では、対数尤度は因数分解の形式で表されていた。対数を解けるようにするにあたり、対数のコンパクト（compact,タイト）な下界、言い換えれば以下に示す因子化情報量基準（Factorized Information Criterion）（ＦＩＣ）、を取得するため各因数はラプラス近似に従う。
【数７０】
0005970579.tif 000071
ここで、
【数７１】
0005970579.tif 000072
は、ＦＩＣが最大値を取ったときのθの値を示す。
【００６６】
さらに、ＦＩＣがサンプルデータｘＮと潜在変数ＺＮとを含むため、通常は期待値最大化（Expectation Maximization）（ＥＭ）アルゴリズムを使用して解かねばならない。しかしながら、混合モデルは非独立の潜在変数に応じて決定されているため、従来のＥＭアルゴリズムは、ＦＩＣの解の取得に適していない。ＦＩＣを解けるようにするにあたり、この実施形態は、ＦＩＣの漸近的一致性（asymtotically-consistent）下界ＦＩＣＬＢを取得するため、ＦＩＣの換算を採用し、ＦＩＣ漸近的一致性（asymtotically-consistent）下界ＦＩＣＬＢは決定された目的関数である。
【００６７】
したがって、任意の実施形態のように、対数の期待値と正規化項の期待値と潜在変数の変分分布の期待値とに応じて決定される目的関数
【数７２】
0005970579.tif 000073
は、
【数７３】
0005970579.tif 000074
である。
【００６８】
さらに、上述のステップを使用して、目的関数が決定される。目的関数を使用して混合モデルを決定するため、この実施形態が提供する方法はさらに次のステップを含む。
【００６９】
ステップ２０３：サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータとを取得する。
【００７０】
任意の実施形態のように、サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータとを取得することは、
サンプルセットから抽出された各サブサンプルデータに応じて、各サブサンプルデータ用の潜在変分分布を取得すること、各サブサンプルデータに対応するコンポーネントパラメータの中間値を、各サブサンプルデータに対応する潜在変分分布に応じて、取得すること、
コンポーネントパラメータのひとつの平均値を、各サブサンプルデータに対応するコンポーネントパラメータの中間値に応じて、決定すること、コンポーネントパラメータの平均値に応じてコンポーネントパラメータを取得すること、
を含む。ただし、これに限られない。
【００７１】
任意の実施形態のように、各サブサンプルデータに対応する潜在変分分布は、サンプルセットから抽出された各サブサンプルデータに応じて、次の数式を使用して、取得される。
【数７４】
0005970579.tif 000075
【００７２】
各サンプルデータに対応するコンポーネントパラメータの中間値
【数７５】
0005970579.tif 000076
と、
【数７６】
0005970579.tif 000077
とは、各サブサンプルデータに対応する潜在変分分布に応じて、次式を使用して取得される。
【数７７】
0005970579.tif 000078
【００７３】
コンポーネントパラメータの平均値
【数７８】
0005970579.tif 000079
と
【数７９】
0005970579.tif 000080
とは、各サブサンプルデータに対応するコンポーネントパラメータの中間値に応じて、次式を使用して決定される。
【数８０】
0005970579.tif 000081
【００７４】
コンポーネントパラメータ
【数８１】
0005970579.tif 000082
と
【数８２】
0005970579.tif 000083
とは、コンポーネントパラメータの平均値に応じて、次式を使用して求められる。
【数８３】
0005970579.tif 000084
【００７５】
ここで、ｔは現在の取得を示し、ｔ−１は、前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数８４】
0005970579.tif 000085
は、ｃ番目のコンポーネント内の第Ｉｍサブサンプルデータに対応する潜在変分分布を示し、Ｓはサブサンプルデータセットを示し、
【数８５】
0005970579.tif 000086
は、サブサンプルデータセット中の第Ｉｍサブサンプルデータを示し、αｃはｃ番目のコンポーネントのコンポーネントパラメータαを示し、φｃはｃ番目のコンポーネントのコンポーネントパラメータφを示す。
【００７６】
具体的には、更新ステップρｔは、（ｔ＋τ）−ｋ，τ≧０，ｋ∈（０．５，１］により計算される。
【００７７】
初めて、潜在変数の変分分布とコンポーネントパラメータとを取得するため、ステップ２０３の数式が最初に使用されるとき、ｔ−１は初期設定を示し、したがって、ｔ−１に対応するパラメータは初期設定の値となる。例えば、ステップ２０３で最初に、潜在変分分布とコンポーネントパラメータとが取得されるとき、数式の、
【数８６】
0005970579.tif 000087
はαｃの初期値を示し、
【数８７】
0005970579.tif 000088
はφｃの初期値を示す。
【００７８】
潜在変数の変分分布とコンポーネントパラメータとを取得するため、最初にステップ２０３の数式が使用されないとき、ｔ−１は前回の取得を示し、したがって、ｔ−１に対応するパラメータは前回の取得された値となる。例えば、潜在変数の変分分布とコンポーネントパラメータとが３回目のステップ２０３で取得されたとき、数式の、
【数８８】
0005970579.tif 000089
は、潜在変数の変分分布とコンポーネントパラメータとが２回目に取得されたときのαｃの値を示し、
【数８９】
0005970579.tif 000090
は、潜在変数の変分分布とコンポーネントパラメータが２回目に取得されたときのφｃを示す。
【００７９】
計算の負荷を低減し、混合モデルの決定の効率を向上させるため、この実施形態で提供される方法において、サブサンプルデータはサンプルセットから抽出される。具体的には、サブサンプルデータは、無作為抽出法（manner of random extraction）によるサンプルセットから抽出されてもよい。しかしながら、上述のサブサンプルデータの抽出方法に加えて、他の方法が採用されてもよい。この実施形態は、サブサンプルデータの抽出の方法を限定しない。
【００８０】
さらに、この実施形態は、各サブサンプルデータに対応する潜在変分分布を取得する方法を限定しない。特定の実施例中、潜在変分分布を算出するために使用されるコンポーネントパラメータα、φは初期化される。この実施形態は、初期化の方法を限定しない。特定の実施例中、無作為法（random manner）、つまり、コンポーネントパラメータαとφの値をランダムに初期化すること、により初期化が実行されてもよい。しかしながら、上述の方法に加えて、他の方法が採用されてもよい。
【００８１】
理解を容易にするため、以下の説明では、一例として、サブサンプルデータのセットＳに属するサンプルセットからランダムに抽出されたサブサンプルデータが使用される。この場合、各サンプルデータ
【数９０】
0005970579.tif 000091
は、１又は複数の特徴ベクトルを含み、対応する潜在変数
【数９１】
0005970579.tif 000092
はＳに含まれるサンプルデータ
【数９２】
0005970579.tif 000093
の各々について計算される。すなわち、各サブサンプルデータに対応する潜在変分分布が取得される。したがって、各サブサンプルデータに対応するコンポーネントパラメータの中間値は、各サブサンプルデータに対応する潜在変分分布に応じて取得される。コンポーネントパラメータの平均値は、各サブサンプルデータに対応するコンポーネントパラメータの中間値に応じて決定される。コンポーネントパラメータは、コンポーネントパラメータの平均値に応じて取得される。
【００８２】
加えて、特定の実施例において、コンポーネントの個数Ｃが異なるように設定されてもよい。例えば、Ｃの最小値をＣｍｉｎとし、Ｃの最大値をＣｍａｘとし、Ｃの値の範囲内で、Ｃのそれぞれの値について、潜在変数の変分分布とコンポーネントパラメータが取得される。
【００８３】
ステップ２０４：潜在変数の変分分布とコンポーネントパラメータとに応じて、目的関数が収束するかどうかを判別する。目的関数が収束しない場合、目的関数の収束を可能にする、潜在変数の変分分布とコンポーネントパラメータとを取得するまで、サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータとを再取得する。
【００８４】
目的関数が収束しないと判別したとき、サンプルセットから抽出された各サブサンプルデータに応じた潜在変数の変分分布とコンポーネントパラメータの他の取得のときに、サンプルセットから抽出された全てのサブサンプルデータは、サブサンプルデータセットを構成することに留意すべきである。サブサンプルデータセット中の全てのサブサンプルデータに対応する潜在変分分布は、潜在変数の変分分布のセットを構成する。毎回、サンプルセットから同じサブサンプルデータが抽出される場合、同じサブサンプルデータセットが取得され、取得された潜在変数の変分分布のセットとコンポーネントパラメータは同じである。よって、繰り返しの計算を避けるため、サンプルセットから抽出された各サブサンプルデータに応じた潜在変数の変分分布とコンポーネントパラメータの他の取得のときに、少なくとも１つの異なるサブサンプルデータが、今回抽出されたサブサンプルデータにより構成されるサブサンプルデータセットと、前回抽出されたサブサンプルデータにより構成されたサブサンプルデータセットと、の範囲に存在するようすべきである。例えば、サンプルデータがＡ、Ｂ、Ｃ、Ｄ、Ｅであり、サンプルセットから最初に抽出されたサブサンプルデータがＡ、Ｂ、Ｃである。サンプルセットから抽出された各サブサンプルデータに応じた潜在変数の変分分布とコンポーネントパラメータの他の取得のときに、抽出されたサブサンプルデータがサンプルデータＢ、Ｃ、Ｄであり、このように、取得された２つの潜在変数の変分分布のセットが異なる。
【００８５】
任意の実施形態のように、潜在変数の変分分布とコンポーネントパラメータとに応じて、目的関数が収束するかどうかを判別する前に、方法は、さらに、コンポーネントパラメータが収束するかどうかを判別することを含む。ただし、これに限られない。
【００８６】
コンポーネントパラメータが収束するかどうかを判別するため、サンプルセットから抽出されたサブサンプルデータと目的関数とに応じて決定された、コンポーネントパラメータに対応するストキャスティック関数が、はじめに求められてもよい。サブサンプルデータに対応するコンポーネントパラメータに応じて、各コンポーネントパラメータに対応するストキャスティック関数が収束するかどうかが判別される。コンポーネントパラメータに対応するストキャスティック関数が収束しない場合、コンポーネントパラメータは収束しないと判別される。コンポーネントに対応するストキャスティック関数が収束する場合、コンポーネントパラメータは収束すると判別される。
【００８７】
さらに、目的関数
【数９３】
0005970579.tif 000094
は、ＦＬＣＬＢ（α）及びＦＬＣＬＢ（φ）に書き換えられてもよい。ここで、ＦＬＣＬＢ（α）とＦＣＬＢ（φ）とは、
【数９４】
0005970579.tif 000095
である。
【００８８】
ＦＬＣＬＢ（α）とＦＬＣＬＢ（φ）は、極値法（extreme value method）を使用して、最大値が求められる。超大規模なサンプルデータに関し、全てのサンプルデータを使用してＦＬＣＬＢ（α）とＦＬＣＬＢ（φ）の最大値を求めることは効果が低い。したがって、この実施形態で提供される方法によれば、サブサンプルデータはサンプルセットから抽出され、つまり、不偏のノイズの推定は、サブサンプルデータに基づくＦＬＣＬＢ（α）とＦＬＣＬＢ（φ）の自然勾配とされる。ストキャスティック関数
【数９５】
0005970579.tif 000096
と、
【数９６】
0005970579.tif 000097
とは次のように求められる。
【数９７】
0005970579.tif 000098
【００８９】
ストキャスティック関数
【数９８】
0005970579.tif 000099
と、
【数９９】
0005970579.tif 000100
の自然勾配は、ＦＬＣＬＢ（α）とＦＬＣＬＢ（φ）の自然勾配の不偏の推定である。ＦＬＣＬＢ（α）とＦＬＣＬＢ（φ）は、目的関数
【数１００】
0005970579.tif 000101
に応じて書き換えられる。したがって、コンポーネントパラメータが収束するかどうかの判別に代わり、潜在変数の変分分布とコンポーネントパラメータとに応じて、目的関数が収束するかどうかが直接判別されてもよい。
【００９０】
任意の実施形態のように、潜在変数の変分分布とコンポーネントパラメータとに応じて、目的関数が収束するかどうかを判別することは、
潜在変数の変分分布に応じて決定された目的関数の値と、前回取得された潜在変数の変分分布とコンポーネントパラメータとに応じて決定される前回取得された目的関数の値と、の差（距離）がしきい値より小さいかどうかを判別すること、
潜在変数の変分分布とコンポーネントパラメータとに応じて決定された目的関数の値と、前回取得された目的関数の値との差（距離）がしきい値より小さい場合、目的関数が収束していると判別すること、
を含む。ただし、これに限られない。
【００９１】
具体的には、潜在変数の変分分布とコンポーネントパラメータとに応じた目的関数の決定のとき、目的関数における潜在変数の変分分布は、全てのサンプルデータに対応する潜在変数の変分分布を示す。したがって、目的関数は、全てのサンプルデータに対応する潜在変数の変分分布とコンポーネントパラメータとに応じて決定される必要がある。ステップ２０３では、潜在変数の変分分布の取得のときに、サンプルセットから抽出された各サブサンプルデータに対応する潜在変分分布が取得される。つまり、ステップ２０３において、取得された潜在変数の変分分布は、サンプルデータ中の一部のサンプルデータに対応する潜在変数の変分分布のみであり、全てのサンプルデータに対応する潜在変数の変分分布ではない。この実施形態で提供される方法では、全てのサンプルデータに対応する潜在変数の変分分布の取得のときに、サンプルセットから今回抽出されたサブサンプルデータに関し、サンプルセットから抽出された各サブサンプルデータに対応する潜在変分分布が上述のステップ２０３により取得される。サンプルセットから抽出されたことがないサブサンプルデータに関し、潜在変数に対応する変分分布に初期値が設定される。サンプルセットからすでに抽出されたサブサンプルデータであって、今回サンプルセットから抽出されたものではないものに関し、上述のステップ２０３によりごく最近取得された潜在変数の変分分布が、今回のこれらのサブサンプルデータに対応する潜在変数の変分分布として使用される。
【００９２】
理解を容易にするため、一例として、サンプルデータＡ、Ｂ、Ｃ、Ｄ、Ｅとする場合を説明する。全てのサンプルデータに対応する潜在変数の変分分布の最初の取得のとき、今回抽出されたサブサンプルデータが、サンプルデータＡ、Ｂである場合、抽出されなかったサブサンプルデータは、サンプルデータＣ、Ｄ、Ｅである。したがって、サンプルデータＡとＢに対応する潜在変数の変分分布は、上述のステップ２０３により取得される。サンプルデータＣ、Ｄ、Ｅのそれぞれには初期値が設定される。
【００９３】
全てのサンプルデータに対応する潜在変数の変分分布の２回目の取得のときに、サブサンプルデータはサンプルセットから再度抽出され、今回抽出されたサブサンプルデータが、サンプルデータＢ、Ｃであり、抽出されなかったサブサンプルデータはサンプルデータＡ、Ｄ、Ｅである。したがって、サンプルデータＢ、Ｃに対応する潜在変数の変分分布が、上述のステップ２０３により取得される。サンプルデータＡは抽出されないが、前回抽出されていた場合、サンプルデータＡの最初の抽出のときにステップ２０３で取得されたサンプルデータＡに対応する潜在変数の変分分布は、今回のサンプルデータＡに対応する潜在変数の変分分布として使用されてもよい。サンプルデータＤ、Ｅは一度も抽出されていないため、サンプルデータＤ、Ｅに対応する潜在変数の変分分布は、引き続き初期値である。
【００９４】
潜在変数の変分分布の３回目の取得のときに、サンプルセットＤ、Ｅからサブサンプルデータが再度抽出され、サンプルデータＡ、Ｂ、Ｃは抽出されなかったサブサンプルデータである。サンプルデータＤ、Ｅに関し、サンプルデータＤ、Ｅに対応する潜在変数の変分分布は上述のステップ２０３で取得される。サンプルデータＡに関し、サンプルデータＡの最初の抽出のときにステップ２０３で取得されたサンプルデータＡに対応する潜在変数の変分分布は、今回のサンプルデータＡに対応する潜在変数の変分分布として使用されてもよい。サンプルデータＢ、Ｃに関し、サンプルデータＢの２回目の抽出のときに続くステップ２０３により取得されたサンプルデータＢに対応する潜在変数の変分分布は、現在のサンプルデータＢに対応する潜在変数の変分分布として使用されてもよい。サンプルデータＣの２回目の抽出のときに、続くステップ２０３により取得されたサンプルデータＣに対応する潜在変数の変分分布は、現在のサンプルデータＣに対応する潜在変数の変分分布として使用されてもよい。目的関数の収束を可能にする潜在変数の変分分布まで、相似が推論される。
【００９５】
目的関数が収束しないと判別するとき、サンプルセットから抽出された各サブサンプルデータに応じた、潜在変数の変分分布とコンポーネントパラメータとの再取得のときに、処理がステップ２０３に戻り、ステップ２０３を通過し、サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータとが再取得されることに留意すべきである。サンプルセットから抽出された各サブサンプルデータに応じた、潜在変数の変分分布とコンポーネントパラメータの最初の取得のときに、ステップ２０３の数式のｔ−１は初期値を示す。ステップ２０３に戻ることにより、サンプルセットから抽出された各サブサンプルデータに応じた、潜在変数の変分分布とコンポーネントパラメータとが再取得されるときに、ステップ２０３の数式のｔ−１は前回の取得を示し、サブサンプルデータは、サンプルセットから再度抽出される必要がある。例えば、ステップ２０３の数式を使用した、潜在変数の変分分布とコンポーネントパラメータの最初の取得のときに、数式のｔ−１に対応するパラメータに初期値を使用し、最初に取得された潜在変数の変分分布とコンポーネントパラメータとが取得される。最初に取得された潜在変数の変分分布とコンポーネントパラメータとが、目的関数を収束することができない場合、最初に取得された潜在変数の変分分布とコンポーネントパラメータには、ステップ２０３のｔ−１に対応するパラメータの値が使用される。潜在変数の変分分布とコンポーネントパラメータとが、サンプルセットから抽出された各サブサンプルデータに応じて再度取得され、取得された潜在変数の変分分布とコンポーネントパラメータとが、目的関数を収束することが可能であるかどうかが判別される。目的関数の収束を可能にする潜在変数の変分分布とコンポーネントパラメータまで、相似が推論される。
【００９６】
さらに、上記説明したステップ２０３から２０４によって、目的関数を収束することが可能な潜在変数の変分分布とコンポーネントパラメータとが、サンプルセットから抽出されたサブサンプルに応じて決定される。混合モデルの決定を達成するために、この実施形態で提供される方法は、続くステップを含む。
【００９７】
ステップ２０５：目的関数を収束することが可能な、潜在変数の変分分布とコンポーネントパラメータとに応じて、混合モデルを決定する。
【００９８】
このステップでは、収束が対数尤度に近づくときの目的関数の値と混合モデルとが、目的関数の収束を可能にする潜在変数の変分分布とコンポーネントパラメータとに応じて決定されてもよい。
【００９９】
さらに、コンポーネントの個数Ｃが異なるように設定されてもよい。例えば、Ｃの最小値をＣｍｉｎとし、Ｃの最大値をＣｍａｘとみなすと、Ｃの値の範囲内で、Ｃのそれぞれの値について、潜在変数の変分分布とコンポーネントパラメータとが、サンプルセットから抽出された各サブサンプルデータに応じて取得される。目的関数の収束を可能にすることのもとに、目的関数を最も高い値で収束させるＣが選択されてもよい。混合モデルは、Ｃに応じて計算された、潜在変数の変分分布とコンポーネントパラメータとに応じて決定される。
【０１００】
コンポーネントのセット数Ｃは、決定された混合モデルにおけるコンポーネントの個数と同じであってもよいし、異なっていてもよい。つまり、混合モデルの決定のとき、混合モデルの構造は自動的に適合させられる。
【０１０１】
決定されたリレーショナルモデルは、データクラスタリングのために、あるいは、データ分類のために使用される。決定された混合モデルがデータクラスタリングに使用されるとき、混合モデル決定のプロセスは、データクラスタリングのプロセスである。決定された混合モデルがデータ分類のために使用されるとき、決定された混合モデルは、さらに処理される必要がある。データクラスタリングとデータ分類の結果は、顧客分析、生物学的解析、地理的解析等のため使用されてもよく、巨大な社会価値と経済価値を作り出す。
【０１０２】
本開示のこの実施形態で提供された方法では、目的関数は、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定された対数尤度と正規化項と潜在変数の変分分布の対数とに応じて決定される。混合モデルは、目的関数を収束することが可能な潜在変数の変分分布とコンポーネントパラメータとに応じて決定される。正規化項は、混合モデルの複雑性を自動的に制御し、大規模なデータ処理に適用できるよう、目的関数に導入される。さらに、潜在変数とコンポーネントパラメータとは、依存関係にあるため、潜在変数の変分分布とコンポーネントパラメータの決定とはより正確であり、混合モデルの決定もより正確である。
【０１０３】
（実施形態３）
図３を参照して、本開示の実施形態は混合モデル決定用の装置装置は、
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される、対数尤度と正規化項と潜在変数の変分分布の対数とを取得するように構成された取得モジュール３０１と、
対数尤度と正規化項と潜在変数の変分分布の対数とに応じて目的関数を決定するように構成された第１決定モジュール３０２と、
サンプルセットから抽出されたサブサンプルデータに応じて、目的関数を収束することが可能な潜在変数の変分分布とコンポーネントパラメータとを決定するように構成された第２決定モジュール３０３と、
目的関数を収束することが可能な潜在変数の変分分布とコンポーネントパラメータとに応じて混合モデルを決定するように構成された第３決定モジュール３０４と、
を含む。
【０１０４】
任意の実施形態のように、取得モジュール３０１により取得される対数尤度は、
【数１０１】
0005970579.tif 000102
であって、ｌｏｇｐ（）は対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮはサンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは潜在変数を示し、θはコンポーネントパラメータのセットを示す。コンポーネントパラメータはαとφを含み、αはコンポーネント混合比を示し、φはコンポーネントのモデルパラメータを示し、各コンポーネントは自身を表現するためのモデルパラメータのサブセットを有する。
【０１０５】
任意の実施形態のように、取得モジュール３０１により取得された正規化項は、
【数１０２】
0005970579.tif 000103
であって、Ｎはサンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは潜在変数を示し、
【数１０３】
0005970579.tif 000104
は、潜在変数の変分分布の近似値を示し、αはコンポーネント混合比を示し、Ｄαはαの次元を示し、ＤｃはコンポーネントＣのサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ａは、
【数１０４】
0005970579.tif 000105
を示し、ｂは
【数１０５】
0005970579.tif 000106
を示す。
【０１０６】
任意の実施形態のように、取得モジュール３０１により取得される潜在変数の変分分布の対数は、ｌｏｇｑ（ＺＮ）であり、ｑ（ＺＮ）は潜在変数ＺＮの変分分布であり、Ｎはサンプルデータの数を示す。
【０１０７】
任意の実施形態のように、第１決定モジュール３０２は、対数尤度の期待値と正規化項の期待値と潜在変数の変分分布の対数の期待値とに応じて、目的関数を決定するように構成されている。
【０１０８】
任意の実施形態のように、第１決定モジュール３０２により決定される目的関数
【数１０６】
0005970579.tif 000107
は、
【数１０７】
0005970579.tif 000108
である。
【０１０９】
任意の実施形態のように、図４を参照し、第２決定モジュール３０３は、
サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータとを取得するように構成された取得ユニット３０３１と、
潜在変数の変分分布とコンポーネントパラメータとに応じて、目的関数が収束するかどうかを判別するように構成された判別ユニット３０３２と、
目的関数が収束しない場合、目的関数を収束することを可能にする潜在変数の変分分布とコンポーネントパラメータとを取得するまで、サンプルセットから抽出された各サブサンプルデータに応じて、潜在変数の変分分布とコンポーネントパラメータとを、再取得するように構成された取得ユニット３０３１と、
を含む。
【０１１０】
任意の実施形態のように、図５を参照し、取得モジュール３０３１は、
サンプルセットから抽出された各サブサンプルセットに応じて、各サブサンプルデータに対応する潜在変分分布を取得するように構成された第１取得サブユニット３０３１１と、
各サブサンプルデータに対応する潜在変分分布に応じて、各サブサンプルデータに対応するコンポーネントパラメータの中間値を取得するように構成された第２取得サブユニット３０３１２と、
各サブサンプルデータに対応するコンポーネントパラメータの中間値に応じて、コンポーネントパラメータのひとつの平均値を決定するように構成された第１決定サブユニット３０３１３と、
コンポーネントパラメータの平均値に応じてコンポーネントパラメータを取得するように構成された第３取得サブユニット３０３１４と、
を含む。
【０１１１】
任意の実施形態のように、第１取得サブユニット３０３１１は、各サブサンプルデータに対応する潜在変分分布を、サンプルセットから抽出された各サブサンプルデータに応じて、次の数式を使用して、取得するように構成されている。
【数１０８】
0005970579.tif 000109
【０１１２】
第２取得サブユニット３０３１２は、各サブサンプルデータに対応するコンポーネントパラメータの中間値
【数１０９】
0005970579.tif 000110
と
【数１１０】
0005970579.tif 000111
とを、各サブサンプルデータに対応する潜在変分分布に応じて、次式を使用して取得するように構成されている。
【数１１１】
0005970579.tif 000112
【０１１３】
第１決定サブユニット３０３１３は、コンポーネントパラメータの平均値
【数１１２】
0005970579.tif 000113
と、
【数１１３】
0005970579.tif 000114
とを各サブサンプルデータに対応するコンポーネントパラメータの中間値に応じて、次式を使用して決定するように構成されている。
【数１１４】
0005970579.tif 000115
【０１１４】
第３取得サブユニット３０３１４は、コンポーネントパラメータ
【数１１５】
0005970579.tif 000116
と
【数１１６】
0005970579.tif 000117
とを、コンポーネントパラメータの平均値に応じて、次の数式を使用して取得するように構成されている。
【数１１７】
0005970579.tif 000118
【０１１５】
ここで、ｔは、現在の取得を示し、ｔ−１は前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数１１８】
0005970579.tif 000119
は、ｃ番目のコンポーネント内の第Ｉｍサブサンプルデータに対応する潜在変分分布を示し、Ｓはサブサンプルデータセットを示し、
【数１１９】
0005970579.tif 000120
はサブサンプルデータセット中の第Ｉｍのサブサンプルデータを示し、αｃはｃ番目のコンポーネントのコンポーネントパラメータαを示し、φはｃ番目のコンポーネントのコンポーネントパラメータφを示す。
【０１１６】
任意の実施形態によると、図６を参照し、判別ユニット３０３２は、
潜在変数の変分分布とコンポーネントパラメータとに応じて決定された目的関数の値と、前回取得された潜在変数とコンポーネントパラメータとに応じて決定される前回取得された目的関数と、の差（距離）がしきい値より小さいかどうかを決定するように構成された比較サブユニット３０３２１と、
潜在変数の変分分布とコンポーネントパラメータとに応じて決定された目的関数の値と、前回取得された目的関数の値との差（距離）しきい値より小さい場合、目的関数が収束していると決定するように構成された第２決定サブユニット３０３２２と、
を含む。
【０１１７】
本開示の実施形態で提供される装置によれば、サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される、対数尤度と正規化項と潜在変数の変分分布の対数とに応じて、目的関数が決定される。混合モデルは、目的関数を収束することが可能な、潜在変数の変分分布とコンポーネントパラメータに応じて決定される。正規化項は、混合モデルの複雑性を自動的に制御し、大規模なデータ処理に適用できるよう、目的関数に導入される。さらに、潜在変数とコンポーネントパラメータとは依存関係にあるため、潜在変数の変分分布とコンポーネントパラメータの決定は、より正確であり、混合モデルの決定もより正確である。
【０１１８】
留意すべきは、上述の実施形態において提供された混合モデルの決定用の装置により、混合モデルを決定するとき、装置は、一例として、上記機能のモジュールの分割を用いて記述されているに過ぎない。実際に、機能は、要求される実施のための別の機能モジュールに割り当てられてもよい。具体的には、装置の内部構造は、上記機能の全部又は一部を実施するための異なる機能モジュールに分割される。加えて、混合モデル決定用の装置と、混合モデル決定用の方法は、同位置の技術的思想に関連する。なお、特定の実施例は、方法の実施形態において説明されるが、ここではこれ以上詳述しない。
【０１１９】
本開示の上記の実施形態の連番は、説明を容易にするためのものに過ぎず、実施形態の優先度を示すものではない。
【０１２０】
当業者は、前述の方法の全部又は一部のステップが、ハードウェア又はプログラムの指示に従うハードウェアによって実施されてよいことを理解すべきである。プログラムは非一時的なコンピュータ読み取り可能な記録媒体に格納されてよいし、少なくとも１つのプロセッサによって実行されてよい。記録媒体は、読み出し専用メモリ、磁気ディスク、又はコンパクトディスク読み出し専用メモリであってよい。
【０１２１】
上記は、単に本開示の好ましい実施形態であって、本開示を限定するものではない。本開示の精神及び原理から逸脱すること無く行われる種々の修正、同等の置換、又は改良は本開示の保護範囲に含まれるべきである。
【０１２２】
（付記１）
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度と正規化項と前記潜在変数の変分分布の対数とを取得し、前記対数尤度と前記正規化項と前記潜在変数の前記変分分布の対数とに応じて目的関数を決定すること、
サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする前記潜在変数の変分分布と前記コンポーネントパラメータとを決定し、前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて混合モデルを決定すること、
を含む、
混合モデル決定用の方法。
【０１２３】
（付記２）
前記サンプルデータと前記潜在変数と前記コンポーネントパラメータとに応じて決定される前記対数尤度は、
【数１２０】
0005970579.tif 000121
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮは前記サンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは前記潜在変数を示し、θはコンポーネントパラメータのセットを示し、前記コンポーネントパラメータは、α、φを含み、αはコンポーネントの混合比を示し、φはコンポーネント用のモデルパラメータを示し、各コンポーネントは自身を表現するモデルパラメータのサブセットを有する、
付記１に記載の方法。
【０１２４】
（付記３）
前記サンプルデータと前記潜在変数と前記コンポーネントパラメータとに応じて決定される前記正規化項は、
【数１２１】
0005970579.tif 000122
であって、Ｎはサンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは前記潜在変数を示し、
【数１２２】
0005970579.tif 000123
は潜在変数の変分分布の近似値を示し、αはコンポーネントの混合比を示し、Ｄαはαの次元を示し、ＤｃはコンポーネントＣのサブモデルパラメータの次元を示し、Ｌ（ａ、ｂ）＝ｌｏｇｂ＋（ａ−ｂ）／ｂであって、ａは、
【数１２３】
0005970579.tif 000124
を示し、ｂは
【数１２４】
0005970579.tif 000125
を示す、
付記１に記載の方法。
【０１２５】
（付記４）
前記サンプルデータと前記潜在変数と前記コンポーネントパラメータとに応じて決定される前記潜在変数の前記変分分布の対数はｌｏｇｑ（ＺＮ）であり、ｑ（ＺＮ）は前記潜在変数ＺＮの変分分布を示し、Ｎはサンプルデータの数を示す、
付記１に記載の方法。
【０１２６】
（付記５）
前記対数尤度と前記正規化項と前記潜在変数の前記変分分布の対数とに応じて目的関数を決定するステップは、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布の対数の期待値とに応じて、前記目的関数を決定することを含む、
付記１から４のいずれか１つに記載の方法。
【０１２７】
（付記６）
前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布の対数の期待値とに応じて決定された前記目的関数
【数１２５】
0005970579.tif 000126
は、
【数１２６】
0005970579.tif 000127
である、
付記５に記載の方法。
【０１２８】
（付記７）
前記サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする前記潜在変数の変分分布と前記コンポーネントパラメータとを決定するステップは、
前記サンプルセットから抽出された各サブサンプルデータに応じて、前記潜在変数の変分分布とコンポーネントパラメータとを取得すること、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、前記目的関数が収束するかどうかを判別し、前記目的関数が収束しない場合、前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記コンポーネントパラメータとを取得するまで、前記サンプルセットから抽出された前記各サブサンプルデータに応じて、前記潜在変数の前記変分分布と前記コンポーネントパラメータを再取得すること、
を含む、
付記６に記載の方法。
【０１２９】
（付記８）
前記サンプルセットから抽出された各サブサンプルデータに応じて、前記潜在変数の変分分布とコンポーネントパラメータを取得するステップは、
前記各サブサンプルデータに対応する前記潜在変分分布を、前記サンプルセットから抽出された前記各サブサンプルデータに応じて、取得し、各サブサンプルデータに対応する各コンポーネントパラメータの中間値を、前記各サブサンプルデータに対応する前記潜在変分分布に応じて、取得すること、
前記コンポーネントパラメータのひとつの平均値を、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて、決定し、前記コンポーネントパラメータの前記平均値に応じて前記コンポーネントパラメータを取得すること、
を含む、
付記７に記載の方法。
【０１３０】
（付記９）
前記各サブサンプルデータに対応する前記潜在変分分布は、次の数式
【数１２７】
0005970579.tif 000128
を使用することにより、前記サンプルセットから抽出された前記各サブサンプルデータに応じて取得され、
前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値
【数１２８】
0005970579.tif 000129
と
【数１２９】
0005970579.tif 000130
とは、次の数式
【数１３０】
0005970579.tif 000131
を使用することにより、前記各サブサンプルデータに対応する前記潜在変分分布に応じて取得され、
前記コンポーネントパラメータの前記平均値
【数１３１】
0005970579.tif 000132
と
【数１３２】
0005970579.tif 000133
とは、次の数式
【数１３３】
0005970579.tif 000134
を使用することにより、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて決定され、
前記コンポーネントパラメータ
【数１３４】
0005970579.tif 000135
と
【数１３５】
0005970579.tif 000136
とは、次の数式
【数１３６】
0005970579.tif 000137
を使用することにより、前記コンポーネントパラメータの前記平均値に応じて、取得され、
ｔは現在の取得を示し、ｔ−１は前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数１３７】
0005970579.tif 000138
は、ｃ番目のコンポーネント内の第Ｉｍのサブサンプルデータに対応する前記潜在変分分布を示し、Ｓはサブサンプルデータセットを示し、
【数１３８】
0005970579.tif 000139
は、前記サブサンプルデータセット内の第Ｉｍのサブサンプルデータを示し、αｃはｃ番目のコンポーネントパラメータαを示し、φｃはｃ番目のコンポーネントの前記コンポーネントパラメータφを示す、
付記８に記載の方法。
【０１３１】
（付記１０）
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、前記目的関数が収束するかどうかを判別するステップは、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前回取得された前記潜在変数の変分分布とコンポーネントパラメータとに応じて決定される前回取得された目的関数の値と、の差（距離）がしきい値より小さいかどうかを判別すること、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前記前回取得された目的関数の値と、の差（距離）が前記しきい値より小さい場合、前記目的関数が収束していると判別すること、
を含む、
付記７から９のいずれか１つに記載の方法。
【０１３２】
（付記１１）
サンプルデータと潜在変数とコンポーネントパラメータとに応じて決定される対数尤度と正規化項と前記潜在変数の変分分布の対数とを取得するように構成された取得モジュールと、
前記対数尤度と前記正規化項と前記潜在変数の前記変分分布の対数とに応じて目的関数を決定するように構成された第１決定モジュールと、
サンプルセットから抽出されたサブサンプルデータに応じて、前記目的関数の収束を可能にする前記潜在変数の変分分布と前記コンポーネントパラメータとを決定するように構成された第２決定モジュールと、
前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、混合モデルを決定するように構成された第３決定モジュールと、
を含む、
混合モデル決定用の装置。
【０１３３】
（付記１２）
前記取得モジュールにより取得される前記対数尤度は、
【数１３９】
0005970579.tif 000140
であって、ｌｏｇｐ（）は前記対数尤度を示し、ｐは同時確率密度関数を示し、ｘＮは前記サンプルデータを示し、Ｎはサンプルデータの数を示し、ＺＮは前記潜在変数を示し、θはコンポーネントパラメータのセットを示し、前記コンポーネントパラメータは、α、φを含み、αはコンポーネントの混合比を示し、φはコンポーネント用のモデルパラメータを示し、各コンポーネントは、自身を表現するモデルパラメータのサブセットを有する、
付記１１に記載の装置。
【０１３４】
（付記１３）
前記取得モジュールにより取得される前記正規化項は、
【数１４０】
0005970579.tif 000141
であって、Ｎは前記サンプルデータの数を示し、Ｃはコンポーネントの個数を示し、ｚｎｃは前記潜在変数を示し、
【数１４１】
0005970579.tif 000142
は潜在変数の変分分布の近似値を示し、αはコンポーネントの混合比を示し、Ｄαはαの次元を示し、Ｄｃはコンポーネントｃのサブモデルパラメータの次元を示し、Ｌ（ａ，ｂ）＝ｌоｇｂ＋（ａ−ｂ）／ｂであり、ａは
【数１４２】
0005970579.tif 000143
を示し、ｂは、
【数１４３】
0005970579.tif 000144
を示す、
付記１１に記載の装置。
【０１３５】
（付記１４）
前記取得モジュールによって取得される前記潜在変数の前記変分分布の対数は、ｌｏｇｑ（ＺＮ）であり、
ｑ（ＺＮ）は前記潜在変数ＺＮの変分分布を示し、Ｎはサンプルデータの数を示す、
付記１１に記載の装置。
【０１３６】
（付記１５）
前記第１決定モジュールは、前記対数尤度の期待値と前記正規化項の期待値と前記潜在変数の前記変分分布の対数の期待値とに応じて、前記目的関数を決定するように構成されている、
付記１１から１４のいずれか１つに記載の装置。
【０１３７】
（付記１６）
前記第１決定モジュールにより決定される前記目的関数
【数１４４】
0005970579.tif 000145
は、
【数１４５】
0005970579.tif 000146
である、
付記１５に記載の装置。
【０１３８】
（付記１７）
前記第２決定モジュールは、
前記サンプルセットから抽出された各サブサンプルデータに応じて、前記潜在変数の変分分布とコンポーネントパラメータとを取得するように構成された取得ユニットと、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて、前記目的関数が収束するかどうかを判別するように構成された判別ユニットと、
前記目的関数が収束しない場合、前記目的関数の収束を可能にする前記潜在変数の前記変分分布と前記コンポーネントパラメータを取得するまで、前記サンプルセットから抽出された前記各サンプルデータに応じて、前記潜在変数の前記変分分布と前記コンポーネントパラメータとを再取得するように構成された取得ユニットと、
を含む、
付記１６に記載の装置。
【０１３９】
（付記１８）
前記取得ユニットは、
前記各サブサンプルデータに対応する変分分布を、前記サンプルセットから抽出された前記各サブサンプルデータに応じて、取得するように構成された第１取得サブユニットと、
各サブサンプルデータに対応する各コンポーネントパラメータの中間値を、前記各サブサンプルデータに対応する前記潜在変分分布に応じて、取得するように構成された第２取得サブユニットと、
前記コンポーネントパラメータのひとつの平均値を、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて、取得するように構成された第１決定サブユニットと、
前記コンポーネントパラメータの前記平均値に応じて前記コンポーネントパラメータを取得するように構成された第３取得サブユニットと、
を含む、
付記１７に記載の装置。
【０１４０】
（付記１９）
前記第１取得サブユニットは、各サブサンプルデータに対応する前記潜在変分分布を、次の数式
【数１４６】
0005970579.tif 000147
を使用することにより、前記サンプルセットから抽出された前記各サブサンプルデータに応じて取得するように構成されており、
前記第２取得サブユニットは、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値
【数１４７】
0005970579.tif 000148
と
【数１４８】
0005970579.tif 000149
とを、次の数式
【数１４９】
0005970579.tif 000150
を使用することにより、前記各サブサンプルデータに対応する前記潜在変分分布に応じて取得するように構成されており、
前記第１決定サブユニットは、前記コンポーネントパラメータの前記平均値
【数１５０】
0005970579.tif 000151
と
【数１５１】
0005970579.tif 000152
とを、次の数式
【数１５２】
0005970579.tif 000153
を使用することにより、前記各サブサンプルデータに対応する前記コンポーネントパラメータの前記中間値に応じて決定するように構成されており、
前記第３取得サブユニットは、前記コンポーネントパラメータ
【数１５３】
0005970579.tif 000154
と
【数１５４】
0005970579.tif 000155
とを、次の数式
【数１５５】
0005970579.tif 000156
を使用することにより、前記コンポーネントパラメータの前記平均値に応じて取得するように構成されており、
ｔは現在の取得を示し、ｔ−１は前回の取得又は初期設定を示し、ρは更新ステップを示し、
【数１５６】
0005970579.tif 000157
はｃ番目のコンポーネント内の第Ｉｍサブサンプルデータに対応する前記潜在変分分布を示し、Ｓはサブサンプルデータセットを示し、
【数１５７】
0005970579.tif 000158
は、前記サブサンプルデータセット中の第Ｉｍサブサンプルデータを示し、αｃはｃ番目のコンポーネントのコンポーネントパラメータαを示し、φｃはｃ番目のコンポーネントのコンポーネントパラメータφを示す、
付記１８に記載の装置。
【０１４１】
（付記２０）
前記判別ユニットは、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前回取得された前記潜在変数の変分分布とコンポーネントパラメータとに応じて決定される前回取得された目的関数の値との差（距離）がしきい値より小さいかどうかを判別するように構成された比較サブユニットと、
前記潜在変数の前記変分分布と前記コンポーネントパラメータとに応じて決定された前記目的関数の値と、前記前回取得された目的関数の値との差（距離）が前記しきい値より小さい場合、前記目的関数が収束していると決定するように構成された、第２決定サブユニットと、
を含む、
付記１７から１９のいずれか１つに記載の装置。
【図１】
0005970579.tif 000178
【図２】
0005970579.tif 000179
【図３】
0005970579.tif 000180
【図４】
0005970579.tif 000181
【図５】
0005970579.tif 000182
【図６】
0005970579.tif 000183