(57)【要約】【課題】高速であり、かつ省メモリであり、かつパラメタが時間連続性を有する状態で、打ち切りデータを含むモデルのパラメタを推定することができるようにする。【解決手段】負担率更新部１９が、新たに観測されたサンプルのデータに基づいて、負担率を更新する。そして、モーメント更新部２０が、新たに観測されたサンプルのデータに基づいて、モーメントを更新する。そして、統計量更新部２１が、負担率又はモーメントに基づいて、各統計量を更新する。そして、パラメタ更新部２２が、各統計量に基づいて、コンポーネントに関するパラメタを更新する。【選択図】図３
2019139597.tif 000002
【特許請求の範囲】
【請求項１】
観測されるデータの分布を表す、指数型分布族に属する任意の分布を混合した、混合モデルのパラメタをオンラインで推定する動的分布推定装置であって、
新たに観測されたサンプルのデータに基づいて、前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータの十分統計量の、切断されたコンポーネントの分布による期待値を更新する期待値更新部と、
前記新たに観測されたサンプルのデータと、前記期待値更新部によって更新された前記期待値とに基づいて、各コンポーネントに関する統計量を更新する統計量更新部と、
前記統計量更新部によって更新された前記統計量に基づいて、各コンポーネントについて、前記コンポーネントに関するパラメタを更新するパラメタ更新部と、を含み、
予め定められたパラメタ更新タイミングが到来する毎に、前記期待値更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す、
動的分布推定装置。
【請求項２】
観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置であって、
新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率、及びまだ観測されていない各サンプルのデータが各コンポーネントに所属する度合いを表す負担率を更新する負担率更新部と、
前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメントを更新するモーメント更新部と、
前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率に基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
前記観測されていない各サンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、全サンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、
各コンポーネントについて、前記新たに観測された各サンプルのデータが前記コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメント、観測されたサンプルのうち、前記コンポーネントに所属するサンプル数の統計量、及び全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量に基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新する統計量更新部と、
各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントに関するパラメタを更新するパラメタ更新部と、
を含み、
予め定められたパラメタ更新タイミングが到来する毎に、前記負担率更新部による更新、前記モーメント更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す
動的分布推定装置。
【請求項３】
観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置であって、
新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタ、及び新たに観測されたサンプルを含む、既に観測されたサンプル集合のデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタを更新する潜在変数パラメタ更新部と、
前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
既に観測されたサンプル集合のデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、まだ観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、
前記既に観測されたサンプル集合のデータと、前記観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量とに基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新する統計量更新部と、
各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントのパラメタに関する変分分布のパラメタを更新するパラメタ更新部と、
を含み、
予め定められたパラメタ更新タイミングが到来する毎に、前記潜在変数パラメタ更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す
動的分布推定装置。
【請求項４】
前記パラメタ更新タイミングは、前記新たに観測されたサンプルのデータが得られたタイミング、前記新たに観測されたサンプルのデータが予め定められた個数だけ得られたタイミング、及び予め定められた更新時期が到来したタイミングの何れかである請求項１〜請求項３の何れか１項に記載の動的分布推定装置。
【請求項５】
観測されるデータの分布を表す、指数型分布族に属する任意の分布を混合した、混合モデルのパラメタをオンラインで推定する動的分布推定装置であって、
期待値更新部が、新たに観測されたサンプルのデータに基づいて、前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータの十分統計量の、切断されたコンポーネントの分布による期待値を更新するステップと、
統計量更新部が、前記新たに観測されたサンプルのデータと、前記期待値更新部によって更新された前記期待値とに基づいて、各コンポーネントに関する統計量を更新するステップと、
パラメタ更新部が、前記統計量更新部によって更新された前記統計量に基づいて、各コンポーネントについて、前記コンポーネントに関するパラメタを更新するステップと、
を含み、
予め定められたパラメタ更新タイミングが到来する毎に、前記期待値更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す、
動的分布推定方法。
【請求項６】
観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置における動的分布推定方法であって、
負担率更新部が、新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率、及びまだ観測されていない各サンプルのデータが各コンポーネントに所属する度合いを表す負担率を更新するステップと、
モーメント更新部が、前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメントを更新するステップと、
統計量更新部が、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率に基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
前記観測されていない各サンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、全サンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、
各コンポーネントについて、前記新たに観測された各サンプルのデータが前記コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメント、観測されたサンプルのうち、前記コンポーネントに所属するサンプル数の統計量、及び全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量に基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新するステップと、
パラメタ更新部が、各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントに関するパラメタを更新するステップと、
を含み、
予め定められたパラメタ更新タイミングが到来する毎に、前記負担率更新部による更新、前記モーメント更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す
動的分布推定方法。
【請求項７】
観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置における動的分布推定方法であって、
潜在変数パラメタ更新部が、新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタ、及び新たに観測されたサンプルを含む、既に観測されたサンプル集合のデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタを更新するステップと、
統計量更新部が、前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
既に観測されたサンプル集合のデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、まだ観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、
前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、
前記既に観測されたサンプル集合のデータと、前記観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量とに基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新するステップと、
パラメタ更新部が、各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントのパラメタに関する変分分布のパラメタを更新するステップと、
を含み、
予め定められたパラメタ更新タイミングが到来する毎に、前記潜在変数パラメタ更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す
動的分布推定方法。
【請求項８】
コンピュータを、請求項１〜請求項４の何れか１項に記載の動的分布推定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動的分布推定装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
打ち切りデータとは観測値がある閾値以上（またはある値以下）であるサンプルについては、値が観測されず、閾値以上である、という情報しか得られないデータのことを指す。病気の発症や人の死亡などを記述する臨床データや、インターネット回線利用者の契約履歴データ、Ｅコマースサイトのサービス利用履歴データなど多くのデータが打ち切りデータとして表現される。上記の例と同様に、有名アーティストの音楽ライブや人気スポーツの国際試合などのイベントの当日に収集される観客のイベント周辺への到着時間に関するデータも打ち切りデータとして表現される。図７に具体例を示す。チケット総販売数から分かる、総来場者予定者数をＮ人と書き、ライブ当日の現在時刻までに観測された来場者数をＭ人と書く。到着済みのＭ人に関しては到着時間のデータが得られているが、残りのＮ−Ｍ人については、現在時刻までには到着していない、ということしか分からない。これは典型的な打ち切りデータである。
【０００３】
打ち切りデータから混合モデルのパラメタを（バッチ的に）推定するという技術は、非特許文献２及び非特許文献３で提案されている。ここでは一例として、代表的な混合モデルの１つである混合正規分布の既存技術について述べる。
【０００４】
＜モデル＞
【０００５】
入力データが右側打ち切りされている状況を考える。右側打切りとは、サンプルの中で値がある既知の閾値
【０００６】
【数１】
2019139597.tif 000003
【０００７】
以上となるサンプルについては値が分からない、という状況のことを指す。得られた全データを
【０００８】
【数２】
2019139597.tif 000004
【０００９】
と書く。ｄｉがｉ番目データを表し、ｄｉ＝（ｗｉ，Ｘｉ）とｉ番目サンプルの値が観測されたか否かを表す変数ｗｉ∈｛０，１｝と観測された値
【００１０】
【数３】
2019139597.tif 000005
【００１１】
の２つからなる。ｗｉ＝１が値を観測されたこと、ｗｉ＝０が値が観測されなかったことを表す。(値の観測されないものも含めた)全サンプル数をＮ、そのうち値の観測されたサンプルの個数を
【００１２】
【数４】
2019139597.tif 000006
【００１３】
と書く。本研究で考える設定では閾値Ｃは既知であり、Ｘ，Ｗの２つが観測変数である。  一般に混合モデルの確率密度関数は次の式で定義される。
【００１４】
【数５】
2019139597.tif 000007
【００１５】
Ｋはコンポーネント数、
【００１６】
【数６】
2019139597.tif 000008
【００１７】
がモデルのパラメタを表す。
【００１８】
【数７】
2019139597.tif 000009
【００１９】
はそれぞれｋ番目のコンポーネントの混合比とコンポーネントのパラメタを表す。本稿では特にコンポーネントとして正規分布を採用した場合を考える（以下の議論は指数分布など任意の指数型分布族に属する分布の混合モデルを考える場合でも同様に成り立つ。）。正規分布の確率密度関数は平均μｋと標準偏差σｋの2種類コンポーネントのパラメタを用いて、次の式で与えられる。
【００２０】
【数８】
2019139597.tif 000010
【００２１】
また、以後正規分布の累積密度関数を関数Ｆで表す。
【００２２】
【数９】
2019139597.tif 000011
【００２３】
打ち切りデータの生成過程は次の４ステップから成る。まず初めに、各データｉについて、ｉ番目データが所属するコンポーネントを表す潜在変数
【００２４】
【数１０】
2019139597.tif 000012
【００２５】
が、下記の多項分布に従い生成される。なお、ｉ番目のデータが第ｋ番目コンポーネントに属するならばｚｉｋ＝１、それ以外のｋ’≠ｋについてはｚｉｋ＝０である。
【００２６】
【数１１】
2019139597.tif 000013
【００２７】
次に、値が観測されるか否かを表す観測変数ｗｉが下記の所属コンポーネントの累積密度関数をパラメタに持つベルヌーイ分布に従って生成される。
【００２８】
【数１２】
2019139597.tif 000014
【００２９】
なお、累積密度
【００３０】
【数１３】
2019139597.tif 000015
【００３１】
は、確率変数が閾値Ｃ以下となる確率を表す。
【００３２】
さらに、ｗｉ＝１、すなわち観測可能となったデータｉは、観測変数
【００３３】
【数１４】
2019139597.tif 000016
【００３４】
が切断正規分布に従い生成される。
【００３５】
【数１５】
2019139597.tif 000017
【００３６】
なお、切断正規分布
【００３７】
【数１６】
2019139597.tif 000018
【００３８】
は範囲［ａ，ｂ］以外には値のとらない以下の確率密度関数で定義される。
【００３９】
【数１７】
2019139597.tif 000019
【００４０】
最後に、ｗｉ＝０、すなわち観測不可能となったデータｉは、潜在変数ｙｉが切断正規分布に従い生成される。
【００４１】
【数１８】
2019139597.tif 000020
【００４２】
以上を全てのデータｉに関して繰り返すことで、観測変数Ｘ，Ｗと潜在変数Ｚ，Ｙが生成される。
【００４３】
以後表記の簡便さのため、生成されたデータは
【００４４】
【数１９】
2019139597.tif 000021
【００４５】
でｗｉ＝１、
【００４６】
【数２０】
2019139597.tif 000022
【００４７】
ではｗｊ＝０となるように並び替えてあるとする。このとき、式（４）（５）（６）（８）を用いて完全データの尤度関数は次の式で与えられる。
【００４８】
【数２１】
2019139597.tif 000023
【００４９】
＜バッチ型ＥＭアルゴリズム＞
【００５０】
Expectation-Maximization（ＥＭ）アルゴリズムは、潜在変数を含むモデルの推定に広く利用される手法である。潜在変数の事後確率の算出とそれを用いた期待値の計算からなるＥステップと、Ｑ関数と呼ばれる、対数尤度関数を潜在変数の事後確率に関して平均した関数を最大化するＭステップの２ステップからなる。
【００５１】
本モデルのＥステップにおいては、観測値が得られた場合の事後確率Ｐ（ｚｉ｜ｘｉ，ｗｉ＝１，θ）と得られなかった場合のＰ（ｚｉ｜ｘｉ，ｗｉ＝０，θ）の２つが必要となり、これらはそれぞれ以下の式で与えられる。
【００５２】
【数２２】
2019139597.tif 000024
【００５３】
上記の事後確率を用いて、下記の式でｚｉ，ｚｊの負担率γ，ηとｙｊのモーメント｛νｋ，ξｋ｝を計算できる。
【００５４】
【数２３】
2019139597.tif 000025
【００５５】
ただし、
【００５６】
【数２４】
2019139597.tif 000026
【００５７】
は事後確率
【００５８】
【数２５】
2019139597.tif 000027
【００５９】
の出方に関する平均を表す。この平均操作に関しては切断正規分布の１次モーメントと２次モーメントの結果を利用している。また、上記式（１２）（１３）から明らかなように
【００６０】
【数２６】
2019139597.tif 000028
【００６１】
は添え字ｊに依存しないため以後
【００６２】
【数２７】
2019139597.tif 000029
【００６３】
と書く。これらを用いるとＭステップで最大化するＱ関数は以下の式で表現される。
【００６４】
【数２８】
2019139597.tif 000030
【００６５】
ただし、
【００６６】
【数２９】
2019139597.tif 000031
【００６７】
偏微分をゼロと置いて解くとＱ関数を最大化するパラメタは
【００６８】
【数３０】
2019139597.tif 000032
【００６９】
で与えられる。これにより打ち切りデータに対する混合モデルのバッチ型ＥＭアルゴリズムが求められた。以下に示すAlgorithm1に手続きをまとめる。Ｅステップ、Ｍステップによってパラメタの更新を繰り返し、各反復において、対数尤度関数は単調増加し、（局所）最適解への収束が保証される。
【００７０】
【表１】
2019139597.tif 000033
【先行技術文献】
【非特許文献】
【００７１】
【非特許文献１】Didier Chauveau. , "A stochastic em algorithm for mixtures with censored data." , Journal of statistical planning and inference, 46(1):p.1-25, 1995.
【非特許文献２】Gyemin Lee and Clayton Scott. "Em algorithms for multivar-iate gaussian mixture models with truncated and censored data.", ComputationalStatistics & Data Analysis, 56(9):p.2816-2829, 2012.
【発明の概要】
【発明が解決しようとする課題】
【００７２】
既存技術は、打ち切りデータに対してバッチ型の推定を行うことしかできなかった。
【００７３】
本発明は、上記の事情を鑑みてなされたものであり、高速、かつ省メモリ、かつパラメタが時間連続性を有する状態で、打ち切りデータを含むモデルのパラメタを推定することができる動的分布推定装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００７４】
上記の目的を達成するために本発明に係る動的分布推定装置は、観測されるデータの分布を表す、指数型分布族に属する任意の分布を混合した、混合モデルのパラメタをオンラインで推定する動的分布推定装置であって、新たに観測されたサンプルのデータに基づいて、前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータの十分統計量の、切断されたコンポーネントの分布による期待値を更新する期待値更新部と、前記新たに観測されたサンプルのデータと、前記期待値更新部によって更新された前記期待値とに基づいて、各コンポーネントに関する統計量を更新する統計量更新部と、前記統計量更新部によって更新された前記統計量に基づいて、各コンポーネントについて、前記コンポーネントに関するパラメタを更新するパラメタ更新部と、を含み、予め定められたパラメタ更新タイミングが到来する毎に、前記期待値更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す。
【００７５】
また、本発明に係る動的分布推定装置は、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置であって、新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率、及びまだ観測されていない各サンプルのデータが各コンポーネントに所属する度合いを表す負担率を更新する負担率更新部と、前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメントを更新するモーメント更新部と、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率に基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、前記観測されていない各サンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、全サンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、各コンポーネントについて、前記新たに観測された各サンプルのデータが前記コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメント、観測されたサンプルのうち、前記コンポーネントに所属するサンプル数の統計量、及び全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量に基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新する統計量更新部と、各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントに関するパラメタを更新するパラメタ更新部と、を含み、予め定められたパラメタ更新タイミングが到来する毎に、前記負担率更新部による更新、前記モーメント更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す。
【００７６】
本発明に係る動的分布推定装置は、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置であって、新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタ、及び新たに観測されたサンプルを含む、既に観測されたサンプル集合のデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタを更新する潜在変数パラメタ更新部と、前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、既に観測されたサンプル集合のデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、まだ観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、前記既に観測されたサンプル集合のデータと、前記観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量とに基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新する統計量更新部と、各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントのパラメタに関する変分分布のパラメタを更新するパラメタ更新部と、を含み、予め定められたパラメタ更新タイミングが到来する毎に、前記潜在変数パラメタ更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す。
【００７７】
本発明の前記パラメタ更新タイミングは、前記新たに観測されたサンプルのデータが得られたタイミング、前記新たに観測されたサンプルのデータが予め定められた個数だけ得られたタイミング、及び予め定められた更新時期が到来したタイミングの何れかであるようにすることができる。
【００７８】
本発明の動的分布推定方法は、観測されるデータの分布を表す、指数型分布族に属する任意の分布を混合した、混合モデルのパラメタをオンラインで推定する動的分布推定装置であって、期待値更新部が、新たに観測されたサンプルのデータに基づいて、前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータの十分統計量の、切断されたコンポーネントの分布による期待値を更新するステップと、統計量更新部が、前記新たに観測されたサンプルのデータと、前記期待値更新部によって更新された前記期待値とに基づいて、各コンポーネントに関する統計量を更新するステップと、パラメタ更新部が、前記統計量更新部によって更新された前記統計量に基づいて、各コンポーネントについて、前記コンポーネントに関するパラメタを更新するステップと、を含み、予め定められたパラメタ更新タイミングが到来する毎に、前記期待値更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す。
【００７９】
本発明の動的分布推定方法は、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置における動的分布推定方法であって、負担率更新部が、新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率、及びまだ観測されていない各サンプルのデータが各コンポーネントに所属する度合いを表す負担率を更新するステップと、モーメント更新部が、前記観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメントを更新するステップと、統計量更新部が、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率に基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、前記観測されていない各サンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、全サンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、前記新たに観測されたサンプルのデータが各コンポーネントに所属する度合いが表す負担率に基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、各コンポーネントについて、前記新たに観測された各サンプルのデータが前記コンポーネントに所属すると仮定した場合の、前記観測されていないサンプルのデータのモーメント、観測されたサンプルのうち、前記コンポーネントに所属するサンプル数の統計量、及び全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量に基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新するステップと、パラメタ更新部が、各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数の統計量、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントに関するパラメタを更新するステップと、を含み、予め定められたパラメタ更新タイミングが到来する毎に、前記負担率更新部による更新、前記モーメント更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す。
【００８０】
本発明の動的分布推定方法は、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する動的分布推定装置における動的分布推定方法であって、潜在変数パラメタ更新部が、新たに観測されたサンプルのデータに基づいて、前記新たに観測されたサンプルのデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタ、及び新たに観測されたサンプルを含む、既に観測されたサンプル集合のデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタを更新するステップと、統計量更新部が、前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、既に観測されたサンプル集合のデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、まだ観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量を更新し、前記新たに観測されたサンプルのデータについての、各コンポーネントに対する変分分布のパラメタに基づいて、各コンポーネントについて、前記コンポーネントに所属する、観測されたサンプルのデータの統計量を更新し、前記既に観測されたサンプル集合のデータと、前記観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量とに基づいて、前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量を更新するステップと、パラメタ更新部が、各コンポーネントについて、全サンプルのうち、前記コンポーネントに所属するサンプル数、前記コンポーネントに所属する、前記観測されたサンプルのデータの統計量、及び前記コンポーネントに所属する、前記観測されていないサンプルのデータの統計量に基づいて、前記コンポーネントのパラメタに関する変分分布のパラメタを更新するステップと、を含み、予め定められたパラメタ更新タイミングが到来する毎に、前記潜在変数パラメタ更新部による更新、前記統計量更新部による更新、及び前記パラメタ更新部による更新を繰り返す。
【００８１】
本発明に係るプログラムは、本発明の動的分布推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００８２】
以上説明したように、本発明の動的分布推定装置、方法、及びプログラムによれば、複数のコンポーネントを混合した、指数型分布族に属する任意の分布のパラメタをオンラインで推定することにより、高速、かつ省メモリ、かつパラメタが時間連続性を有する状態で、打ち切りデータを含むモデルのパラメタを推定することができる、という効果が得られる。
【図面の簡単な説明】
【００８３】
【図１】逐次更新型オンラインアルゴリズムを説明するための説明図である。
【図２】更新のタイミングを説明するための説明図である。
【図３】第１の実施の形態に係る動的分布推定装置の構成例を示す概略図である。
【図４】第１の実施の形態に係る動的分布推定装置における動的分布推定処理ルーチンの内容を示すフローチャートである。
【図５】第２の実施の形態に係る動的分布推定装置の構成例を示す概略図である。
【図６】第２の実施の形態に係る動的分布推定装置における動的分布推定処理ルーチンの内容を示すフローチャートである。
【図７】打ち切りデータを説明するための説明図である。
【発明を実施するための形態】
【００８４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００８５】
＜本発明の実施の形態の概要＞
【００８６】
イベント当日にデータを収集している状況においては、時間経過につれ、新たに到着した観客のデータが観測でき、データが時事刻々と更新されていく。このような状況で到着時間分布のモデルパラメタを推定するうえでは、新たに到着したデータを反映して逐次パラメタを更新する、オンラインアルゴリズム（例えば、参考文献（Olivier Cappe and Eric Moulines. "On-line expectation-maximization algorithm for latent data models.", Journal of the Royal Statistical Society: Series B (Statistical Methodology), 71(3)p.593-613, 2009.）を参照。）が有用である。
【００８７】
そこで、本発明の実施形態では、時事刻々と更新されていく打ち切りデータから到着時間のモデルパラメタをオンラインに推定するアルゴリズムであるオンラインＥＭＣＭアルゴリズム(online EM algorithm for Censored Mixture models)を構築した。この技術は、次の３つの点でバッチ型の手法に対する優位性を持つ。
【００８８】
（１）省メモリである点。
本実施形態の提案アルゴリズムは、十分統計量のみの保持でパラメタ更新が可能であり、到着済み観客の到着時間全てを保持する必要がない。これはプライバシー保護の観点からも優れている。
【００８９】
（２）高速である点。
本実施形態の提案アルゴリズムは、前述した統計量と新たに観測されたデータから計算される量を用いて更新される。全てのデータを利用して計算するバッチ型手法と比べて短い処理でパラメタ更新処理を行うことができる。特に前述のようなライブやスポーツイベントでは来場者数は数万人規模に及び、各時刻での全データを利用したバッチ処理は避けられることが好ましい。
【００９０】
（３）推定パラメタの時間連続性を有する点。
本実施形態の提案アルゴリズムによって各時刻毎に出力されるパラメタは、前時刻におけるパラメタから連続的に変化した値となる。各時刻でバッチ型手法を適用し直す処理を行うと、目的関数の異なる局所最適解に到達することで前時刻とは全く異なるパラメタが出力される可能性があり、これは実用上好ましくないが、本実施形態にはそのような問題がない。
【００９１】
本実施形態では、さらに多様な実システムの実装形態に合わせられるようパラメタ更新のタイミングの異なる、（ａ）逐次更新型、（ｂ）ミニバッチ型、（ｃ）スケジュール型の３種類のアルゴリズムを示す。これら３つは全て前述の３つの優位性を持つアルゴリズムである。これによって、新データ入手時に即パラメタ更新を行う場合、いくつかのまとまったデータが集まってからパラメタ更新を行う場合、決まったタイミングでパラメタ更新を行う場合といういずれの場合であっても本技術を適用できるようになる。また、上記では到着時間分布の推定の例として説明したが、本実施形態は広く打ち切りデータのパラメタ推定に利用可能である。
【００９２】
なお、本実施形態では、到着時間のモデルには混合モデルを採用した。なぜなら、前述のようなイベントにおいては、イベント開始前にアーティストグッズやユニフォームなどの物販購入をするか、イベント開始ちょうどに間に合うようにするか、などに応じて観客の到着時間分布は多峰性を持つことが想像されるからである。
【００９３】
なお、本実施形態は、指数分布や対数正規分布など正規分布以外の他の確率分布の混合モデルを考える場合であっても、ほぼ同様に適用することができる。
【００９４】
上記Algorithm1のバッチ型ＥＭアルゴリズムは、Ｅステップでメモリの全データに対して負担率を計算し、それらを用いてＭステップで統計量
【００９５】
【数３１】
2019139597.tif 000034
【００９６】
を計算することを繰り返している。これはすなわち、データＸの値全てをメモリに保持し、各反復でこのメモリ全体を読みにいくことを必要としていることになる。それに対して我々の提案するアルゴリズムであるオンラインＥＭＣＭアルゴリズム(online Expectation-Maximization algorithm for Censored Mixture models)は、データ全てをメモリに保持する必要がなく、新たに観測されたデータのみを利用して、負担率や統計量を計算してパラメタ更新を行う。
【００９７】
＜逐次更新型オンラインＥＭアルゴリズム＞
【００９８】
まず、新たにデータｘｔが観測されるたびにパラメタを更新する、逐次更新型のアルゴリズムについて説明する。このアルゴリズムでは、図１に示すようにデータ観測と更新のタイミングが一致する。提案アルゴリズムはバッチ型のアルゴリズムの統計量が逐次的な形で書けることを利用して導出する。データｘｔ−１が観測された時点での統計量を上付き添え字（ｔ−１）で表すと、具体的な逐次計算式は以下で与えられる。
【００９９】
【数３２】
2019139597.tif 000035
【０１００】
まず、Ｅステップで、新しい観測データｘｔを用いて計算される、負担率を計算する。このデータの観測によって、その時点で未観測なデータもｘｔ以上ということが分かるので、それに合わせてモーメントの計算を行う。その後にＭステップで上記の逐次式を用いて統計量を計算し、パラメタを更新する。これらを新しいデータが到着するたびに行うことでパラメタを推定していく。提案アルゴリズムの手続きをAlgorithm2にまとめる。
【０１０１】
【表２】
2019139597.tif 000036
【０１０２】
＜ミニバッチ型とスケジュール型のアルゴリズム＞
【０１０３】
前節では、データが更新するたびのパラメタ更新を行っていた。しかし、毎回のデータは必ずしも必須でなく、多様な実システムの実装形態に合わせられるようパラメタ更新のタイミングの異なるアルゴリズムを導出できる。したがってこの節では、前節の（ａ）逐次更新型に加えて、図２に示す（ｂ）ミニバッチ型、（ｃ）スケジュール型の２種類のアルゴリズムを示す。
【０１０４】
まず、ミニバッチ型について説明する。この方法では、あらかじめパラメタ更新までに蓄えるデータの数Ｂ（これをミニバッチサイズと称する。）を定めておき、この数のデータが蓄えられた時点でパラメタ更新を行う。Ｅステップの計算は、Ｍステップは下記のようにミニバッチから計算される負担率、モーメントのデータを求めて下記のように統計量を更新する。逐次更新型に比べてＭステップの実行回数が減るため、処理時間をより少なくすることができる。
【０１０５】
【数３３】
2019139597.tif 000037
【０１０６】
提案アルゴリズムの手続きをAlgorithm3にまとめる。なお、記号
【０１０７】
【数３４】
2019139597.tif 000038
【０１０８】
は入力の値を越えない整数を返す床関数を表す。次に（ｃ）スケジュール型について説明する。アルゴリズムは（ｂ）ミニバッチ型とほぼ同様である。
【０１０９】
【表３】
2019139597.tif 000039
【０１１０】
ただし、統計量
【０１１１】
【数３５】
2019139597.tif 000040
【０１１２】
が異なっている。
【０１１３】
【数３６】
2019139597.tif 000041
【０１１４】
提案アルゴリズムの手続きをAlgorithm4にまとめる。なお、上記３種類のアルゴリズムの更新方法をミックスさせた方法、たとえばミニバッチと更新スケジュールの両方を利用する方法も同様に構築可能であるが、割愛する。
【０１１５】
【表４】
2019139597.tif 000042
【０１１６】
＜逐次更新型オンライン変分ベイズアルゴリズム＞
【０１１７】
上記までの記述ではバッチ型のＥＭアルゴリズムを発展させたオンライン型のＥＭアルゴリズムを示した。混合モデルの推定アルゴリズムにはＥＭアルゴリズムのほかにも変分ベイズ（Variational Bayes，ＶＢ）アルゴリズムと呼ばれるアルゴリズムも存在し、本発明と同様のアプローチによって、ＶＢアルゴリズムをオンラインアルゴリズムとすることもできる。したがって本発明の範囲はオンラインＥＭアルゴリズムに限定されず、打ち切りデータに対する混合モデルのオンライン推定アルゴリズム全般を含む。以下にＶＢアルゴリズムのバッチ型アルゴリズムを基に逐次更新型のアルゴリズムを導く例を以下に記す。
【０１１８】
＜バッチ型変分ベイズ（ＶＢ）アルゴリズム＞
【０１１９】
変分ベイズアルゴリズムではモデルのパラメタ
【０１２０】
【数３７】
2019139597.tif 000043
に事前分布
【０１２１】
【数３８】
2019139597.tif 000044
【０１２２】
が設定されていることを考える。ただし、
【０１２３】
【数３９】
2019139597.tif 000045
【０１２４】
は精度パラメタであり、この章では標準偏差
【０１２５】
【数４０】
2019139597.tif 000046
【０１２６】
の代わりに精度
【０１２７】
【数４１】
2019139597.tif 000047
【０１２８】
を用いて正規分布の確率密度関数が
【０１２９】
【数４２】
2019139597.tif 000048
【０１３０】
と表現されているとする。
【０１３１】
【数４３】
2019139597.tif 000049
【０１３２】
はそれぞれ（対称）ディリクレ分布と正規-ガンマ分布であり、以下の式で定義される。
【０１３３】
【数４４】
2019139597.tif 000050
【０１３４】
上記の式と上記式（９）とを組み合わせると、パラメタと完全データの生成確率は以下の式で表せる。
【０１３５】
【数４５】
2019139597.tif 000051
【０１３６】
（バッチ型の）ＶＢアルゴリズムは、パラメタと潜在変数の事後分布を近似する、変分分布を推定する方法である。打ち切りデータに対するＶＢアルゴリズムでは、変分分布が
【０１３７】
【数４６】
2019139597.tif 000052
【０１３８】
と分解されるという条件のもと汎関数
【０１３９】
【数４７】
2019139597.tif 000053
【０１４０】
を最小化することで変分分布を推定することを考える。
【０１４１】
【数４８】
2019139597.tif 000054
【０１４２】
変分法による解析から所望の変分分布は次の最適性条件を満たさなければならないことが示される。
【０１４３】
【数４９】
2019139597.tif 000055
【０１４４】
上記を計算すると、
【０１４５】
【数５０】
2019139597.tif 000056
【０１４６】
の(最適)変分分布はそれぞれ以下のディリクレ分布、正規-ガンマ分布、多項-切断正規分布で与えられることが示される。
【０１４７】
【数５１】
2019139597.tif 000057
【０１４８】
上記の式中の統計量等は次の通りである。
【０１４９】
【数５２】
2019139597.tif 000058
【０１５０】
ただし、
【０１５１】
【数５３】
2019139597.tif 000059
【０１５２】
はディガンマ関数を表す。これによってAlgorithm5に示すようにバッチ型のVBアルゴリズムを構築できる。
【０１５３】
【表５】
2019139597.tif 000060
【０１５４】
＜逐次更新型ＶＢアルゴリズム＞
【０１５５】
上記のバッチ型ＶＢアルゴリズムを基にオンラインアルゴリズムを導く。統計量
【０１５６】
【数５４】
2019139597.tif 000061
【０１５７】
はオンラインＥＭアルゴリズムの時と同様に逐次式の形で書くことができる。データｘｔ−１が観測された時点での統計量を上付き添え字（ｔ−１）で表すと、具体的な逐次計算式は以下で与えられる。
【０１５８】
【数５５】
2019139597.tif 000062
【０１５９】
したがって、Algorithm6に示すように逐次更新型のアルゴリズムを構築できる。同様にＶＢアルゴリズムに基づくミニバッチ型とスケジュール型のアルゴリズムを導出することが可能であるが割愛する。
【０１６０】
【表６】
2019139597.tif 000063
【０１６１】
＜第１の実施形態の動的分布推定装置１００の構成＞
【０１６２】
第１の実施形態の動的分布推定装置１００は、逐次更新型オンラインＥＭアルゴリズムを用いてパラメタの推定を行う。
【０１６３】
図３に示すように、第１の実施の形態に係る動的分布推定装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する動的分布推定ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータ１０と外部装置３０とを含んで構成されている。コンピュータ１０は、機能的には、記憶部１２と、初期化処理部１７と、更新処理部１８と、パラメタ処理部２３と、入出力部２４とを備えている。
【０１６４】
記憶部１２は、パラメタ記録部１３と、観測データ数記録部１４と、閾値記録部１５と、統計量記録部１６とを含む。
【０１６５】
パラメタ記録部１３には、モデルのパラメタ
【０１６６】
【数５６】
2019139597.tif 000064
【０１６７】
が格納される。
【０１６８】
観測データ数記録部１４には、観測されたデータの数Ｍが格納される。
【０１６９】
閾値記録部１５には、観測されたデータの閾値Ｃが格納される。
【０１７０】
統計量記録部１６には、各統計量
【０１７１】
【数５７】
2019139597.tif 000065
2019139597.tif 000066
【０１７２】
が格納される。
【０１７３】
初期化処理部１７は、パラメタ記録部１３に格納された変分パラメタと、統計量記録部１６に格納された各統計量とを初期化する。
【０１７４】
更新処理部１８は、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する。更新処理部１８は、負担率更新部１９と、モーメント更新部２０と、統計量更新部２１と、パラメタ更新部２２とを備えている。モーメント更新部２０は、期待値更新部の一例である。
【０１７５】
負担率更新部１９は、新たに観測されたサンプルのデータｘｔに基づいて、新たに観測されたサンプルのデータｘｔが各コンポーネントに所属する度合いを表す負担率
【０１７６】
【数５８】
2019139597.tif 000067
【０１７７】
、及びまだ観測されていない各サンプルのデータが各コンポーネントに所属する度合いを表す負担率
【０１７８】
【数５９】
2019139597.tif 000068
【０１７９】
を、上記式（２３）及び式（２４）に従って更新する。
【０１８０】
モーメント更新部２０は、観測されていない各サンプルのデータが各コンポーネントに所属すると仮定した場合の、観測されていないサンプルのデータのモーメント
【０１８１】
【数６０】
2019139597.tif 000069
【０１８２】
を、上記式（１２）及び式（１３）に従って更新する。
【０１８３】
統計量更新部２１は、新たに観測されたサンプルのデータｘｔが各コンポーネントに所属する度合いを表す負担率
【０１８４】
【数６１】
2019139597.tif 000070
【０１８５】
に基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量
【０１８６】
【数６２】
2019139597.tif 000071
【０１８７】
を、上記式（２３）に従って更新する。
【０１８８】
統計量更新部２１は、まだ観測されていない各サンプルのデータが各コンポーネントに所属する度合いを表す負担率
【０１８９】
【数６３】
2019139597.tif 000072
【０１９０】
に基づいて、全サンプルのうち、各コンポーネントに所属するサンプル数の統計量
【０１９１】
【数６４】
2019139597.tif 000073
【０１９２】
を、上記式（２４）に従って更新する。
【０１９３】
統計量更新部２１は、新たに観測されたサンプルのデータが各コンポーネントに所属する度合いを表す負担率
【０１９４】
【数６５】
2019139597.tif 000074
【０１９５】
に基づいて、各コンポーネントについて、当該コンポーネントに所属する、観測されたサンプルのデータの統計量
【０１９６】
【数６６】
2019139597.tif 000075
2019139597.tif 000076
【０１９７】
を、上記式（２５）及び上記式（２６）に従って更新する。
【０１９８】
統計量更新部２１は、各コンポーネントについて、観測されていない各サンプルのデータが当該コンポーネントに所属すると仮定した場合の、観測されていないサンプルのデータのモーメント
【０１９９】
【数６７】
2019139597.tif 000077
【０２００】
、観測されたサンプルのうち、当該コンポーネントに所属するサンプル数の統計量
【０２０１】
【数６８】
2019139597.tif 000078
【０２０２】
、及び全サンプルのうち、当該コンポーネントに所属するサンプル数の統計量
【０２０３】
【数６９】
2019139597.tif 000079
【０２０４】
に基づいて、当該コンポーネントに所属する、まだ観測されていないサンプルのデータの統計量
【０２０５】
【数７０】
2019139597.tif 000080
【０２０６】
を、上記式（２７）及び式（２８）に従って更新する。
【０２０７】
パラメタ更新部２２は、各コンポーネントについて、全サンプルのうち、統計量更新部２１によって更新された、コンポーネントに所属するサンプル数の統計量
【０２０８】
【数７１】
2019139597.tif 000081
【０２０９】
、コンポーネントに所属する、観測されたサンプルのデータの統計量
【０２１０】
【数７２】
2019139597.tif 000082
2019139597.tif 000083
【０２１１】
、及びコンポーネントに所属する、まだ観測されていないサンプルのデータの統計量
【０２１２】
【数７３】
2019139597.tif 000084
【０２１３】
に基づいて、コンポーネントに関するパラメタ
【０２１４】
【数７４】
2019139597.tif 000085
【０２１５】
を、上記式（２０）〜（２２）に従って更新する。
【０２１６】
入出力部２４は、パラメタ更新部２２によって更新されたパラメタπｎｅｗｋ，μｎｅｗｋ，（σｎｅｗｋ）２を、外部装置３０へ出力する。
【０２１７】
外部装置３０は、入出力部２４から出力されたパラメタを結果として出力する。
【０２１８】
＜動的分布推定装置１００の作用＞
【０２１９】
次に、本実施の形態に係る動的分布推定装置１００の作用について説明する。まず、動的分布推定装置１００の初期化処理部１７は、パラメタ記録部１３に格納されたパラメタと、統計量記録部１６に格納された各統計量とを初期化する。そして、動的分布推定装置１００は、既に観測されたデータに基づいてＥＭアルゴリズムを用いて、モデルのパラメタと観測データ数と閾値と各統計量とを推定し、パラメタ記録部１３、観測データ数記録部１４、閾値記録部１５、及び統計量記録部１６へ格納する。そして、動的分布推定装置１００は、新たに観測されたデータｘｔが入力されると、図４に示す動的分布推定処理ルーチンを実行する。
【０２２０】
まず、ステップＳ１００において、新たに観測されたデータｘｔを取得する。
【０２２１】
ステップＳ１０２において、観測データ数Ｍと閾値Ｃとを更新する。
【０２２２】
ステップＳ１０４において、負担率更新部１９は、上記ステップＳ１００で取得されたデータｘｔに基づいて、上記式（１０）に従って、負担率γ（ｚｔ）を更新する。また、負担率更新部１９は、上記ステップＳ１００で取得されたデータｘｔに基づいて、上記式（１１）に従って、負担率η（ｚｊ）を更新する。
【０２２３】
ステップＳ１０６において、モーメント更新部２０は、上記ステップＳ１００で取得されたデータｘｔに基づいて、モーメントνｋ（ｙｊ;ｘｔ），ξｋ（ｙｊ;ｘｔ）を、上記式（１２）及び上記式（１３）に従って更新する。
【０２２４】
ステップＳ１０８において、統計量更新部２１は、上記ステップＳ１０４で更新された負担率γ（ｚｔ）に基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量Ｍ（ｔ）ｋを、上記式（２３）に従って更新する。また、統計量更新部２１は、上記ステップＳ１０４で更新された負担率η（ｚｊ）に基づいて、全サンプルのうち、各コンポーネントに所属するサンプル数の統計量Ｎ（ｔ）ｋを、上記式（２４）に従って更新する。また、統計量更新部２１は、上記ステップＳ１０４で更新された負担率γ（ｚｔ）に基づいて、各コンポーネントについて、当該コンポーネントに所属する、観測されたサンプルのデータの統計量Ｓ（ｔ）ｋ１，Ｓ（ｔ）ｋ２を、上記式（２５）及び上記式（２６）に従って更新する。また、統計量更新部２１は、各コンポーネントについて、上記ステップＳ１０６で更新されたモーメントνｋ（ｙｊ;ｘｔ），ξｋ（ｙｊ;ｘｔ）、更新された統計量Ｍ（ｔ）ｋ及び統計量Ｎ（ｔ）ｋに基づいて、当該コンポーネントに所属する、まだ観測されていないサンプルのデータの統計量Ｕ（ｔ）ｋ１，Ｕ（ｔ）ｋ２を、上記式（２７）及び上記式（２８）に従って更新する。
【０２２５】
ステップＳ１１０において、入出力部２４は、上記ステップＳ１１０で更新されたパラメタπｎｅｗｋ，μｎｅｗｋ，（σｎｅｗｋ）２を、外部装置３０へ出力して処理を終了する。
【０２２６】
以上説明したように、第１の実施の形態に係る動的分布推定装置によれば、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する。具体的には、第１の実施の形態に係る動的分布推定装置は、新たに観測されたサンプルのデータｘｔに基づいて負担率を更新し、観測されていないサンプルのデータのモーメントを更新し、負担率及びモーメントの少なくとも一方に基づいて各統計量を更新し、各統計量に基づいて、コンポーネントに関するパラメタを更新する。これにより、打ち切りデータに対してオンライン型のアルゴリズムを用いて、高速であり、かつ省メモリであり、かつパラメタが時間連続性を有する状態で、モデルのパラメタを推定することができる。
【０２２７】
このように、本実施形態は、バッチ型の推定アルゴリズムと比較し、高速であって、かつ省メモリであり、かつパラメタの時間連続性を有するという３つの優位性を持つ。
【０２２８】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０２２９】
例えば、上記の第１の実施の形態では、パラメタ更新タイミングが新たに観測されたサンプルのデータが得られたタイミングとなる、逐次更新型オンラインＥＭアルゴリズムを用いた場合を例に説明したがこれに限定されるものではない。例えば、パラメタ更新タイミングが新たに観測されたサンプルのデータが予め定められた個数だけ得られたタイミングとなる、ミニバッチ型オンラインＥＭアルゴリズムを用いてもよい。この場合には、上記Algorithm3に従って、予め定められた個数だけ新たに観測されたサンプルのデータｘｔに基づいて、負担率とモーメントとを更新し、負担率及びモーメントの少なくとも一方に基づいて各統計量を更新し、各統計量に基づいて、コンポーネントに関するパラメタを更新するようにすればよい。
【０２３０】
また、パラメタ更新タイミングが予め定められた更新時期が到来したタイミングとなる、ミニバッチ型オンラインＥＭアルゴリズムを用いてもよい。この場合には、上記Algorithm4に従って、更新時期が到来するまでの間に新たに観測されたサンプルのデータｘｔに基づいて、負担率とモーメントとを更新し、負担率及びモーメントの少なくとも一方に基づいて各統計量を更新し、各統計量に基づいて、コンポーネントに関するパラメタを更新するようにすればよい。
【０２３１】
＜第２の実施形態の動的分布推定装置の構成＞
【０２３２】
第２の実施形態の動的分布推定装置は、逐次更新型オンラインＶＢアルゴリズムを用いてパラメタの推定を行う。
【０２３３】
図５に示すように、第２の実施の形態に係る動的分布推定装置２００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する動的分布推定ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータ２１０と外部装置３０とを含んで構成されている。コンピュータ２１０は、機能的には、記憶部２１２と、初期化処理部２１７と、更新処理部２１８と、パラメタ処理部２３と、入出力部２４とを備えている。
【０２３４】
記憶部１２は、パラメタ記録部２１３と、観測データ数記録部１４と、閾値記録部１５と、統計量記録部２１６とを含む。
【０２３５】
パラメタ記録部２１３には、変分パラメタ
【０２３６】
【数７５】
2019139597.tif 000086
【０２３７】
が格納される。
【０２３８】
統計量記録部２１６には、各統計量
【０２３９】
【数７６】
2019139597.tif 000087
【０２４０】
が格納される。
【０２４１】
初期化処理部２１７は、パラメタ記録部２１３に格納された変分パラメタと、統計量記録部１６に格納された各統計量とを初期化する。
【０２４２】
更新処理部２１８は、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する。更新処理部２１８は、潜在変数パラメタ更新部２１９と、統計量更新部２２１と、パラメタ更新部２２２とを備えている。
【０２４３】
潜在変数パラメタ更新部２１９は、新たに観測されたサンプルのデータｘｔに基づいて、新たに観測されたサンプルのデータｘｔについての、各コンポーネントの潜在変数に関する変分分布のパラメタ
【０２４４】
【数７７】
2019139597.tif 000088
【０２４５】
、及び新たに観測されたサンプルを含む、既に観測されたサンプル集合のデータについての、各コンポーネントの潜在変数に関する変分分布のパラメタ
【０２４６】
【数７８】
2019139597.tif 000089
【０２４７】
を、上記式（５５）に従って更新する。
【０２４８】
統計量更新部２２１は、潜在変数パラメタ更新部２１９によって更新された変分分布のパラメタ
【０２４９】
【数７９】
2019139597.tif 000090
【０２５０】
に基づいて、観測されたサンプルのうち、各コンポーネントに所属するサンプル数の統計量
【０２５１】
【数８０】
2019139597.tif 000091
【０２５２】
を、上記式（５７）に従って更新する。
【０２５３】
また、統計量更新部２２１は、潜在変数パラメタ更新部２１９によって更新された変分分布のパラメタ
【０２５４】
【数８１】
2019139597.tif 000092
【０２５５】
に基づいて、まだ観測されていないサンプルのうち、各コンポーネントに所属するサンプル数の統計量
【０２５６】
【数８２】
2019139597.tif 000093
【０２５７】
を、上記式（５７）に従って更新する。
【０２５８】
また、統計量更新部２２１は、潜在変数パラメタ更新部２１９によって更新された変分分布のパラメタ
【０２５９】
【数８３】
2019139597.tif 000094
【０２６０】
に基づいて、各コンポーネントについて、当該コンポーネントに所属する、観測されたサンプルのデータの統計量
【０２６１】
【数８４】
2019139597.tif 000095
【０２６２】
を、上記式（５９）及び上記式（６０）に従って更新する。
【０２６３】
また、統計量更新部２２１は、潜在変数パラメタ更新部２１９によって更新された
【０２６４】
【数８５】
2019139597.tif 000096
【０２６５】
に基づいて、当該コンポーネントに所属する、まだ観測されていないサンプルのデータの統計量
【０２６６】
【数８６】
2019139597.tif 000097
【０２６７】
を、上記式（５９）及び上記式（６０）に従って更新する。
【０２６８】
パラメタ更新部２２２は、各コンポーネントについて、全サンプルのうち、統計量更新部２２１によって更新されたサンプル数の統計量
【０２６９】
【数８７】
2019139597.tif 000098
2019139597.tif 000099
【０２７０】
、統計量更新部２２１によって更新された、当該コンポーネントに所属する、観測されたサンプルのデータの統計量
【０２７１】
【数８８】
2019139597.tif 000100
【０２７２】
、及び当該コンポーネントに所属する、まだ観測されていないサンプルのデータの統計量
【０２７３】
【数８９】
2019139597.tif 000101
【０２７４】
に基づいて、当該コンポーネントのパラメタに関する変分分布のパラメタ
【０２７５】
【数９０】
2019139597.tif 000102
【０２７６】
を、上記式（４４）〜式（５０）に従って更新する。
【０２７７】
パラメタ処理部２２３は、予め定められたパラメタ更新タイミングが到来する毎に、潜在変数パラメタ更新部２１９による更新、統計量更新部２２１による更新、及びパラメタ更新部２２２による更新を繰り返すように、各処理部を制御する。例えば、パラメタ処理部２２３は、予め定められたパラメタ更新タイミングとして、新たに観測された各サンプルのデータが取得されたときに、潜在変数パラメタ更新部２１９による更新、統計量更新部２２１による更新、及びパラメタ更新部２２２による更新を繰り返すように、各処理部を制御する。
【０２７８】
＜動的分布推定装置２００の作用＞
【０２７９】
次に、本実施の形態に係る動的分布推定装置２００の作用について説明する。まず、動的分布推定装置２００の初期化処理部１７は、パラメタ記録部２１３に格納されたパラメタと、統計量記録部２１６に格納された各統計量とを初期化する。そして、動的分布推定装置２００は、既に観測されたデータに基づいてＶＢアルゴリズムを用いて、モデルのパラメタと観測データ数と閾値と各統計量とを推定し、パラメタ記録部２１３、観測データ数記録部１４、閾値記録部１５、及び統計量記録部２１６へ格納する。そして、動的分布推定装置２００は、新たに観測されたデータｘｔが入力されると、図６に示す動的分布推定処理ルーチンを実行する。
【０２８０】
まず、ステップＳ１００において、新たに観測されたデータｘｔを取得する。
【０２８１】
ステップＳ１０２において、観測データ数Ｍと閾値Ｃとを更新する。
【０２８２】
ステップＳ２０４において、潜在変数パラメタ更新部２１９は、新たに観測されたサンプルのデータｘｔに基づいて、潜在変数に関する変分分布のパラメタ
【０２８３】
【数９１】
2019139597.tif 000103
2019139597.tif 000104
【０２８４】
を、上記式（５５）に従って更新する。
【０２８５】
ステップＳ２０６において、統計量更新部２２１は、上記ステップＳ２０４で更新された変分分布のパラメタに基づいて、
【０２８６】
ステップＳ２０８において、統計量更新部２１は、上記ステップＳ１０４で更新された負担率γ（ｚｔ）に基づいて、各統計量
【０２８７】
【数９２】
2019139597.tif 000105
【０２８８】
を、上記式（４４）〜式（５０）に従って更新する。
【０２８９】
ステップＳ２１０において、入出力部２４は、上記ステップＳ２０８で更新されたパラメタ
【０２９０】
【数９３】
2019139597.tif 000106
【０２９１】
を、外部装置３０へ出力して処理を終了する。
【０２９２】
以上説明したように、第２の実施の形態に係る動的分布推定装置によれば、観測されるデータの分布を表す、複数のコンポーネントを混合した混合ガウスモデルのパラメタをオンラインで推定する。具体的には、第２の実施の形態に係る動的分布推定装置は、新たに観測されたサンプルのデータｘｔに基づいて、潜在変数に関する変分分布のパラメタと変分パラメタとを更新し、潜在変数に関する変分分布のパラメタ及び変分パラメタの少なくとも一方に基づいて各統計量を更新し、各統計量に基づいて、コンポーネントに関するパラメタを更新する。これにより、ＶＢアルゴリズムを用いる際に、高速であり、かつ省メモリであり、かつパラメタが時間連続性を有する状態で、モデルのパラメタを推定することができる。
【０２９３】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０２９４】
例えば、上記の第２の実施形態では、パラメタ更新タイミングが新たに観測されたサンプルのデータが得られたタイミングとなる、逐次更新型オンラインＶＢアルゴリズムを用いたである場合を例に説明したがこれに限定されるものではない。例えば、パラメタ更新タイミングが、新たに観測されたサンプルのデータが予め定められた個数だけ得られたタイミングとなる、ミニバッチ型のオンラインＶＢアルゴリズムを用いてもよい。この場合には、予め定められた個数だけ新たに観測されたサンプルのデータｘｔに基づいて、潜在変数に関する変分分布のパラメタと変分パラメタとを更新し、潜在変数に関する変分分布のパラメタ及び変分パラメタの少なくとも一方に基づいて各統計量を更新し、各統計量に基づいて、コンポーネントに関するパラメタを更新すればよい。
【０２９５】
また、パラメタ更新タイミングが予め定められた更新時期が到来したタイミングとなる、ミニバッチ型のオンラインＶＢアルゴリズムを用いてもよい。この場合には、更新時期が到来するまでの間に新たに観測されたサンプルのデータｘｔに基づいて、潜在変数に関する変分分布のパラメタと変分パラメタとを更新し、潜在変数に関する変分分布のパラメタ及び変分パラメタの少なくとも一方に基づいて各統計量を更新し、各統計量に基づいて、コンポーネントに関するパラメタを更新すればよい。
【０２９６】
また、上記実施形態ではコンポーネントの分布としてガウス分布を利用する場合を例に説明したが、これに限定されず、任意の指数型分布族を利用する場合を含む。指数型分布族とは、密度関数が以下の式（６７）の形式で表されるものである。
【０２９７】
【数９４】
2019139597.tif 000107
【０２９８】
【数９５】
2019139597.tif 000108
【０２９９】
は自然パラメタ、Ｔ（ｘ）は十分統計量、ｈ（ｘ）はベース測度、
【０３００】
【数９６】
2019139597.tif 000109
【０３０１】
は対数分配関数と呼ばれる既知の関数であり、式中の記号”・”はベクトルの内積を表す。ガウス分布も指数型分布族に属する確率分布であり、以下の式（６８）のように自然パラメタ、十分統計量、ベース測度、対数分配関数が定義された場合、上記式（２）に示されるガウス分布の密度関数と上記式（６７）は等しくなる。
【０３０２】
【数９７】
2019139597.tif 000110
【０３０３】
これを踏まえると、混合ガウスモデルの推定アルゴリズムの中で計算する切断正規分布のモーメント（上記式（１２）及び上記式（１３）、上記式（６１）及び上記式（６２））は、正規分布を指数型分布族の形式で表現した場合に、十分統計量Ｔ（ｘ）の各次元に対応する値（ｘとｘの二乗）のｘが切断正規分布に従う場合の期待値を計算していると見なせる。ガウス分布以外の指数型分布に属する分布をコンポーネントの分布として利用する場合でも、モーメント計算の処理を十分統計量の各次元に対応する値の切断分布による期待値を計算する処理に置き変えることで、混合ガウス分布モデルの場合と同様に推定を行うことが可能である。なお、上記式（６１）及び上記式（６２）を計算する統計量更新部２２１は、期待値更新部の一例である。
【０３０４】
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、プログラムをインストールすることによっても実現可能である。
【０３０５】
また、上述の装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０３０６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０３０７】
１０, ２１０  コンピュータ
１２,２１２   記憶部
１３, ２１３  パラメタ記録部
１４   観測データ数記録部
１５   閾値記録部
１６, ２１６  統計量記録部
１７, ２１７  初期化処理部
１８, ２１８  更新処理部
１９   負担率更新部
２０   モーメント更新部
２１,２２１   統計量更新部
２２, ２２２  パラメタ更新部
２３, ２２３  パラメタ処理部
２４   入出力部
３０   外部装置
１００,２００ 動的分布推定装置
２１９ 潜在変数パラメタ更新部
【図１】
2019139597.tif 000111
【図２】
2019139597.tif 000112
【図３】
2019139597.tif 000113
【図４】
2019139597.tif 000114
【図５】
2019139597.tif 000115
【図６】
2019139597.tif 000116
【図７】
2019139597.tif 000117