(57)【要約】【課題】混合分布のモデル選択問題に対して、高速なモデル選択を実現する。【解決手段】最適化が行われていない混合数の候補値を選択する混合数設定手段と、選択された混合数を用いてデータを初期化する初期化手段と、クラスタアサイメントの期待値を計算する期待値計算手段と、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、最適化する最適化手段と、情報量基準の値を計算する情報量基準計算手段と、最適でないと判定されれば、再度期待値計算を行わせる最適性判定手段と、最適と判定されたデータにおける混合数の候補値の全てについて、情報量基準の期待値を最適化するパラメータが算出されているかを判定する混合数判定手段と、最適化された情報量基準を比較し、最適な混合数を最適なモデルとして選択する最適分布選択手段と、を備える。【選択図】図１
2010170422.tif 000002
【特許請求の範囲】
【請求項１】
混合数の候補値から最適化が行われていない候補値を選択する混合数設定手段と、
前記混合数設定手段で選択された混合数を用いてデータのクラスタアサイメントを初期化する初期化手段と、
前記初期化手段にて初期化された前記データにおけるクラスタアサイメントの期待値を計算する期待値計算手段と、
前記期待値計算手段で計算されたクラスタアサイメントの期待値を用いて、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、各コンポーネントに関して最適とするコンポーネントの種類とパラメータを算出する最適化手段と、
前記最適化手段にて最適化された分布に関する情報量基準の値を計算する情報量基準計算手段と、
前記情報量基準計算手段で計算された情報量基準の最適性を判定し、最適でないと判定されれば、前記期待値計算手段にて再度期待値計算を行わせる最適性判定手段と、
前記最適性判定手段にて最適と判定されたデータにおける混合数の候補値の全てについて、情報量基準の期待値を最適化するパラメータが算出されているかを判定し、全候補値が最適化されていなければ前記混合数設定手段へとデータを送信する混合数判定手段と、
各混合数に対して最適化されたパラメータに関する情報量基準を比較し、最適な混合数を最適なモデルとして選択する最適分布選択手段と、を備えることを特徴とするモデル選択装置。
【請求項２】
前記情報量基準は、ＭＤＬ基準であることを特徴とする請求項１記載のモデル選択装置。
【請求項３】
多次元データに対して独立性の異なる複数の分布の混合分布に関し、混合の数および各コンポーネントの独立性を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項４】
複数の異なる分布の混合分布に関して、混合の数および各コンポーネントの分布の種類を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項５】
異なる種類の確率的回帰関数の混合分布に関して、混合の数および各コンポーネントに関する回帰関数を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項６】
異なる種類の確率的分類関数の混合分布に関して、混合の数および各コンポーネントに関する分類関数を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項７】
異なる隠れ状態数を持つ隠れマルコフモデルの混合分布に関して、混合の数および各コンポーネントに関する隠れ状態数を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項８】
異なる混合数を持つ混合分布の混合分布に関して、混合の数および各コンポーネントに関する混合数を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項９】
異なる次元数を持つ確率的次元圧縮モデルの混合分布に関して、混合の数および各コンポーネントに関する圧縮次元数を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項１０】
異なる時系列モデルの混合分布に関して、混合の数および各コンポーネントに関する時系列モデルの種類を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項１１】
異なる次数を持つ時系列モデルの混合分布に関して、混合の数および各コンポーネントに関する時系列モデルの次数を最適化することを特徴とする請求項１又は２記載のモデル選択装置。
【請求項１２】
混合数の候補値から最適化が行われていない候補値を選択する混合数設定ステップと、
前記混合数設定ステップで選択された混合数を用いてデータのクラスタアサイメントを初期化する初期化ステップと、
前記初期化ステップにて初期化された前記データにおけるクラスタアサイメントの期待値を計算する期待値計算ステップと、
前記期待値計算ステップで計算されたクラスタアサイメントの期待値を用いて、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、各コンポーネントに関して最適とするコンポーネントの種類とパラメータを算出する最適化ステップと、
前記最適化ステップにて最適化された分布に関する情報量基準の値を計算する情報量基準計算ステップと、
前記情報量基準計算ステップで計算された情報量基準の最適性を判定し、最適でないと判定されれば、前記期待値計算ステップにて再度期待値計算を行わせる最適性判定ステップと、
前記最適性判定ステップにて最適と判定されたデータにおける混合数の候補値の全てについて、情報量基準の期待値を最適化するパラメータが算出されているかを判定し、全候補値が最適化されていなければ前記混合数設定ステップから処理を繰り返させる混合数判定ステップと、
各混合数に対して最適化されたパラメータに関する情報量基準を比較し、最適な混合数を最適なモデルとして選択する最適分布選択ステップと、を備えることを特徴とするモデル選択装置の選択方法。
【請求項１３】
混合数の候補値から最適化が行われていない候補値を選択する混合数設定処理と、
前記混合数設定処理で選択された混合数を用いてデータのクラスタアサイメントを初期化する初期化処理と、
前記初期化処理にて初期化された前記データにおけるクラスタアサイメントの期待値を計算する期待値計算処理と、
前記期待値計算処理で計算されたクラスタアサイメントの期待値を用いて、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、各コンポーネントに関して最適とするコンポーネントの種類とパラメータを算出する最適化処理と、
前記最適化処理にて最適化された分布に関する情報量基準の値を計算する情報量基準計算処理と、
前記情報量基準計算処理で計算された情報量基準の最適性を判定し、最適でないと判定されれば、前記期待値計算処理にて再度期待値計算を行わせる最適性判定処理と、
前記最適性判定処理にて最適と判定されたデータにおける混合数の候補値の全てについて、情報量基準の期待値を最適化するパラメータが算出されているかを判定し、全候補値が最適化されていなければ前記混合数設定処理から処理を繰り返させる混合数判定処理と、
各混合数に対して最適化されたパラメータに関する情報量基準を比較し、最適な混合数を最適なモデルとして選択する最適分布選択処理と、をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報量基準の期待値から高速なモデル選択を実現するモデル選択装置、モデル選択装置の選択方法及びプログラムに関する。
【背景技術】
【０００２】
混合分布は、複数の分布によってデータの分布を表現するモデルであり、産業上データモデル化に対して重要なモデルである。このようなモデルには、例えば混合正規分布や混合隠れマルコフモデルなど様々なモデルが存在する。
【０００３】
一般的に、混合の数と各コンポーネントの種類が特定された場合には、ＥＭアルゴリズム（例えば非特許文献１）などの公知の技術を利用して、分布のパラメータを特定することが可能である。
【０００４】
パラメータを推定するためには、混合の数や各コンポーネントの種類を決定する必要があり、このような、モデルの形を特定する問題は、一般的に「モデル選択問題」や「システム同定問題」と呼ばれ、信頼性のあるモデルを構築するために極めて重要な問題であり、そのための技術が従来より提案されている。
【０００５】
混合分布のモデル選択問題では、最小記述長（ＭＤＬ）（例えば非特許文献２）、赤池情報量基準（ＡＩＣ）（例えば非特許文献３）、交差検定など、複数のモデルの候補に対して、モデル選択の基準を計算し、その基準が最適となるモデルを選択する方針がとられる。情報量基準を最適化するモデルは、例えばＭＤＬ基準の場合は真の分布への一致性や、ＡＩＣの場合は予測誤差最小など、優れた統計的性質を持つことが知られている。
【０００６】
ところが、従来技術では、混合の数を最適化することは可能であったが、混合しているコンポーネントの種類までも最適化することは、計算量の問題で事実上不可能だった。
【０００７】
計算量の問題について、混合多項式曲線の選択問題にて説明する。多項式曲線は、直線（１次曲線）、２次曲線、３次曲線と、複数の次数が存在する。
【０００８】
混合数を１からCmaxまで、曲線の次数を1からDmaxまで探索して最適なモデルを選択する場合、従来技術では、直線と２次曲線が２つ（混合数は３）、３次曲線が３つと４次曲線が２つ（混合数は５）など全てのモデルの候補に対して情報量基準を計算する必要がある。このモデルの候補の数は、例えばCmax=10、Dmax=10とした場合には約十万通り、Cmax=20、Dmax=20とした場合には数百億通りとなり、探索すべきモデルの複雑さと共に指数的に増加する。
【０００９】
そこで、非特許文献４では、最初に混合の数の最適化をし、次に種類の最適化を行う２段階の技術が提案されている。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Christopher M.Bishop著，「Pattern Recognition And Machine Learning」，New edition版，Springer-Verlag，２００６年８月１７日，ｐ．４３８−４４１
【非特許文献２】山西健司、韓太舜著，「ＭＤＬ入門：情報理論の立場から」，人工知能学会誌，１９９２年５月，第７巻，第３号，ｐ．４２７−４３４
【非特許文献３】下平英寿著、他３名，「モデル選択  予測・検定・推定の交差点  統計科学のフロンティア（３）」，岩波書店，２００４年１２月，ｐ．２４−２５
【非特許文献４】Yue Wang,Lan Luo,Matthew T.Freedman,and Sun-Yuan Kung,"Probabilistic Principal Component Subspaces:A Hierarchical Finite Mixture Model for Data Visualization",IEEE TRANSACTIONS ON NEURAL NETWORKS, MAY 2000,VOL.11,NO.3,p.625-636
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、非特許文献４に記載されるような経験則に基づく方法では、情報量基準の優れた統計的性質が失われてしまっていた。
【００１２】
そこで本発明は、上記問題点に鑑みてなされたもので、混合分布のモデル選択問題に対して、高速にモデル選択を実現することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明におけるモデル選択装置は、混合数の候補値から最適化が行われていない候補値を選択する混合数設定手段と、混合数設定手段で選択された混合数を用いてデータのクラスタアサイメントを初期化する初期化手段と、初期化手段にて初期化されたデータにおけるクラスタアサイメントの期待値を計算する期待値計算手段と、期待値計算手段で計算されたクラスタアサイメントの期待値を用いて、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、各コンポーネントに関して最適とするコンポーネントの種類とパラメータを算出する最適化手段と、最適化手段にて最適化された分布に関する情報量基準の値を計算する情報量基準計算手段と、情報量基準計算手段で計算された情報量基準の最適性を判定し、最適でないと判定されれば、期待値計算手段にて再度期待値計算を行わせる最適性判定手段と、最適性判定手段にて最適と判定されたデータにおける混合数の候補値の全てについて、情報量基準の期待値を最適化するパラメータが算出されているかを判定し、全候補値が最適化されていなければ混合数設定手段へとデータを送信する混合数判定手段と、各混合数に対して最適化されたパラメータに関する情報量基準を比較し、最適な混合数を最適なモデルとして選択する最適分布選択手段と、を備えることを特徴とする。
【００１４】
また、本発明におけるモデル選択装置の選択方法は、混合数の候補値から最適化が行われていない候補値を選択する混合数設定ステップと、混合数設定ステップで選択された混合数を用いてデータのクラスタアサイメントを初期化する初期化ステップと、初期化ステップにて初期化されたデータにおけるクラスタアサイメントの期待値を計算する期待値計算ステップと、期待値計算ステップで計算されたクラスタアサイメントの期待値を用いて、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、各コンポーネントに関して最適とするコンポーネントの種類とパラメータを算出する最適化ステップと、最適化ステップにて最適化された分布に関する情報量基準の値を計算する情報量基準計算ステップと、情報量基準計算ステップで計算された情報量基準の最適性を判定し、最適でないと判定されれば、期待値計算ステップにて再度期待値計算を行わせる最適性判定ステップと、最適性判定ステップにて最適と判定されたデータにおける混合数の候補値の全てについて、情報量基準の期待値を最適化するパラメータが算出されているかを判定し、全候補値が最適化されていなければ混合数設定ステップから処理を繰り返させる混合数判定ステップと、各混合数に対して最適化されたパラメータに関する情報量基準を比較し、最適な混合数を最適なモデルとして選択する最適分布選択ステップと、を備えることを特徴とする。
【００１５】
また、本発明におけるプログラムは、混合数の候補値から最適化が行われていない候補値を選択する混合数設定処理と、混合数設定処理で選択された混合数を用いてデータのクラスタアサイメントを初期化する初期化処理と、初期化処理にて初期化されたデータにおけるクラスタアサイメントの期待値を計算する期待値計算処理と、期待値計算処理で計算されたクラスタアサイメントの期待値を用いて、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、各コンポーネントに関して最適とするコンポーネントの種類とパラメータを算出する最適化処理と、最適化処理にて最適化された分布に関する情報量基準の値を計算する情報量基準計算処理と、情報量基準計算処理で計算された情報量基準の最適性を判定し、最適でないと判定されれば、期待値計算処理にて再度期待値計算を行わせる最適性判定処理と、最適性判定処理にて最適と判定されたデータにおける混合数の候補値の全てについて、情報量基準の期待値を最適化するパラメータが算出されているかを判定し、全候補値が最適化されていなければ混合数設定処理から処理を繰り返させる混合数判定処理と、各混合数に対して最適化されたパラメータに関する情報量基準を比較し、最適な混合数を最適なモデルとして選択する最適分布選択処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明により、混合分布のモデル選択問題に対して、情報量基準の統計的性質を保持したまま、高速にモデル選択を実現することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係るモデル選択装置の構成図である。
【図２】本発明の実施形態に係るモデル選択装置のフローチャート図である。
【発明を実施するための形態】
【００１８】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１９】
［第１の実施の形態］
図１は、本発明の実施形態におけるモデル選択装置の構成図である。モデル選択装置１００は、データ入力部１０１と、混合数設定部１０２と、分布初期化処理部１０３と、クラスタアサイメント期待値計算処理部１０４と、期待情報量基準最適化処理部１０５と、情報量基準計算処理部１０６と、最適性判定処理部１０７と、混合数ループ終了判定処理部１０８と、最適分布選択処理部１０９と、モデル選択結果出力装置１１０と、を備えている。
【００２０】
モデル選択装置１００は、入力データ１１１が入力されると、入力データ１１１に対して混合の数及び各コンポーネントの種類を最適化し、モデル選択結果１１２として出力する。
【００２１】
データ入力部１０１は、入力データ１１１を入力するための機能部である。また、入力データ１１１には、混合されるコンポーネントの種類や、混合数の候補値など、モデル選択に必要なパラメータが含まれる。
【００２２】
混合数設定部１０２では、モデルの混合数を入力された混合数の候補値から選択して設定する。以下では、設定された混合数をKと表記する。
【００２３】
分布初期化処理部１０３では、推定のための初期化処理を実施する。なお、初期化は任意の方法によって実施すればよい。
【００２４】
クラスタアサイメント期待値計算処理部１０４では、入力された各データが混合分布のどのコンポーネントに属しているか（クラスタアサイメントと呼ぶ）の期待値を計算する。
【００２５】
期待情報量基準最適化処理部１０５では、計算されたクラスタアサイメントの期待値を利用して、各コンポーネントに関して期待情報量基準を最適とするコンポーネントの種類とその時のパラメータを算出する。
【００２６】
ここで、期待情報量基準とは、クラスタアサイメントの事後確率に対して情報量基準の期待値を取った量である。この処理において重要な点は、各コンポーネントは個々に最適化を行なう事が可能であり、コンポーネント全体での組合せは考慮する必要がない点である。これにより、混合数の候補数やコンポーネントの種類数が増加し、モデルの組合せが指数的に増加する場合であっても、混合数の候補数およびコンポーネントの種類数の線形オーダーでモデル選択を行なう事が可能となる。なお、コンポーネント単位の最適化に関しては、任意の最適化手法を用いる事が可能である。
【００２７】
情報量基準計算処理部１０６では、コンポーネントの種類およびパラメータが最適化されたモデルに対して、情報量基準の計算を行う。
【００２８】
最適性判定処理部１０７では、本ループで計算された情報量基準の値と、前のループで計算された情報量基準の値を比較して、最適化処理が収束されているかを判定する。収束されていなければ、クラスタアサイメント期待値計算処理部１０４からループさせる。
【００２９】
混合数ループ終了判定処理部１０８では、入力された全ての混合数の候補値に対して最適な情報量基準の値が計算されているかを判定する。最適でないと判定された場合には、混合数設定部１０２からループさせる。
【００３０】
最適分布選択処理部１０９では、全ての混合数の候補値に対して計算された情報量基準の値を比較し、情報量基準が最適である混合数を選択する。この混合数に対して、各コンポーネントの種類およびパラメータはすでに最適化されているため、それを最適な分布として選択する。
【００３１】
モデル選択結果出力部１１０では、最適な混合数、コンポーネントの種類、パラメータなどをモデル選択結果１１２として出力する。
【００３２】
図２は、本発明の実施形態におけるフローチャート図である。本実施の形態に関するモデル選択装置１００は、概略以下のように動作する。
【００３３】
まず、データ入力部１０１に入力データ１１１が入力されると（ステップＳ１００）、混合数設定部１０２において、入力された混合数の候補値のうち、まだ最適化の行なわれていない混合数を選択し設定する（ステップＳ１０１）。
【００３４】
次に、初期化処理部１０３にて、混合数設定部１０２において指定された混合数に対して、データのクラスタアサイメントを初期化する（ステップＳ１０２）。
【００３５】
次に、クラスタアサイメント期待値計算処理部１０４において、指定された混合数の最適化途中の分布に対してデータのクラスタアサイメントの期待値を計算する（ステップＳ１０３）。なお、初期化直後は分布の最適化が始まっておらず、この処理はスキップされる。
【００３６】
次に、期待情報量基準最適化処理部１０５において、各コンポーネントに対して、計算されたクラスタアサイメントの期待値を利用して、情報量基準のクラスタアサイメントの事後確率に関する期待値を計算し、それを最適とするコンポーネントの種類とパラメータを算出する（ステップＳ１０４）。
【００３７】
次に、情報量基準計算処理部１０６において、ステップＳ１０４で最適化された分布に関する情報量基準の値を計算する（ステップＳ１０５）。
【００３８】
次に、最適性判定処理部１０７において、ステップＳ１０５で計算された情報量基準の値と、ひとつ前のループで計算された情報量基準の値を比較し、最適化が終了しているかどうかを判定する（ステップＳ１０６）。
【００３９】
最適でないと判定された場合には、ステップＳ１０３からステップＳ１０６の処理を繰り返す。最適と判定された場合には、混合数ループ終了判定処理部１０８において、混合数の候補値の全てに対して最適化が完了し、情報量基準の値が計算されているかを判定する（ステップＳ１０７）。全ての候補に対して最適化が完了していない場合には、ステップＳ１０１からステップＳ１０７の処理を繰り返す。
【００４０】
全ての候補に対して最適化が完了した場合には、最適分布選択処理部１０９において、各混合数に対する最適化された情報量基準の値を比較し、その値が最適な混合数を最適なモデルとして選択する（ステップＳ１０８）。なお、選択されたモデルに関しては、ステップＳ１０３からステップＳ１０６の処理において、コンポーネントの種類およびパラメータが最適化されており、最適な混合数およびコンポーネントの種類を持った分布が取得される。
【００４１】
次に、モデル選択結果出力装置１１０において、モデル選択結果１１２を出力する（ステップＳ１０９）。
【００４２】
以下では、本発明で提案するモデル選択装置が適用可能なモデルについて、具体的に説明する。
【実施例１】
【００４３】
情報量基準としてＭＤＬ基準を利用する場合の一例について説明する。
【００４４】
まず、学習すべき混合分布は、入力されたデータに対応する確率変数Xに対して（数１）で表される。ただし、πkはk番目のコンポーネントに関する混合比を表し、ηkはk番目のコンポーネントに関する分布のパラメータを表し、θ=[π,η1,…,ηK]とする。ここで、π=(π1,…,πK)である。各コンポーネントの分布P(X;ηk)は、コンポーネント候補の集合Sの元であり、例えば（数１）は正規分布と指数分布など、複数の異なる分布を混合させる事も可能である。
【００４５】
【数１】
2010170422.tif 000003
【００４６】
次に、ＭＤＬ基準とは、（数２）で表されるデータの記述長とモデルの記述長の総和を最小化するモデルを最適なモデルとして選択するための基準である。情報量基準としてＭＤＬ基準を利用する場合には、情報量基準計算処理部１０６にＭＤＬ基準の計算方法が記憶されており、（数２）によって分布のＭＤＬ基準の値が計算される。
【００４７】
【数２】
2010170422.tif 000004
【００４８】
ただし、lは記述長関数を、xN=(x1,…,xN)は入力されたデータセットを、Mはモデルを表す。xiはデータ１点を表し、Xはデータに対応する確率変数とする。例えば、モデルMによって決まるXの分布をP(X；θ)とすると（θは分布のパラメータ）、l(xN|M)は（数３）や（数４）のように計算する事が可能である。
【００４９】
【数３】
2010170422.tif 000005
【００５０】
【数４】
2010170422.tif 000006
【００５１】
ただし、logは底が２の対数とし、lnは自然対数とする。また、＾はパラメータが最尤推定量である事を表すとする。また、I(θ)はフィッシャー情報行列である。なお、記述長関数l(xN|M)およびl(M)は、Mの種類によって様々な記述方法が提案されており、本発明の実施形態においては、任意の記述方法を利用することが可能である。
【００５２】
データxiに対するクラスタアサイメントをziとし、zN=(z1, …, zN)とする。zi=(zi1, …,ziK)であり、zikはxiがk番目のクラスタに属する場合には１を、k番目のクラスタに属さない場合には0をとる変数である。zNは実際には観測することができないため、混合分布の学習ではしばしば隠れ変数と呼ばれる。
【００５３】
クラスタアサイメント期待値計算処理部１０４には、データxNが与えられた上でのクラスタアサイメントの事後確率に関する期待値の計算方法が記載されている。なお、クラスタアサイメントの事後確率は、P(X;θ)によって異なり、公知の任意の方法によって計算する事が可能である。以下では、Ez[A]は引数Aのクラスタアサイメントの事後確率に関する期待値を表す。
【００５４】
xNとzNの両者を記述する場合の記述長は、（数５）によって計算される。
【００５５】
【数５】
2010170422.tif 000007
【００５６】
ここで、l(xN,zN;M)は、l(xN|M)およびl(M)と同じく任意の記述長関数を利用することが可能である。例としては、（数６）や（数７）などが挙げられる。
【００５７】
【数６】
2010170422.tif 000008
【００５８】
【数７】
2010170422.tif 000009
【００５９】
ただし、Mkはηkの次元であり、Nkはk番目のクラスタに属するデータの個数であり、（数８）で計算可能である。また、P(zi;πk)はi番目のデータに関するクラスタアサイメントが１または０をとる確率を表す。
【００６０】
【数８】
2010170422.tif 000010
【００６１】
期待記述長最適化処理部１０５で計算される期待記述長とは、l(xN,zN;M)をクラスタアサイメントの事後確率に関して期待値をとった量であり、Ez[l(xN,zN;M)]と計算される。期待記述長を最適とするパラメータ及びモデルは、各コンポーネント間に依存関係がないため、コンポーネント毎に最適化が可能となる。なお、コンポーネント毎の分布のパラメータ推定方法に関しては、公知の任意の技術を利用することが可能である。
【実施例２】
【００６２】
（独立性の異なる複数の混合分布）
本実施形態におけるモデル選択装置を利用すると、多次元データに対して独立性の異なる複数の分布の混合分布に関し、混合の数および各コンポーネントの独立性を高速に最適化する事が可能である。
【００６３】
例えば、３次元の正規分布を例に考えると、３次元正規分布では、全次元が独立、１次元目のみが独立、２次元目のみが独立、３次元目のみが独立、全次元が従属、という５種類の独立性が考えられ、異種多様な独立性を持つ分布の混合分布を算出することが可能である。
【００６４】
本実施形態におけるモデル選択装置を利用すると、多次元正規分布に関わらず、任意の多次元分布に関して適用することが可能である。
【実施例３】
【００６５】
（異種多様な複数の混合分布）
本実施形態におけるモデル選択装置を利用すると、複数の異なる分布の混合分布に関して、混合の数および各コンポーネントの分布の種類を最適化する事が可能である。
【００６６】
例えば、正規分布と指数分布を混合させる分布の候補とした場合には、正規分布と指数分布の数が最適化された混合分布を計算する事が可能である。
【００６７】
本実施形態におけるモデル選択装置を利用すると、正規分布と指数分布の例に関わらず、任意の複数種類の分布に関して適用することが可能である。
【実施例４】
【００６８】
（異なる種類の確率的な回帰関数の混合分布）
本実施形態におけるモデル選択装置を利用すると、異なる種類の確率的回帰関数の混合分布に関して、混合の数および各コンポーネントに関する回帰関数を最適化する事が可能である。
【００６９】
例えば、多項式曲線（多次元の場合は曲面）による回帰曲線の混合モデルを考える。この場合、各コンポーネントの候補としては、次数の異なる多項式曲線が考えられる。本発明で提案するモデル選択装置を利用すると、混合の数と各コンポーネントの多項式曲線の次数を最適化する事が可能である。
【００７０】
本実施形態におけるモデル選択装置を利用すると、多項式曲線の例に関わらず、任意の複数種類の回帰関数の混合モデルに関して適用することが可能である。
【実施例５】
【００７１】
（異なる種類の確率的な識別関数の混合分布）
本実施形態におけるモデル選択装置を利用すると、異なる種類の確率的分類関数の混合分布に関して、混合の数および各コンポーネントに関する分類関数を最適化する事が可能である。
【００７２】
例えば、線形判別関数、２次判別関数など次数の異なる分類関数の混合モデルを考える。この場合、各コンポーネントの候補としては、次数の異なる分類関数が考えられる。
【００７３】
本実施形態におけるモデル選択装置を利用すると、混合の数と各コンポーネントの分類関数次数を最適化する事が可能である。また、次数の異なる分類関数の例に関わらず、任意の複数種類の分類関数の混合モデルに関して適用することが可能である。
【実施例６】
【００７４】
（異なる隠れ状態数を持つ隠れマルコフモデルの混合分布）
本実施形態におけるモデル選択装置を利用すると、異なる隠れ状態数を持つ隠れマルコフモデルの混合分布に関して、混合の数および各コンポーネントに関する隠れ状態数を最適化する事が可能である。
【実施例７】
【００７５】
（異なる混合数を持つ混合分布の混合分布）
本実施形態におけるモデル選択装置を利用すると、異なる混合数を持つ混合分布の混合分布に関して、混合の数および各コンポーネントに関する混合数を最適化する事が可能である。
【００７６】
例えば、正規分布の混合分布の混合分布を考える。本手法を用いると、全体としての混合数と同時に、各コンポーネントに関する混合数を最適化する事が可能である。
【００７７】
本実施形態におけるモデル選択装置を利用すると、正規分布の例に関わらず、任意の混合分布の混合モデルに関して適用することが可能である。
【実施例８】
【００７８】
（異なる次元を持つ確率的次元圧縮モデルの混合分布）
本実施形態におけるモデル選択装置を利用すると、異なる次元数を持つ確率的次元圧縮モデルの混合分布に関して、混合の数および各コンポーネントに関する圧縮次元数を最適化する事が可能である。
【００７９】
例えば、確率的主成分分析の混合分布を考える。本手法を用いると、混合数と同時に、各コンポーネントに関する主成分の数（圧縮次元）を最適化する事が可能である。
【００８０】
本実施形態におけるモデル選択装置を利用すると、確率的主成分分析の例に関わらず、任意の確率的次元圧縮モデルの混合モデルに関して適用することが可能である。
【実施例９】
【００８１】
（異なる時系列モデルの混合分布）
本実施形態におけるモデル選択装置を利用すると、異なる時系列モデルの混合分布に関して、混合の数および各コンポーネントに関する時系列モデルの種類を最適化する事が可能である。
【００８２】
例えば、自己回帰モデル、移動平均自己回帰モデル、季節変動モデルといった複数の時系列モデルを候補とし、各モデル候補の数が最適化されたモデルを算出する事が可能である。
【００８３】
本実施形態におけるモデル選択装置を利用すると、上記の時系列モデルに関わらず、任意の時系列モデルに適用可能である。
【実施例１０】
【００８４】
（異なる次数を持つ時系列モデルの混合分布）
本実施形態におけるモデル選択装置を利用すると、異なる次数を持つ時系列モデルの混合分布に関して、混合の数および各コンポーネントに関する時系列モデルの次数を最適化する事が可能である。
【００８５】
例えば、自己回帰モデルの混合分布を考えると、混合数と同時に、各自己回帰モデルに関する次数を最適化する事が可能である。また例えば、状態空間モデルを考えると、混合数と同時に、各コンポーネントに関する状態量の数を最適化する事が可能となる。
【００８６】
本実施形態におけるモデル選択装置を利用すると、上記の時系列モデルに関わらず、任意の時系列モデルに適用可能である。
【００８７】
以上、実施の形態を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら実施の形態や具体例に様々な修正および変更が可能である。
【符号の説明】
【００８８】
１０１    データ入力部
１０２    混合数設定部
１０３    初期化処理部
１０４    クラスタアサイメント期待値計算処理部
１０５    期待情報量基準最適化処理部
１０６    情報量基準計算処理部
１０７    最適性判定処理部
１０８    混合数ループ終了判定処理部
１０９    最適分布選択処理部
１１０    モデル選択結果出力部
【図１】
2010170422.tif 000011
【図２】
2010170422.tif 000012