(57)【要約】      （修正有）【課題】混合モデリングのための初期化方法及び初期化システムを提供する。【解決手段】初期化方法は、混合モデリングのための複数の初期ポイントを生成すること１０２と、混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もること１０３と、対応する混合モデルを生成するために、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行すること１０４と、最良の精度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとして選択すること１０５と、を含む。【選択図】図１
2016194911.tif 000002
【特許請求の範囲】
【請求項１】
混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュールと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュールと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行するように構成されたモデリング・モジュールと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュールと、
を含む混合モデリングのための初期化システム。
【請求項２】
前記混合モデリングは、エキスパートの階層的混合モデリングを含む請求項１に記載の初期化システム。
【請求項３】
前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む請求項２に記載の初期化システム。
【請求項４】
前記モデルの複雑性は、エキスパートの数の対数形式で表される請求項２または３に記載の初期化システム。
【請求項５】
前記選択モジュールは、更に、尤度に基づいて、前記混合モデルの各々の精度を見積もり、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすように構成されている請求項１に記載の初期化システム。
【請求項６】
前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュールと、
前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、
を更に含む請求項１に記載の初期化システム。
【請求項７】
前記第２の見積りモジュールは、更に、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もるように構成されている請求項６に記載の初期化システム。
【請求項８】
前記第２の見積りモジュールは、更に、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の繰り返し回数を、前記第２の有効な繰り返し回数とみなすように構成されている請求項７に記載の初期化システム。
【請求項９】
混合モデリングのための複数の初期ポイントを生成することと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行することと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することと、
を含む混合モデリングのための初期化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の様々な実施形態は、機械学習の分野に関し、より具体的には混合モデリングのための初期化方法及び初期化システムに関する。
【背景技術】
【０００２】
混合モデルは、大きなグループ内でのサブグループの存在を表す確率モデルである。通常、大きなグループの観察結果の確率分布の混合分布に、混合モデルは一致する。混合モデルの例として、エキスパートの階層的混合（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｍｉｘｔｕｒｅ  ｏｆ  Ｅｘｐｅｒｔｓ（ＨＭＥ））モデルが、例えば、電力需要や販売レベルの予測等の多くの事業レベル機械学習アプリケーションに広く適用されてきた。ＨＭＥは、一般的な線形モデルより柔軟で、また、ＨＭＥは、確率的な規則に基づいて特徴空間を分割することと、区分的ローカル線形エキスパートを採用することの重要な利点は残している。
【０００３】
ＨＭＥモデリングの課題は、ＨＭＥモデリングでは大量のパラメータと階層構造を学習する必要があるという点である。従来技術では、周辺対数尤度の解析近似を示す変分推理（ｖａｒｉａｔｉｏｎａｌ  ｉｎｆｅｒｅｎｃｅ（ＶＩ））が、ＨＭＥモデリングに効果的に適用されうる。しかし、「初期化に敏感ということ」が、ＨＭＥモデリングのＶＩの効果に影響を及ぼす障害になる。
【０００４】
従来技術の混合モデリングは、常に、ランダムな初期化手順、すなわち、ランダムにモデル構造とモデルパラメータを生成するということを採用する。その後、混合モデルを生成するために、トレーニング・データセットを使って、モデル構造とモデルパラメータとが学習される。初期化手順がランダムなので、望ましい結果は、長期の多くの試みを通じてのみ、導出されうる。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示の目的は、従来技術の上記課題の少なくとも一部を解決するために、混合モデリングのための初期化方法及び初期化システムを提供することを含む。
【０００６】
本開示の１つの観点によれば、混合モデリングのための複数の初期ポイントを生成することと、混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行することと、最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することと、を含む混合モデリングのための初期化方法が提供される。
【０００７】
本開示の代表的な実施形態によれば、前記混合モデリングは、エキスパートの階層的混合モデリングを含む。
【０００８】
本開示の代表的な実施形態によれば、前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む。
【０００９】
本開示の代表的な実施形態によれば、前記モデルの複雑性は、エキスパートの数の対数形式で表される。
【００１０】
本開示の代表的な実施形態によれば、最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することは、尤度に基づいて、前記混合モデルの各々の精度を見積もることと、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすことと、を更に含む。
【００１１】
本開示の代表的な実施形態によれば、前記方法は、前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることと、前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算することと、を更に含む。
【００１２】
本開示の代表的な実施形態によれば、前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もることを更に含む。
【００１３】
本開示の代表的な実施形態によれば、前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の前記繰り返し回数を、前記第２の有効な繰り返し回数とみなすことを更に含む。
【００１４】
本開示の他の観点によれば、混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュールと、混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュールと、対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行するように構成されたモデリング・モジュールと、最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュールと、を含む混合モデリングのための初期化システムが提供される。
【００１５】
本開示の代表的な実施形態によれば、前記混合モデリングは、エキスパートの階層的混合モデリングを含む。
【００１６】
本開示の代表的な実施形態によれば、前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む。
【００１７】
本開示の代表的な実施形態によれば、前記モデルの複雑性は、エキスパートの数の対数形式で表される。
【００１８】
本開示の代表的な実施形態によれば、前記選択モジュールは、更に、尤度に基づいて、前記混合モデルの各々の精度を見積もり、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすように構成されている。
【００１９】
本開示の代表的な実施形態によれば、前記システムは、前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュールと、前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、を更に含む。
【００２０】
本開示の代表的な実施形態によれば、前記第２の見積りモジュールは、更に、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もるように構成されている。
【００２１】
本開示の代表的な実施形態によれば、前記第２の見積りモジュールは、更に、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の前記繰り返し回数を、前記第２の有効な繰り返し回数とみなすように構成されている。
【００２２】
本開示の様々な実施形態の技術的解決方法では、初期化における混合モデリングの繰り返し回数は、モデルの複雑性に基づいて見積もられ、初期化に対するモデリング手順の感度を軽減できる。したがって、ランダムな初期化ストラテジーに比べ、モデリングの精度を高めることができる。また、モデルの複雑性と混合モデリングの最適化目的関数とを組み合わせた場合、モデリングの精度を更に高めることができる。
【００２３】
代表的な実施形態の以下の詳細な説明を、添付図面と合わせて読めば、上記及び他の目的と、特徴と、利点とが明らかになるだろう。
【図面の簡単な説明】
【００２４】
【図１】本開示の１つの実施形態による初期化方法を模式的に示すフロー図である。
【図２】繰り返し回数を見積もるステップを模式的に示すフロー図である。
【図３】本開示の１つの実施形態による初期化システムを模式的に示すブロック図である。
【図４】繰り返し回数見積りモジュールを模式的に示すブロック図である。
【発明を実施するための形態】
【００２５】
以下で、添付図面のいくつかの代表的な実施形態に関して、本開示の原理と方法とが述べられる。これらの実施形態は、当業者がより理解し、そして本開示を実施可能なように述べられただけであって、どの手法でも本開示の範囲を限定することを意図してはいないと理解されるべきである。
【００２６】
以下で、本開示による混合モデリングのための初期化方法を、図１と図２と合わせて説明する。
【００２７】
図１は、本開示の１つの実施形態による初期化方法のフロー図を模式的に示す。図１に見られるように、混合モデリングのための初期化方法は、一般に、ステップ１０２で混合モデリングのための複数の初期ポイントを生成することと、ステップ１０３で混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、ステップ１０４で対応する混合モデルを生成するために、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行することと、ステップ１０５で最良の精度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとして選択することと、を含んでも良い。
【００２８】
更に、本開示による初期化方法は、トレーニング・データセットを取得するステップ１０１も含んでも良い。ステップ１０１で取得したトレーニング・データセットを、ステップ１０３での混合モデリングの有効な繰り返し回数の見積りと、対応する混合モデルを生成するための、ステップ１０４での混合モデリングの実行に使用しても良い。本開示による初期化方法は、次のステップも含んでも良い。ステップ１０６では、ステップ１０５で取得した最適な初期化ポイントを使用して、混合モデルを初期化する。
【００２９】
１つの代表的な実施形態によれば、混合モデリングは、エキスパートの階層的混合（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｍｉｘｔｕｒｅ  ｏｆ  Ｅｘｐｅｒｔｓ（ＨＭＥ））モデリング及びガウス混合モデリング等を含んでも良い。ＨＭＥモデリングとガウス混合モデリングとは、その道で知られた混合モデリング技術である。本開示は、それらの初期化手順を改善することを目的としている。初期化手順以外の他のステップは、ここでは詳述しない。
【００３０】
ステップ１０１では、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータと変分分布確率とを含んでも良い。例えば、ＨＭＥモデリングのＮ１個の初期ポイントは、ランダムに生成されても良く、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータθｍと変分分布確率ｑｍとを含む。ここで、ｍ＝１，・・・，Ｎ１である。
【００３１】
図２は、有効な繰り返し回数を見積もるステップ１０３のフロー図を模式的に示す。図２に見られるように、有効な繰り返し回数を見積もるステップ１０３は、モデルの複雑性に基づいて、ステップ２０１で第１の有効な繰り返し回数を見積もることと、ステップ２０２で混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることと、ステップ２０３で混合モデリングの繰り返し回数として、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を計算することと、を含んでも良い。
【００３２】
図２は、有効な繰り返し回数を見積もるステップ１０３の例を示すのみである。他の実施形態では、有効な繰り返し回数を、他の手法で見積もっても良い。例えば、ある実施形態では、ステップ２０１で、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることのみが許可され、第１の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。他の実施形態でも、ステップ２０２で、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることのみが許可され、第２の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。
【００３３】
代表的な実施形態によれば、ＨＭＥモデリングを初期化する場合、ステップ２０１のモデルの複雑性は、エキスパートの数の対数形式で表されても良い。例えば、完全学習手順における繰り返し回数の最大値は、Ｎ２に設定されても良い。期待値最大化（ｅｘｐｅｃｔａｔｉｏｎ  ｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ））アルゴリズムでは、ｉ回目のＥＭ繰り返し後のモデルの複雑性ＣｉMは、式（１）で表されても良い。
【数１】
2016194911.tif 000003
ここで、ｉ＝１，２，・・・，Ｎ２であり、Ｅはエキスパートの数を示す。
【００３４】
代表的な実施形態によれば、２０１でのモデルの複雑性に基づいて第１の有効な繰り返し回数を見積もる方法は、式（２）で表されても良い。
【数２】
2016194911.tif 000004
【００３５】
式（２）では、各モデルの複雑性ＣｉMが平均され、次に、丸め演算
【数３】
2016194911.tif 000005
で、平均値が処理されて、第１の有効な繰り返し回数ｇを取得する。
【００３６】
本開示の代表的な実施形態によれば、ステップ２０２で、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることは、最適化目的関数の目的値と、最適化目的関数の最大値と最小値の差との関係に基づいて、第２の有効な繰り返し回数を見積もることを更に含む。例えば、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。
【００３７】
例えば、最適化目的関数を、式（３）で定義しても良い。式（３）は従来技術で開示されている。その具体的な定義は、次の参考文献で述べられているであろう。２０１４年、人工知能と統計（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  ａｎｄ  Ｓｔａｔｉｓｔｉｃｓ（ＡＩＳＴＡＴＳ））の第１７回国際学会の会報「完全自動ベイズ的区分的まばら線形モデル」エトウ・Ｒ、フジマキ・Ｒ、サトシ・モリナガ、ヒロシ・タマノ
【数４】
2016194911.tif 000006
ここで、
【数５】
2016194911.tif 000007
である。
【００３８】
本開示の様々な実施形態では、様々な種類の混合モデリングのための最適化目的関数が採用されても良く、式（３）は本開示の原理の記述を容易にするための、ここでの単なる例である。
【００３９】
ステップ２０２では、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。例えば、式（４）に見られるアルゴリズムを、第２の有効な繰り返し回数を見積もるのに使用しても良い。
【数６】
2016194911.tif 000008
【００４０】
式（４）の具体的なアルゴリズムは、ｉの値を最小にすることである。この手順においては、イテレーションが繰り返し実行される。ｉはイテレーションのステップ数を示し、最小のｉ値を取り、最小のｉ値が以下の要件：最適化目的関数ＦＩＣの値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達する時、を満たす所で、ＦＩＣの値は要件を満たしたと信じられている。したがって、式（４）から導き出された最小のｉ値は、第２の有効な繰り返し回数とみなされる。もちろん、第２の有効な繰り返し回数を見積もるのに、他の方法を採用しても良い。
【００４１】
式（２）と式（４）から第１の有効な繰り返し回数と第２の有効な繰り返し回数を取得した後、第１の有効な繰り返し回数と第２の有効な繰り返し回数のどちらか１つのみを、ステップ１０４で実行される混合モデリングの繰り返し回数として採用することが許可される。もちろん、例えば式（５）に見られる、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を、ステップ１０４で実行される混合モデリングの有効な繰り返し回数として採用しても良い。
【数７】
2016194911.tif 000009
ここで、Ｎ３は混合モデリングの有効な繰り返し回数を示す。
【００４２】
ステップ１０４では、対応する混合モデルを生成するために、ステップ１０３で取得された有効な繰り返し回数に基づいて、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行する。
【００４３】
ステップ１０５では、尤度に基づいて、混合モデルの各々の精度を見積もり、最良の尤度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとみなす。
【００４４】
本開示による初期化方法の原理を、図１と図２で示された望ましい実施形態に関して上述した。しかし、本開示による初期化方法は、上記特定のステップに限定されず、請求項で限定された範囲まで適用されるということを当業者は理解しうる。様々な要求に応じて、１以上のステップを省略するか追加することを当業者は容易に想定する。
【００４５】
次に、本開示による混合モデリングのための初期化システムを、図３と図４を参照して説明する。
【００４６】
図３は、本開示の１つの実施形態による初期化システムのブロック図を模式的に示す。図３に見られるように、混合モデリングのための初期化システムは、混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュール３０２と、混合モデリングの有効な繰り返し回数を見積もるように構成された繰り返し回数見積りモジュール３０３と、対応する混合モデルを生成するために、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行するように構成されたモデリング・モジュール３０４と、最良の精度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュール３０５と、を通常含んでも良い。
【００４７】
更に、本開示による初期化システムは、トレーニング・データセットを取得するように構成された取得モジュール３０１も含んでも良い。取得モジュール３０１により取得されたトレーニング・データセットを、繰り返し回数見積りモジュール３０３で混合モデリングの有効な繰り返し回数を見積もることと、モデリング・モジュール１０４で対応する混合モデルを生成するために混合モデリングを実行することとに使用しても良い。本開示による初期化システムは、選択モジュール３０５で取得された最適な初期化ポイントを使用して混合モデルを初期化する初期化モジュール３０６も含んでも良い。
【００４８】
１つの代表的な実施形態によれば、混合モデリングは、エキスパートの階層的混合（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｍｉｘｔｕｒｅ  ｏｆ  Ｅｘｐｅｒｔｓ（ＨＭＥ））モデリング及びガウス混合モデリング等を含んでも良い。ＨＭＥモデリングとガウス混合モデリングとは、その道で知られた混合モデリング技術である。本開示は、それらの初期化手順を改善することを目的としている。初期化手順以外の他のステップは、ここでは詳述しない。
【００４９】
取得モジュール３０１では、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータと変分分布確率とを含んでも良い。例えば、ＨＭＥモデリングのＮ１個の初期ポイントは、ランダムに生成されても良く、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータθｍと変分分布確率ｑｍとを含む。ここで、ｍ＝１，・・・，Ｎ１である。
【００５０】
図４は、繰り返し回数見積りモジュール３０３のブロック図を模式的に示す。図４で示されるように、繰り返し回数見積りモジュール３０３は、モデルの複雑性に基づいて、第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュール４０１と、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュール４０２と、混合モデリングの繰り返し回数として、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、を含んでも良い。
【００５１】
図４は、繰り返し回数見積りモジュール３０３の例を示すのみである。他の実施形態では、有効な繰り返し回数を、他の手法で見積もっても良い。例えば、ある実施形態では、第１の見積りモジュール４０１により、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることのみが許可され、第１の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。他の実施形態でも、第２の見積りモジュール４０２により、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることのみが許可され、第２の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。
【００５２】
代表的な実施形態によれば、第１の見積りモジュール４０１で、ＨＭＥモデリングを初期化する場合、モデルの複雑性は、エキスパートの数の対数形式で示されても良い。例えば、完全学習手順における繰り返し回数の最大値は、Ｎ２に設定されても良い。期待値最大化（ｅｘｐｅｃｔａｔｉｏｎ  ｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ））アルゴリズムでは、ｉ回目のＥＭ繰り返し後のモデルの複雑性ＣｉMは、式（１）で表されても良い。
【００５３】
代表的な実施形態によれば、第１の見積りモジュール４０１により、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もる方法は、式（２）で表されても良い。
【００５４】
本開示の代表的な実施形態によれば、第２の見積りモジュール４０２は、最適化目的関数の目的値と、最適化目的関数の最大値と最小値の差との関係に基づいて、第２の有効な繰り返し回数を見積もっても良い。例えば、第２の見積りモジュール４０２は、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。
【００５５】
例えば、最適化目的関数を式（３）で定義しても良い。本開示の様々な実施形態では、混合モデリングのための様々な種類の最適化目的関数を採用しても良く、式（３）は本開示の原理の記述を容易にするための、ここでの単なる例である。
【００５６】
第２の見積りモジュール４０２は、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。例えば、式（４）に見られるアルゴリズムを、第２の有効な繰り返し回数を見積もるのに使用しても良い。
【００５７】
式（２）と式（４）から第１の有効な繰り返し回数と第２の有効な繰り返し回数を取得した後、第１の有効な繰り返し回数と第２の有効な繰り返し回数のどちらか１つのみを、モデリング・モジュール３０４で実行される混合モデリングの繰り返し回数として採用することが許可される。もちろん、例えば式（５）に見られる、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を、モデリング・モジュール３０４で実行される混合モデリングの有効な繰り返し回数として採用しても良い。
【００５８】
モデリング・モジュール３０４は、対応する混合モデルを生成するために、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行するのに、繰り返し回数見積りモジュール３０３で取得された有効な繰り返し回数を採用しても良い。
【００５９】
選択モジュール３０５は、尤度に基づいて、混合モデルの各々の精度を見積もり、最良の尤度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとみなしても良い。
【００６０】
図３と図４に見られるシステムは、各々図１と図２に見られる方法に相当する。したがって、図１と図２に関する初期化方法の上記記載は、図３と図４で示された初期化システムに同様に当てはまるので、ここでは詳述しない。
【００６１】
本開示の様々な実施形態の技術的解決方法では、初期化における混合モデリングの繰り返し回数が、モデルの複雑性に基づいて見積もられ、それにより、初期化に対するモデリング手順の感度を軽減できる。したがって、ランダムな初期化戦略に比べ、モデリングの精度を高めることができる。また、モデルの複雑性と混合モデリングの最適化目的関数とを組み合わせた場合、モデリングの精度を更に高めることができる。
【００６２】
本発明の実施形態は、ソフトウェア、又はハードウェア、又はそれらの組み合わせで実現されうるという点に更に留意すべきである。ハードウェア部分は、特別なロジックにより実現可能であり、ソフトウェア部分は、メモリに格納され、マイクロプロセッサ又は専用に設計されたハードウェアなどの適切な指示実行システムにより実行されうる。上記方法及びシステムは、コンピュータ実行可能な指示、及び／又は、例えば、磁気ディスク又はＣＤ又はＤＶＤ−ＲＯＭのようなベアラ媒体、又は読出し専用メモリ（ファームウェア）又は光学又は電子信号ベアラ等のデータ・ベアラのようなプログラム可能メモリで供給されるコードといった、プロセッサに含まれた制御コードで実現されうる、と、通常の当業者は理解しうる。本実施形態における装置及びその構成要素は、例えば、非常に大規模な集積回路又はゲートアレイ、又は論理チップ又はトランジスタのような半導体、又はフィールド・プログラマブル・ゲートアレイのようなプログラム可能なハードウェア・デバイス、又はプログラム可能な論理デバイスといったハードウェア電気回路構成により実現されても良く、又は様々な種類のプロセッサにより実行されるソフトウェアにより実現されても良く、又は例えばファームウェアといった上記ハードウェア電気回路構成とソフトウェアとの組み合わせ、により実現されても良い。
【００６３】
本発明による方法の動作は、図面中に特定の順序で表されているが、これは、それらの動作が当該特定の順序で実行されなければならないということを、又は望ましい結果は示された全ての動作が実行されてのみ成し遂げられうるということを、要求するものでも又は含むものでもない。寧ろ、フロー図で示されるステップは、異なる順序で実行されても良い。その上に、又は、代わりに、いくつかのステップを省略しても良く、及び/又は実行のために複数のステップを１つのステップに統合しても良く、及び/又は実行のために１つのステップを複数のステップに分解しても良い。
【００６４】
本発明を、目下考慮に入れた実施形態に関して記述したが、本発明は、開示された実施形態に限定されないと理解するべきである。それどころか、添付の請求項の趣旨及び範囲内に入る様々な修正及び等価な並べ替えに及ぶことを、本発明は意図する。添付の請求の範囲は、最も広い解釈に一致し、そのような修正と、等価な構造及び機能との全てに及ぶ。
【００６５】
（付記１）
混合モデリングのための複数の初期ポイントを生成することと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行することと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することと、
を含む混合モデリングのための初期化方法。
【００６６】
（付記２）
前記混合モデリングは、エキスパートの階層的混合モデリングを含む付記１に記載の初期化方法。
【００６７】
（付記３）
前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む付記２に記載の初期化方法。
【００６８】
（付記４）
前記モデルの複雑性は、エキスパートの数の対数形式で表される付記２または３に記載の初期化方法。
【００６９】
（付記５）
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することは、
尤度に基づいて、前記混合モデルの各々の精度を見積もることと、
最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすことと、
を更に含む付記１に記載の初期化方法。
【００７０】
（付記６）
前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることと、
前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算することと、
を更に含む付記１に記載の初期化方法。
【００７１】
（付記７）
前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もることを更に含む付記６に記載の初期化方法。
【００７２】
（付記８）
前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の繰り返し回数を、前記第２の有効な繰り返し回数とみなすことを更に含む付記７に記載の初期化方法。
【００７３】
（付記９）
混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュールと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュールと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行するように構成されたモデリング・モジュールと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュールと、
を含む混合モデリングのための初期化システム。
【００７４】
（付記１０）
前記混合モデリングは、エキスパートの階層的混合モデリングを含む付記９に記載の初期化システム。
【００７５】
（付記１１）
前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む付記１０に記載の初期化システム。
【００７６】
（付記１２）
前記モデルの複雑性は、エキスパートの数の対数形式で表される付記１０または１１に記載の初期化システム。
【００７７】
（付記１３）
前記選択モジュールは、更に、尤度に基づいて、前記混合モデルの各々の精度を見積もり、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすように構成されている付記９に記載の初期化システム。
【００７８】
（付記１４）
前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュールと、
前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、
を更に含む付記９に記載の初期化システム。
【００７９】
（付記１５）
前記第２の見積りモジュールは、更に、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もるように構成されている付記１４に記載の初期化システム。
【００８０】
（付記１６）
前記第２の見積りモジュールは、更に、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の繰り返し回数を、前記第２の有効な繰り返し回数とみなすように構成されている付記１５に記載の初期化システム。
【図１】
2016194911.tif 000010
【図２】
2016194911.tif 000011
【図３】
2016194911.tif 000012
【図４】
2016194911.tif 000013
【外国語明細書】
2016194911000001.pdf