(57)【要約】      （修正有）【課題】混合モデルの選択において、汎用性が高く、有効的な初期化方法を提供する。【解決手段】訓練サンプルセットに基づき候補初期パラメータセットを決定する工程Ｓ１１０と、予め定義された静的モデルを用いて、候補初期パラメータセットに基づきターゲット初期パラメータセットを決定する工程Ｓ１２０と、ターゲット初期パラメータセットに基づきターゲットモデルを決定する工程Ｓ１３０と、を備える。【選択図】図１
2016194914.tif 000002
【特許請求の範囲】
【請求項１】
訓練サンプルセットに基づき候補初期パラメータセットを決定する候補初期パラメータ決定部と、
予め定義された静的モデルを用いて、前記候補初期パラメータセットに基づきターゲット初期パラメータセットを決定するターゲット初期パラメータ決定部と、
前記ターゲット初期パラメータセットに基づきターゲットモデルを決定するターゲットモデル決定部と、
を備えることを特徴とする混合モデルの選択装置。
【請求項２】
前記ターゲット初期パラメータ決定部が、
前記候補初期パラメータセットに従い、前記ターゲット初期パラメータセットを初期化する初期化部と、
前記ターゲット初期パラメータセットのターゲット初期パラメータと前記ターゲット初期パラメータに対応する一時モデルの性能とを用いて、前記予め定義された静的モデルを訓練する静的モデル訓練部と、
訓練された前記予め定義された静的モデルに基づき前記候補初期パラメータセットから候補初期パラメータを選択し、前記ターゲット初期パラメータセットを更新する第１更新部と、
を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
【請求項３】
前記初期化部が、
前記ターゲット初期パラメータセットのターゲット初期パラメータとして、前記候補初期パラメータセットから候補初期パラメータを一つ以上選択する第１選択部、
を備えることを特徴とする請求項２に記載の混合モデルの選択装置。
【請求項４】
前記第１更新部が、
訓練された前記予め定義された静的モデルを用いて、前記候補初期パラメータセットの候補初期パラメータに対応する一時モデルの性能を予測する性能予測部と、
予測された前記性能に従い、前記候補初期パラメータセットから候補初期パラメータを一つ以上選択し、前記ターゲット初期パラメータセットを更新する第２更新部と、
を備えることを特徴とする請求項２に記載の混合モデルの選択装置。
【請求項５】
前記性能予測部が、
前記静的モデルを用いて、前記候補初期パラメータに対応する前記一時モデルの性能の平均及び分散を算出する第１計算部と、
前記平均及び前記分散に従い、前記候補初期パラメータに対応する前記一時モデルの予測される性能値を決定する第２計算部と、
を備えることを特徴とする請求項４に記載の混合モデルの選択装置。
【請求項６】
前記候補初期パラメータ決定部が、
前記訓練サンプルセットに基づき候補モデルを決定する候補モデル決定部と、
前記候補モデルが第１の初期パラメータに従い生成され、かつ、更新初期パラメータが前記候補モデルの出力に含まれ、前記候補モデルの前記更新初期パラメータと一つ以上の前記第１の初期パラメータとに基づき前記候補初期パラメータセットを生成する生成部と、
を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
【請求項７】
前記候補初期パラメータ決定部が、
候補初期パラメータが候補初期モデルパラメータであり、前記訓練サンプルセットに基づき、前記候補初期モデルパラメータに従う分布を決定する分布決定部と、
決定された前記分布からサンプルデータを抽出し、前記候補初期パラメータセットの中の前記候補初期モデルパラメータを生成するサンプリング部と、
を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
【請求項８】
前記候補初期パラメータ決定部が、
前記訓練サンプルセットを無作為に分類する分類部と、
候補初期パラメータが候補初期潜在変数であり、分類結果に基づき前記候補初期パラメータセットの中の前記候補初期パラメータを決定する候補初期潜在変数決定部と、
を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
【請求項９】
前記ターゲットモデル決定部が、
前記ターゲット初期パラメータセットの中の各々のターゲット初期パラメータの訓練により、中間モデルを生成する中間モデル生成部と、
前記中間モデルの性能に基づき前記ターゲットモデルを決定するターゲットモデル生成部と、
を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
【請求項１０】
訓練サンプルセットに基づき候補初期パラメータセットを決定する工程と、
予め定義された静的モデルを用いて、前記候補初期パラメータセットに基づきターゲット初期パラメータセットを決定する工程と、
前記ターゲット初期パラメータセットに基づきターゲットモデルを決定する工程と、
を含むことを特徴とする混合モデルの選択方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、機械学習に関し、特に、混合モデル選択の方法及び装置に関する。
【背景技術】
【０００２】
混合モデルは、混合分布を用いた密度推定に関する確率モデルであり、部分母集団の存在するモデルを表すことができる。混合モデルは、混合ガウスモデル、区分線形混合モデルなどのモデル群が含まれ、文書の分類、手書き認識、ファジーイメージ分離などの広い分野に適用されている。
【０００３】
混合モデルのモデル選択は、実行上、重要で困難な問題である。混合モデルのモデル選択はいくつか開示されている。その混合モデルのモデル選択の中で、局所的に対数尤度の近似を繰り返す変分推論法は有効な方法である。しかし、変分推論法は、初期化による影響が大きい。変分推論法の初期化が適切でなければ、変分推論法の効果は低く、正確に、かつ、有効にモデルを選択できない。このため、初期化は、変分推定法の正確性、有効性に影響を与える重要な要素である。
【０００４】
現在、変分推論法の初期化方法は、ランダム初期化、クラスタベースの初期化などから構成されている。しかし、ランダム初期化は一般に初期化に多数のサンプルを使用するため長い処理時間を要し、モデルの選択は低速度で実行される。また、クラスタベースの初期化は、クラスタ型の混合モデル（例えば、混合ガウスモデル）に対して有効に動作するが、認識／分類を目的とする混合モデルに対して適切な結果を得られない。つまり、クラスタベースの初期化は汎用性が低い。
【０００５】
このため、混合モデルの選択において、汎用性が高く、有効的な初期化方法が必要である。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の実施の形態は、混合モデル選択の技術的な解決法を提供する。
【０００７】
本発明の第１の観点において、混合モデルの選択方法を提供する。この混合モデルの選択方法は、
訓練サンプルセットに基づき候補初期パラメータセットを決定する工程と、
予め定義された静的モデルを用いて、前記候補初期パラメータセットに基づき、ターゲット初期パラメータセットを決定する工程と、
前記ターゲット初期パラメータセットに基づきターゲットモデルを決定する工程と、
を含む。
【０００８】
本発明の他の観点において、混合モデルの選択装置を提供する。この混合モデルの選択方法は、
訓練サンプルセットに基づき候補初期パラメータセットを決定する候補初期パラメータ決定部と、
予め定義された静的モデルを用いて、前記候補初期パラメータセットに基づきターゲット初期パラメータセットを決定するターゲット初期パラメータ決定部と、
前記ターゲット初期パラメータセットに基づきターゲットモデルを決定するターゲットモデル決定部と、
を備える。
【０００９】
本発明の実施の形態は、混合モデルの種類に限定されることなく、高い汎用性を有する。さらに、本実施の形態において、候補初期パラメータセットから、高い性能を持つ候補初期パラメータを選択することでより早く、ターゲットモデルを獲得しうる。結果として、本発明に従う解決法は、高い有効性を有する。本発明の他の特徴と優位性については、後述する。
【００１０】
この開示の目的、特徴、優位点の理解を助けるため、本発明に係る実施の形態に関する以下の図面を添付する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る混合モデル選択の方法の処理に関するフローチャートである。
【図２】本発明の実施の形態に係る混合モデル選択の方法の処理に関するフローチャートである。
【図３】ターゲット初期パラメータセットを決定する方法の処理に関するフローチャートである。
【図４】本発明の実施の形態に係る混合モデル選択の方法を説明するための概要図である。
【図５】本発明の実施の形態に係る混合モデル選択の装置のブロック図である。
【図６】本発明の実施の形態に係る混合モデル選択の方法を実行するコンピュータシステムの一例のブロック図である。
【発明を実施するための形態】
【００１２】
図を通して、同一又は類似の数字は、同一又は類似の要素を表す。
【００１３】
本発明の好適な実施の形態を、図面を参照して詳細に説明する。図面には、この開示好適な実施の形態を示している。しかし、本開示は、種々の手法で実施しうるため、後述の実施の形態に限定されると解釈すべきではない。それどころか、後述の実施の形態を説明することで、当業者は、本発明の範囲に関するすべてを理解することができる。
【００１４】
本発明の原理と方法を詳細に説明する。特に明記しない限り、以下及び特許請求の範囲では、「基づき」の文言は「少なくとも部分的に基づき」を意味する。「構成する」の文言は、「限定されずに含む」を意味する。「複数の」の文言は、「二以上の」を意味する。「一実施の形態」の文言は、「少なくとも一実施の形態」を意味する。「他の実施の形態」の文言は、「他の少なくとも一実施の形態」を意味する。関連する他の文言の定義は、以降の記述で示される。
【００１５】
図１に、本発明の実施の形態に係る混合モデル選択の方法１００の処理に関するフローチャートを示す。従来、潜在変数の初期化方法において、ランダム初期化、クラスタベース初期化などが利用されている。しかし、これらの初期化方法には、一般に処理時間が長いこと、汎用性が低いことなどの問題がある。このような問題は、すべて混合モデル選択において生じる。本発明の実施の形態に係る混合モデル選択の方法１００は、後述するとおり、この問題を効率的に解決できる。
【００１６】
混合モデル選択の方法１００は、最初に、ステップＳ１１０で訓練サンプルセットに基づき、候補初期パラメータセットを決定する。
【００１７】
本発明の実施の形態において、初期パラメータは、一つ以上の初期モデルパラメータと、初期潜在変数とから構成される。訓練データによる初期モデルパラメータ、初期潜在変数を用いた訓練により、更新潜在変数、更新モデルパラメータ、モデル構造などから構成される混合モデルを生成しうる。この開示において、候補初期パラメータとターゲット初期パラメータは、初期パラメータである。つまり、候補初期パラメータは、候補初期モデルパラメータ、候補初期潜在変数、又は、それらの組み合わせである。ターゲット初期パラメータは、ターゲット初期モデルパラメータ、ターゲット初期潜在変数、又は、それらの組み合わせである。
【００１８】
本発明の実施の形態において、「潜在変数」は、直接観測できないが、サンプルデータから取得可能な変数である。潜在変数の変分分布は、対応するカテゴリに対するサンプルデータの確率を表すのに使用しうる。本発明の実施の形態では、「潜在変数」は、一種類の変数に限定されず、「潜在変数の変分分布」及び／又は他の適切な情報から構成される。この開示において、潜在変数には、初期潜在変数、更新潜在変数などが含まれる。なお、初期潜在変数は訓練用の潜在変数を表し、更新潜在変数は訓練の結果としての潜在変数を表す。また、「更新潜在変数」は、「更新的潜在変数」という場合があり、例えば、互いに取り替えて用いる場合がある。
【００１９】
潜在変数は、行列、データセット、その他の適切な形式を取り得る。
一実施の形態において、潜在変数は、ｋ×ｎ次元の行列で表され、ｋは行の数で潜在変数のサンプルグループの数を表し、ｎは列の数で潜在変数を決定するための訓練サンプルセットのサンプルの数を表す。また、１行は１つのサンプルグループに対応し、各行の各々の要素の値は０又は１である。例えば、ある行におけるｉ番目の要素が１の場合、この行に対応するサンプルグループは、訓練サンプルセットのｉ番目のサンプルを含むことを意味する。この行のｊ番目の要素が０の場合、この行に対応するサンプルグループは、訓練サンプルセットのｊ番目のサンプルを含まないことを意味する。この行列における要素の値は、０又は１である必要はなく、他の適切な数字を用いてもよい。
上記の例は単に説明のために示したもので、本発明の範囲を限定しない。他の実施の形態において、例えば、潜在変数は、ｋのサンプルグループを含み、各々のサンプルグループが一つ以上のサンプルを持つような、データセットでもよい。
上記の例は単に説明のために示したもので、本発明の範囲を限定することを意図しない。当業者は、その他の適切な手法により、潜在変数を得られる。
【００２０】
本発明の実施の形態において、「モデル」は、主として、候補モデル、中間モデル、ターゲットモデルなどの混合モデルを表す。モデルは、初期潜在変数の訓練により、生成される。生成されたモデルは、モデル構造、モデルパラメータ（更新モデルパラメータとも言う。）、潜在変数（更新潜在変数、更新的潜在変数とも言う。）などを含む。
モデルパラメータは、混合モデルの種類により異なる。一般的に、混合モデルは、モデルの種類を表す一般用語で、複数の下位モデルから構成される。つまり、モデルパラメータは、混合モデルの種類に対応した形式になる。例えば、混合ガウスモデルのモデルパラメータには、各下位モデルが持つガウス分布の平均と分散が含まれる。区分線形混合モデルのモデルパラメータには、ゲートノードの条件制御パラメータと、リーフノードの偏差と回帰係数が含まれる。
モデル構造も、混合モデルの種類に対応した形式になる。例えば、混合ガウスモデルのモデル構造には、下位モデルの数と下位モデルの結合係数などが含まれる。区分線形混合モデルのモデル構造には、学習されたツリー構造が含まれる。
上記の例は単に説明のために示したもので、いかなる方法であっても、本発明の範囲を限定することを意図しない。
さらに、本発明の実施の形態では、「静的モデル」は、混合モデルと異なる。静的モデルは、例えば、ガウス過程モデル、ｔ検定モデルなどから構成される。
【００２１】
発明の実施の形態において、ステップＳ１１０では、訓練サンプルセットに基づき候補モデルを決定し、一つ以上の第１の初期パラメータと、候補モデルの更新初期パラメータに基づき、候補初期パラメータセットを生成する。候補モデルは第１の初期パラメータに従い生成され、更新初期パラメータは候補モデルの出力に含まれる。この実施の形態の詳細は、図２を用いて記述する。
【００２２】
または、本発明の実施の形態では、候補初期パラメータセットを無作為な方法で生成してもよい。一実施の形態において、訓練サンプルセットを無作為に分類し、この分類結果に基づき候補初期潜在変数セットの中の候補初期潜在変数を決定してもよい。
他の実施の形態において、訓練サンプルセットに基づき、候補初期モデルパラメータに従う分布を決定し、決定された分布からサンプリングデータを抽出して、候補初期モデルパラメータセットの中の候補初期モデルパラメータを生成してもよい。例えば、訓練サンプルセットの特徴を表す値が実数値である場合、候補初期モデルパラメータに従う分布をガウス分布として決定しうる。また、特徴を表す値が０、１である場合、候補初期モデルパラメータに従う分布をベルヌーイ分布として決定しうる。また、特徴を表す値が整数の場合、候補初期モデルパラメータに従う分布をポイズン分布として決定しうる。それゆえ、訓練サンプルセットの特徴を表す値の種類を判断することで、候補初期モデルパラメータに従う分布を決定しうる。さらに、決定された分布からサンプルデータを抽出し、候補初期モデルパラメータを生成しうる。
【００２３】
次に、方法１００はステップＳ１２０に進み、予め定義された静的モデルを用いて、候補初期パラメータセットに基づき、ターゲット初期パラメータセットを決定する。
【００２４】
本発明の実施の形態によれば、候補初期パラメータセットに従い、ターゲット初期パラメータセットを初期化する。続いて、次のｉ）、ｉｉ）を、１又は数回、実施し、ターゲット初期パラメータセットを更新する。ｉ）ターゲット初期パラメータに対応する一時モデルの性能とターゲット初期パラメータとを用いて、予め定義された静的モデルを訓練する。ｉｉ）訓練された予め定義された静的モデルに基づき、候補初期パラメータセットから候補初期パラメータを選択し、ターゲット初期パラメータセットを更新する。
前述のｉ）、ｉｉ）を１回、実行することで、更新ターゲット初期パラメータを一つ獲得しうる。このため、前述のｉ）、ｉｉ）を１回又は数回、実行することで、ターゲット初期パラメータを一つ以上含むターゲット初期パラメータセットを獲得しうる。
【００２５】
一実施の形態において、候補初期パラメータセットから候補初期パラメータを一つ以上、ターゲット初期パラメータセットの中のターゲット初期パラメータとして選択し、ターゲット初期パラメータセットの初期化は完了する。
【００２６】
一実施の形態において、訓練された予め定義された静的モデルを用いて、候補初期パラメータセットにおける候補初期パラメータに対応する一時モデルの性能を予測する。例えば、静的モデルを用いて、候補初期パラメータに対応する一時モデルの性能の平均と分散を算出する。この平均と分散に従い、候補初期パラメータに対応する一時モデルの予測される性能の値を決定する。次に、この予測性能に従い、候補初期パラメータセットから、候補初期パラメータを一つ以上選択し、ターゲット初期パラメータセットを更新する。例えば、候補初期パラメータセットのうち、予測性能が最も高い候補初期パラメータを、ターゲット初期パラメータとして決定する。そして、この予測性能が最も高い候補初期パラメータを、候補初期パラメータセットから削除する。
【００２７】
図１に示すように、方法１００はステップＳ１３０に進み、ターゲット初期パラメータセットに基づき、ターゲットモデルを決定する。
【００２８】
本発明の実施の形態によれば、ステップＳ１２０で決定されたターゲット初期パラメータセットは、一つ以上のターゲット初期パラメータから構成される。一実施の形態において、ステップＳ１２０でターゲット初期パラメータを一つ獲得したとすると、ステップＳ１３０においては、ターゲット初期パラメータの訓練で得られるモデルをターゲットモデルとして決定することができる。
【００２９】
他の実施の形態において、ステップＳ１２０でターゲット初期パラメータを複数獲得したとすると、ステップＳ１３０においては、複数のターゲット初期パラメータの訓練で中間モデルを複数生成し、生成された中間モデルの性能に基づき、ターゲットモデルを決定してもよい。例えば、中間モデルの性能に従い、複数の中間モデルからターゲットモデルとして一つ選択する。
【００３０】
以上からわかるとおり、本発明の実施の形態は、特定の種類の混合モデルの特徴や要件に関係しないため、汎用性が高く、混合モデルの種類に限定されない。また、本発明の実施の形態は、有効な解決法である。
さらに、図２に示す実施の形態を通して、本発明の実施の形態のさらなる利点を説明する。
【００３１】
図２に、本発明の実施の形態に係る混合モデル選択の方法２００の処理に関するフローチャートを示す。混合モデル選択の方法２００は、混合モデル選択の方法１００のある一実施の形態とみなしうる。この実施の形態は、単に説明のために示したもので、いかなる方法であっても、本発明の範囲を限定することを意図しない。
【００３２】
方法２００は、最初に、ステップＳ２１０で訓練サンプルセットに基づき、候補モデルを決定する。
【００３３】
本発明の一実施の形態において、訓練サンプルセットに基づき、第１の初期パラメータを一つ以上決定し、第１の初期パラメータに従い、候補モデルを生成する。訓練サンプルセットのサンプルを、無作為に集め、又はクラスタ化し、第１の初期パラメータを獲得しうる。
【００３４】
訓練サンプルセットに基づき、第１の初期パラメータを複数決定する場合、ステップ２１０では、候補モデルとして、モデルを複数生成しうる。一実施の形態において、訓練サンプルセットに基づき、第１の初期パラメータを複数決定する。複数の第１の初期パラメータに基づき、初期モデルを複数生成する。そして、複数の初期モデルの性能に従い、複数の初期モデルから１つ以上を候補モデルとして選択する。
【００３５】
モデルの性能は、精度、時間有効性などの種々の因子から構成される。種々の方法で、モデルの性能を決定しうる。例えば、二乗平方根誤差、平均絶対誤差、尤度比などを算出し決定しうる。精度を例にすると、予測／分類の混合モデルでは、テストデータの予測／分類のために候補モデルを利用し、予測／分類に関する精度を獲得する。また、クラスタリングモデルでは、基準となる共通な情報などで、候補モデルの精度を算出する。
【００３６】
または／さらに、生成された複数のモデルから、候補モデルとして一つ選択してもよい。この選択は、種々の方法で実行しうる。例えば、生成された複数のモデルから無作為に一つ以上選択してもよい。また、いくつかの要求、要件に従い選択してもよい。
上記の例は単に説明のために示したもので、本発明の範囲を限定することを意図しない。その他の適切な手法により、当業者は複数のモデルから候補モデルを一つ以上選択しうる。
【００３７】
ステップＳ２２０において、候補モデルの、更新初期パラメータと一つ以上の第１の初期パラメータとに基づき、候補初期パラメータセットを生成する。
【００３８】
本発明の実施の形態によれば、候補モデルの、更新パラメータ、第１の初期パラメータのいずれか、又はその両方に基づき、候補初期パラメータセットを生成する。ここで、候補モデルは第１の初期パラメータに従い生成され、更新初期パラメータは候補モデルから出力されるサンプルの集まりを表す。
【００３９】
本発明の一実施の形態において、候補モデルの第１の初期パラメータに基づき、第３の初期パラメータセットを生成する。第３の初期パラメータセットは、第１の初期パラメータに関連づけられた一以上のパラメータから構成され、種々の方法で生成されうる。
一実施の形態において、候補モデルの第１の初期パラメータと参照パラメータとの加重総和により、第３の初期パラメータを生成し、第３の初期パラメータセットとする。次に、第３の初期パラメータセットを、候補初期パラメータセットとして、使用してもよい。
一実施の形態において、例えば、第３の初期パラメータは、候補モデルの第１の初期潜在変数に基づき生成された潜在変数でもよい。以降、これを第３の初期潜在変数という。
参照潜在変数は、一様分布から抽出された潜在変数でもよく、例えば、ｋ×ｎ次元の行列のような、第１の初期潜在変数と同じ形式でもよい。ここで、ｋは行の数で第１の初期潜在変数のサンプルグループの数を表す。ｎは列の数で訓練サンプルセットのサンプルの数を表す。
一実施の形態において、第１の初期潜在変数をqz_initialと、参照潜在変数をqz_newとすると、第３の初期潜在変数を次式から算出してもよい。
qz=a*qz_initial+(1+a)*qz_new                 （１）
ここで、aは第１の初期潜在変数の重み係数を表し、qzは第３の初期潜在変数を表す。そして、qzはｋ×ｎ次元の行列で、行列内のそれぞれの要素の値は、０又は１、又は、当業者が一般に使用する他の適した値である。
【００４０】
または、候補モデルの更新パラメータに基づき、第４の初期パラメータセットを生成してもよい。そして、第４の初期パラメータセットに基づき、候補初期パラメータセットを生成する。
一実施の形態において、例えば、第４の初期パラメータは、候補モデルの更新潜在変数に従い生成された潜在変数でもよい。以降、これを第４の初期潜在変数という。この場合、ｉ）候補モデルの更新潜在変数内の複数のサンプルグループの中から、一つのサンプルグループを選択する。ｉｉ）選択されたサンプルグループを、複数のサブグループに分割する。上記のｉ）、ｉｉ）を更新潜在変数の残っているサンプルグループの数と生成されたサブグループの数との総数が、第１の初期潜在変数のサンプルグループの数に等しくなるまで繰り返す。
これにより、第４の初期潜在変数の中の第４の初期潜在変数を決定してもよい。その後、第４の初期パラメータセットを、候補初期パラメータセットとして使用してもよい。
【００４１】
さらに、第３の初期パラメータセットと第４の初期パラメータセットとの両方に基づき、候補初期パラメータセットを決定してもよい。
一実施の形態において、第３の初期パラメータセットと第４の初期パラメータセットとの結合を、候補初期パラメータのセットとして、決定する。
または、一実施の形態において、第３の初期パラメータセットと第４の初期パラメータセットとから、それぞれ、サブセットを一つ決定し、この二つのサブセットの結合を、候補初期パラメータセットとして、決定してもよい。サブセットの決定は、例えば、第３の初期パラメータセットと第４の初期パラメータセットからそれぞれ無作為にサブセットを一つ決定する方法など、種々の方法で実行しうる。
上記の例は単に説明のために示したもので、本発明の範囲を限定することを意図しない。当業者は、その他の適切な手法により、第３の初期パラメータセットと第４の初期パラメータセットに基づき候補初期パラメータセットを決定しうる。
【００４２】
上記の例は単に説明のために示したもので、本発明の範囲を限定することを意図しない。他の実施の形態において、方法２００のステップＳ２１０とＳ２２０において、ステップＳ１１０で説明した無作為に候補初期パラメータセットを生成する方法を用いてもよい。
【００４３】
図２に示すように、方法２００の処理はステップＳ２３０に進み、候補初期パラメータセットに従い、ターゲット初期パラメータセットを初期化する。
【００４４】
ターゲット初期パラメータセットの初期化は、種々の方法で実行しうる。一実施の形態において、候補初期パラメータセットから候補初期パラメータを、ターゲット初期パラメータセットの中のターゲット初期パラメータとして一つ以上選択する。さらなる一実施の形態において、候補初期パラメータセットから、選択された一つ以上の候補初期パラメータを削除してもよい。
種々の方法で、候補初期パラメータを選択しうる。例えば、ターゲット初期パラメータとして、候補初期パラメータセットから候補初期パラメータを無作為に一つ以上選択する。他の例として、互いに最も離れた候補初期パラメータを、候補初期パラメータセットからターゲット初期パラメータセットの中のターゲット初期パラメータとして複数選択してもよい。この距離は、ユークリッド距離、ハミング距離、マハラノビス距離、コサイン類似度、当業者が利用できるその他の適切な方法で算出しうる。
この方法により、候補初期パラメータセットに基づき、ターゲット初期パラメータセットを初期化しうる。
【００４５】
ステップＳ２４０において、ターゲット初期パラメータと、このターゲット初期パラメータに対応する一時モデルの性能とを用いて、予め定義された静的モデルを訓練する。
【００４６】
本発明の実施の形態において、予め定義された静的モデルは、例えば、ユーザの要求や選択により明示された、又はシステムにより事前に決定された静的モデルでもよい。また、予め定義された静的モデルは、ガウス過程モデル、ｔ検定モデル、又は他の適切なモデルでもよい。
【００４７】
一実施の形態において、ターゲット初期パラメータセットの中のすべてのターゲット初期パラメータと、対応する一時モデルの性能とを用いて、新しい訓練サンプルセットを構築する。ターゲット初期パラメータをｘと、このターゲット初期パラメータに対応する一時モデルの性能をｙとすると、新しい訓練サンプルセットのサンプルをそれぞれ（ｘ、ｙ）として表しうる。次に、新しい訓練サンプルセットで教師あり学習を行い、予め定義された静的モデルを訓練する。
【００４８】
ステップＳ２５０において、訓練された予め定義された静的モデルに基づき、候補初期パラメータのセットから候補初期パラメータを選択し、ターゲット初期パラメータセットを更新する。
【００４９】
本発明の実施の形態によれば、訓練された予め定義された静的モデルを用いて、候補初期パラメータセットにおける候補初期パラメータに対応する一時モデルの性能を予測する。一実施の形態において、訓練された静的モデルを用いて、候補初期パラメータに対応する一時モデルの性能の平均と分散を算出する。算出した平均と分散に従い、候補初期パラメータに対応する一時モデルの予測性能の値を決定する。
【００５０】
性能を予測した後、この予測性能に従い、候補初期パラメータセット内の候補初期パラメータの中から、候補初期パラメータを一つ以上選択し、ターゲット初期パラメータセットを更新する。一実施の形態において、候補初期パラメータセットから予測性能が最も高い候補初期パラメータを、ターゲット初期パラメータの中のターゲット初期パラメータとして決定する。この実施の形態に加えて、この予測性能が最も高い候補初期パラメータを候補初期パラメータセットから削除してもよい。次に、ターゲット初期パラメータセットの更新にあわせて、候補初期パラメータセットを更新する。
【００５１】
方法２００のステップＳ２３０〜Ｓ２５０は単に例示したもので、本発明の範囲を限定することを意図しない。本発明の実施の形態によれば、ステップＳ２５０でターゲット初期パラメータセットを更新した後に、ステップＳ２３０に戻り、更新されたターゲット初期パラメータセットのターゲット初期パラメータと対応する一時モデルの性能とを用いて、予め定義された静的モデルの訓練を続けてもよい。次に、訓練された予め定義された静的モデルに基づき、候補初期パラメータセットから候補初期パラメータを選択し、再度、ターゲット初期パラメータセットを更新してもよい。このステップＳ２３０〜Ｓ２５０を予め設定された回数に達するまで、数回実行してもよい。
【００５２】
図２に示すとおり、方法２００の処理はＳ２６０に進み、ターゲット初期パラメータセットにおける各々のターゲット初期パラメータの訓練により、中間モデルを生成する。
【００５３】
一実施の形態において、ターゲット初期パラメータセットにおける各々のターゲット初期パラメータについて、訓練サンプルセットで学習する。例えば、訓練サンプルセットによる教師あり学習、教師なし学習により、混合モデルのモデル構造、更新潜在変数の変分分布、モデルパラメータを自動的に学習する。これにより、各々のターゲット初期パラメータに対応するモデルを生成する。このモデルを中間モデルと呼ぶ。
【００５４】
ステップＳ２７０において、中間モデルの性能に基づき、ターゲットモデルを決定する。
【００５５】
モデルの性能は、精度、時間有効性などの種々の因子を含み、種々の方法で決定しうる。精度を例にすると、予測／分類の混合モデルでは、テストデータの予測／分類のために中間モデルを利用し、対応する予測／分類に関する精度を獲得しうる。また、クラスタリングモデルでは、例えば、基準となる共通な情報などで、中間モデルの精度を算出しうる。
【００５６】
一実施の形態において、各々の中間モデルのモデル構造、モデルパラメータ、更新潜在変数の変分分布に基づき各々の中間モデルの精度、時間有効性、その他の特徴を決定し、各々の中間モデルの性能を獲得する。次に、決定した性能に基づき、複数の中間モデルを順位づける。例えば、複数の中間モデルを性能の高い順番に並べる。次に、複数の中間モデルから、最も高い性能を持つ中間モデルを、ターゲットモデルとして選択する。
【００５７】
ステップＳ２７０以降のステップとして、本発明の実施の形態に従い獲得したターゲットモデルを提供し、ユーザに使用させてもよい。
【００５８】
図３に、ターゲット初期潜在変数を決定する方法３００の処理に関するフローチャートを示す。方法３００は、方法１００のステップＳ１２０の一実施の形態と、方法２００のステップＳ２３０〜Ｓ２５０の一実施の形態とみなしうる。
この実施の形態は、単に説明のために示したもので、本発明の範囲を限定することを意図しない。
【００５９】
方法３００は、最初に、ステップＳ３１０で候補初期パラメータセットから、候補初期パラメータを、ターゲット初期パラメータセットの中のターゲット初期パラメータとして一つ以上選択する。
【００６０】
一実施の形態において、候補初期パラメータセットから、候補初期パラメータを無作為に一つ以上選択する。
他の実施の形態において、互いに最も離れた候補初期パラメータを、候補初期パラメータセットからターゲット初期パラメータセットの中のターゲット初期パラメータとして複数選択してもよい。この距離は、ユークリッド距離、ハミング距離、マハラノビス距離、コサイン類似度、当業者が利用できるその他の適切な方法で算出しうる。
この実施の形態は単に説明のために示したもので、本発明の範囲を限定することを意図しない。また、他の適切な方法により、候補初期パラメータセットから候補初期パラメータを一つ以上選択しうる。
【００６１】
ステップＳ３２０において、候補初期パラメータセットから、選択された一つ以上の候補初期パラメータを削除する。
【００６２】
一実施の形態において、候補初期パラメータセットは、Ｚ１、Ｚ２、・・・、ＺＮのＮの候補初期パラメータを含み、ステップＳ３１０で、候補初期パラメータセットから一つの候補初期パラメータＺ１を選択したとすると、ステップＳ３２０で、Ｚ１を候補初期パラメータセットから削除する。このため、候補初期パラメータセットは、Ｚ２、・・・、ＺＮから成るＮ−１の候補初期パラメータに更新される。
【００６３】
他の実施の形態において、ステップＳ３１０で、候補初期パラメータセットからＺ１、・・・、Ｚｊのｊの候補初期パラメータを選択したとすると、ステップＳ３２０で、Ｚ１、・・・、Ｚｊを候補初期パラメータセットから削除する。このため、候補初期パラメータセットは、Ｚｊ＋１、・・・、ＺＮから成るＮ−ｊの候補初期パラメータに更新される。
【００６４】
ステップＳ３３０において、ターゲット初期パラメータセットにおけるターゲット初期パラメータに対応する一時モデルを生成する。
【００６５】
本発明の実施の形態によれば、ターゲット初期パラメータセットの中の各々のターゲット初期パラメータについて、訓練サンプルセットで学習し、各々のターゲット初期パラメータに対応するモデルを生成する。この生成したモデルを一時モデルと呼ぶ。一実施の形態において、各々のターゲット初期パラメータについて、訓練サンプルセットの教師あり学習、教師なし学習により、混合モデルのモデル構造、更新潜在変数（又は更新的潜在変数の変分分布）、モデルパラメータを自動的に学習する。これにより、対応する一時モデルを獲得する。この手法により、ターゲット初期パラメータセットの中の各々のターゲット初期パラメータに対応する一時モデルを生成しうる。
【００６６】
一実施の形態において、前述の訓練サンプルセットの学習を、簡易的に実行してもよい。つまり、変分推論アルゴリズムの繰り返し回数を、収束するまで実行せずに、予め定義された回数まで実行し、ターゲット初期パラメータに対応する混合モデルを生成してもよい。この手法では、実行速度は増加し、処理時間は減少する。
本発明の範囲はこの実施の形態に限定することを意図しない。他の実施の形態において、前述の訓練サンプルセットによる学習を、完全に実行してもよい。つまり、変分推論アルゴリズムを収束するまで実行し、ターゲット初期パラメータに対応する混合モデルを学習してもよい。
【００６７】
ステップＳ３４０において、ターゲット初期パラメータセットにおけるターゲット初期パラメータと、このターゲット初期パラメータに対応する一時モデルの性能とを用いて、予め定義された静的モデルを訓練する。
【００６８】
一実施の形態において、ステップＳ３４０では、まず、ターゲット初期パラメータに対応する一時モデルの性能を決定する必要がある。一実施の形態において、ターゲット初期パラメータについて、訓練サンプルセットの教師あり学習、教師なし学習により、混合モデルのモデル構造、更新潜在変数（又は、更新的潜在変数の変分分布）、モデルパラメータを自動的に学習する。これにより、ターゲット初期パラメータに対応する一時モデルを獲得する。次に、一時モデルの性能を、モデルの精度、時間有効性などを計算し獲得する。精度を例にすると、予測／分類の混合モデルでは、テストデータの予測／分類のために、一時モデルのモデル構造、モデルパラメータ、更新潜在変数の変分分布を用いて、対応する予測／分類に関する精度を獲得しうる。また、クラスタリングモデルでは、例えば、基準となる共通な情報などで、一時モデルの精度を算出しうる。
【００６９】
これにより、ターゲット初期パラメータに対応する一時モデルの性能は、特徴（精度、時間有効性など）を一つ以上持ちうる。また、精度については、性能の一つの特徴でも種々の形式を持ちうる。一実施の形態において、ターゲット初期パラメータセットにおけるｉ番目のターゲット初期パラメータに対応する一時モデルの性能の特徴が一つのとき、例えば、一時モデルの性能の特徴が精度のみのとき、新しい訓練サンプルセットのサンプルを、ターゲット初期パラメータセットにおけるターゲット初期パラメータと対応する一時モデルの性能とから構築する。ターゲット初期パラメータセットの中のｉ番目のターゲット初期パラメータをｘｉと、ｉ番目のターゲット初期パラメータに対応する一時モデルの性能（例えば、何らかの形式の精度）をｙｉとすると、この新しいサンプルを（ｘｉ、ｙｉ）として構築する。
【００７０】
他の実施の形態において、ターゲット初期パラメータに対応する一時モデルの性能の特徴が複数（ｍ個）のとき、例えば、種々の形式における精度及び／又は時間有効性とから成るとき、新しい訓練サンプルセットのサンプルを複数構築してもよい。ターゲット初期パラメータセットのｊ番目のターゲット初期パラメータをｘｊと、ｊ番目のターゲット初期パラメータに対応する一時モデルのｐ番目の性能をｙｊｐとすると、この新しい複数のサンプルは（ｘｊ、ｙｊｐ）として表される。なお、ｐ＝１、２、・・・、ｍである。
【００７１】
新しい訓練サンプルセットを構築した後に、この新しい訓練サンプルセットで教師あり学習を行い、予め定義された静的モデルを訓練する。この予め定義された静的モデルは、例えば、ユーザ設定やシステム要求による静的モデルでもよい。また、ガウス過程モデル、ｔ検定モデル、又は他の適切な静的モデルでもよい。
【００７２】
前述の実施の形態は単に説明のために示したもので、本発明の範囲を限定することを意図しない。本発明の他の実施の形態において、ターゲット初期パラメータセットのすべての、又は、一部のターゲット初期パラメータに基づき、新しい訓練サンプルセットを構築してもよい。
【００７３】
ステップＳ３５０において、訓練された予め定義された静的モデルを用いて、候補初期パラメータセットにおける候補初期パラメータに対応する一時モデルの性能を予測する。
【００７４】
このステップにおいて、訓練された予め定義された静的モデルを用いて、候補初期パラメータに対応する一時モデルの性能の平均と分散を算出する。次に、算出された平均と分散に従い、候補初期パラメータに対応する一時モデルの予測性能を決定する。
【００７５】
一実施の形態において、ステップＳ３４０で獲得されたターゲット初期パラメータセットにおけるｉ番目のターゲット初期パラメータに対応する一時モデルの性能の特徴が一つであり、対応するサンプルが（ｘｉ、ｙｉ）とすると、ステップＳ３５０で、訓練された予め定義された静的モデルを用いて、この一時モデルの性能の平均（例えば、meaniと表す。）と分散（例えば、varianceiと表す。）を算出する。次に、平均と分散に基づき、例えば、次式より、予測性能の値を獲得する。
Pi=meani+α*variancei              （２）
ここで、Ｐｉはｉ番目のターゲット初期パラメータに対応する予測性能の値を表し、αは重み係数を表し、固定値として予め設定された、又は必要に応じてユーザが設定した値である。
【００７６】
他の実施の形態として、ステップＳ３４０で獲得した一時モデルの性能が複数の特徴を持ち、対応するサンプルが（ｘｊ、ｙｊｐ）とすると、ステップＳ３５０で、訓練された予め定義された静的モデルを用いて、一時モデルの性能の複数の平均（例えば、meanjpと表す。）、複数の分散（例えば、variancejpと表す。）を算出する。次に、平均と分散に基づき、例えば、以下の式より、予測性能の値を獲得する。
【数１】
2016194914.tif 000003
ここで、Ｐｊはｊ番目のターゲット初期パラメータに対応する予測性能の値を表し、αは重み係数を表し、固定値として予め設定された、又は必要に応じてユーザが設定した値である。
【００７７】
本発明の実施の形態において、予想性能は種々の方法で獲得しうる。上述の実施の形態は単に説明のために示したもので、本発明の範囲を限定することを意図しない。
【００７８】
ステップＳ３６０において、予想性能に従い、候補初期パラメータセットから候補初期パラメータを一つ以上選択し、ターゲット初期パラメータセットを更新する。
【００７９】
一実施の形態において、候補初期パラメータセット内の予想性能が最も高い候補初期パラメータを、ターゲット初期パラメータセットの中のターゲット初期パラメータとして決定する。次に、この予想性能が最も高い候補初期パラメータを、候補初期パラメータから削除し、候補初期パラメータセットを更新する。
一実施の形態において、決定した性能により、候補初期パラメータセットにおける候補初期パラメータを順位づける。例えば、候補初期パラメータを、予想性能の値の高い順番に並べる。これにより、最も高い性能（例えば、予測性能値が最も大きい性能）の候補初期パラメータを選択しうる。この場合、ステップＳ３６０で、選択された候補初期パラメータを、ターゲット初期パラメータセットに加え、ターゲット初期パラメータセットを更新する。
【００８０】
または、一実施の形態において、候補初期パラメータを性能の高い順番に並べ、その上位複数を選択してもよい。この場合、ステップＳ３６０で、選択された２以上の候補初期パラメータをターゲット初期パラメータセットに加え、ターゲット初期パラメータセットを更新する。
【００８１】
ステップＳ３７０において、ターゲット初期パラメータの数が予め定義された閾値に達したかを判断する。
【００８２】
一実施の形態において、予め定義された閾値は、ターゲット初期パラメータセットの要素の数としてもよい。また、予め定義された閾値は、当業者の経験又は選択により決定してもよく、システムにより決定してもよい。ターゲット初期パラメータセット内のターゲット初期パラメータの数が予め定義した閾値に達していない場合、ステップＳ３３０〜Ｓ３６０を繰り返し実行し、新たなターゲット初期パラメータを決定する。ターゲット初期パラメータセット内のターゲット初期パラメータの数が予め定義された閾値に達した場合、繰り返し実行を停止する。その後、ターゲット初期パラメータの訓練で中間モデルを生成し、中間モデルの性能に基づき、ターゲットモデルを決定する。
【００８３】
図４に、本発明の実施の形態に係る混合モデル選択の方法に関する概要図４００を示す。混合モデル選択の方法に関する概要図４００は、図１のステップＳ１１０〜Ｓ１３０に対応する。
図４に示すとおり、最初に、訓練サンプルセットに基づき、候補初期パラメータセットを決定する。候補初期パラメータセットは、一つ以上の候補初期パラメータＺ１、Ｚ２、・・・・、Ｚｋ１から構成され、ｋ１は候補初期パラメータの数を表す。
次に、予め定義された静的モデルを用いて、候補初期パラメータセットに基づき、ターゲット初期パラメータセットを決定する。ターゲット初期パラメータセットは、一つ以上のターゲット初期パラメータＺ１、Ｚ２、・・・、Ｚｋ２から構成され、ｋ２はターゲット初期パラメータの数を表す。
次に、ターゲット初期パラメータセットに基づき、ターゲットモデルを決定する。図４で示すように、ターゲット初期パラメータＺ１、Ｚ２、・・・、Ｚｋ２の訓練により、複数の中間モデル１、中間モデル２、・・・、中間モデルｋ２を生成する。ｋ２の中間モデルから、中間モデルの性能に基づき、ターゲットモデルとして一つ選択する。
【００８４】
図４に示す内容は、単に例示したにすぎず、いかなる方法であっても、本発明の範囲を限定することを意図しない。
本発明の実施の形態によれば、必ずしも、ターゲット初期パラメータＺ１、Ｚ２、・・・、Ｚｋ２に対応する中間モデル１、中間モデル２、・・・、中間モデルｋ２から、ターゲットモデルを獲得しなくともよい。例えば、他の実施の形態において、ターゲット初期パラメータの数が一つの時、ターゲット初期パラメータに対応するモデルを、ターゲットモデルとして直接的に決定しうる。
この実施の形態は単に説明のために示したもので、本発明の範囲を限定することを意図しない。本発明の実施の形態に当業者が種々の変更を加えた実施の形態は、本発明の範囲に含まれる。
【００８５】
図５に本発明の実施の形態に係る混合モデルを選択する装置５００のブロック図を示す。図に示すように、装置５００は、訓練サンプルセットに基づき、候補初期パラメータセットを決定する候補初期パラメータ決定部５１０と、予め定義された静的モデルを用いて、候補初期パラメータセットに基づき、ターゲット初期パラメータセットを決定するターゲット初期パラメータ決定部５２０と、ターゲット初期パラメータセットに基づき、ターゲットモデルを決定するターゲットモデル決定部５３０と、から構成される。
【００８６】
一実施の形態において、ターゲット初期パラメータ部５２０は、候補初期パラメータセットに従いターゲット初期パラメータセットを初期化する初期化部と、ターゲット初期パラメータセットの中のターゲット初期パラメータと、このターゲット初期パラメータに対応する一時モデルの性能とを用いて、予め定義された静的モデルを訓練する静的モデル訓練部と、訓練された静的モデルに基づき、候補初期パラメータセットから候補初期パラメータを選択し、ターゲット初期パラメータセットを更新する第１更新部と、から構成される。
【００８７】
一実施の形態において、初期化部は、候補初期パラメータセットから候補初期パラメータを、ターゲット初期パラメータセット内のターゲット初期パラメータとして一つ以上選択する第１選択部と、から構成される。
【００８８】
一実施の形態において、第１更新部は、訓練された予め定義された静的モデルを用いて、候補初期パラメータセットにおける候補初期パラメータに対応する一時モデルの性能を予測する性能予測部と、予測性能に従い、候補初期パラメータセットから、候補初期パラメータを一つ以上選択し、ターゲット初期パラメータセットを更新する第２更新部と、から構成される。
【００８９】
一実施の形態において、性能予測部は、静的モデルを用いて、候補初期パラメータに対応する一時モデルの性能の平均と分散を計算する第１計算部と、平均と分散に従い、候補初期パラメータに対応する一時モデルの予測性能値を決定する第２計算部と、から構成される。
【００９０】
一実施の形態において、第２更新部は、ターゲット初期パラメータとして、候補初期パラメータセット内の予測性能が最も高い候補初期パラメータを決定するターゲット初期パラメータ獲得部と、候補初期パラメータセットから、この予測性能が最も高い候補初期パラメータを削除する候補初期パラメータ更新部と、から構成される。
【００９１】
一実施の形態において、候補初期パラメータ決定部５１０は、訓練サンプルセットに基づき候補モデルを決定する候補モデル決定部と、候補モデルの更新初期パラメータと一つ以上の第１の初期パラメータとに基づき候補初期パラメータセットを生成する生成部と、から構成される。ここで、候補モデルは第１の初期パラメータに従い生成され、更新初期パラメータは候補モデルの出力に含まれる。
【００９２】
一実施の形態において、候補初期パラメータ決定部５１０は、候補初期パラメータは候補初期モデルパラメータであって、訓練サンプルセットに基づき、候補初期モデルパラメータに従う分布を決定する分布決定部と、決定された分布からサンプルデータを抽出し、候補初期パラメータセットの中の候補初期モデルパラメータを生成するサンプルリング部と、から構成される。
【００９３】
一実施の形態において、候補初期パラメータ決定部５１０は、訓練サンプルセットを無作為に分類する分類部と、分類の結果に基づき候補初期パラメータセットの中の候補初期パラメータを決定する候補初期潜在変数決定部と、から構成される。ここで、候補初期パラメータは、候補初期潜在変数である。
【００９４】
一実施の形態において、ターゲットモデル決定部５３０は、ターゲット初期パラメータセットの中の各々のターゲット初期パラメータを用いた訓練により、中間モデルを生成する中間モデル生成部と、中間モデルの性能に基づきターゲットモデルを決定するターゲットモデル生成部と、から構成される。
【００９５】
図面を見やすくするため、図５において、装置５００のオプション部と下位部を省略している。装置５００を、種々の方法で、実装しうる。例えば、装置５００を、ソフトウェア、ファームウェア、又は、両方において、実装しうる。例えば、装置５００を、コンピュータ可読媒体に格納したコンピュータプログラム製品として、実装しうる。この場合、各部はプログラムモジュールに対応し、このプログラムモジュールによるコンピュータ命令が各部の機能を実行する。また、装置５００を、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）などのハードウェアに基づき、部分的に又は完全に実装してもよい。その他、近年に知られ、又は、未来に開発され、適用可能なもので実装してもよい。そして、この点において、本発明の範囲は限定されない。
【００９６】
図６に、本発明の実施の形態の実装に適した一例のコンピュータシステム６００のブロック図を示す。図６に示すように、コンピュータシステム６００は、読取り専用メモリのＲＯＭ６０２に保存されたプログラムに従い、又は、記憶部６０８からランダムアクセスメモリのＲＡＭ６０３に読み取られたプログラムに従い、中央処理装置のＣＰＵ６０１において種々のプロセスを実行する。
ＲＡＭ６０３は、ＣＰＵ６０１による種々のプロセスの実行中などに、要求に応じて、要求されたデータを保存する。
ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３は、バス６０４を介して互いに接続されている。
入出力インタフェースのＩ／Ｏインタフェース６０５も、バス６０４と、接続されている。
【００９７】
キーボード、マウスなどの入力部６０６、ブラウン管ディスプレイ（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）などのディスプレイ、スピーカーなどの出力部６０７、ハードディスクなどの記憶部６０８、ＬＡＮカードやモデムなどのようなネットワーク通信カードなどの通信部６０９は、Ｉ／Ｏインタフェース６０５に接続されている。
通信部６０９は、インターネットのようなネットワークを介して通信プロセスを実行する。
ドライブ６１０は、必要に応じて、Ｉ／Ｏインタフェース６０５に接続される。
磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなリムーバブルメディア６１１は、必要に応じて、ドライブ６１０に装置し、リムーバルメディア６１１から読み込まれたコンピュータプログラムは、必要に応じて、記憶部６０８にインストールされる。
【００９８】
特に、本発明の実施の形態に係る前述の手順を、コンピュータソフトウエアプログラムとして、実装しうる。例えば、一実施の形態は、上記手順を実装するプログラムコードを含み、機械可読媒体に実体的に保存されたコンピュータプログラムを組み込んだコンピュータ製品から構成される。この実施の形態において、通信部６０９を介してネットワークから、コンピュータプログラムをダウンロードしてもよい。また、コンピュータプログラムを、リムーバブルメディア６１１からインストールしてもよい。
【００９９】
一般に、本発明の実施の形態に係る種々の方法を、ハードウェア、特定目的回路、ソフトウェア、論理回路、又はそれらの組み合わせの上で、実装しうる。ファームウェア又はソフトウェアを、コントローラ、マイクロプロセッサ、その他のコンピュータデバイスにより実行する限り、ハードウェアの上で実装されると言える。ブロック図、フローチャート、その他の描画として、本発明の実施の形態に係る種々の方法を説明し、記述する限りは、この中の記述されたブロック図、装置、システム、技術又は方法を、ハードウェア、ソフトウェア、ファームウェア、特定目的回路、論理回路、汎用ハードウェア、コントローラ、その他のコンピュータデバイス、それらの組み合わせなどで実行すると認識できるだろう。
【０１００】
さらに、図示した種々のブロック部を、方法のステップと、コンピュータプログラムコードの実行内容と、又は、関連づけた機能を実行するために構成された複数の論理回路素子とみなしてもよい。例えば、一実施の形態に、前述の方法を実装するプログラムコードから構成され、機械可読媒体に実体的に保存されたコンピュータプログラムを組み込んだコンピュータ製品を含む。
【０１０１】
機械可読媒体は、命令実行システム、装置又はデバイスに接続し、プログラムを保存する実体的な媒体でもよい。機械可読媒体には、機械可読信号媒体、機械可読記憶媒体を含む。機械可読媒体は、電気、磁気、光、電磁気、赤外線、半導体システム、装置、デバイス、それらの適切な組み合わせなどから構成され、媒体の種類に制限されない。機械可読記憶媒体の例として、ワイヤで電子接続する、可搬型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、電磁記憶装置、これらの適切な組み合わせなどが含まれる。
【０１０２】
本発明の実施の形態に係る種々の方法を実行するためのコンピュータプログラムコードは、複数のプログラミング言語を組み合わせてもよい。コンピュータの処理装置、その他プログラマブルデータ処理装置上で、フローチャート、ブロック図の機能を実行するプログラムコードを、汎用コンピュータ、特殊コンピュータ、他のプログラマブルデータ処理装置に提供してもよい。このプログラムコードを、コンピュータ上で完全に、又は、部分的に、実行してもよい。また、単体のソフトウェアパッケージとして、ローカル及び遠隔のコンピュータ上でそれぞれ部分的に実行してもよく、遠隔のコンピュータ、サーバ上で完全に実行してもよい。
【０１０３】
さらに、機能を個々の命令で示していたとしても、実装において、示された個々の命令、又は連続的な命令を実行するとは限らず、さらに、示したすべての機能を実行するとも限らない。多重タスク処理と並列処理が有利な場合もある。また、前述の実施の形態で詳細な実装を記述したとしても、本発明の範囲を限定するものと解釈すべきではなく、その実施の形態において特有なものでしかない。また、異なる実施の形態で記述されている内容を組み合わせて実行してもよい。逆に、一実施の形態で示した内容を、並列に別々に、又は適切な部分を組み合わせて、実行してもよい。
【０１０４】
添付した図と前述の内容から、前述の実施の形態からの種々の修正、適用について、理解しうる。また、すべての修正は、本発明の範囲に含まれる。さらに、前述の説明と図面とから、本発明の範囲に含まれる他の一実施の形態に修正しうる。
【０１０５】
本発明の実施の形態が前述した実施の形態に限定されず、変形とその他の実施の形態は、添付した特許請求の範囲に含まれることを認識しうる。また、この中の文言は、一般的で、記述的な観念で使用されたにすぎず、限定の目的はない。
【０１０６】
（付記１）
訓練サンプルセットに基づき候補初期パラメータセットを決定する工程と、
予め定義された静的モデルを用いて、前記候補初期パラメータセットに基づきターゲット初期パラメータセットを決定する工程と、
前記ターゲット初期パラメータセットに基づきターゲットモデルを決定する工程と、
を含むことを特徴とする混合モデルの選択方法。
【０１０７】
（付記２）
予め定義された静的モデルを用いて、前記候補初期パラメータセットに基づきターゲット初期パラメータセットを決定する前記工程が、
前記候補初期パラメータセットに従い、前記ターゲット初期パラメータセットを初期化する工程と、
次のｉ）からｉｉ）の工程を１回又は数回実行する工程と、：ｉ）前記ターゲット初期パラメータセットのターゲット初期パラメータと前記ターゲット初期パラメータに対応する一時モデルの性能とを用いて、前記予め定義された静的モデルを訓練する工程、ｉｉ）訓練された前記予め定義された静的モデルに基づき前記候補初期パラメータセットから候補初期パラメータを選択し、前記ターゲット初期パラメータセットを更新する工程、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。
【０１０８】
（付記３）
前記候補初期パラメータセットに従い、前記ターゲット初期パラメータセットを初期化する前記工程が、
前記ターゲット初期パラメータセットのターゲット初期パラメータとして、前記候補初期パラメータセットから候補初期パラメータを一つ以上選択する工程、
を含むことを特徴とする付記２に記載の混合モデルの選択方法。
【０１０９】
（付記４）
訓練された前記予め定義された静的モデルに基づき前記候補初期パラメータセットから候補初期パラメータを選択し、前記ターゲット初期パラメータセットを更新する前記工程が、
訓練された前記予め定義された静的モデルを用いて、前記候補初期パラメータセットの候補初期パラメータに対応する一時モデルの性能を予測する工程と、
予測された前記性能に従い、前記候補初期パラメータセットから候補初期パラメータを一つ以上選択し、前記ターゲット初期パラメートセットを更新する工程と、
を含むことを特徴とする付記２に記載の混合モデルの選択方法。
【０１１０】
（付記５）
訓練された前記予め定義された静的モデルを用いて、前記候補初期パラメータセットの前記候補初期パラメータに対応する一時モデルの性能を予測する前記工程が、
前記静的モデルを用いて、前記候補初期パラメータに対応する前記一時モデルの性能の平均及び分散を算出する工程と、
前記平均及び前記分散に従い、前記候補初期パラメータに対応する前記一時モデルの予測される性能値を決定する工程と、
を含むことを特徴とする付記４に記載の混合モデルの選択方法。
【０１１１】
（付記６）
予測された前記性能に従い、前記候補初期パラメータセットから候補初期パラメータを一つ以上選択し、前記ターゲット初期パラメートセットを更新する前記工程が、
前記候補初期パラメータセット内の予測された前記性能が最も高い候補初期パラメータを、ターゲット初期パラメータとして決定する工程と、
前記候補初期パラメータセットから前記予測された性能が最も高い候補初期パラメータを削除する工程と、
を含むことを特徴とする付記４に記載の混合モデルの選択方法。
【０１１２】
（付記７）
訓練サンプルセットに基づき候補初期パラメータセットを決定する前記工程が、
前記訓練サンプルセットに基づき候補モデルを決定する工程と、
前記候補モデルが第１の初期パラメータに従い生成され、かつ、更新初期パラメータが候補モデルの出力に含まれ、前記候補モデルの更新初期パラメータと一つ以上の第１の初期パラメータとに基づき前記候補初期パラメータセットを生成する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。
【０１１３】
（付記８）
訓練サンプルセットに基づき候補初期パラメータセットを決定する前記工程が、
前記候補初期パラメータが候補初期モデルパラメータであり、前記訓練サンプルセットに基づき前記候補初期モデルパラメータに従う分布を決定する工程と、
決定された前記分布からサンプルデータを抽出し、前記候補初期パラメータセットの中の候補初期モデルパラメータを生成する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。
【０１１４】
（付記９）
訓練サンプルセットに基づき候補初期パラメータセットを決定する前記工程が、
前記訓練サンプルセットを無作為に分類する工程と、
候補初期パラメータが候補初期潜在変数である場合であって、分類結果に基づき前記候補初期パラメータセットの中の前記候補初期パラメータを決定する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。
【０１１５】
（付記１０）
前記ターゲット初期パラメータセットに基づきターゲットモデルを決定する前記工程が、
前記ターゲット初期パラメータセットの中の各々のターゲット初期パラメータの訓練により、中間モデルを生成する工程と、
前記中間モデルの性能に基づき前記ターゲットモデルを決定する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。
【０１１６】
（付記１１）
訓練サンプルセットに基づき候補初期パラメータセットを決定する候補初期パラメータ決定部と、
予め定義された静的モデルを用いて、前記候補初期パラメータセットに基づきターゲット初期パラメータセットを決定するターゲット初期パラメータ決定部と、
前記ターゲット初期パラメータセットに基づきターゲットモデルを決定するターゲットモデル決定部と、
を備えることを特徴とする混合モデルの選択装置。
【０１１７】
（付記１２）
前記ターゲット初期パラメータ決定部が、
前記候補初期パラメータセットに従い、前記ターゲット初期パラメータセットを初期化する初期化部と、
前記ターゲット初期パラメータセットのターゲット初期パラメータと前記ターゲット初期パラメータに対応する一時モデルの性能とを用いて、前記予め定義された静的モデルを訓練する静的モデル訓練部と、
訓練された前記予め定義された静的モデルに基づき前記候補初期パラメータセットから候補初期パラメータを選択し、前記ターゲット初期パラメータセットを更新する第１更新部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。
【０１１８】
（付記１３）
前記初期化部が、
前記ターゲット初期パラメータセットのターゲット初期パラメータとして、前記候補初期パラメータセットから候補初期パラメータを一つ以上選択する第１選択部、
を備えることを特徴とする付記１２に記載の混合モデルの選択装置。
【０１１９】
（付記１４）
前記第１更新部が、
訓練された前記予め定義された静的モデルを用いて、前記候補初期パラメータセットの候補初期パラメータに対応する一時モデルの性能を予測する性能予測部と、
予測された前記性能に従い、前記候補初期パラメータセットから候補初期パラメータを一つ以上選択し、前記ターゲット初期パラメータセットを更新する第２更新部と、
を備えることを特徴とする付記１２に記載の混合モデルの選択装置。
【０１２０】
（付記１５）
前記性能予測部が、
前記静的モデルを用いて、前記候補初期パラメータに対応する前記一時モデルの性能の平均及び分散を算出する第１計算部と、
前記平均及び前記分散に従い、前記候補初期パラメータに対応する前記一時モデルの予測される性能値を決定する第２計算部と、
を備えることを特徴とする付記１４に記載の混合モデルの選択装置。
【０１２１】
（付記１６）
前記第２更新部が、
前記候補初期パラメータセット内の予測された前記性能が最も高い候補初期パラメータを、ターゲット初期パラメータとして決定するターゲット初期パラメータ獲得部と、
前記候補初期パラメータセットから前記予測された性能が最も高い候補初期パラメータを削除する候補初期パラメータ更新部と、
を備えることを特徴とする付記１４に記載の混合モデルの選択装置。
【０１２２】
（付記１７）
候補初期パラメータ決定部が、
前記訓練サンプルセットに基づき候補モデルを決定する候補モデル決定部と、
前記候補モデルが第１の初期パラメータに従い生成され、かつ、更新初期パラメータが前記候補モデルの出力に含まれ、前記候補モデルの前記更新初期パラメータと一つ以上の前記第１の初期パラメータとに基づき前記候補初期パラメータセットを生成する生成部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。
【０１２３】
（付記１８）
前記候補初期パラメータ決定部が、
候補初期パラメータが候補初期モデルパラメータであり、前記訓練サンプルセットに基づき、前記候補初期モデルパラメータに従う分布を決定する分布決定部と、
決定された前記分布からサンプルデータを抽出し、前記候補初期パラメータセットの中の前記候補初期モデルパラメータを生成するサンプリング部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。
【０１２４】
（付記１９）
前記候補初期パラメータ決定部が、
前記訓練サンプルセットを無作為に分類する分類部と、
候補初期パラメータが候補初期潜在変数であり、分類結果に基づき前記候補初期パラメータセットの中の前記候補初期パラメータを決定する候補初期潜在変数決定部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。
【０１２５】
（付記２０）
前記ターゲットモデル決定部が、
前記ターゲット初期パラメータセットの中の各々のターゲット初期パラメータの訓練により、中間モデルを生成する中間モデル生成部と、
前記中間モデルの性能に基づき前記ターゲットモデルを決定するターゲットモデル生成部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。
【図１】
2016194914.tif 000004
【図２】
2016194914.tif 000005
【図３】
2016194914.tif 000006
【図４】
2016194914.tif 000007
【図５】
2016194914.tif 000008
【図６】
2016194914.tif 000009
【外国語明細書】
2016194914000001.pdf