(57)【要約】【課題】高精度な統計モデルを生成できるモデル生成方法、モデル生成プログラム、及びモデル生成装置を提供すること。【解決手段】モデル生成方法において、親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成する。また、モデル生成方法において、親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離を変分し近似した値が最小となるように、親ノードの特徴量出現分布モデルを生成する。【選択図】図４
2010256514.tif 000002
【特許請求の範囲】
【請求項１】
親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成するモデル生成方法であって、
前記親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの特徴量出現分布モデルを生成する、ことを特徴とするモデル生成方法。
【請求項２】
請求項１記載のモデル生成方法であって、
前記特徴量出現分布モデルは、ガウス分布モデル又は混合ガウス分布モデルである、ことを特徴とするモデル生成方法。
【請求項３】
請求項２記載のモデル生成方法であって、
（ａ）前記子ノードの混合ガウス分布モデルを構成するガウス分布モデルの集合の中から、所定個数だけ前記ガウス分布モデルを選択し、
（ｂ）該選択したガウス分布モデルに対して重み付けすると共に、該重み付けしたガウス分布モデルを総和して混合ガウス分布モデルを算出し、
（ｃ）前記親ノードの混合ガウス分布モデルとその子ノードの混合ガウス分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの混合ガウス分布モデルを第１候補として算出し、
（ｄ）前記算出された第１候補の混合ガウス分布モデルの中から、前記選択とは異なる一部の前記ガウス分布モデルを置換して、混合ガウス分布モデルを算出し、
前記親ノードの混合ガウス分布モデルとその子ノードの混合ガウス分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの混合ガウス分布モデルを第２候補として算出し、
（ｅ）前記第１候補の混合ガウス分布モデルと、前記第２候補の混合ガウス分布モデルと、を比較して小さい方を、新たな混合ガウス分布モデルの候補として採用し、
（ｄ）前記（ａ）乃至（ｅ）の処理を前記距離が収束するまで繰り返して、前記親ノードの混合ガウス分布モデルを算出する、ことを特徴とするモデル生成方法。
【請求項４】
請求項１乃至３のうちいずれか１項記載のモデル生成方法であって、
前記親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離は、Kullback Leibler距離である、ことを特徴とするモデル生成方法。
【請求項５】
請求項１乃至４のうちいずれか１項に記載のモデル生成方法により生成された統計モデルを用いて、入力信号の特徴量と、前記特徴量出現分布モデルとの尤度を算出する、ことを特徴とするモデル検索方法。
【請求項６】
請求項５記載のモデル検索方法であって、
前記特徴量出現分布モデルは、話者の音声信号モデルである、ことを特徴とするモデル検索方法。
【請求項７】
親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成するためモデル生成プログラムであって、
前記親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの特徴量出現分布モデルを生成する処理をコンピュータに実行させる、ことを特徴とするモデル生成プログラム。
【請求項８】
親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成するモデル生成装置であって、
前記親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの特徴量出現分布モデルを生成する、ことを特徴とするモデル生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、親ノードの特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成するモデル生成方法、モデル生成プログラム、及びモデル生成装置に関し、特に高精度な統計モデルを生成できるモデル生成方法、モデル生成プログラム、及びモデル生成装置に関するものである。
【背景技術】
【０００２】
近年、例えば、音声信号のパターン認識技術を用いた、話者の検索や照合などを行う音声認識システムが開発されている。この音声認識システムにおいては、混合ガウス分布モデル(ＧＭＭ：Gaussian Mixture Model)や、ＧＭＭを特徴量出力分布とした隠れマルコフモデル(ＨＭＭ：Hidden Markov Model)などの統計モデルを用いて、音声の特徴をモデル化している（例えば、特許文献１参照）。例えば、話者の検索においては、登録されている多数の話者の中から、入力音声信号に近い話者が検索される。この検索では、入力音声信号の特徴量と多数の話者統計モデルとの尤度計算がそれぞれ必要となる。また、トライフォン等の音素環境に依存するＨＭＭを用いた音声認識システムにおいては、入力音声信号の特徴量と多数のＨＭＭ（話者統計モデル）との尤度計算がそれぞれ必要となる。
【０００３】
一方で、このような入力信号の特徴量と、統計モデルとの尤度を効率的に計算できる音声認識システムが知られている（例えば、特許文献２参照）。この音声認識システムにおいては、ＧＭＭやＨＭＭを構成するガウス分布モデルが、木構造で表現されている。すなわち、リーフノードに、ＧＭＭあるいはＨＭＭを構成するガウス分布モデルをそれぞれ対応させており、上位ノードは、それら対応させたガウス分布モデルを階層的にクラスタ化したクラスタの代表分布を、ガウス分布モデルで表現している。
【０００４】
また、入力信号の特徴量とガウス分布モデルとの尤度計算は、以下のようにして行われる。まず、ルートノードから開始して、入力信号の特徴量とその子ノードのガウス分布モデルとの尤度を計算する。そして、計算された尤度の大きい方から子ノードのガウス分布モデルを予め指定した個数選択する。選択された子ノードからその子ノードに対して順次、同一の処理を繰り返す。
【０００５】
これらの処理により、入力信号の特徴量に近い統計モデルにおいては、リーフノードのガウス分布モデルの尤度が算出される。一方、入力信号の特徴量から遠い統計モデルにおいては、上位ノードのガウス分布モデル、すなわちクラスタを代表する統計モデルの尤度によって近似される。このように、ＧＭＭあるいはＨＭＭを構成する全てのガウス分布モデルに対して尤度計算を行うことなく、上述のような近似的な尤度計算を行うことで、入力信号の特徴量に対する統計モデルの尤度計算を高速に実行することが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４８７４２号公報
【特許文献２】特許第２５２２１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献２に示す音声認識システムにおいては、クラスタを代表する統計モデルを単一のガウス分布モデルで表現しており、上位ノードに行くに従って、そのクラスタは広い音響空間にまたがり複雑な分布構造となる。このため、本来、リーフノードのガウス分布モデルの尤度が高い場合でも、上位ノードのガウス分布モデルを用いて誤ったクラスタの選択が行われ、クラスタの代表分布における低い尤度を用いて上記近似的な計算を行うこととなる。したがって、上記近似計算の精度が悪化し、統計モデルの精度が低下するおそれがある。本発明は、このような問題点を解決するためになされたものであり、高精度な統計モデルを生成できるモデル生成方法、モデル生成プログラム、及びモデル生成装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明にかかるモデル生成方法は、親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成するものであって、前記親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの特徴量出現分布モデルを生成する、ことを特徴とするものである。
【０００９】
また、上記目的を達成するための本発明にかかるモデル生成プログラムは、親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成するものであって、前記親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの特徴量出現分布モデルを生成する処理をコンピュータに実行させる、ことを特徴とするものであってもよい。
【００１０】
さらに、上記目的を達成するための本発明にかかるモデル生成装置は、親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造で表現される統計モデルを生成するものであって、前記親ノードの特徴量出現分布モデルとその子ノードの特徴量出現分布モデルとの距離を変分し近似した値が最小となるように、前記親ノードの特徴量出現分布モデルを生成する、ことを特徴とするものであってもよい。
【発明の効果】
【００１１】
本発明によれば、高精度な統計モデルを生成できるモデル生成方法、モデル生成プログラム、及びモデル生成装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】親ノードの混合ガウス分布モデルがその子ノードの混合ガウス分布モデルの代表となるような階層的な木構造の一例を示す図である。
【図２】本発明の一実施形態に係るモデル生成装置のハードウェア構成の一例を示す図である。
【図３】木構造で表現された統計モデルの一部を抽出した図である。
【図４】ノードＮ１〜Ｎｎの混合ガウス分布モデルｆａとノードＮｘの混合ガウス分布モデルｆｂとのＫＬ距離の変分近似値が最小となるような算出方法を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。本発明の一実施形態に係るモデル生成装置１０は、親ノードの特徴量の出現確率を分布で示す特徴量出現分布モデルがその子ノードの特徴量出現分布モデルの代表となるような階層的な木構造（図１）で表現される統計モデルを生成する。
【００１４】
なお、モデル生成装置１０は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）１１と、ＣＰＵ１１によって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）１２と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）１３と、を有するマイクロコンピュータを中心にしてハードウェア構成されている（図２）。また、これらＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、相互に接続されており、データの送受信が可能である。
【００１５】
統計モデルは、例えば、図１に示すような階層的な木構造で表現されている。すなわち、各ノードＮ１、Ｎ１１、Ｎ１２、Ｎ１１１、Ｎ１１２、Ｎ１１３、Ｎ１１４は、クラスタ、すなわち、統計モデルの部分集合を表している。ルートノードＮ１は、統計モデル全体の集合を表している。各ノードＮ１、Ｎ１１、Ｎ１２、Ｎ１１１、Ｎ１１２、Ｎ１１３、Ｎ１１４、すなわち各クラスタは、クラスタを代表する特徴量出現分布モデルを有している。リーフノードＦ１〜Ｆ１２は、１つの特徴量出現分布モデルに対応している。なお、本実施形態において、４階層の木構造が適用されているが、これに限らず、任意の階層の木構造が適用可能である。
【００１６】
本実施形態において、図２に示すような、木構造で表現された統計モデルの一部である、親ノードＮｘとその子ノードＮ１〜Ｎｎとに着目して以下説明を行うものとする。また、本実施形態において、各ノードＮ１〜Ｎｎは、下記（１）式に示す混合ガウス分布モデル(ＧＭＭ：Gaussian Mixture Model)ｆ（ｘ）で表現される特徴量出現分布モデルである。なお、下記（１）式において、ｘはｄ次元の入力信号の特徴量ベクトル（以下、入力特徴ベクトルと称す）であり、ｍは混合数であり、ｗｉは混合重み変数であり、関数Ｎ（μｉ、Σｉ）はｄ次元の平均ベクトルμｉ、ｄｘｄの共分散行列Σｉを有するガウス分布モデルである。
2010256514.tif 000003
【００１７】
次に、親ノードの混合ガウス分布モデルｆ（ｘ）とその子ノードの混合ガウス分布モデルｆ（ｘ）とのKullback Leibler距離を変分し近似した値（以下、変分近似値と称する）が最小となるように、親ノードの混合ガウス分布モデルを生成する方法について説明する。なお、このKullback Leibler距離（以下、ＫＬ距離と称する）を変分近似して算出する方法は、非特許文献（Approximating the Kullback Leibler Divergence Between Gaussian Mixture Models, J.R. Hershey and P.A. Olsen, ICASSP 2007 IV-317, 2007）に詳細に記載されおり、これを援用する。
【００１８】
まず、モデル生成装置１０は、下記（２）式により表現される２つの混合ガウス分布モデルｆａ（ｘ）、ｆｂ（ｘ）間のＫＬ距離の変分近似値Ｄ(ｆａ||ｆｂ)を、下記（３）式を用いて算出できる。なお、下記（３）式において、Ｎａｉ、Ｎｂｉは、下記（４）式で示される単一のガウス分布モデルを示している。また、モデル生成装置１０は、これら単一のガウス分布モデルＮａi、Ｎｂｉ間のＫＬ距離の変分近似値Ｄ（Ｎａｉ||Ｎｂｊ）を、下記（５）式を用いて算出できる。
2010256514.tif 000004
【００１９】
モデル生成装置１０は、各ノードＮ１〜Ｎｎの混合ガウス分布モデルを均一な重み１／ｎでそれぞれ足合わせた、混合ガウス分布モデルｆａを算出する。さらに、モデル生成装置１０は、このノードＮ１〜Ｎｎの混合ガウス分布モデルｆａとノードＮｘの混合ガウス分布モデルｆｂとのＫＬ距離の変分近似値が最小となるように、以下のように算出する。
【００２０】
図４は、ノードＮ１〜Ｎｎの混合ガウス分布モデルｆａとノードＮｘの混合ガウス分布モデルｆｂとのＫＬ距離の変分近似値が最小となるような算出方法を示すフローチャートである。まず、モデル生成装置１０は、ノードＮ１〜Ｎｎの混合ガウス分布モデルｆｂ（ｘ）を構成するガウス分布モデルＮｂｉの中から、重複しない所定個数ｍｂ個のガウス分布モデルＮｂｉを任意に選択する（ステップＳ１０１）。
【００２１】
次に、モデル生成装置１０は、選択した所定個数ｍｂ個のガウス分布モデルＮｂｉと、所定個数ｍｂ個の混合重み変数ｗｂｉとに基づいて、混合ガウス分布モデルｆｂを構成する。そして、モデル生成装置１０は、混合ガウス分布モデルｆａと上記構成した混合ガウス分布モデルｆｂとのＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ）が最小となるように、上記（３）式を用いて混合重み変数ｗｂｉを算出する（ステップＳ１０２）。
その後、モデル生成装置１０は、上記混合ガウス分布モデルｆｂを構成する所定個数ｍｂ個のガウス分布モデルＮｂｉの中から、予め設定したｑ個のガウス分布モデルＮｂｉを任意に置換する（ステップＳ１０３）。このとき、モデル生成装置１０は、置換後のガウス分布モデルＮｂｉと、既にあるガウス分布モデルＮｂｉとが重複しないように上記置換を行うものとする。
【００２２】
さらに、モデル生成装置１０は、上記（ステップＳ１０３）で選択した所定個数ｍｂ個のガウス分布モデルＮｂｉと、所定個数ｍｂ個の混合重み変数ｗｂｉ'とに基づいて、混合ガウス分布モデルｆｂ'を構成する。そして、モデル生成装置１０は、混合ガウス分布モデルｆａと上記構成した混合ガウス分布モデルｆｂ'とのＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ'）が最小となるように、上記（３）式を用いて混合重み変数ｗｂｉ'を算出する（ステップＳ１０４）。
【００２３】
なお、モデル生成装置１０は、上記（ステップＳ１０３）及び（ステップＳ１０４）の混合重み変数ｗｂｉ'を、上記（３）式がｗｂの凸関数でありΣｗｂ＝１であるという制約条件に基づいて、最急降下法等で求めることができる。
次に、モデル生成装置１０は、上記算出したＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ）と、ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ'）とを比較する（ステップＳ１０５）。モデル生成装置１０は、ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ）＞ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ'）であると判断したとき（ステップＳ１０５のＹＥＳ）、混合ガウス分布モデルｆｂ'を採用し（ステップＳ１０６）、下記（ステップＳ１０８）に移行する。一方で、モデル生成装置１０は、ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ）≦ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ'）であると判断したとき（ステップＳ１０５のＮＯ）、混合ガウス分布モデルｆｂを採用し（ステップＳ１０７）、上記（ステップＳ１０３）に戻る。
【００２４】
その後、モデル生成装置１０は、ＫＬ距離が収束したか否かを判断し（ステップＳ１０８）、ＫＬ距離が収束したと判断したとき（ステップＳ１０８のＹＥＳ）、本処理を終了する。一方、モデル生成装置１０は、ＫＬ距離が収束していないと判断したとき（ステップＳ１０８のＮＯ）、上記（ステップＳ１０３）に戻る。
【００２５】
なお、上記ＫＬ距離の収束条件を（ステップＳ１０３）乃至（ステップＳ１０５）の処理回数で設定してもよい。例えば、モデル生成装置１０は、（ステップＳ１０３）乃至（ステップＳ１０５）の処理を所定回数繰り返すと、ＫＬ距離が収束したと判断してもよい。
【００２６】
以上のようにして、ＫＬ距離の変分近似値が最小となるような、子ノードの統計モデル集合を代表する親ノードの混合ガウス分布モデルを、近似的に算出することができる。なお、以上の処理は階層的に繰り返すことができるため、木構造で表現された統計モデルにおいて、全ての上位ノードの混合ガウス分布モデルを上述のように算出することができる。また、本実施形態において、リーフノードは単一のガウス分布モデルとして適用されているが、混合ガウス分布モデルとしても適応可能である。
【００２７】
さらに、上述のように、モデル生成装置１０により生成された統計モデルを用いて、入力信号の特徴量と、特徴量出現分布モデルとの尤度を計算し、最も尤度が高い特徴量出現分布モデルを検索するモデル検索方法を実行してもよい。これにより、高速かつ高精度にモデル検索を行うことができる。またさらに、入力信号が話者の音声信号であり、特徴量出現分布モデルが話者の音声信号モデルである場合、最も尤度が高い音声信号モデルを検索し、その音声信号が検索した音声信号モデルに対応する話者のものであると認識する音声認識システムに利用してもよい。これにより、高速かつ高精度に話者の音声認識を行うことができる。
【００２８】
以上、本実施形態に係るモデル生成装置１０おいて、木構造で表現された統計モデル集合の上位ノードにおける、混合ガウス分布モデルを高精度に生成することができる。これにより、木構造で表現された統計モデルと入力特徴ベクトルとの高速な近似距離計算において、複雑な分布構造を有する、上位ノードにおいてもそのノードが代表するクラスタを混合ガウス分布モデルで高精度に表現できる。したがって、上位ノードにおいて誤ったクラスタを選択するために生じる近似誤差を軽減することができ、上記近似距離計算の精度を高めることが可能となる。すなわち、高速かつ高い近似精度で尤度計算が可能な木構造で表現された、高精度な統計モデルを生成することができる。
【００２９】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００３０】
例えば、上記実施形態の（ステップＳ１０５）において、モデル生成装置１０は、ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ０）と、ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ'）とを比較してもよい。ここで、ｆｂ０  は、例えば、特許文献２に示す従来技術によって算出される単一ガウス分布モデルを示している。モデル生成装置１０は、ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ０）＞ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ'）であると判断すると（ステップＳ１０５のＹＥＳ）、混合ガウス分布モデルｆｂ'を採用する。一方で、モデル生成装置１０は、ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ０）≦ＫＬ距離の変分近似値Ｄ（ｆａ||ｆｂ'）であると判断したとき（ステップＳ１０５）、混合ガウス分布モデルｆｂを採用する（ステップＳ１０７）。これにより、常に従来技術より近似精度が高い木構造で表現された統計モデルを生成することができる。 
【００３１】
また、上記実施形態において、混合ガウス分布モデルｆ（ｘ）間における重み付きKullback Leibler距離の変分近似値を算出しているが、これに限らず、例えば、Kullback Leibler距離、Bhattacharyya距離、重み付きBhattacharyya距離、ユークリッド距離などの、変分近似値を算出してもよい。
さらに、上記実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）１１にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。
【産業上の利用可能性】
【００３２】
本発明は、例えば、ガウス分布モデルを特徴量出現分布モデルとするＧＭＭやＨＭＭを用いた、話者検索、話者照合、音声認識システムなどに利用されるモデル生成方法、モデル生成プログラム、及びモデル生成装置に適用可能である。
【符号の説明】
【００３３】
１０    モデル生成装置
１１    ＣＰＵ
１２    ＲＯＭ
１３    ＲＡＭ
【図１】
2010256514.tif 000005
【図２】
2010256514.tif 000006
【図３】
2010256514.tif 000007
【図４】
2010256514.tif 000008