(57)【要約】ガウス混合モデル（ＧＭＭ）ベースの隠れマルコフモデル（ＨＭＭ）か又はＧＭＭのみを用いて実行され、そのパラメータが最適化プロシージャの間に制約される信号処理システムが開示される。システムへの入力信号を表わす入力ベクトルに適用される制約システムも開示される。本発明は、特に、しかし限定ではなしに、スピーチ認識システムに関するものである。本発明は、前述の制約システムを採用することによって、従来技術のシステムにおいては一般的である、認識器の性能を低下させる非常に非等方性のガウスコンポーネントに関連する局所的最小値にひっかかる傾向を低減させ、それによりこうしたコンポーネントの非等方性を最小にすることができる。本発明はまた、信号処理方法と、該方法に従ってトレーニングされたスピーチ認識器とをカバーする。
2005521906.tif 000002
【特許請求の範囲】
【請求項１】
入力信号からデータエンコードベクトルを導出するための手段を有し、
多数の要素を含む少なくとも１つのクラス平均ベクトルを有するガウス混合モデル（ＧＭＭ）ベースの隠れマルコフモデル（ＨＭＭ）を用いて前記データエンコードベクトルを処理するように構成され、
繰り返し最適化プロシージャにより前記クラス平均ベクトルの要素を処理するように構成された、
複数の多要素データエンコードベクトルを処理するための信号処理システムであって、
最適化プロシージャの間に前記クラス平均ベクトルの要素をスケーリングして、前記クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにし、かつ前記ＧＭＭベースのＨＭＭに入力されるデータエンコードベクトルを正規化するように構成されたことを特徴とするシステム。
【請求項２】
前記ＧＭＭベースのＨＭＭが共分散行列を有し、その要素は、最適化プロシージャの間に前記行列が等方性かつ対角性となるように制約されたままであり、ゼロでない対角要素の値は、前記最適化プロシージャの全体を通して制約されたままであることを特徴とする請求項１に記載のシステム。
【請求項３】
前記ＧＭＭベースのＨＭＭに関連するクラス事前確率は、前記最適化プロシージャの全体を通して等しくなり、かつ不変のままとなるように制約されることを特徴とする請求項１又は請求項２に記載のシステム。
【請求項４】
前記データエンコードベクトルは、該ベクトルが等しいモジュラスをもつように正規化されることを特徴とする上記請求項のいずれかに記載のシステム。
【請求項５】
前記データエンコードベクトルの各々のモジュラスは、前記ベクトルにおける全スペクトルパワーとは無関係であることを特徴とする請求項４に記載のシステム。
【請求項６】
データエンコードベクトルのスペクトル係数を生成する要素が、対応するスペクトル帯域におけるパワーの平方根を前記ベクトルにおいて表わされるスペクトル帯域中に含まれる全パワーの平方根で割ったものに個々に比例するように構成されることを特徴とする請求項４又は請求項５に記載のシステム。
【請求項７】
前記システムは、各データエンコードベクトルに少なくとも１つの付加的な要素を追加するように構成され、前記追加された要素は、前記ベクトルにおいて表わされるスペクトル帯域中に含まれる全パワーをエンコードすることを特徴とする請求項４から請求項６までのいずれかに記載のシステム。
【請求項８】
前記システムは、前記スペクトル帯域中の全パワーを表わすために、各データエンコードベクトルに２つの要素を追加するように構成され、これらの２つの要素は、それらの平方和が前記入力信号のスペクトルを表わす全てのデータエンコードベクトルにおいて一定であるように構成されることを特徴とする請求項７に記載のシステム。
【請求項９】
前記ＧＭＭベースのＨＭＭは、より上位レベルのＨＭＭのための観測確率を与えることを特徴とする請求項１から請求項８までのいずれかに記載のシステム。
【請求項１０】
前記入力信号からの前記データエンコードベクトルの導出は、下位レベルのＧＭＭの使用を含み、この下位レベルのＧＭＭは、該下位レベルＧＭＭの事後確率から導出された要素を含むデータエンコードベクトルを、前記ＧＭＭベースのＨＭＭに与えることを特徴とする請求項１から請求項９までのいずれかに記載のシステム。
【請求項１１】
前記下位レベルＧＭＭから前記ＧＭＭベースのＨＭＭに入力される前記データエンコードベクトルの要素は、前記下位レベルＧＭＭの事後確率の平方根に比例することを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記下位レベルＧＭＭから前記ＧＭＭベースのＨＭＭに入力される前記データエンコードベクトルの要素は、前記下位レベルＧＭＭの事後確率に比例することを特徴とする請求項１０に記載のシステム。
【請求項１３】
前記クラス平均ベクトルの各々のモジュラスの定数の値は、各レベルにおいて異なってもよいことを特徴とする請求項９から請求項１２までのいずれかに記載のシステム。
【請求項１４】
入力信号からデータエンコードベクトルを導出するための手段を有し、
多数の要素を含む少なくとも１つのクラス平均ベクトルを有するガウス混合モデル（ＧＭＭ）を用いて前記データエンコードベクトルを処理するように構成され、
繰り返し最適化プロシージャにより前記クラス平均ベクトルの要素を処理するように構成れた、複数の多要素データエンコードベクトルを処理するための信号処理システムであって、最適化プロシージャの間に前記クラス平均ベクトルの要素をスケーリングして、前記クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにし、かつ前記ＧＭＭに入力されるデータエンコードベクトルを正規化するように構成されたことを特徴とするシステム。
【請求項１５】
前記ＧＭＭが共分散行列を有し、その要素は、最適化プロシージャの間に前記行列が等方性かつ対角性となるように制約されたままであり、ゼロでない対角要素の値は、前記最適化プロシージャの全体を通して制約されたままであることを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記ＧＭＭに関連するクラス事前確率は、前記最適化プロシージャの全体を通して等しくなり、かつ不変のままとなるように制約されることを特徴とする請求項１４又は請求項１５に記載のシステム。
【請求項１７】
前記データエンコードベクトルは、該ベクトルが等しいモジュラスをもつように正規化されることを特徴とする請求項１４から請求項１６までのいずれかに記載のシステム。
【請求項１８】
前記データエンコードベクトルの各々のモジュラスは、前記ベクトルにおける全スペクトルパワーとは無関係であることを特徴とする請求項１７に記載のシステム。
【請求項１９】
データエンコードベクトルのスペクトル係数を生成する要素が、対応するスペクトル帯域におけるパワーの平方根を前記ベクトルにおいて表わされるスペクトル帯域中に含まれる全パワーの平方根で割ったものに個々に比例するように構成されることを特徴とする請求項１７又は請求項１８に記載のシステム。
【請求項２０】
前記システムは、各データエンコードベクトルに少なくとも１つの付加的な要素を追加するように構成され、前記追加された要素は、前記ベクトルにおいて表わされるスペクトル帯域中に含まれる全パワーをエンコードすることを特徴とする請求項１７から請求項１９までのいずれかに記載のシステム。
【請求項２１】
前記システムは、前記スペクトル帯域中の全パワーを表わすために、各データエンコードベクトルに２つの要素を追加するように構成され、これらの２つの要素は、それらの平方和が前記入力信号のスペクトルを表わす全てのデータエンコードベクトルにおいて一定であるように構成されることを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記入力信号からの前記データエンコードベクトルの導出は、第２の下位レベルのＧＭＭの使用を含み、それによりこの第２の下位レベルのＧＭＭは、該第２の下位レベルＧＭＭの事後確率から導出された要素を含むデータエンコードベクトルを、元のＧＭＭに与えることを特徴とする請求項１４から請求項２１までのいずれかに記載のシステム。
【請求項２３】
前記第２のＧＭＭから前記元のＧＭＭに入力される前記データエンコードベクトルの要素は、前記第２のＧＭＭの事後確率の平方根に比例することを特徴とする請求項２２に記載のシステム。
【請求項２４】
前記第２のＧＭＭから前記元のＧＭＭに入力される前記データエンコードベクトルの要素は、前記第２のＧＭＭの事後確率に比例することを特徴とする請求項２２に記載のシステム。
【請求項２５】
前記クラス平均ベクトルの各々のモジュラスの定数の値は、各レベルにおいて異なってもよいことを特徴とする請求項２２から請求項２４までのいずれかに記載のシステム。
【請求項２６】
信号が複数の多要素データエンコードベクトルを含み、前記データエンコードベクトルがアナログ又はデジタル入力から導出され、ガウス混合モデル（ＧＭＭ）か又はＧＭＭベースの隠れマルコフモデル（ＨＭＭ）の少なくとも１つを採用し、該ＧＭＭ又はＧＭＭベースのＨＭＭは、多数の要素を含む少なくとも１つのクラス平均ベクトルを有し、前記クラス平均ベクトルの要素が繰り返しプロシージャにおいて最適化される、信号処理方法であって、該クラス平均ベクトルの要素が、最適化プロシージャの間にスケーリングされて、該クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにされ、ＧＭＭ又はＧＭＭベースのＨＭＭに入力されるデータエンコードベクトルが、それらが正規化されるように処理されることを特徴とする方法。
【請求項２７】
前記ＧＭＭ又はＧＭＭベースのＨＭＭの共分散行列が１つ又はそれ以上の要素を有し、その要素の全ては、最適化プロシージャの間に前記行列が等方性及び対角性となり、かつそのゼロでない対角要素の値が、前記最適化プロシージャの全体を通して一定のままとなるように制約されることを特徴とする請求項２６に記載の方法。
【請求項２８】
前記ＧＭＭ又はＧＭＭベースのＨＭＭに関連するクラス事前確率は、前記最適化プロシージャの全体を通して等しくなり、かつ不変のままとなるように制約されることを特徴とする請求項２６又は請求項２７に記載の方法。
【請求項２９】
前記データエンコードベクトルが、前記ＧＭＭ又はＧＭＭベースのＨＭＭに入力される前に事前処理段階においてスケーリングされて、全てのデータエンコードベクトルのモジュラスが等しくなるようにされることを特徴とする請求項２６から請求項２８までのいずれかに記載の方法。
【請求項３０】
前記データエンコードベクトルの各々のモジュラスは、前記ベクトルにおける全スペクトルパワーとは無関係であることを特徴とする請求項２９に記載の方法。
【請求項３１】
データエンコードベクトルのスペクトル係数を生成する要素が、対応するスペクトル帯域におけるパワーの平方根を前記ベクトルにおいて表わされるスペクトル帯域中に含まれる全パワーの平方根で割ったものに個々に比例するように構成されることを特徴とする請求項２９又は請求項３０に記載の方法。
【請求項３２】
前記データエンコードベクトルの各々に少なくとも１つの付加的な要素が追加され、前記追加された要素は、前記ベクトルにおいて表わされるスペクトル帯域中に含まれる全パワーをエンコードすることを特徴とする請求項２９から請求項３１までのいずれかに記載の方法。
【請求項３３】
前記スペクトル帯域中の全パワーを表わすために、各データエンコードベクトルに２つの要素が追加され、これらの２つの要素は、それらの平方和が前記入力信号のスペクトルを表わす全ての入力ベクトルにおいて一定であるように構成されることを特徴とする請求項３２に記載の方法。
【請求項３４】
前記ＧＭＭ又はＧＭＭベースのＨＭＭは、より上位レベルのＨＭＭのための観測確率を与えることを特徴とする請求項２６から請求項３３までのいずれかに記載の方法。
【請求項３５】
前記入力信号からの前記データエンコードベクトルの導出は、下位レベルのＧＭＭの使用を含み、この下位レベルのＧＭＭは、該下位レベルＧＭＭの事後確率から導出された要素を含むデータエンコードベクトルを、前記ＧＭＭ又はＧＭＭベースのＨＭＭに与えることを特徴とする請求項２６から請求項３４までのいずれかに記載の方法。
【請求項３６】
前記下位レベルＧＭＭから前記ＧＭＭ又はＧＭＭベースのＨＭＭに入力される前記データエンコードベクトルの要素は、前記下位レベルＧＭＭの事後確率の平方根に比例することを特徴とする請求項３５に記載の方法。
【請求項３７】
前記下位レベルＧＭＭから前記ＧＭＭ又はＧＭＭベースのＨＭＭに入力される前記データエンコードベクトルの要素は、前記下位レベルＧＭＭの事後確率に比例することを特徴とする請求項３５に記載の方法。
【請求項３８】
前記クラス平均ベクトルの各々のモジュラスの定数の値は、各レベルにおいて異なってもよいことを特徴とする請求項３４から請求項３７までのいずれかに記載の方法。
【請求項３９】
請求項２６から請求項３８までのいずれかに記載の方法に従ってトレーニングされた信号処理システム。
【請求項４０】
入力信号からデータエンコードベクトルを導出するための手段を有し、
ガウス混合モデル（ＧＭＭ）及びＧＭＭベースの隠れマルコフモデル（ＨＭＭ）の少なくとも１つを用いて前記データエンコードベクトルを処理するように構成され、前記ＧＭＭ又はＧＭＭベースのＨＭＭは、多数の要素を含む少なくとも１つのクラス平均ベクトルを有し、
繰り返し最適化プロシージャにより前記クラス平均ベクトルの要素を処理するように構成された、１つ又はそれ以上の多要素入力ベクトルを処理するための信号処理システムを実装するためのものであり、コンピュータ上で動作するように設計されたコンピュータプログラムであって、前記システムがさらに、最適化プロシージャの間に前記クラス平均ベクトル要素をスケーリングして、前記クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにし、かつ前記ＧＭＭ又はＧＭＭベースのＨＭＭに入力されるデータエンコードベクトルを正規化するように構成されたことを特徴とするプログラム。
【請求項４１】
入力信号からデータエンコードベクトルを導出するための手段を有し、
ガウス混合モデル（ＧＭＭ）及びＧＭＭベースの隠れマルコフモデル（ＨＭＭ）の少なくとも１つを用いて前記データエンコードベクトルを処理するように配置され、前記ＧＭＭ又はＧＭＭベースのＨＭＭは、多数の要素を含む少なくとも１つのクラス平均ベクトルを有し、
繰り返し最適化プロシージャにより前記クラス平均ベクトルの要素を処理するように構成された、１つ又はそれ以上の多要素入力ベクトルを処理するための信号処理システムを組み入れるスピーチ認識器であって、前記システムがまた、前記最適化プロシージャの間に前記クラス平均ベクトル要素をスケーリングして、前記クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにし、かつ前記ＧＭＭ又はＧＭＭベースのＨＭＭに入力されるデータエンコードベクトルを正規化するように構成されたことを特徴とするスピーチ認識器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号の分類及び認識を助けるための信号処理システム及び方法に関する。より具体的には、本発明は、特に、限定はしないが、スピーチに関する分類性能を改善するために、ガウス混合モデルと隠れマルコフモデルとの両方をトレーニングし、及び用いるための修正されたプロセスに関する。
【背景技術】
【０００２】
ガウス混合モデル（ＧＭＭ）及び隠れマルコフモデル（ＨＭＭ）は、信号分類器において、トレーニングデータとして既知の例入力の組が与えられたときに入力信号を識別するのを助けるために用いられることが多い。この技術の用途にはスピーチ認識があり、その場合、音声スピーチ信号がデジタイズされて分類器に入力され、該分類器が言葉の語彙から入力音声信号に最も対応しそうな言葉の組を生成することを試みる。別の用途にはレーダがあり、その場合、景観から戻ってきたレーダ信号が処理されて、景観のコンテンツの推定が与えられ、画像処理される。国際公開第０２／０８７８３号は、レーダ信号の処理に隠れマルコフモデルを用いることを示している。
ＧＭＭ又はＨＭＭが信号を分類するのに使用可能となる前に、最も有効な性能を与えるべくモデル内のパラメータを初期化して適切なトレーニングデータの組でトレーニングしなければならない。したがって、これらのモデルの実用に関連する２つの個別の段階、すなわちトレーニング段階と分類段階が存在する。これらの両方の段階においては、データは分類器に同様の方法で与えられる。スピーチ認識に適用されたとき、スピーチ信号を表わすベクトルの組は、通常は以下の方法で生成される。入来する音声信号がデジタイズされ、１０ｍｓセグメントに分割される。次いで各セグメントの周波数スペクトルが取られ、必要であれば打切りの影響を補正して、スペクトルベクトルを生成するために、窓関数が採用される。スペクトルベクトルの各要素は、典型的には、異なる周波数帯域の各々における積分パワーの対数の大きさである。可聴周波数範囲は、典型的には、およそ２５のこうした連続する帯域に及ぶが、スペクトルベクトルの１つの要素は、慣例的に、全ての周波数帯域にわたる積分パワーの対数、すなわちサウンドの全ラウドネスの対数の大きさをとるために留保される。したがって、スペクトルベクトルの各々は、通常は、およそ２５＋１＝２６の要素を有し、言い換えれば、ベクトル空間は、通常は２６次元である。これらのスペクトルベクトルは時間順であり、音声信号の分光写真表現として、ＨＭＭ又はＧＭＭへの入力を構成する。
【０００３】
ＧＭＭ及びＨＭＭの両方のトレーニングは、トレーニングデータを用いてプロセスに関連する最適化されたパラメータの組を定め、モデルがこれまで見られなかったデータに遭遇したときに最適な分類が行われるようにすることを含む。
ＧＭＭは、ガウスコンポーネント又はクラスの加重和としてパラメータ化された、それらのベクトル空間における入力ベクトル（例えばスペクトルベクトル）の確率密度関数（ＰＤＦ）のモデルである。最適化のために利用可能なパラメータは、各クラスの平均及び共分散行列と、クラス事前確率である。クラス事前確率は、クラスの加重和の重みである。これらの適応パラメータは、典型的には、期待値最大化（ＥＭ）、及びモデルの尤度関数（ログ尤度）のトレーニングの組の対数の平均を最大化する全ての適応パラメータの値の組を見つけるための周知のプロシージャであるログ尤度傾き上昇アルゴリズムのような適応繰り返し再推定プロシージャによって、一組のトレーニングデータに関して最適化される。これらの繰り返しプロシージャは、適応パラメータの値を、最初の推定から始まって１つの繰り返しから次の繰り返しへと洗練していき、それは目的に適った範囲内にあるただの乱数である。
【０００４】
ＧＭＭの適応パラメータが最適化されると、これらのトレーニングされたパラメータは、その後、観測されたスペクトルベクトルのいずれかについての最も可能性のある別のモデルの組を識別するために、すなわち、該スペクトルベクトルを分類するために用いられる。分類ステップは、ＧＭＭの各コンポーネントが観測スペクトルベクトルを生み出す尤度を計算するための慣例的プロシージャを含む。
ＧＭＭが、それらの相互の一時的な相関とは関係なしに、個々の入力ベクトルのＰＤＦモデルであるのに対し、ＨＭＭは、時間順の一連の入力ベクトルのＰＤＦモデルである。通常のＨＭＭの適応パラメータは、観測確率（入力ベクトルのＰＤＦが、それぞれマルコフチェーンの可能性のある隠れ状態を与える）と、遷移確率（マルコフチェーンがそれぞれ可能性のある隠れ状態の２つずつの組み合わせの間に遷移状態を生じる確率の組）である。
【０００５】
ＨＭＭは、その観測確率を、ガウスＰＤＦ（そうでなければコンポーネント又はクラスとして知られている）か又はガウスＰＤＦの加重和、すなわちＧＭＭとしてモデル化することができる。こうしたＨＭＭは、ＧＭＭベースのＨＭＭとして知られている。ＧＭＭベースのＨＭＭの観測確率は、ＧＭＭとしてパラメータ化されるが、ＧＭＭベースのＨＭＭは、それ自体ではＧＭＭではない。入力段階は、ＧＭＭベースのＨＭＭに加えることができるが、この入力段階は単純なＧＭＭを含む。ＧＭＭベースのＨＭＭのログ尤度はＨＭＭのログ尤度であり、その観測確率は、ＧＭＭとしてパラメータ化されるように制約され、それはＧＭＭのログ尤度ではない。結局、ＧＭＭベースのＨＭＭの最適化プロシージャは、ＧＭＭのものと同じではない。しかしながら、ＧＭＭベースのＨＭＭの観測確率を最適化するための処方は、関連するＧＭＭのクラス平均、共分散行列及びクラス事前確率を最適化するための処方として作り直すことができる。
【０００６】
ＨＭＭの適応パラメータのトレーニング又は最適化は、一連のスピーチのような入力信号のモデルの全尤度関数を最大にするようにして行われる。これを行う一般的な方法の１つは、モデルのログ尤度関数の期待値最大化技術の発展形であるＢａｕｍ−Ｗｅｌｃｈ再推定アルゴリズムを用いることであり、それは、一連のスピーチの先行値における隠れ状態の確率的依存を可能にするように拡張される。ＨＭＭは、遷移確率及び観測確率の値についての初期の恐らくはランダムな仮定により最初に初期化される。
一連のスピーチのような一連の入力トレーニングベクトルの組の各々１つにおいて、ＨＭＭが一連の観測を生み出す尤度を演繹するために、Ｂａｕｍ−Ｗｅｌｃｈフォワード−バックワードアルゴリズムが適用される。全てのこうした一連のモデル尤度のそれぞれに基づいて、Ｂａｕｍ−Ｗｅｌｃｈの再推定式は、遷移確率及び観測確率（すなわち、ＧＭＭクラス平均、共分散行列及びクラス事前確率）についてのモデルの仮定された値を、モデルの平均ログ尤度の増加が最大となるように更新する。このプロセスは、一連のスピーチトレーニングの各々の改正されたモデル尤度を演繹するためにＢａｕｍ−Ｗｅｌｃｈフォワード−バックワードアルゴリズムを用い、かつ、それらに基づき、適応パラメータへの更なる更新を与えるためにＢａｕｍ−Ｗｅｌｃｈ再推定式を用いて、繰り返される。
【０００７】
慣例的なＢａｕｍ−Ｗｅｌｃｈ再推定プロシージャの繰り返しの各々は、あらゆるＧＭＭベースのＨＭＭについての５つのステップ、すなわち、（ａ）Ｂａｕｍ−Ｗｅｌｃｈフォワード−バックワードアルゴリズムをあらゆる一連のスピーチトレーニングに適用するステップと、（ｂ）何らかのＧＭＭクラス平均の更新値を次の繰り返しのために決定するステップと、（ｃ）何らかのＧＭＭクラス共分散行列の更新値を次の繰り返しのために決定するステップと、（ｄ）何らかのＧＭＭクラス事前確率の更新値を次の繰り返しのために決定するステップと、（ｅ）何らかのＨＭＭ遷移確率の更新値を次の繰り返しのために決定するステップと、に分けることができる。したがって、ＧＭＭベースのＨＭＭを最適化するためのＢａｕｍ−Ｗｅｌｃｈ再推定プロシージャは、ＧＭＭを最適化するためのＥＭアルゴリズムの一般化と考えることができるが、更新された遷移確率は、追加の第４の出力と考えることができる。
【０００８】
或る用途においては、ＧＭＭとしてパラメータ化された観測確率をもたないＨＭＭが採用されるが、その代わりに、より下位レベルのＨＭＭが用いられる。したがって、最上層に「上位レベル」のＨＭＭをもち、かつ最下層にＧＭＭをもつ階層が形成され、各層は、次のステージダウンによって定められる観測確率を有する。この技術は、サブワード単位に基づくスピーチ認識システムにおいては一般的であり、その構造は２つの入れ子状レベルのＨＭＭを含み、最も下位の方はＧＭＭベースの観測確率を有する。
【０００９】
上位レベルのＨＭＭの観測確率の最適化プロシージャは、前述のような下位レベルにて通常のＨＭＭの遷移確率及び観測確率（すなわちＧＭＭパラメータ）の両方を最適化する慣例的プロシージャにまで減少される。上位レベルのＨＭＭの遷移確率の最適化プロシージャは、前述のような通常のＨＭＭの遷移確率の慣例的な最適化プロシージャと同じである。
ＨＭＭは、この方法で多レベル階層へと積み重ねることができる。いずれかのレベルにおける観測確率の最適化プロシージャは、最下位レベルにおけるＧＭＭパラメータの慣例的最適化プロシージャと組み合わされた、全ての下位レベルにおける遷移確率の慣例的最適化プロシージャにまで減少される。いずれかのレベルにおける遷移確率の最適化プロシージャは、通常のＨＭＭの遷移確率の慣例的最適化プロシージャと同一のものである。したがって、階層的ＨＭＭの最適化プロシージャは、通常のＨＭＭの遷移及び観測確率の慣例的最適化プロシージャの再帰的アプリケーションによって説明される。
ＨＭＭの適応パラメータが最適化されると、トレーニングされたＨＭＭはその後、観測された一連の入力ベクトル、すなわち、スピーチ分類の場合のスペクトルベクトル、及び、レーダその他のイメージの場合の複雑な振幅又はイメージデータの、最も可能性のある別のモデルの組を識別するために用いることができる。このプロセスは、慣例的には、Ｂａｕｍ−Ｗｅｌｃｈフォワード−バックワードアルゴリズムを用いて達成され、それは、異なる最適化された遷移及び観測確率をもつ別のＨＭＭの組の各々から観測された一連の入力ベクトルが生成される尤度を計算する。
【００１０】
前述の分類方法は或る欠点を有する。ＧＭＭ、したがってそれらの上に階層的に存在するＨＭＭの観測確率、並びにＨＭＭの遷移確率を最適化するときに、最適化が局所的最小値にひっかかる傾向が存在し、システムが最適分類を達成するのを妨げる。これは、それらが自由に過度に非等方性となる場合に、クラス尤度とＰＤＦが互いに「巻き込まれる」傾向をもたらす場合が多い。また、スピーチ認識器技術に関しては、現在の認識器は、非常に異なる発声状態での発声者の母音の特定の全変化性のような、実際のスピーチの微妙な変化や固有の特徴を捉えるのが不得手である。特に、個々の母音は、スペクトルベクトル空間において複雑な形状をとり、慣例的になされるような、これらの形状をガウス分布として表現する試みは、スピーチ音声の忠実でない表現を招くことがある。
【発明の開示】
【００１１】
本発明によれば、入力信号からデータエンコードベクトルを導出するための手段を有し、多数の要素を含む少なくとも１つのクラス平均ベクトルを有するガウス混合モデル（ＧＭＭ）を用いて該データエンコードベクトルを処理するように構成され、かつ繰り返し最適化プロシージャにより該クラス平均ベクトルの要素を処理するように構成された、複数の多要素データエンコードベクトルを処理するための信号処理システムであって、最適化プロシージャの間にクラス平均ベクトルの要素をスケーリングして、該クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにし、かつＧＭＭに入力されるデータエンコードベクトルを正規化するように構成されたことを特徴とするシステムが提供される。
ＧＭＭの各々の平均ベクトルのモジュラスは、最適化プロシージャの各繰り返し後に、それらの全てが等しい値となるように再スケーリングされることが好ましい。
【００１２】
この明細書で説明された形式のほとんどの信号処理システムは、一連のトレーニングにおける全てのデータエンコードベクトルの確率密度関数を表わすＧＭＭを組み入れている。クラス平均ベクトルの要素が定数のモジュラスをもつように制限する制約は、各ＧＭＭのクラス平均が、次元数（ｎ−１）、ｎは個々のベクトルの次元である、を有する超球の表面上に存在することになるので、信号処理システムを構成するＧＭＭの簡単化された処理をもたらす。
ＧＭＭに関連する共分散行列は、等方性及び対角性となり、かつ定数値となるように制約された分散を有するように制約されることが好ましい。これは、非常に非等方性のガウスコンポーネントに関連する特定の厳しい局所的最小値のクラスが生じる可能性をなくし、そのためトレーニングプロセスの間にこうした部分最適構成が生じるのを防止する。そのように制約される共分散行列は、スカラー値として数学的に考えることができ、したがってスカラー値は、こうした共分散行列を表わすのに用いることができることに留意されたい。
【００１３】
本発明の新規な制約を用いて特定の局所的最小値のクラスをなくすことは、一定の状況の下では非常に有意義なことであり、新規な追加の利点（可能であれば局所的最小値を制限するか又は回避する必要性に加えて）をもつ。こうした状況は、データエンコードベクトルの確率分布関数（ＰＤＦ）が転置変換のような直交対称に関して不変であるときにはいつでも起こる。こうした状況の下で本発明の新規な制約を採用して特定の局所的最小値のクラスをなくすことは、周知の期待値最大化（ＥＭ）アルゴリズムのような適応プロシージャの後に、これらの同じ対称変換の下でＧＭＭ自体のクラス平均が対称となることを可能にする。これは、こうした適応プロシージャが、これらの同じ対称変換に関してクラス事後確率が不変であるＧＭＭを導出する手段を与え、この特質は、変換ロバストパターン認識システムを作成するのに有用となるであろう。
各ＧＭＭ、したがってＧＭＭベースのＨＭＭは、クラス事前確率の組を有する。ＧＭＭに関連するクラス事前確率は、最適化プロシージャの全体にわたって等しくなり、かつ一定のままとなるように制約されることが好ましい。
【００１４】
ＧＭＭを組み入れた従来技術の信号処理システムは、通常は、共分散行列がクラスにわたって等しくなるように制約されるとき以外は、モデルパラメータに制約を課すことを避け、クラス平均、共分散行列、クラス事前確率及び隠れ状態遷移確率には、それらの値を平均ログ尤度ができるだけ大きくなるように選択すること以外の要求はめったに課されない。
ＧＭＭ使用のトレーニング段階及び分類段階の両方において入力信号から導出された入力ベクトルでもあるデータエンコードベクトルの各々は、その要素ｘiが、異なる周波数帯域内の積分パワーの平方根に比例するように制約される。有利なことに、こうしたデータエンコードベクトルの各々の要素は、ベクトル要素の平方和が元の入力の全パワーとは関係のない定数値となるようにスケーリングされる。
こうしたデータエンコードベクトルの各々は、ベクトルの全パワーを表わす１つ又はそれ以上の要素の追加に伴って増大されることが好ましい。上述のベクトル要素のスケーリングは、パワーの何らかの表示を除去し、そのため付加的な要素は、ベクトル内のパワーすなわちラウドネスの表示のみを与える。明らかに、パワーを表わす要素の値の計算は、予めスケーリングされたベクトル要素に基づく必要があろう。
【００１５】
本明細書における「入力ベクトル」及び「スペクトルベクトル」という用語は、システム階層の最下位レベルに入力を与えることに関して交換可能に用いられる。このレベルのベクトルは、入力信号の実パワースペクトル、ゆえにスペクトル係数を表わすか、又はパワースペクトルの或る修正形を表わす。実際には、入力ベクトルは通常、一時的入力信号セグメントのパワースペクトルを表わすが、これは全ての用途についてのことではない。さらに、一時的入力信号の処理は、ある用途、例えばコサイン変換に用いられる。本明細書における「データエンコードベクトル」は、文脈に応じて、階層のいずれかのレベルへの入力として用いられる何らかのベクトル、すなわち、その文脈で説明される特定の階層レベルへの直接入力として用いられる何らかのベクトルである。したがって、データエンコードベクトルは、階層の最下位レベルにてシステムに入る情報を表わすときのみ入力ベクトルである。
【００１６】
ベクトルの正規化は、全てのベクトル要素に対して定められた幾つかの基準を達成するべく、同じファクタによってその要素の全てを再スケーリングするプロセスであることにも留意されたい。そのファクタは、正規化のために選択された基準に依存するものである。ベクトルは、通常は、２つの有用な基準、すなわち、１つは正規化後に要素の和が定数となるように正規化することであり、もう１つは、正規化後に要素の平方和が定数となるように正規化することである、のうちの１つによって正規化することができる。第１の基準により、再スケーリングファクタは、正規化前の要素の値の和の逆数に比例するであろう。第２の基準により、再スケーリングファクタは、正規化前の要素の値の平方和の平方根の逆数に比例するであろう。排他確率のベクトルは、第１基準によってそれらの確率の和が１となるように正規化されたベクトルの例である。（実数値の）単位ベクトルは、第２基準に従って正規化されたベクトルの例であり、（実数値の）単位ベクトルの要素の平方和は１である。要素が一組の排他確率の平方根を含むベクトルもまた、第２基準によって正規化されたベクトルの例である。
【００１７】
本明細書の目的のために、指数混合モデル（ＥＭＭ）を含めてＧＭＭについての何らかの言及をする。ＧＭＭのデータエンコードベクトルのモジュラス｜ｘ｜及び｜ｗ｜並びにクラス平均をそれぞれ一定に設定し、ＧＭＭの共分散行列を、単純なＧＭＭの慣例的なＥＭアルゴリズムか又はＧＭＭベースのＨＭＭの慣例的なＢａｕｍ−Ｗｅｌｓｈ再推定プロシージャにおいて等方性となるように構成することによって、単純なＥＭＭ及びＥＭＭベースのＨＭＭを最適化するための式及びプロシージャを導出することができるので、ＥＭＭは、ＧＭＭの特殊ケースと考えることができる。それにもかかわらず、そのように導出された式及びプロシージャは、｜ｘ｜及び｜ｗ｜が一定ではないときにもＥＭＭに関しては妥当であり、それらは一般的なＥＭＭを最適化するための有効な処方を構成する。
【００１８】
本発明の別の態様によれば、入力信号からデータエンコードベクトルを導出するための手段を有し、多数の要素を含む少なくとも１つのクラス平均ベクトルを有するガウス混合モデル（ＧＭＭ）ベースの隠れマルコフモデル（ＨＭＭ）を用いてデータエンコードベクトルを処理するように構成され、かつ繰り返し最適化プロシージャによりクラス平均ベクトルの要素を処理するように構成された、複数の多要素データエンコードベクトルを処理するための信号処理システムであって、最適化プロシージャの間にクラス平均ベクトルの要素をスケーリングして、各繰り返しにおいて該クラス平均ベクトルが定数のモジュラスをもつようにし、かつＨＭＭベースのＧＭＭに入力されるデータエンコードベクトルを正規化するように構成されたことを特徴とするシステムが提供される。
【００１９】
ここで説明する本発明は、ＧＭＭのみを採用するシステムか、又はＧＭＭベースのＨＭＭを採用するシステムか、或いはデータエンコードベクトルが別の下位レベルのＧＭＭのクラス事後確率から導出されるＧＭＭベースのＨＭＭを採用するシステムに、等しく良好に適用することができる。
前述のように、平均ベクトル及び共分散行列、並びにクラス事前確率を含むＧＭＭパラメータに課すことができる制約及び条件はまた、ＧＭＭベースのＨＭＭの同等のパラメータにも課すことができる。同様に、ＧＭＭベースのシステムと共に用いられる前述のようなデータエンコードベクトルに適用される処理は、ＧＭＭベースのＨＭＭシステムにも等しく良好に適用することができる。
或る用途、特にサブワード単位に基づくモデルは、その観測確率として、本発明に従って制約されたＧＭＭを用いるＨＭＭを採用するのが有利であり、該ＨＭＭは、さらなるＨＭＭの観測確率として働く。このように、従来技術の手法でＨＭＭの階層を構築することができるが、本発明に係るモデルパラメータに対する制約が階層の各レベルにて適用されるという違いがある。
【００２０】
階層は、２つのＧＭＭを２つの下位レベルとして組み入れ、ＨＭＭを最上位レベルに組み入れるのが有利である。最も下位レベルのＧＭＭは、事後確率をデータエンコードベクトルとして第２の、より上位レベルのＧＭＭに与える。この第２のＧＭＭは、第３のレベルのＨＭＭに観測確率を与える。この配置は、個々のスピーチ−サウンドが、従来のように個々のガウス楕円としてではなく、単位超球をタイリングする多くの小さなガウス超円の集合体として、スペクトルベクトル空間内で表現されるようにし、非常に複雑な形状のスピーチ−サウンドがより忠実に表現される可能性を与え、それにより改善された分類性能を与える。
【００２１】
本発明の別の態様によれば、信号が複数の多要素データエンコードベクトルを含み、前記データエンコードベクトルがアナログ又はデジタル入力から導出され、ガウス混合モデル（ＧＭＭ）か又はＧＭＭベースの隠れマルコフモデル（ＨＭＭ）の少なくとも１つを採用し、該ＧＭＭ又はＧＭＭベースのＨＭＭは、多数の要素を含む少なくとも１つのクラス平均ベクトルを有し、前記クラス平均ベクトルの要素が繰り返しプロシージャにおいて最適化される、信号処理方法であって、該クラス平均ベクトルの要素が、最適化プロシージャの間にスケーリングされて、該クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにされ、ＧＭＭ又はＧＭＭベースのＨＭＭに入力されるデータエンコードベクトルが、それらが正規化されるように処理されることを特徴とする方法が提供される。
本発明の方法に従ってトレーニングされたシステムのユーザは、そのトレーニングを行ったユーザとは異なっていても良いことに留意されたい。これは、本発明のトレーニングモードと分類モードとの区別のためである。
【００２２】
本発明の別の態様によれば、コンピュータ上で動作するように設計され、かつ１つ又はそれ以上の多要素入力ベクトルを処理する信号処理システムを実装するように構成され、該システムが、入力信号からデータエンコードベクトルを導出するための手段を有し、多数の要素を含む少なくとも１つのクラス平均ベクトルを有するガウス混合モデル（ＧＭＭ）とＧＭＭベースの隠れマルコフモデル（ＨＭＭ）の少なくとも１つを用いてデータエンコードベクトルを処理するように構成され、かつ繰り返し最適化プロシージャによりクラス平均ベクトルの要素を処理するように構成され、該システムがまた、最適化プロシージャの間にクラス平均ベクトル要素をスケーリングしてクラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにし、かつＧＭＭ又はＧＭＭベースのＨＭＭに入力されるデータエンコードベクトルを正規化するように構成されたことを特徴とするコンピュータプログラムが提供される。
本発明は、従来のコンピュータシステム上に実装することができる。コンピュータは、本発明に係る信号処理システムを実装してコンピュータハードウエア上で実行するようにプログラミングされる。
【００２３】
本発明の別の態様によれば、入力信号からデータエンコードベクトルを導出するための手段を有し、多数の要素を含む少なくとも１つのクラス平均ベクトルを有するガウス混合モデル（ＧＭＭ）とＧＭＭベースの隠れマルコフモデル（ＨＭＭ）の少なくとも１つを用いてデータエンコードベクトルを処理するように配置され、かつ繰り返し最適化プロシージャによりクラス平均ベクトルの要素を処理するように配置された、１つ又はそれ以上の多要素入力ベクトルを処理する信号処理システムを組み入れるスピーチ認識器であって、該システムがまた、最適化プロシージャの間にクラス平均ベクトル要素をスケーリングして、クラス平均ベクトルが各繰り返しにおいて定数のモジュラスをもつようにし、かつＧＭＭ又はＧＭＭベースのＨＭＭに入力されるデータエンコードベクトルを正規化するように配置されたことを特徴とするスピーチ認識器が提供される。
スピーチ認識器は、ここで説明される信号処理システムを有利に組み入れることができ、ここで説明する信号処理方法を組み入れることができる。
【発明を実施するための最良の形態】
【００２４】
次に、本発明を単なる例として付属の図面を参照しながら詳細に説明する。
本発明は、主として、ある種のアナログ入力、アナログ・デジタル変換器、及びデジタル処理手段を有するコンピュータシステム上で実施される。デジタル処理手段は、デジタル記憶装置及びプロセッサを含む。図１に示されるように、スピーチ認識装置の実施形態は、通常は、スピーチ自体からのトランスデューサとして働くマイクロホン１を有し、その電気出力は、アナログ・デジタル変換器（ＡＤＣ）２に供給される。ＡＤＣより前に或るアナログ処理が存在してもよい（図示せず）。ＡＤＣは、その出力を回路３に送り、該回路は、デジタル信号を１０ｍｓのスライスに分割し、各スライスに対してスペクトル解析を行って、スペクトルベクトルを生成する。これらのスペクトルベクトルは、信号プロセッサ４に送られ、そこで本発明が実施される。信号プロセッサ４は、デジタル記憶装置５と関連付けられる。或る用途は、或る遠隔地点にてデジタイズされた入力信号を有し得るので、ＡＤＣはもたない。本発明の範囲内で他のハードウェア構成も可能である。
【００２５】
本発明の典型的な信号処理システムは、入力信号を分類するために一緒に用いられる単純なＧＭＭ及びＧＭＭベースのＨＭＭを含む。分類する目的のためにこれらのモデルのいずれかが使用可能となる前に、それらはトレーニングデータの組を用いて最初に最適化され、又はトレーニングされなければならない。したがって、分類モデルの２つの個別の作動モード、すなわち、トレーニング相と分類相が存在する。
図２は、総じて、ＧＭＭ及びＨＭＭベースの分類器の両方をトレーニングするために従来技術のシステムによって用いられるステップを示す。図２は、ＨＭＭ遷移確率の初期化及び再推定に関連するステップが、全ての階層レベルでのＨＭＭ遷移確率の初期化及び再推定に関連するので、階層的なＧＭＭベースのＨＭＭの最適化とともに、普通のＧＭＭベースのＨＭＭ及び単純なＧＭＭの最適化を示す。分類性能を改善するために改善されたモデルのパラメータの組を定めることが要求されるときに、フローチャートが上から開始される。最初に、種々のクラスが初期化される必要があり、これらはクラス手段、クラス共分散行列、及びクラス事前確率である。ＨＭＭは、遷移確率を初期化する付加的なステップを有する。これらの初期化値は、ランダムなものであってもよいし、或る事前推定プロシージャか又は或る他の方法のいずれかによる「最良推測」であってもよい。
【００２６】
これらの初期化は、以下のように進むトレーニングプロシージャの第１の繰り返しのための適応パラメータを形成する。一連のトレーニングからデータエンコードベクトル又は一連のベクトル（ＨＭＭの場合）が得られ、既知の再推定プロシージャを用いて処理される。ＧＭＭにおいてはＥＭアルゴリズムが用いられる場合が多く、ＨＭＭにおいてはＢａｕｍ−Ｗｅｌｃｈ再推定プロシージャが一般的である。これは、再推定プロシージャの内部ループであり、一連のトレーニングにおける全てのデータエンコードベクトルについて実行される。
これを受けて、内部ループ処理の間に得られる情報を用いて、新しいクラス、ＨＭＭの場合には新しい遷移確率が計算される。この新しいデータの収束は、それを前の組と比較することによって、又は尤度関数が安定最小値を達成したかどうかを判断することによって試験され、プロセスは、必要であれば開始点として新たに計算されたデータを用いて再び繰り返される。
【００２７】
本発明に移ると、スピーチ認識に適用される本発明の一実施形態は、従来技術の慣例的なログ−パワー表現とは異なる方法で予め処理される修正されたスペクトルベクトルを採用する。スペクトルベクトル自体は、典型的には２５の周波数ビンに分割される、スピーチの１０ｍｓスライスのスペクトル表現を含む。
事前処理の第１段階の目的は、ｎ次元
2005521906.tif 000003
スペクトルベクトルｘの要素ｘi（ｉ＝１，．．．，ｍ）が、慣例的な異なる周波数帯域内の積分パワーの対数にではなく、異なる周波数帯域内の積分パワーＰiの平方根
2005521906.tif 000004
に比例するようにすることである。さらに、要素ｘi（ｉ＝１，．．．，ｍ）は、それらの平方和が、そのスペクトルベクトルに対応するフレーム内の全ての周波数帯域にわたる全ての積分パワーとは関係のない定数Ａとなるように、スケーリングされるべきである。したがって、フレームがｍ個の周波数帯域にサンプリングされる場合には、ｎ次元
2005521906.tif 000005
スペクトルベクトルｘのｍ個の要素ｘiは、次式、すなわち、
2005521906.tif 000006
を満たし、これは、
2005521906.tif 000007
である。
【００２８】
定数Ａの値は、関数上の有意性をもたず、重要なのは、それが１つのスペクトルベクトルから次へと変化しないことである。スペクトルベクトルのこの正規化された平方根パワー表現の利点は、スペクトルベクトルｘi（ｉ＝１，．．．，ｍ）を、クラス平均ベクトルｗi（ｉ＝１，．．．，ｎ）と比較したときの形状の適合度が、テンプレートのモジュラス（ベクトル長さ）とは関係なしに、スカラー積
2005521906.tif 000008
に比例することである。これは、スカラー積を計算することによってテンプレートの適合度を求めることができるという相関関係を損なうことなく、テンプレートのモジュラスを制約する自由度を与える。
【００２９】
スペクトルベクトルの新規なエンコードに関係するステップは、図３の流れ図に示されており、以下の事象（ａ−ｅ）が列挙される。（ａ）全てのスピーチフレームに用いられる定数Ａの値が選択され、その後、（ｂ）可聴周波数範囲にわたるｍ個の異なる周波数帯域内のｍ個の積分パワーＰi（ｉ＝１，．．．，ｍ）の値を得るべくスペクトル解析を行う慣例的なプロセスと同一である第１ステップが、個々のスピーチフレームの各々に適用される。次いで、従来技術では慣例的なようにこれらのパワー値の対数をとる代わりに、（ｃ）それらの和
2005521906.tif 000009
と、（ｄ）それらの平方根
2005521906.tif 000010
が計算される。次いで、（ｅ）各々の平方根の値
2005521906.tif 000011
が、全パワー
2005521906.tif 000012
で割られ（必要に応じて定数の換算係数Ａが掛けられて）、式１によって定義されるスペクトルベクトルの新規なエンコード要素ｘi（ｉ＝１，．．．，ｍ）が得られる。
【００３０】
スペクトルベクトルの事前処理の第２部として、ベクトルはまた、そのスピーチフレームにおける全ラウドネス、すなわち全ての周波数帯域にわたる全ての積分パワー
2005521906.tif 000013
を表わす追加要素の追加によって増大される。これは、式１によって定義される新規なスペクトル形状のエンコード方法と組み合わされると特に有用である。これは、式１によって定義される要素ｘi（ｉ＝１，．．．，ｍ）が全ラウドネス
2005521906.tif 000014
とは明らかに無関係であるためであり、ゆえにそれに関する情報はエンコードされず、したがってスペクトルベクトルがラウドネス情報を運ぶべき場合には、これらのｍ個の要素は付加的な情報によって増大される必要がある。
【００３１】
この実施形態においては、スペクトル形状をエンコードするのに用いられるｍ個の要素以外に、２つの追加要素ｘm+1及びｘm+2が、スペクトルベクトルに加えられる。したがって、スペクトルベクトルは、ｎ＝ｍ＋２次元をもつことになる。これらの２つの要素は、以下のように全ラウドネス
2005521906.tif 000015
に依存し、
2005521906.tif 000016
ｆ（）及びｇ（）は、全ラウドネスＬの２つの（異なる）関数であり、Ｂは定数である。Ｂの意義は、比Ｂ／Ａが、２つの要素のサブセット（ｉ＝ｍ＋１、ｍ＋２）及び（ｉ＝１，．．．，ｍ）によって作られる平方モジュラス
2005521906.tif 000017
への相対的寄与を決めることであり、これらの寄与の値は、それぞれ明らかにＢ2及びＡ2である。したがって、比Ｂ／Ａは、全ラウドネス及びスペクトルベクトルのコーディングにおけるスペクトル形状に割り当てられた相対的な重要性を制御するのに用いることができ、例えば、Ｂ＝０の選択は、全ラウドネスに重要性を割り当てず、一方、Ａ及びＢの同様の値の選択は、スピーチの両方の態様に対して同様の重要性を割り当てる。Ａ2＋Ｂ2の値は、簡単のために１となるように選択することができ、それは、それらのスピーチコンテンツに関係なしに、全てのスペクトルベクトルに対する１に等しい平方モジュラス
2005521906.tif 000018
をもたらすことになる。この新規なラウドネス表現の利点は、（ａ）主請求項において提案されるように、全てのスペクトルベクトルのモジュラスが全ラウドネスに関係なしに同じ定数値をもち、テンプレートのモジュラス（クラス平均）ｗ＝（ｗ1，．．．，Ｗn）が自由に制約されることと、（ｂ）比Ｂ／Ａは、全ラウドネス及びスペクトルベクトルのコーディングにおけるスペクトル形状に割り当てられた相対的重要性を制御するのに用いることができる。関数ｆ（）及びｇ（）についての可能性のある選択肢には、
2005521906.tif 000019
があり、式中、Ｌmin及びＬmaxは、個々のスピーチフレームにおいて通常直面する最も小さなボリューム及び最も大きなボリューム（全積分パワー）に対応するように選択された定数である。一対の定数（Ａ，Ｂ）に有用な値は、（１，０）、
2005521906.tif 000020
及び
2005521906.tif 000021
であり、これらは全て、Ａ2＋Ｂ2＝１を満たす。
【００３２】
全てのスピーチフレームに対して用いられる関数ｆ（）及びｇ（）並びに定数Ｂ、Ｌmin及びＬmaxが選択された後に、上述のようなラウドネスエンコードを組み入れることを要求するプロセスに関係するステップが、図４に示されている。そのプロセスは、（ａ）各スピーチフレームについてのｍ個の周波数範囲ｊ＝１，．．．，ｍ内の積分パワーＰiを合計して、そのスピーチフレームについての全ラウドネスＬを取得し、（ｂ）式２に係るそのスピーチフレームについての２つの追加要素ｘm+1及びｘm+2を評価し、（ｃ）そのスピーチフレームについて、図４のプロセスから得られたｍ個の要素に２つの追加要素を追加して、スペクトル形状及びラウドネスの新規なエンコードを組み入れたｎ＝ｍ＋２次元スペクトルベクトルを得ること、を含む。
図３及び図４に示されるステップは、本発明の実施形態に係るスペクトルベクトルの事前処理を含む。
ＧＭＭ及びＧＭＭベースのＨＭＭの種々のパラメータを最適化するときに、前述のように事前処理された入力ベクトルが用いられる。図１に関連して既に説明したように、最適化プロシージャの内部ループは、それぞれＥＭ再推定法及びＢａｕｍ−Ｗｅｌｃｈ再推定法のような通常の方法を用いて実行される。さらに新規な段階は、この内部ループの繰り返しの合間にパラメータに制約を課すことに関係する。
【００３３】
図５は、本発明の再推定プロシージャを示し、図２に示されたものに比べて、付加的なプロセスが存在している。これらの付加的なプロセスは、プロシージャの繰り返し部分がスタートする前のクラスの初期化と、各繰り返しに課されるべき制約を考慮に入れた後のクラス平均の再スケーリングに関連するものである。ＨＭＭの場合には、遷移確率の処理は、従来技術から変更されないことに留意されたい。
内部ループの繰り返しの合間に課される制約の１つは、ＧＭＭ又はＨＭＭのクラス平均ベクトルに関連する。制約は、クラス平均を表わすｎ次元ベクトルｗj＝（ｗj1，．．．，Ｗjn）の組の再スケーリングの形をとる。
【００３４】
この制約は、（例えばＥＭ又はＢａｕｍ−Ｗｅｌｃｈ再推定プロシージャによって）それらが再推定されるたびに、それらが再推定されるとすぐに、またそれらが最初に初期化されるときにも、全てのクラス平均に課される（図５参照）。図５の流れ図に示されるこれらの追加ステップは、（ａ）その要素を平方和し、次いでその和の平方根をとることによって、Ｎ個の再推定されたクラス平均ｗjの各々のモジュラス｜ｗj｜が、全てのＮ個のクラスｊ＝１，．．．，Ｎについて
2005521906.tif 000022
として最初に計算され、（ｂ）再推定されたクラス平均の各々のモジュラス｜ｗj｜を計算した後に、各クラス平均の全ての要素が対応するモジュラスによって割られる、すなわち、
2005521906.tif 000023
これらのステップは、クラス平均Ｗjの全てを、それらの再推定が次に繰り返されるまで定数のモジュラスＤに再スケーリングする作用を有し、図５に示されるように、その後これらのステップを再び適用することにより、それらは定数Ｄに再スケーリングされる。定数Ｄの値は、データベクトルｘのモジュラス｜ｘ｜に等しく設定されることが好ましい。(例えば、モジュラス
2005521906.tif 000024
を有する入力データを受け取るＧＭＭの場合には、Ｄの値は、
2005521906.tif 000025
に等しく設定される。）
【００３５】
クラス平均を定数のモジュラスに再スケーリングする利点は、スピーチ認識アルゴリズムを、スピーチ分類性能（階層的疎コーディングのような）を改善できる新規なスピーチデータエンコードに適応するように促すことと、トレーニング中にスピーチ認識アルゴリズムが望ましくない部分最適構成（「局所的最小値」）にひっかかることになる脆弱性を減少することである。これらの利点は、それらが適用されたときにクラス平均が（半径Ｄの）超球上に残るように制約されるので、学習のダイナミクスが単純化された自由度を有するという事実によるものである。クラス平均Ｗjを定数のモジュラスに再スケーリングすることは、データベクトルｘを定数のモジュラスにスケーリングすることに関して特に適切である。これは、データベクトルｘとクラス平均ｗjとの間の適合度が、単純にスカラー積ｗj・ｘを計算することによって求められることによる。
【００３６】
本発明のこの実施形態に加えて、ＧＭＭを構成するガウス分布の共分散行列Ｃjは、等方性、及び制約された分散Ｖをもつように制約される、すなわち、それらは通常の共分散行列の再推定プロシージャ（ＧＭＭのＥＭアルゴリズム及びＧＭＭベースのＨＭＭのＢａｕｍ−Ｗｅｌｃｈプロシージャのような）によって最適化されないが、等方性の単位行列Ｉと制約された分散Ｖの観点において次式により一度だけ定められ、
2005521906.tif 000026
Ｖは、スピーチ認識システムの最良分類性能を与えるように（例えば試行錯誤によって）選択された自由パラメータであり、共分散行列が負でない固有値をもつとき、Ｖはゼロより大きくなければならず、Ｖは、Ｄ2の値よりかなり小さいことが好ましい。ＶをＤ2よりかなり小さく設定する利点は、それが第１レベルにおける単純なＧＭＭの事後確率の疎分布をもたらすことであり、主な実施形態においては第２レベルにおけるＧＭＭベースのＨＭＭのデータエンコードベクトル空間を与える。これは、第１レベルにおける単純なＧＭＭのガウスコンポーネントの各々が、それぞれ、スペクトルベクトルの超球上のほんの小さな領域に及ぶことによる。
【００３７】
この共分散行列を選択するプロセスは、以下のステップ、すなわち、（ａ）例えば試行錯誤によって、分類性能が最適化されるように比例定数Ｖの値を選択し、（ｂ）クラス共分散行列の全ての対角要素をＶに等しく設定し、（ｃ）クラス共分散行列の全ての非対角要素をゼロに等しく設定することを含む。したがって、本発明のこの実施形態に係る共分散行列は、等方性及び対角性の両方である。
データベクトルｘ及びクラス平均ｗjのモジュラスを制約するための上記の技術と、この方法でクラス共分散を制約することとを併用することにより、スピーチ認識アルゴリズムを、スピーチ認識性能（階層的疎コーディングのような）を改善できる新規なスピーチデータエンコードに適応するように促し、トレーニング中にスピーチ認識アルゴリズムが望ましくない部分最適構成（「局所的最小値」）にひっかかることになる脆弱性を減少させるという利点が与えられる。疎コーディングは、個々のスピーチ−サウンドを、スペクトルベクトル空間における単位超球をタイリングする多くの小さな等方性ガウス超円の集合体として表現することから得られるものであり、単一の非等方性楕円で表現することによって可能であるものよりも、非常に複雑な形状のスピーチ−サウンドのより忠実な表現の可能性を与え、それにより改善された分類性能を与える。
この制約は、通常の共分散行列の非制約再推定の必要性をなくすので、図５のＧＭＭを最適化するための修正されたプロシージャは、図２の通常のプロシージャを行う際に共分散行列の再推定を含まない。
【００３８】
共分散行列が等方性となるように制約される場合には、ＧＭＭの各々のクラス尤度（それから周知のベイズの定理によりＧＭＭの事後確率が導き出される）が、データエンコードベクトルｘと適切なクラス平均ｗとの間のベクトル差｜ｘ−ｗ｜のモジュラスから算出されることは周知である。これらの数量は、｜ｘ−ｗ｜2＝｜ｘ｜2＋｜ｗ｜2−２ｘ・ｗの関係により、データエンコードベクトルｘとクラス平均ｗとのスカラー積ｘ・ｗから導き出せることは周知である。指数混合モデルの場合には、クラス尤度は、スカラー積ｘ・ｗから直接算出される。Ｎ個のクラス平均の組｛ｗ｝が、平行移動変換（データエンコードベクトルがイメージを表わす場合のイメージ平面における２次元平行移動、又はデータエンコードベクトルが１次元時間信号である場合の時間の１次元平行移動のような）により互いに等価である場合には、周知の「相関定理」が、Ｎ個のスカラー積の演算を明示的に行うことによって与えられるときよりも、所与のデータエンコードベクトルｘを有する対応するＮ個のスカラー積の組｛ｘ・ｗ｝の計算上一層効果的な計算手段を与え、同じ結果は、その代わりに、ｘのフーリエ変換とｗの逆方向フーリエ変換とのコンポーネント的な積の逆フーリエ変換を計算することによって得ることができる。この場合の所望の結果｛ｘ・ｗ｝は、Ｎ2ステップではなくＮ．ｌｏｇ（Ｎ）ステップのオーダーで得られる。これについての詳細は、従来技術のＣ．Ｊ．Ｓ．Ｗｅｂｂｅｒの「Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｔｅｃｈｎｉｑｕｅ」と題するＰＣＴ公開番号ＷＯ０１／６１５２６号に見ることができる。本発明は、こうした平行移動関連のスカラー積の組｛ｘ・ｗ｝の計算を促進するために相関定理が用いられるかどうかに関係なしに、ＧＭＭ及び／又はＧＭＭベースのＨＭＭに適用可能である。
【００３９】
本発明のこの実施形態に課される更なる制約は、クラス事前確率の選択に関連する。ＧＭＭのクラスｊ＝１，．．．，ＮについてのＮ個の事前確率Ｐｒ（ｊ）は、一定となるように制約される、すなわち、通常のクラス事前確率の再推定プロシージャ（ＧＭＭのＥＭアルゴリズム及びＧＭＭベースのＨＭＭのＢａｕｍ−Ｗｅｌｃｈプロシージャのような）によって最適化されないが、以下の設定ステップによって一度だけ定められる。
2005521906.tif 000027
データベクトルｘ、クラス平均ｗj、及び共分散行列Ｃjのモジュラスを制約するための上記の新技術と、この方法でクラス事前確率を制約することとを併用することにより、トレーニング中にスピーチ認識アルゴリズムが望ましくない部分最適構成（「局所的最小値」）にひっかかることになる脆弱性を減少させるという利点が与えられる。この新技術は、従来の制約されないクラス事前確率の再推定の必要性をなくすので、図５の修正されたＧＭＭ最適化プロシージャは、図２の従来のプロシージャのようなクラス事前確率の再推定を含まない。
【００４０】
モデルのトレーニング相において前述のようにＧＭＭ又はＨＭＭに適用される制約は、該モデル使用の分類相の間にも等しく適用される必要があることを、当業者であれば理解されるであろう。それらがトレーニングの間に用いられた場合には、前述のような本発明に係るスペクトル形状及び全ラウドネスのエンコードステップは、分類されるべきどんな新しいスピーチのスペクトルベクトル毎にも適用される必要があるであろう。
前述の制約の全てを組み合わせた本発明の実施が、図６に示されている。この実施は、各スピーチフレームの慣例的なスペクトル解析を用い、その後、前述の新規なステップを用いて、スペクトル形状と全ラウドネスとの両方を各スペクトルベクトルにエンコードし、全てのスペクトルベクトルのモジュラスを定数の値１にスケーリングする。パラメータＡ及びＢの両方は、
2005521906.tif 000028
に等しく設定され、Ｄは１に等しく設定される。こうした単位モジュラス・スペクトルベクトルは、１００のガウスクラス（Ｎ＝１００）を有するＧＭＭに入力され、クラス平均の全ては、１に等しいモジュラスをもつように制約され、クラス事前確率の全ては、一定の１／１００に等しい値をもつように制約され、共分散行列は、等方性及び一定の分散をもつように制約される（すなわち、ＥＭアルゴリズムのようなプロシージャに従う各繰り返しにおいては再推定されない）。その一定の分散Ｖの良好な選択は、０．０１であることが見出されているが、試行錯誤によって、システム全体の良好なスピーチ分類性能を与えるように他の値を選択することも可能であり、Ｖの適切な選択は、０から１までの間にあるであろう。このＧＭＭに入力される各スペクトルベクトルについて、クラスの事後確率が慣例的な方法で計算される。
スペクトルベクトルの各々についての上記で計算されたＧＭＭ事後確率の組の各々は、これらの事後確率の平方根をとることによって、通常のＧＭＭベースのＨＭＭに入力される単位モジュラス・データエンコードベクトルを計算するのに用いられる。
【００４１】
これらの単位モジュラス・データエンコードベクトルは、観測ベクトルとしてＨＭＭに入力される。ＨＭＭの観測確率のパラメータ化を構成するガウス混合のクラス平均は、全て１に等しいモジュラスをもつように制約される。ＨＭＭの観測確率をパラメータ化するのに用いられるガウスクラスの数Ｎは、システム全体の最良のスピーチ分類性能を与えるように試行錯誤によって選択される。これらのクラスの事前確率は、このＮの選択によって決まり、それらの全ては１／Ｎに等しく制約され、設定される。これらのクラスの共分散行列の全ては、等方性及び一定の分散をもつように制約される（すなわち、ＥＭアルゴリズムのようなプロシージャに従って再推定されず、制約されない）。その一定の分散Ｖの選択は、試行錯誤によって、システム全体の良好なスピーチ分類性能を与えるように決定され、Ｖの適切な選択は０から１までの間にあるであろう。
【００４２】
本発明の好ましい実施は、トレーニングモード及び分類モードで動作可能である。分類モードにおいては、ＨＭＭは、前述の修正が加えられた慣例的ＨＭＭ分類方法（Ｂａｕｍ−Ｗｅｌｃｈのフォワード−バックワードアルゴリズムか又はビタビアルゴリズム）に従って入力観測ベクトルを分類するのに用いられる。トレーニングモードにおいては、（ａ）ＧＭＭは、ＧＭＭクラス平均が１に等しい定数のモジュラスをもつように再スケーリングし、かつ慣例的なＧＭＭクラス共分散行列及びクラス事前確率の再推定ステップを省略するように革新的な修正が加えられた、慣例的なＧＭＭクラス平均の最適化プロシージャ（例えばＥＭ再推定アルゴリズム）による単位モジュラス・スペクトルベクトル（前述のようにエンコードされた）のトレーニングのために最適化される。（ｂ）ＧＭＭが最適化された後に、該ＧＭＭは、上述のようにスピーチスペクトルベクトルのトレーニングの組からデータエンコードベクトルの組を計算するのに用いられる。次いで、（ｃ）このデータエンコードベクトルの組は、ＨＭＭクラス平均が１に等しい定数のモジュラスをもつように再スケーリングし、かつ慣例的なＨＭＭクラス共分散行列及びクラス事前確率の再推定ステップを省略するように革新的な修正が加えられた、慣例的なＨＭＭクラス平均の最適化プロシージャ（例えばＢａｕｍ−Ｗｅｌｃｈ再推定プロシージャ）によるＨＭＭのトレーニングのために最適化される。慣例的なＨＭＭ遷移確率の再推定ステップに修正は加えられておらず、慣例的なＢａｕｍ−Ｗｅｌｃｈ再推定プロシージャを、ＨＭＭ遷移確率を再推定するのに用いることができる。
【００４３】
図８は、本発明の制約を採用する利点を示す。これは、｜ｘ｜＝１であるスペクトルベクトルｘ＝（ｘ1，ｘ2，ｘ3）を示す。このスペクトルベクトル、例えば１０１を、定数のモジュラスをもつように制約することは、クラス平均１０２の全てが超球の表面上にあるという意味合いをもつ。図示されたケースにおいては、超球は、２つの次元を有するので、通常の３次元空間における通常の２次元球１０３である。共分散行列を等方性かつ対角性となるように制約すると、個々のクラスがこの超球上に円１０４の形態で表現されるという影響がある。この配置は、個々のスピーチ−サウンドが、慣例的な個々のガウス楕円としてではなく、単位超球１０３をタイリングする多くの小さなガウス超円１０４の集合体１０５として、スペクトルベクトル空間において表現されるようにし、非常に複雑な形状のスピーチ−サウンドがより忠実に表現される可能性を与え、それにより改善された分類性能を与える。各クラス（超円）例えば１０４は、全てのスペクトルベクトル（その全てはスペクトル−ベクトル超球１０３上に存在しなければならない）の組の境界を定める複雑な形状内のほんの小さな領域にわたり、それは特定の個々のスピーチ−サウンドの別の発音に対応することができ、集合的に、多くのこうしたクラス１０４は、個々のスピーチサウンドを表現するのに通常用いられる単一の非等方性楕円で可能であるよりも、一層忠実に複雑な形状全体に及ぶことができる。同じ混合モデル内のガウスクラスの他の組は、スペクトルベクトル超球上の他の複雑な形状の一部、すなわち他のスピーチサウンドに及ぶことができる。これらのガウスクラス（超円）の各々に関連する事後確率は、現在のスペクトルベクトルが対応するガウスクラス平均１０２（超円の中心）にどれだけ近いかの尺度である。どのクラスの組がどのスピーチサウンドに対応するかの学習は、一連のトレーニングスピーチに存在するそれらの間の全ての一時的な相関に基づくものであり、入力がこれらの全ての事後確率の組から与えられるＧＭＭベースのＨＭＭの関数である。
【００４４】
例えを用いれば、多数の棒が多数のおはじきよりも乱雑になり易いのとほぼ同じ理由から、多数の超円は、少数の非等方性楕円より良好に局所的最小値を避けるのを助ける。（この例えにおいては、おはじきの組の全重力ポテンシャルを最小にすることは、モデル尤度を最大にすることの例えの役割を果たす。）同様に、僅かな棒を用いるよりも、多くのマーブルを用いることによって、非常に複雑な形状をより忠実にマッピングすることができる。
当業者であれば、本発明の範囲内で他の実施形態が想起され、したがって、本発明がここで説明された実施形態に限定されないことに気付くであろう。
【００４５】
参考文献
Ａ．Ｒ．Ｗｅｂｂ著、Ｓｔａｔｉｓｔｉｃａｌ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、Ａｒｎｏｌｄ（Ｌｏｎｄｏｎ）、１９９９年。
Ｂ．Ｈ．Ｊｕａｎｇ＆Ｌ．Ｒ．Ｒａｂｉｎｅｒ著、Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ、Ｔｅｃｈｎｏｍｅｔｒｉｃｓ  ３３（３）、Ａｍｅｒｉｃａｎ  Ｓｔａｔｉｓｔｉｃａｌ  Ａｓｓｏｃｉａｔｉｏｎ、１９９１年。
【図面の簡単な説明】
【００４６】
【図１】スピーチ認識器に実装されるときに本発明と共に用いるのに適した典型的なハードウェア配置を概略的に示す。
【図２】ＧＭＭ又はＨＭＭベースの分類器を用いる従来技術のシステムに採用される慣例的再推定プロシージャの概略的なブロック図を示す。
【図３】フレームのスペクトル形状に関係するスピーチフレームに基づく入力ベクトルに対して実行される事前処理段階の１つの概略的なブロック図を示す。
【図４】スピーチフレームの全ラウドネスに関係する入力ベクトルに対して実行された別の事前処理段階の概略的なブロック図を示す。
【図５】本発明による通常のＧＭＭ又は階層的ＨＭＭの修正された再推定プロシージャの概略的なブロック図を示す。
【図６】図５に示されたクラス平均再スケーリング制約をより詳細に示す。
【図７】完全システムの実施の概略的ブロック図である。
【図８】簡略化された３次元入力ベクトル空間の例を用いる本発明の１つの利点を図表的に示す。
【図１】
2005521906.tif 000029
【図２】
2005521906.tif 000030
【図３】
2005521906.tif 000031
【図４】
2005521906.tif 000032
【図５】
2005521906.tif 000033
【図６】
2005521906.tif 000034
【図７】
2005521906.tif 000035
【図８】
2005521906.tif 000036
【国際調査報告】
2005521906.tif 000037
2005521906.tif 000038