(57)【要約】【課題】ロバスト性が高く、認識精度の高いサブバンド方式の音声認識装置を提供する。【解決手段】音声認識装置は、音声信号の特徴ベクトルを入力として音声認識をするように学習が行なわれたＨＭＭと、入力される音声信号のサブバンドごとの特徴ベクトルであって特徴ベクトルと同次元の特徴ベクトルを抽出するサブバンド特徴ベクトル抽出部８０、８２、８４、８６と、サブバンド特徴ベクトル抽出部により抽出された複数のサブバンドの特徴ベクトルに、それぞれ各サブバンドに予め割当てられた重みを乗算して互いに加算することにより特徴ベクトルを生成し、ＨＭＭに与える乗算回路８８Ａ〜８８Ｋ及びＤＣＴ処理部９０Ａ〜９０Ｋとを含む。【選択図】      図２
2005070292.tif 000002
【特許請求の範囲】
【請求項１】
音声信号から所定の抽出方法により抽出される特徴量からなる特徴ベクトルを入力として音声認識をする様に学習が行なわれた音声認識手段と、
入力される音声信号のそれぞれ予め定められた複数のサブバンドごとの特徴ベクトルであって、かつ前記特徴ベクトルと同次元の特徴ベクトルを前記所定の抽出方法に従って抽出するためのサブバンド特徴ベクトル抽出手段と、
前記サブバンド特徴ベクトル抽出手段により抽出された前記複数のサブバンドの特徴ベクトルに、それぞれ各サブバンドに予め割当てられた重みを乗算して互いに加算することにより特徴ベクトルを生成し、前記音声認識手段に与えるための手段とを含む、音声認識装置。
【請求項２】
前記サブバンド特徴ベクトル抽出手段は、
前記音声信号から、前記複数のサブバンドごとに対数フィルタ帯域エネルギ（対数ＦＢＥ）ベクトルを抽出するための手段と、
前記サブバンドごとに対応する重みを前記対数ＦＢＥベクトルに乗算し、かつ当該サブバンドに対応する要素以外の要素に予め定める定数を埋め込むことにより当該対数ＦＢＥベクトルの次元を全帯域から抽出される対数ＦＢＥベクトルの次元まで拡張するための複数の乗算手段と、
前記複数の乗算手段の出力を各サブバンドのケプストラムベクトルに変換するための複数のメルケプストラム変換手段とを含む、請求項１に記載の音声認識装置。
【請求項３】
前記対数ＦＢＥベクトルを抽出するための手段は、
前記音声信号から音声スペクトルを抽出するための音声スペクトル抽出手段と、
前記音声スペクトル抽出手段により抽出された音声スペクトルを受け、メル周波数ＦＢＥベクトルを出力するメルフィルタ手段と、
前記メルフィルタ手段の出力するメル周波数ＦＢＥベクトルに対する対数計算を行なって対数ＦＢＥベクトルを出力するための対数計算手段と、
前記対数計算手段から出力される対数ＦＢＥベクトルを、前記複数のサブバンドに分割するためのサブバンドフィルタ手段とを含む、請求項２に記載の音声認識装置。
【請求項４】
音声コーパスにより学習が行なわれた最大事後確率デコーダを用いてサブバンド方式の音声認識を行なう際に使用される、前記デコーダに付随する重みベクトルを学習するための方法であって、
前記サブバンド方式の音声認識は、入力音声の音声スペクトルを予め定められた複数のサブバンドの各々に分割して得たサブバンドごとの特徴ベクトルに、それぞれのサブバンドに対応する重みを乗算し、乗算結果を互いに加算して得られた全帯域の特徴ベクトルを前記デコーダに与えて当該デコーダの出力に基づいて音声認識を行なうものであり、
前記方法は、
予め雑音が加えられた学習用音声データを準備するステップと、
前記学習用音声データに対し、前記重みベクトルの要素の値を変化させながら前記デコーダを用いた前記サブバンド方式の音声認識を行なうステップと、
前記音声認識を行なうステップの結果に基づき、前記学習用音声データに対応する正しい認識結果に対して求められる尤度が最大となる様に前記重みベクトルの各要素を決定するステップとを含む、方法。
【請求項５】
前記デコーダはＨＭＭ（隠れマルコフモデル）によるデコーダを含む、請求項４に記載の方法。
【請求項６】
前記重みベクトルの要素ｗi（ｉ＝１〜Ｋ，ただしＫは前記サブバンドの数）は、次の制約
【数１】
2005070292.tif 000071
を充足する、請求項４又は請求項５に記載の方法。
【請求項７】
所定の音声コーパスにより音声認識のための学習が完了した、音声認識のための第１のＨＭＭを、さらに学習用データを用いた学習によって調整するためのサブバンド方式ＨＭＭ学習方法であって、
前記学習用音声データを準備するステップと、
前記学習用音声データを用い、前記第１のＨＭＭを、前記学習用データに一致する第２のＨＭＭにマッピングするステップとを含み、
当該マッピングするステップは、
前記学習用音声データと前記第１のＨＭＭとに基づき、予め定められる学習方法により、予め定められる第１の数の重みを要素として持つ重み係数ベクトルを算出するステップと、
前記第１のＨＭＭを構成する正規分布を規定する平均ベクトルから得られた音声スペクトルを前記第１の数の周波数サブバンドに分割するステップと、
前記周波数サブバンドごとに前記音声スペクトルからケプストラムベクトルを算出するステップと、
前記周波数サブバンドごとに算出されたケプストラムベクトルに、前記重み係数ベクトルのうちの対応する要素である重み係数をそれぞれ乗算して互いに加算することにより、新たな平均ベクトルを得るステップと、
前記新たな平均ベクトルによって規定される正規分布により、前記第２のＨＭＭを構成するステップとを含む、方法。
【請求項８】
前記重み係数ベクトルを算出するステップは、前記第１のＨＭＭと重み係数とが与えられたときに、前記分割するステップ、前記算出するステップ、及び前記加算するステップと同様の計算により前記学習データから得られた特徴ベクトルに対し前記第１のＨＭＭが出力する尤度が最大となるような、前記周波数サブバンドごとの重みを推定するステップを含む、請求項７に記載の方法。
【請求項９】
前記重み係数ベクトルを算出するステップは、
前記第１のＨＭＭを構成する正規分布を規定する平均ベクトルを複数のクラスのいずれかに分類するステップと、
前記学習用音声データと前記第１のＨＭＭとに基づき、予め定められる学習方法により、予め定められる第１の数の重みを要素として持つ重み係数ベクトルを、前記複数のクラスごとに算出するステップとを含み、
前記マッピングするステップは、
前記第１のＨＭＭを構成する正規分布を規定する平均ベクトルが、前記複数のクラスのいずれに属するかを判定するステップをさらに含み、
前記新たな平均ベクトルを得るステップは、前記周波数サブバンドごとに算出されたケプストラムベクトルに、前記重み係数ベクトルのうちの、処理対象となっている平均ベクトルが属するクラスに対応したものに含まれる重み係数をそれぞれ乗算して互いに加算することにより、新たな平均ベクトルを得るステップを含む、請求項７又は８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声認識技術に関し、特に、雑音環境下でも高い精度で音声認識を行なうことが可能な音声認識装置、そこで使用される重みベクトルを学習するための方法、及びサブバンド方式ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）学習方法に関する。
【背景技術】
【０００２】
コンピュータ技術及び信号処理技術の発達により、自動音声認識（ＡＳＲ：Ａｕｔｏｍａｔｉｃ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ）システムは自動化の域に達しつつある。たとえばコンピュータの音声入力などが典型的な例である。しかし、現在のＡＳＲが人間の音声認識能力と比較して限定された能力しか有していない点についてはよく知られている。
【０００３】
ある研究では、人間の聴覚処理では、言語的メッセージは別々の周波数のサブバンドで互いに独立にデコードされ、それらサブバンドでの決定をマージすることにより最終的なデコード判定が行なわれていることが明らかにされている。また別の研究によれば、人間は限られたスペクトル的な手掛かりのみに基づいて音声を認識することができ、別々の周波数領域の音響的な手掛かりを統合することにより音声信号を認識することができることが示されている。
【０００４】
こうした現象を明らかにするために、サブバンドを利用した音声認識の方式が提案されている。
【０００５】
サブバンドを利用した音声認識が提案されている理由としては、それ以外にも技術的なものがある。
【０００６】
第１の理由は、音声信号が損なわれるのはある特定の周波数領域に限定されることが多いということである。そのため、複数のサブバンドでの判定結果に基づいて音声認識を行なえば、雑音のない周波数領域の信号が十分信頼できる情報を有している限り、認識精度が著しく低下するおそれは少ない。
【０００７】
第２の理由は、ある種の特徴量に関しては、サブバンドから推定された結果は全帯域から得られたものよりも頑健でかつ効率がよいということである。例えば自己回帰スペクトルなどの場合である。
【０００８】
第３の理由は、音声中の静的な部分の間での遷移は、全ての周波数領域で同時に起こるわけではないということである。一般的な全帯域用のＨＭＭでは、そうした遷移は同期して生じることが想定されている。サブバンド方式ではこの制約が緩和される可能性がある。
【０００９】
サブバンド方式の音声認識として二つの方式が提案されている。第１は並列サブバンド方式（ＰＳＢ）であり、第２は連結サブバンド方式（ＣＳＢ）である（非特許文献１及び非特許文献２）。
【００１０】
ＰＳＢでは、全帯域のパワースペクトルを幾つかのサブバンドに分割し、各サブバンドをそれぞれケプストラムの特徴量に変換する。それら特徴量を互いに独立にモデル化し、音素、単語、又は文などの特定のセグメントレベルで組合せる。特徴量をマージする手続では、サブバンドでの特徴量を操作して性能を向上させることが柔軟に行なえる。研究結果によれば、ＰＳＢによって特定帯域の雑音により損なわれた音声信号に対する認識性能が改善されることが分かっている。一方で他の研究によれば、背景雑音が広い帯域にわたって加えられている場合には、性能が低くなるという結果も得られている。
【００１１】
ＰＳＢの実装では、サブバンドの数、サブバンドの間の境界、及びセグメントレベルでのマージなどを課題に応じて適切に調整しなければならないという研究結果が得られている。サブバンドごとに得られた尤度を組合せるにあたっては、線形の重み付け又は非線形の重み付けのいずれも考えられる。研究結果によれば、非線形方式（例えば多層パーセプトロン）によると、線形方式よりもよい性能が得られることが分かっている。線形方式では、重みとして固定値、サブバンドでの認識精度、サブバンドでのＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）、サブバンド間の相互情報等を使用することが考えられる。それらは統計的手法により推定できる。例えば最小分類誤差（Ｍｉｎｉｍｕｍ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｅｒｒｏｒ：ＭＣＥ），最大相互情報（Ｍａｘｉｍｕｍ  Ｍｕｔｕａｌ  Ｉｎｆｏｒｍａｔｉｏｎ：ＭＭＩ）などである。研究結果によれば、どのような特徴量を用いるかによって性能も変る。
【００１２】
ＣＳＢでは、サブバンドのケプストラムベクトルを連結して（つなぎあわせて）音声認識のための一つの特徴ベクトルとする。ＣＳＢは、限定された帯域において雑音が加えられている場合にはＰＳＢよりも高い性能であることが示されている。しかし、各サブバンドから得られた特徴量が互いに相関している場合もあり、そうした場合には雑音のない（クリーンな）音声に対する認識ではＣＳＢは基本となる方式よりも性能が低下する可能性があるという研究結果も示されている。
【００１３】
【非特許文献１】ハーマンスキー  Ｈ．，ティブレワラ  Ｓ．，及びパヴェル  Ｍ．，「部分的に損なわれた音声に対するＡＳＲに向けて」、ＩＥＥＥ  ＩＣＳＬＰ予稿集、４６２−４６５頁、１９９６．（Ｈｅｒｍａｎｓｋｙ  Ｈ．，Ｔｉｂｒｅｗａｌａ  Ｓ．，ａｎｄ  Ｐａｖｅｌ  Ｍ．，”Ｔｏｗａｒｄｓ  ＡＳＲ  Ｏｎ  Ｐａｒｔｉａｌｌｙ  Ｃｏｒｒｕｐｔｅｄ  Ｓｐｅｅｃｈ”，Ｐｒｏｃ．，ＩＥＥＥ  ＩＣＳＬＰ，ｐｐ．４６２−４６５，１９９６）
【非特許文献２】オウカワ  Ｓ．，ボッチエリ  Ｅ．，及びポタミアノス  Ａ．，「雑音環境下におけるマルチバンド音声認識」、ＩＣＡＳＳＰ予稿集、６４１−６４４頁、１９９８．（Ｏｋａｗａ  Ｓ．，Ｂｏｃｃｈｉｅｒｉ  Ｅ．，ａｎｄ  Ｐｏｔａｍｉａｎｏｓ  Ａ．，”Ｍｕｌｔｉ−ｂａｎｄ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  ｎｏｉｓｙ  ｅｎｖｉｒｏｎｍｅｎｓ”，Ｐｒｏｃ．ＩＣＡＳＳＰ．，ｐｐ．６４１−６４４，１９９８）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
以上の様に、サブバンド方式を用いると人間と同様の精度で音声認識を行なえる可能性があるが、実際に人間と同様にロバスト性が高く精度の高い認識を行なえるようなサブバンド方式の音声認識は実現されていない。
【００１５】
従って、本発明は、サブバンド方式の音声認識装置であって、よりロバスト性が高く、認識精度の高い音声認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の局面に係る音声認識装置は、音声信号から所定の抽出方法により抽出される特徴量からなる特徴ベクトルを入力として音声認識をする様に学習が行なわれた音声認識手段と、入力される音声信号のそれぞれ予め定められた複数のサブバンドごとの特徴ベクトルであって、かつ特徴ベクトルと同次元の特徴ベクトルを所定の抽出方法に従って抽出するためのサブバンド特徴ベクトル抽出手段と、サブバンド特徴ベクトル抽出手段により抽出された複数のサブバンドの特徴ベクトルに、それぞれ各サブバンドに予め割当てられた重みを乗算して互いに加算することにより特徴ベクトルを生成し、音声認識手段に与えるための手段とを含む。
【００１７】
好ましくは、サブバンド特徴ベクトル抽出手段は、音声信号から、複数のサブバンドごとに対数フィルタ帯域エネルギ（対数ＦＢＥ）ベクトルを抽出するための手段と、サブバンドごとに対応する重みを対数ＦＢＥベクトルに乗算し、かつ当該サブバンドに対応する要素以外の要素に予め定める定数を埋め込むことにより当該対数ＦＢＥベクトルの次元を全帯域から抽出される対数ＦＢＥベクトルの次元まで拡張するための複数の乗算手段と、複数の乗算手段の出力を各サブバンドのケプストラムベクトルに変換するための複数のメルケプストラム変換手段とを含む。
【００１８】
さらに好ましくは、対数ＦＢＥベクトルを抽出するための手段は、音声信号から音声スペクトルを抽出するための音声スペクトル抽出手段と、音声スペクトル抽出手段により抽出された音声スペクトルを受け、メル周波数ＦＢＥベクトルを出力するメルフィルタ手段と、メルフィルタ手段の出力するメル周波数ＦＢＥベクトルに対する対数計算を行なって対数ＦＢＥベクトルを出力するための対数計算手段と、対数計算手段から出力される対数ＦＢＥベクトルを、複数のサブバンドに分割するためのサブバンドフィルタ手段とを含む。
【００１９】
本発明の第２の局面に係る方法は、音声コーパスにより学習が行なわれた最大事後確率デコーダを用いてサブバンド方式の音声認識を行なう際に使用される、サブバンド方式の音声認識デコーダに付随する重みベクトルを学習するための方法である。このサブバンド方式の音声認識は、入力音声の音声スペクトルを予め定められた複数のサブバンドの各々に分割して得たサブバンドごとの特徴ベクトルに、それぞれのサブバンドに対応する重みを乗算し、乗算結果を互いに加算して得られた全帯域の特徴ベクトルをデコーダに与えて当該デコーダの出力に基づいて音声認識を行なうものである。上記した方法は、予め制限された帯域の雑音が加えられた学習用音声データを準備するステップと、学習用音声データに対し、重みベクトルの要素の値を変化させながらデコーダを用いたサブバンド方式の音声認識を行なうステップと、音声認識を行なうステップの結果に基づき、学習用音声データに対応する正しい認識結果に対して求められる尤度が最大となる様に重みベクトルの各要素を決定するステップとを含む。
【００２０】
好ましくは、デコーダはＨＭＭ（隠れマルコフモデル）によるデコーダを含む。
【００２１】
さらに好ましくは、重みベクトルの要素ｗi（ｉ＝１〜Ｋ，ただしＫはサブバンドの数）は、その合計がサブバンドの数に等しいという制約を充足する。
【００２２】
本発明の第３の局面に係る方法は、所定の音声コーパスにより音声認識のための学習が完了した、音声認識のための第１のＨＭＭを、さらに学習用データを用いた学習によって調整するためのサブバンド方式ＨＭＭ学習方法である。この方法は、学習用音声データを準備するステップと、学習用音声データを用い、第１のＨＭＭを、学習用データに一致する第２のＨＭＭにマッピングするステップとを含む。当該マッピングするステップは、学習用音声データと第１のＨＭＭとに基づき、予め定められる学習方法により、予め定められる第１の数の重みを要素として持つ重み係数ベクトルを算出するステップと、第１のＨＭＭを構成する正規分布を規定する平均ベクトルから得られた音声スペクトルを第１の数の周波数サブバンドに分割するステップと、周波数サブバンドごとに音声スペクトルからケプストラムベクトルを算出するステップと、周波数サブバンドごとに算出されたケプストラムベクトルに、重み係数ベクトルのうちの対応する要素である重み係数をそれぞれ乗算して互いに加算することにより、新たな平均ベクトルを得るステップと、新たな平均ベクトルによって規定される正規分布により、第２のＨＭＭを構成するステップとを含む。
【００２３】
好ましくは、重み係数ベクトルを算出するステップは、第１のＨＭＭと重み係数とが与えられたときに、分割するステップ、算出するステップ、及び加算するステップと同様の計算により学習データから得られた特徴ベクトルに対し第１のＨＭＭが出力する尤度が最大となるような、周波数サブバンドごとの重みを推定するステップを含む。
【００２４】
重み係数ベクトルを算出するステップは、第１のＨＭＭを構成する正規分布を規定する平均ベクトルを複数のクラスのいずれかに分類するステップと、学習用音声データと第１のＨＭＭとに基づき、予め定められる学習方法により、予め定められる第１の数の重みを要素として持つ重み係数ベクトルを、複数のクラスごとに算出するステップとを含み、マッピングするステップは、第１のＨＭＭを構成する正規分布を規定する平均ベクトルが、複数のクラスのいずれに属するかを判定するステップをさらに含み、新たな平均ベクトルを得るステップは、周波数サブバンドごとに算出されたケプストラムベクトルに、重み係数ベクトルのうちの、処理対象となっている平均ベクトルが属するクラスに対応したものに含まれる重み係数をそれぞれ乗算して互いに加算することにより、新たな平均ベクトルを得るステップを含む。
【発明を実施するための最良の形態】
【００２５】
以下においては、本発明の実施の形態として、ＣＳＢに類似したサブバンド方式の音声認識装置について説明する。ＣＳＢと同様、以下の実施の形態の装置でも、音声スペクトルをサブバンドに分割し、各サブバンドのケプストラムを得て組合せることにより全帯域のケプストラムを得る。この全帯域のケプストラムを用いて音声認識を行なう。
【００２６】
以下の実施の形態がＣＳＢと異なる点は以下の通りである。すなわち、音声信号からサブバンドのフィルタ帯域エネルギ（ＦＢＥ：Ｆｉｌｔｅｒ−Ｂａｎｄ  Ｅｎｅｒｇｉｅｓ）を得た後に、それらをサブバンドに分割する。その後各サブバンドの対数ＦＢＥの離散周波数出力に、そのサブバンドの信頼性に基づいて求められる重みを乗ずる。さらにその結果得られた特徴ベクトルを全帯域のＦＢＥベクトルの要素数まで拡張する。このとき、他のサブバンドの離散周波数領域の要素の値はゼロとする。こうして各サブバンドについて得られた対数ＦＢＥベクトルに離散コサイン変換（ＤＣＴ）を行なうことにより、そのサブバンドに対応するケプストラムベクトルが得られる。これらベクトルは、ＤＣＴの際にトランケーションが行なわれなかった場合と行なわれた場合とにより、全帯域のＦＢＥベクトルと同じ又はそれより小さな次元数を持つ。
【００２７】
この様にして得られたサブバンドのケプストラムベクトルに重みを乗算して互いに加算することにより、全帯域に対するケプストラムベクトルが得られる。重みが全て１であるとすれば、ＤＣＴの線形性により、得られたケプストラムは、メルスケールの周波数ケプストラム係数（ＭＦＣＣ）となる。
【００２８】
一方ＣＳＢでは、各サブバンドの対数ＦＢＥベクトルを全帯域のベクトルの次元数まで拡張することはしないで、サブバンドごとに得られるケプストラムベクトルを連結して（つなぎあわせて）全帯域のケプストラムベクトルを得る。つまりＣＳＢでは各サブバンドごとに処理が独立して行なわれるのであって、この点が、本実施の形態とＣＳＢ方式とのケプストラムベクトルの算出方法の大きな相違である。
【００２９】
本発明の実施の形態では、ＤＣＴの線形性のため、重みをサブバンドのケプストラムに乗算してＨＭＭの枠組みの中に組み込むことができる。従って、これら重みを得るための最適化の手続を採ることができる。この場合、重みの数が小さいため、少量の学習データのみを用いて重みを推定できる。
【００３０】
以下に述べる実施の形態の説明ではこの最適化学習の過程の細部をその都度述べることはせず、実施の形態の最後にまとめて説明する。なお、最適化方式として二つが考えられる。第１は特徴空間でのマッピングであり、第２はモデル空間でのマッピングである。以下に述べる第１の実施の形態が特徴空間でのマッピングを用いたものであり、第２の実施の形態がモデル空間でのマッピングを用いたものである。
【００３１】
なお、以下の説明のテキスト中で使用する記号「＾」等は、本来はその直後の文字の直上に記載すべきものであるが、テキスト記法の制限により当該文字の直前に記載する。式中では、これらの記号等は本来の位置に記載してある。
【００３２】
［第１の実施の形態］
‐概略‐
第１の実施の形態では、各サブバンドの対数ＦＢＥに、それらサブバンドの信頼性に基づいて算出される重みを乗じる。各サブバンドについて、ＤＣＴによりこの対数ＦＢＥを全帯域の次元数を持つケプストラムに変換する。ＤＣＴは線形変換であるため全サブバンドのケプストラムベクトルを加算することで全帯域に対するケプストラムベクトルが得られる。この際の、各サブバンドのケプストラムの重みは、そのサブバンドの対数ＦＢＥの重みと等しい。
【００３３】
‐構成‐
図１に、本発明の第１の実施の形態に係る音声認識システム１０のブロック図を示す。図１を参照して、音声認識システム１０は、ＨＭＭの学習と、音声認識の際のサブバンドごとの重みの学習とを行なうための学習部２０と、学習部２０により学習されたＨＭＭ及び重みを用いて入力音声２２の音声認識を行ない、認識出力２６を出力するための、サブバンド方式の音声認識部２４とを含む。
【００３４】
学習部２０は、多数の音声データからなる音声コーパス４０と、音声コーパス４０を用いてＨＭＭ４４の通常の学習を行なうためのＨＭＭ学習部４２と、サブバンドごとの重みの学習のための、少量の学習用音声（実際に音声認識部２４が使用される環境に即した雑音を含むもの）を記憶するための学習用音声記憶部４６と、ＨＭＭ４４を使用したサブバンド方式の音声認識において学習用音声が得られる尤度が最大となるようなサブバンドごとの重みｗ1〜ｗKの値を学習するための重み学習部４８と、重み学習部４８により学習された重みｗ1〜ｗKを記憶するための重み記憶部５０とを含む。
【００３５】
音声認識部２４は、入力音声２２を受けて、サブバンド方式の特徴抽出を行ない、重み記憶部５０に記憶された重みｗ1〜ｗKを用いてそれら特徴ベクトルを加算することで音声認識に用いる特徴ベクトルを生成するためのサブバンド方式特徴抽出部６０と、サブバンド方式特徴抽出部６０が出力する特徴ベクトルをＨＭＭ４４に与え、ＨＭＭ４４から出力される尤度が最大となる音素を認識結果として出力するための判定部６２とを含む。判定部６２の出力系列が認識出力２６となる。
【００３６】
サブバンド方式特徴抽出部６０が行なうサブバンド方式の特徴抽出について、図２を参照して説明する。図２は、サブバンド方式特徴抽出部６０の詳細を示すブロック図である。図２を参照して、サブバンド方式特徴抽出部６０は、入力信号に対して離散フーリエ変換（ＤＦＴ）を行ない、音声スペクトルに変換するためのＤＦＴ処理部８０と、ＤＦＴ処理部８０の出力する音声スペクトルを入力として受け、メル周波数ＦＢＥを出力する一群のメルフィルタバンク８２と、メルフィルタバンク８２の出力するメル周波数ＦＢＥに対する対数計算を行なって対数ＦＢＥを出力するための対数計算部８４と、対数計算部８４から出力される対数ＦＢＥを複数（例えばＫ個）のサブバンドに分割するためのサブバンドフィルタ８６とを含む。なお、図２において、「ＤＸＤ」とあるのはＤＣＴ行列のサイズを示し、「Ｄ」は全帯域のＦＢＥベクトル長を意味する
【００３７】
サブバンドフィルタ８６は、対数ＦＢＥベクトルｆ＝｛ｆ1,ｆ2,...,ｆD｝をＫ個のサブバンド｛ベクトルｆ1,ベクトルf2,...,ベクトルｆK｝に分割するためのものである。ただしＤはベクトルの次元を表し、Ｋはサブバンドの数を表す。各サブバンドフィルタは矩形の単位インパルス応答を持ち、それぞれが担当するサブバンドに属する周波数の対数ＦＢＥは通し、それ以外のものは遮断する機能を持つ。
【００３８】
サブバンド方式特徴抽出部６０はさらに、サブバンドフィルタ８６の出力に対し、各サブバンドに割当てられた重みｗ1〜ｗKをそれぞれ乗じるためのＫ個の乗算回路８８Ａ〜８８Ｋを含む。乗算回路８８Ａ〜８８Ｋの出力はいずれもＤ次元の対数ＦＢＥベクトルｆi＝｛ｆi1,ｆi2,...,ｆiD｝（ｉ＝１〜Ｋ）である。それらベクトルの要素のうち、各サブバンドフィルタの担当する周波数領域以外の要素の値はゼロである。もとの対数ＦＢＥベクトルとサブバンド対数ＦＢＥベクトルとの関係は次の式により表される。
【００３９】
【数１】
2005070292.tif 000003
乗算回路８８Ａ〜８８Ｋの出力する対数ＦＢＥベクトルは次の式で表される。
【００４０】
【数２】
2005070292.tif 000004
ただし＾ｆiはｉ番目の乗算回路８８Ａ〜８８Ｋのうちｉ番目の出力、ｗiはｉ番目のサブバンドの重み、をそれぞれ表す。
【００４１】
サブバンド方式特徴抽出部６０はさらに、それぞれ乗算回路８８Ａ〜８８Ｋの出力を受ける様に接続され、乗算回路８８Ａ〜８８Ｋの出力する対数ＦＢＥベクトルに対してＤＣＴを行なうことによりサブバンドごとのケプストラムベクトルを出力するためのＤＣＴ処理部９０Ａ〜９０Ｋと、ＤＣＴ処理部９０Ａ〜９０Ｋの出力するケプストラムベクトルを加算し通常のＭＦＣＣを出力するための加算部９２とを含む。
【００４２】
ＤＣＴ処理部９０Ａ〜９０Ｋの出力するケプストラムベクトル＾ｃiは次の式で表される。
【００４３】
【数３】
2005070292.tif 000005
加算部９２の出力するケプストラムベクトル＾ｃは次の式で表される。
【００４４】
【数４】
2005070292.tif 000006
ここで、重みｗi〜ｗKの値がいずれも１であれば、ケプストラムベクトル＾ｃは通常のＭＦＣＣとなる。ＤＣＴが線形変換であるためである。すなわち、以下の式が証明されて
いる。
【００４５】
【数５】
2005070292.tif 000007
ただしベクトルｃは通常の処理で得られるＭＦＣＣである。
【００４６】
ＤＣＴが線形変換であるため、サブバンド対数ＦＢＥベクトルに重み付けをして加算しＤＣＴ処理をするということは、サブバンドのケプストラムベクトルに重み付けをしてから加算するのと同じである。
【００４７】
【数６】
2005070292.tif 000008
ただしベクトルｃiは重みなしのサブバンドのケプストラムベクトルである。
【００４８】
ｗiは重み係数なので、以下の制約が存在する。
【００４９】
【数７】
2005070292.tif 000009
問題は、重みｗiを決定する方法である。本実施の形態では、重みは学習用音声記憶部４６に記憶された雑音入りの学習データを用いて重み学習部４８が行なう学習により決定する。その詳細については、実施の形態の説明の最後に、モデル空間での重みの決定と共に説明する。
【００５０】
‐動作‐
第１の実施の形態に係る音声認識システム１０は以下の様に動作する。このシステムの動作には、二つの局面が存在する。第１の局面は、図１に示す学習部２０によるＨＭＭ４４の学習と重みｗ1〜ｗKとの学習という局面であり、第２の局面は音声認識部２４による、このＨＭＭ４４を用いた音声認識である。以下順に説明する。
【００５１】
［ＨＭＭ４４の学習］
この学習にも二つの局面が存在する。第１は、音声コーパス４０及びＨＭＭ学習部４２を用いたＨＭＭ４４の通常の意味での学習である。第２は、学習済みのＨＭＭ４４及び学習用音声記憶部４６を用いた、重み学習部４８による重みｗ1〜ｗKの学習である。
【００５２】
ＨＭＭ４４の学習は、通常行なわれるものと同様である。
【００５３】
一方、重み学習部４８による学習の基本的考え方は以下の通りである。学習用音声記憶部４６が与えられたときに、式（６）によって学習用音声の特徴ベクトルを算出する。それをＨＭＭ４４に与えたときに、各音素のＨＭＭごとに尤度が得られる。学習用データに対して各ＨＭＭから得られる尤度のうち、正解に対して得られる尤度が最大となる様に、重みを決定する。この詳細については後述する。ＨＭＭ４４及び重みｗ1〜ｗKの学習が終了すると、音声認識部２４による音声認識が可能になる。
【００５４】
図２を参照して、入力音声に対してＤＦＴ処理部８０によりＤＦＴが実行され、音声スペクトルが得られる。この音声スペクトルをメルフィルタバンク８２を通すことにより、ＦＢＥが得られる。対数計算部８４によりこのＦＢＥの対数を算出することで対数ＦＢＥが得られる。この対数ＦＢＥをサブバンドフィルタ８６に与えることで、対数ＦＢＥがサブバンドに分割される。
【００５５】
乗算回路８８Ａ〜８８Ｋの各々は、与えられた自己の担当する周波数領域のサブバンドの対数ＦＢＥに重みｗ1〜ｗKを乗算する。乗算結果のベクトルについて、担当領域以外の離散周波数領域の要素に０を代入することにより、ベクトルを全帯域のベクトルの次元にまで拡張する。拡張されたベクトルは、ＤＣＴ処理部９０Ａ〜９０Ｋにそれぞれ与えられる。ＤＣＴ処理部９０Ａ〜９０Ｋはそれぞれ、与えられた重み付け後のサブバンドの対数ＦＢＥに対してＤＣＴ処理を行なうことにより、サブバンドケプストラムベクトルを出力する。これらサブバンドケプストラムベクトルは加算部９２に与えられ、最終的なＭＦＣＣが得られる。このＭＦＣＣを図１に示すＨＭＭ４４に与えることで各音素のＨＭＭごとに尤度が得られる。それら尤度に基づき、判定部６２が入力音声２２に対応する音素を判定し認識出力２６として出力する。
【００５６】
［第２の実施の形態］
この第２の実施の形態に係る音声認識システムは、第１の実施の形態とは異なり、モデル空間で上記した重み付けの処理を行なう。すなわち、ＨＭＭとしてサブバンドごとに重み付けをしたＨＭＭ学習を行ない、得られたＨＭＭを用いて音声認識を行なう。図３に、第２の実施の形態に係る音声認識システム１００のブロック図を示す。
【００５７】
図３を参照して、この音声認識システム１００は、サブバンド方式によるモデル空間での重み付けを行なうことにより、ＨＭＭ学習を行なうための学習部１０２と、学習部１０２による学習の行なわれたＨＭＭ１２４を用いて、入力音声２２に対する音声認識を行ない認識出力１０６を出力するための音声認識部１０４とを含む。
【００５８】
学習部１０２は、音声コーパス４０と、音声コーパス４０を用いて一般的な学習方法によってＨＭＭ４４の学習を行なうためのＨＭＭ学習部４２と、学習用音声記憶部４６と、ＨＭＭ４４及び学習用音声記憶部４６に基づいて、モデル空間での重みを学習する処理を行なうための重み学習部１２０と、重み学習部１２０により学習された重みに基づき、ＨＭＭ４４をサブバンドごとに重み付けがされた形で音響をモデル化する様に調整することでＨＭＭ１２４を生成するためのＨＭＭ調整部１２２とを含む。
【００５９】
重み学習部１２０による重みの学習の詳細については、第１の実施の形態における重みの学習とともに実施の形態の説明の最後に示す。
【００６０】
図４を参照して、ＨＭＭ調整部１２２は、ＨＭＭ４４を構成する各ＨＭＭを規定する正規分布の平均ベクトルを一つずつ順番に全て取出すための平均ベクトル取出処理部１５０と、平均ベクトル取出処理部１５０により取出された一つの平均ベクトルに対し、逆ＤＣＴ処理を行なうためのＩＤＣＴ処理部１５２とを含む。音声認識における特徴量としてＭＦＣＣを採用した場合、ＨＭＭ４４内のガウス混合分布の平均ベクトルはケプストラム領域の値である。従ってその平均ベクトルをＩＤＣＴ処理部１５２によって逆ＤＣＴ処理することにより、スペクトル領域の量である対数ＦＢＥに戻すことができる。
【００６１】
ＨＭＭ調整部１２２はさらに、ＩＤＣＴ処理部１５２から出力される対数ＦＢＥをＫ個のサブバンドに分割するためのサブバンドフィルタ１５４と、サブバンドフィルタ１５４により分割されたＫ個のサブバンドに対しそれぞれＤＣＴ処理を行なうことによりサブバンドのケプストラムを算出するためのＤＣＴ処理部１５６Ａ〜１５６Ｋと、ＤＣＴ処理部１５６Ａ〜１５６Ｋの出力に対し、それぞれ当該サブバンドに対応する重みｗ1〜ｗKを乗算するためのＫ個の乗算回路１５８Ａ〜１５８Ｋと、乗算回路１５８Ａ〜１５８Ｋの出力を互いに加算することによりＨＭＭの平均ベクトルを算出するための加算部１６０とを含む。
【００６２】
再び図３を参照して、音声認識部１０４は、入力音声２２の全帯域から特徴量（ＭＦＣＣ）を抽出し特徴ベクトルを生成し、ＨＭＭ１２４に与えるための特徴抽出部１３０と、特徴ベクトルに応答してＨＭＭ１２４内の各音素ごとに設けられたＨＭＭから出力される尤度に基づいて、入力音声２２に対応する音素を判定するための判定部１３２とを含む。判定部１３２の出力系列により認識出力１０６が形成される。
【００６３】
ＨＭＭ調整部１２２によるＨＭＭ１２４の生成はより具体的には以下の手順で行なわれる。
【００６４】
（１）ＨＭＭ４４中のＨＭＭを規定するガウス混合分布の平均ベクトルμ＝｛μ0，μ1，…，μN-1｝をＨＭＭ４４中のＨＭＭから取出し、ＩＤＣＴ処理部１５２での逆ＤＣＴ処理により対数ＦＢＥベクトルｍ＝｛ｍ1，ｍ2，…，ｍN｝に変換する。ここでＮはベクトルμの次元である。
【００６５】
【数８】
2005070292.tif 000010
（２）対数ベクトルｍをサブバンド｛ベクトルｍ1，ベクトルｍ2，…，ベクトルｍK｝に分割する。ここでＫはサブバンドの数である。各サブバンドのベクトルをＤＣＴによりケプストラムベクトル｛ベクトルμ1，ベクトルμ2，…，ベクトルμK｝に変換する。
【００６６】
【数９】
2005070292.tif 000011
（３）サブバンドケプストラムベクトルに重み係数を乗算する。
【００６７】
【数１０】
2005070292.tif 000012
（４）サブバンドケプストラムベクトルを全て加算することで、学習後の平均ベクトル＾μが得られる。
【００６８】
【数１１】
2005070292.tif 000013
この平均ベクトルを用いてＨＭＭ４４中のＨＭＭの正規分布を変更することにより、調整後のＨＭＭ１２４中のＨＭＭが得られる。ＨＭＭ４４中の全てのＨＭＭを構成する全ての正規分布の平均ベクトルについてこれを繰返すことにより、ＨＭＭ１２４を生成することができる。
【００６９】
‐動作‐
音声認識システム１００は概ね以下の様に動作する。この音声認識システム１００の場合にも、動作には大きく二つの局面が存在する。第１の局面はＨＭＭ１２４の生成であり、第２の局面はＨＭＭ１２４を用いた音声認識である。
【００７０】
第１の局面は、さらに大きく三つの工程に分かれる。第１はＨＭＭ学習部４２によるＨＭＭ４４の学習である。第２は重み学習部１２０による重みの学習である。第３は学習された重みと、ＨＭＭ４４とに基づいて調整されたＨＭＭ１２４を得る局面である。
【００７１】
第１の工程におけるＨＭＭ学習部４２によるＨＭＭ４４の学習は通常の方法で行なわれる。また、第２の工程における重み学習部１２０による重みの学習については、実施の形態の説明の最後に説明する。
【００７２】
第３の工程でのＨＭＭ調整部１２２の動作は以下の通りである。図４を参照して、まず、平均ベクトル取出処理部１５０がＨＭＭ４４中のＨＭＭを構成するガウス混合分布を規定する正規分布のうちの一つの平均ベクトルを取出す。ＩＤＣＴ処理部１５２がこの平均ベクトルに対し逆ＤＣＴを行ない、対数ＦＢＥベクトルに戻す。サブバンドフィルタ１５４によってこの対数ＦＢＥベクトルをサブバンドごとのベクトルに分割し、ＤＣＴ処理部１５６Ａ〜１５６Ｋにそれぞれ与える。
【００７３】
ＤＣＴ処理部１５６Ａ〜１５６Ｋが、各サブバンドごとの対数ＦＢＥベクトルにＤＣＴ処理を行ない、ケプストラムベクトルに変換する。乗算回路１５８Ａ〜１５８Ｋは、各サブバンドのケプストラムベクトルに対し、重み学習部１２０が第２の工程で算出したサブバンドごとの重みを乗算し加算部１６０に与える。加算部１６０はこれらサブバンドごとに算出され重み付けされたケプストラムベクトルを加算する。これにより、平均ベクトル取出処理部１５０によって取出された平均ベクトルに対応する、学習後のＨＭＭ１２４中のＨＭＭの平均ベクトルが算出され、ＨＭＭ１２４に組込まれる。
【００７４】
以上の様にして学習部１０２によるＨＭＭ１２４の学習が完了する。
【００７５】
第２の局面では、学習後のＨＭＭ１２４を用いて音声認識が行なわれる。図１に示す入力音声２２に対し、特徴抽出部１３０が特徴抽出を行なう。特徴量は、ＨＭＭ４４の学習の際に用いられたのと同様の手法で抽出されたケプストラムベクトルである。特徴抽出部１３０はこのケプストラムベクトルをＨＭＭ１２４中の各ＨＭＭに与える。ＨＭＭ１２４中の各ＨＭＭは、与えられたケプストラムベクトルに対し、入力音声が各ＨＭＭの担当する音素である確率を出力する。判定部１３２が、これら確率に基づいて、入力音声２２の音声認識を行ない認識出力１０６を与える。
【００７６】
［重みの学習］
第１の実施の形態及び第２の実施の形態では、共通してサブバンドごとの重みの学習が行なわれている。これら実施の形態では、この学習はいずれも最尤推定法によって行なわれる。ただし第１の実施の形態では特徴空間での重みの学習が行なわれ、第２の実施の形態ではモデル空間での重みの学習が行なわれている。
【００７７】
ＡＳＲにおける認識とは、学習済みのモデル集合ΦX＝｛Φxi｝（Φxiはｉ番目のモデル）及びテストデータＹ＝｛ベクトルｙ1，ベクトルｙ2，…，ベクトルｙT｝が与えられたときに、対応するイベントシーケンスＷ＝｛Ｗ1，Ｗ2，…，ＷL｝を認識する、ということである。ΦXとＹとの間に不一致があれば、認識結果のシーケンスＷに誤差が生ずる。多くのＡＳＲでは、最大事後確率（Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ：ＭＡＰ）推定デコーダを用いる。
【００７８】
【数１２】
2005070292.tif 000014
この学習は、認識の性能を向上させるために、不一致を最小化させるという方針で行なう。学習は、前述した様に特徴空間でもモデル空間でも可能である。以下、それぞれの場合につき、重みの学習の詳細について説明する。
【００７９】
特徴空間では、学習データＸ＝｛ベクトルｘ1，ベクトルｘ2，…，ベクトルｘT｝が観測データのシーケンスＹ＝｛ベクトルｙ1，ベクトルｙ2，…，ベクトルｙT｝にマップされる。もしもこの際の変形が可換であれば、次の様に逆変換ＦνによってＹからＸへの逆マッピングを行なうことができる。
【００８０】
【数１３】
2005070292.tif 000015
これと同じ様にモデル空間でも、関数Ｇηによって学習後のモデルΦXをテストデータと一致するモデルΦYにマッピングすることができる。
【００８１】
【数１４】
2005070292.tif 000016
ただしηはこの関数のパラメータである。
【００８２】
不一致を最小化する方法の一つは、連結尤度を最大化するパラメータν又はηとＷとを推定することである。特徴空間では、次の式により表される。
【００８３】
【数１５】
2005070292.tif 000017
モデル空間では次の式により表される。
【００８４】
【数１６】
2005070292.tif 000018
変数ν又はηとＷとに関する連結尤度を最大化する作業は、ν又はηを固定してＷを変化させることで尤度を最大化し、その後にＷを固定してν又はηを変化させることで尤度を最大化する、という操作を繰返すことで実現できる。
【００８５】
Ｗを推定するプロセスは、ＡＳＲで通常行なわれている学習の手続と同様である。ここでは、ν又はηの推定について考える。Ｗを固定して考えているので、式（１５）及び（１６）から変数としてのＷを取除いて考えることができる。その結果、式（１５）及び（１６）はそれぞれ次の式（１７）及び（１８）に書き換えることができる。
【００８６】
【数１７】
2005070292.tif 000019
及び
【００８７】
【数１８】
2005070292.tif 000020
Ｓ＝｛ｓ1，ｓ2，…，ｓT｝を可能な全ての状態シーケンスの集合、Ｋ＝｛ｋ1，ｋ2，…，ｋT｝を全ての混合要素のシーケンスの集合であるものとする。すると式（１７）及び（１８）はそれぞれ次の式（１９）及び（２０）の様に書き換えることができる。
【００８８】
【数１９】
2005070292.tif 000021
‐特徴空間での学習‐
＾νを推定するために、ＥＭアルゴリズムを使用する。ＥＭアルゴリズムは２ステップでの繰返処理である。第１のステップはＥステップ（期待ステップ）と呼ばれる。Ｅステップでは、以下の随伴関数を計算する。
【００８９】
【数２０】
2005070292.tif 000022
第２のステップはＭステップ（最大化ステップ）と呼ばれる。このステップでは、以下の式（２２）に示す様に、随伴関数の値を最大化する＾νの値を推定する。
【００９０】
【数２１】
2005070292.tif 000023
もしもＱ（ν，＾ν）≧Ｑ（ν，ν）であれば、ｐ（Ｙ｜＾ν，ΦX）≧ｐ（Ｙ｜ν，ΦX）となることが証明されている。従って、Ｅステップ及びＭステップを繰返し適用した場合、尤度は減少しないことが保証されている。そして、この処理を尤度の増加が所定のしきい値よりも小さくなるまで繰返す。
【００９１】
ここでは、逆変形関数によってＹの各フレームがＸの対応フレームにマップされるものとする。
【００９２】
【数２２】
2005070292.tif 000024
随伴関数は次の様に書ける。
【００９３】
【数２３】
2005070292.tif 000025
ただし、ｐy（ｙt｜ｓt，ｋt，＾ν，ΦX）はランダム変数ｙtの確率密度関数であって、このランダム変数ｙtとランダム変数Ｘtとの間の関係は次の式により表される。
【００９４】
【数２４】
2005070292.tif 000026
ここで、式（２５）の右辺の分母はヤコビアンであって、その（ｉ、ｊ）番目の要素は以下の様に表される。
【００９５】
【数２５】
2005070292.tif 000027
ただしここでｙt,jはベクトルｙtのｉ番目の要素であり、分母の関数ｆの添え字（＾ν，ｊ）はこの関数が関数ｆのｊ番目の要素であることを示す。
【００９６】
一般的には、ｐX（ｘt｜ｓt，ｋt，＾ν，ΦX）はガウス分布として定義され、従って随伴関数は次の様に書ける。
【００９７】
【数２６】
2005070292.tif 000028
随伴関数はまた、次の様に書くこともできる。
【００９８】
【数２７】
2005070292.tif 000029
ここでは＾νを含む項のみについて調べればよいので、随伴関数は以下の様に書くことができる。
【００９９】
【数２８】
2005070292.tif 000030
この随伴関数の最大値を得るために、この式を＾νで微分した式の値をゼロとおいて＾νを求める。すなわち、
【０１００】
【数２９】
2005070292.tif 000031
サブバンドの重み学習のアルゴリズムでは、観測されたデータから学習データへの逆変形関数は次の式で表される。
【０１０１】
【数３０】
2005070292.tif 000032
式（６）によれば、この関数は次の様に表すことができる。
【０１０２】
【数３１】
2005070292.tif 000033
ただしベクトルｉは単位ベクトルである。行列Ｃはケプストラム行列であり、その列ベクトルはサブバンドケプストラムである。すなわち、行列Ｃ＝｛ベクトルｃ1，ベクトルｃ2，…，ベクトルｃK｝。Ｋは前述の通りサブバンドの数である。ベクトルｗは重みベクトルであある。すなわちベクトルｗ＝｛ｗ1，ｗ2，…，ｗK｝。
【０１０３】
ｆwは直接関数（ｄｉｒｅｃｔ  ｆｕｎｃｔｉｏｎ）ではないため、次のヤコビアン行列を計算するのは困難である。
【０１０４】
【数３２】
2005070292.tif 000034
計算を簡単にするために、このヤコビアン行列の行列式の値が１であると仮定する。この仮定は、重みの値が全て１に近く、ケプストラムの要素が互いに独立であると仮定した場合に成り立つ。すなわち、
【０１０５】
【数３３】
2005070292.tif 000035
すると、式（２９）は次の様に書ける。
【０１０６】
【数３４】
2005070292.tif 000036
ここで以下の様に定義する。
【０１０７】
【数３５】
2005070292.tif 000037
すると、式（３６）は次の式（３８）の様に書ける。
【０１０８】
【数３６】
2005070292.tif 000038
一方、重みには式（７）に示す制約が課されている。式（７）は次の式（３９）の様に書くことができる。
【０１０９】
【数３７】
2005070292.tif 000039
ここで、目的関数を次の様に定義する。
【０１１０】
【数３８】
2005070292.tif 000040
この目的関数の最大値を見つけるために、この式を＾ｗに関し微分した式の値をゼロとおく。
【０１１１】
【数３９】
2005070292.tif 000041
この式から次の式が導かれる。
【０１１２】
【数４０】
2005070292.tif 000042
この式から、次の解が得られる。
【０１１３】
【数４１】
2005070292.tif 000043
ただし
【０１１４】
【数４２】
2005070292.tif 000044
λは式（３９）及び（４３）を組合せることにより得ることができる。
【０１１５】
【数４３】
2005070292.tif 000045
‐モデル空間での学習‐
特徴空間での学習では、ヤコビアン行列の行列式が１であることを仮定した。しかしこの仮定により、学習の過程で不正確さが生じるおそれがある。モデル空間での学習では、そのような仮定は不要である。必要な仮定は、特徴量の中に０次のケプストラムが存在するということである。
【０１１６】
ここでは、＾ηを推定するためにＥＭアルゴリズムを用いる。Ｅステップでは以下の随伴関数を計算する。
【０１１７】
【数４４】
2005070292.tif 000046
Ｍステップでは随伴関数を最大化することで＾ηを推定する。
【０１１８】
【数４５】
2005070292.tif 000047
学習は、トレーニングデータＸによりトレーニングされたモデル中の平均ベクトルと共分散行列とに対して行なわれるものとする。学習での変換は次の通りである。
【０１１９】
【数４６】
2005070292.tif 000048
この場合、ランダム変数ｙtの確率密度関数は次の通りである。
【０１２０】
【数４７】
2005070292.tif 000049
ここでは、＾ηを含む項のみについて着目するので、随伴関数は次の様に書くことができる。
【０１２１】
【数４８】
2005070292.tif 000050
この随伴関数の最大値を求めるために、この式を＾ηに関して微分し、その式の値を０として解く。
【０１２２】
【数４９】
2005070292.tif 000051
既に述べた様に、モデル空間での変換は以下の式により表される。
【０１２３】
【数５０】
2005070292.tif 000052
ただし行列Ｕはケプストラム行列であり、その列ベクトルはサブバンドのケプストラムベクトルである。すなわち行列Ｕ＝｛μ1，μ2，…，μK｝。ベクトルｗは重みベクトルである。すなわち、ベクトルｗ＝［ｗ1，ｗ2，…，ｗK］T。
【０１２４】
すると、式（５２）は次の様に書くことができる。
【０１２５】
【数５１】
2005070292.tif 000053
一方、重みに関しては式（３９）で示される制約が課されている。
【０１２６】
目的関数を次の様に定義する。
【０１２７】
【数５２】
2005070292.tif 000054
この目的関数の最大値を求めるために、これを＾ｗに関し微分してその式の値を０とおく。
【０１２８】
【数５３】
2005070292.tif 000055
この式を解くことにより次を得る。
【０１２９】
【数５４】
2005070292.tif 000056
その結果、解は次の通りとなる。
【０１３０】
【数５５】
2005070292.tif 000057
ただし行列Ｘ及びベクトルｙは以下の式で表される。
【０１３１】
【数５６】
2005070292.tif 000058
またλは式（３９）と（６０）とを組合せることにより得られ、その結果は式（４６）と同一になる。
【０１３２】
［第３の実施の形態］
第２の実施の形態では、ＨＭＭを規定するガウス複合分布の構成要素である正規分布の各々について、その平均ベクトルを算出するための重みを別々に学習している。仮に類似した正規分布については同じ重みを使用する様にすれば、重みの学習をより少ない学習データで行なうことができ、学習に要する時間も短縮化できる。
【０１３３】
そこでこの第３の実施の形態では、第２の実施の形態の音声認識システム１００を改良し、正規分布を複数のクラスに分類し、クラスごとに同じ重み付けを用いることにする。図５に、その様にクラスごとに予め算出された重みを用いたＨＭＭ調整部１８０のブロック図を示す。図３のＨＭＭ調整部１２２をこのＨＭＭ調整部１８０と置換し、さらに重み学習部１２０での重み学習を後に説明する様に変更することにより、本実施の形態に係る音声認識システムを得ることができる。
【０１３４】
本実施の形態のシステムでは、平均ベクトルによって正規分布をいくつか（例えばＬ個）のクラスに分類する。その分類は重み学習部による学習時と、ＨＭＭ調整部１８０によるＨＭＭの調整時とで共通して用いられる。なお、以下の説明では、図４と同じ構成要素には同じ参照番号を付してある。それらの機能も同一である。従って、それらについての詳細な説明な繰返さない。なお、本実施の形態でクラス数Ｌ＝１とすれば第２の実施の形態の場合と同様になる。
【０１３５】
図５を参照して、ＨＭＭ調整部１８０は、平均ベクトル取出処理部１５０と、平均ベクトル取出処理部１５０により取出された平均ベクトルがＬ個のクラスのうちいずれに属するかを判定するためのクラス判定部１９０と、取出された平均ベクトルに対し逆ＤＣＴ処理を行なうＩＤＣＴ処理部１５２、ＩＤＣＴ処理部１５２の出力をサブバンドに分割するサブバンドフィルタ１５４、及びサブバンドフィルタ１５４の出力に対しサブバンドごとのＤＣＴ処理を行なうＤＣＴ処理部１５６Ａ〜１５６Ｋとを含む。
【０１３６】
ＨＭＭ調整部１８０はさらに、図４の乗算回路１５８Ａ〜１５８Ｋに替えて、ＤＣＴ処理部１５６Ａ〜１５６Ｋがそれぞれ出力するケプストラムベクトルにクラス判定部１９０によって判定されたクラスに応じた重みを乗算するための乗算回路１９４Ａ〜１９４Ｋと、乗算回路１９４Ａ〜１９４Ｋの出力を加算する加算部１６０とを含む。クラス判定部１９０により判定されたクラスがクラスＬ１であるものとすると、乗算回路１９４Ａ〜１９４Ｋにより各サブバンドのケプストラムベクトルに乗算される重みはｗ1,L1、ｗ2,L1、…、ｗK,L1と表すことができる。
【０１３７】
この場合の重みの学習は以下の通りに行なわれる。
【０１３８】
ＨＭＭ４４のＨＭＭモデルのガウス成分をＬ個のクラスに分類する。各モデルの混合分布数を状態によらず一定（たとえばＣ0）とし、状態数をＳ0とすると、Ｌ＝Ｃ0×Ｓ0と書くことができる。これらＬ個のクラスごとに異なる重み係数を乗算するものとする。この場合、式（５５）は以下の様になる。
【０１３９】
【数５７】
2005070292.tif 000059
この重み係数には、クラスごとに式（３９）と同じ制約が課されている。
【０１４０】
【数５８】
2005070292.tif 000060
この場合、目的関数は以下の様になる。
【０１４１】
【数５９】
2005070292.tif 000061
この目的関数を＾ｗcに関して微分し、その値をゼロとする。
【０１４２】
【数６０】
2005070292.tif 000062
この式を解くことにより次を得る。
【０１４３】
【数６１】
2005070292.tif 000063
解は次の通りである。
【０１４４】
【数６２】
2005070292.tif 000064
ただし
【０１４５】
【数６３】
2005070292.tif 000065
λは式（６４）及び（６８）を組合せることで得られる。
【０１４６】
【数６４】
2005070292.tif 000066
［第４の実施の形態］
モデル空間の学習では、平均ベクトルに対する重み付けの手続は、平均ベクトルに対する一種の変換とみなすことができる。そのため、重みに関する制約を取除くことができる。その結果、解はわずかに形の異なったものとなる。
【０１４７】
式（５６）を＾ｗに関し微分してその値をゼロとおく。
【０１４８】
【数６５】
2005070292.tif 000067
この式から次を得る。
【０１４９】
【数６６】
2005070292.tif 000068
解は次の通りとなる。
【０１５０】
【数６７】
2005070292.tif 000069
ただし行列Ｘ，ベクトルｙはそれぞれ式（６１）及び（６２）に等しい。
【０１５１】
この結果を用い、第３の実施の形態と同様にして本発明の第４の実施の形態の音声認識システムを構築することができる。
【０１５２】
なお、上記した実施の形態の説明では、特徴空間における重み付けとモデル空間とにおける重み付けとを別々のものとして説明した。しかし両者を同時に行なうこともできる。たとえば、雑音が混入しているサブバンドが既知の場合には、その周波数部分には小さな重み（例えばゼロ）を割当てることにより、その成分が音声認識に与える悪影響を抑えることができる。この場合、特徴空間とモデル空間との間の整合をとる必要があるので、両者において重み付けを行なう必要がある。
【０１５３】
［実験結果］
Ａｕｒｏｒａ２タスクとＤＡＲＰＡリソースマネージャ（ＲＭ）タスクとを用いた実験を行なった。Ａｕｒｏｒａ２コーパスは、雑音環境下での分散音声認識の研究のために作成されたものである。データは予め通常の通信チャネル（Ｇ．７１２又はＭＩＲＳ）の周波数特性に従ってプリフィルタを通し、２０ｄＢから−５ｄＢまで５ｄＢずつ変化させた６段階の信号対雑音比（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ：ＳＮＲ）で人工的に雑音を加えたものを用いた。
【０１５４】
実験ではＲＭタスクの音声信号の、制限された帯域に雑音を加え、本発明の実施の形態に係るシステムの性能を検証した。音素ごとのＨＭＭとして４９個のＨＭＭを用意した。各ＨＭＭは３つの状態を持つ。１状態ごとに４つの混合分布が存在する。ただし、１状態の「ｓｐ」モデルは例外である。
【０１５５】
雑音信号の振幅は１．０Ｅ５（１００ｄＢ）に設定した。ケプストラムを逆ＤＣＴにより対数ＦＢＥに変換し、対数ＦＢＥとして１３個の離散周波数領域に分割した。雑音が３つの離散周波数領域にまたがるものと想定し、雑音を４つの方法で加えた。すなわち、第１〜第３の離散周波数領域、第４〜第６の離散周波数領域、第７〜第９の離散周波数領域、及び第１０〜第１２の離散周波数領域である。比較のため６つの方式（ＦＢ，ＣＳＢ，ＣＣＳＢ、ＷＳＢ、ＷＡ，ＷＳＢ）について、ノイズのないテストデータと、ノイズが加えられたテストデータとを用いてそれぞれ実験を行なった。ＦＢとは全帯域をまとめて（サブバンドに分割せず）音声認識を行なう方法である（従来技術）。ＣＳＢが従来技術であることについては前述した。ＣＣＳＢ（ｃｏｎｃａｔｅｎａｔｅｄ  ｃｌｅａｎ  ｓｕｂ−ｂａｎｄ）とは、ＣＳＢと同様であるが、雑音のある離散周波数領域については捨てる、という方式である。ＷＳＢ（ｗｅｉｇｈｔｅｄ  ｓｕｂ−ｂａｎｄ）は、本発明の第１の実施の形態に係るものである。ＷＡ（ｓｕｂ−ｂａｎｄ  ｗｅｉｇｈｉｎｇ  ａｄａｐｔａｔｉｏｎ）は本発明の第２の実施の形態に係る方法である。ＵＷＡ（ｕｎｌｉｍｉｅｄ  ｓｕｂ−ｂａｎｄ  ｗｅｉｇｈｉｎｇ  ａｄａｐｔａｔｉｏｎ）は本発明の第４の実施の形態に係るものである。雑音が加えられた離散周波数領域の重み付け係数をゼロ、他の部分の重み付け係数を１とした。また、特徴空間とモデル空間との整合をとるため、方法で学習を行なった。
【０１５６】
各方式による認識精度の結果を次の表に示す。
【０１５７】
【表１】
2005070292.tif 000070
表１から分かる様に、雑音のないテストデータについては、全帯域を使用したＦＢがＣＳＢより高い性能を示した。雑音を加えたテストデータに対しては、ＦＢの性能はかなり低下した。低い周波数領域に雑音を加えた方が性能の低下が著しい。雑音のために音声信号のフォルマントがあいまいとなったためと思われる。
【０１５８】
ＣＳＢの平均精度はＦＢの平均精度より低い。ＣＣＳＢの精度はＣＳＢよりわずかに低くなっている。この結果は、サブバンドに雑音が加えられている場合にも、そのサブバンドの情報を全て捨ててしまうよりはその情報を用いた方が認識精度に対する悪影響が少ないことを示す。ＷＳＢは、雑音が加えられたテストデータについては、ＣＳＢ及びＦＢのいずれよりもはるかに精度が高く、その精度は雑音がない場合のＦＢの認識精度に近い程である。ＷＡ及びＵＷＡも同様で、ＦＢより高い精度が得られた。
【０１５９】
類似した条件で、分割するサブバンドの数によって認識精度がどのような変化をするかについても実験をした。その結果を図６及び図７にそれぞれ示す。図６はＡｕｒｏｒａ２タスクに関するもの、図７はＲＭタスクに関するものである。
【０１６０】
図６及び図７を参照して、サブバンドの数を１〜１３まで変化させて実験を行なった。この結果はＷＡ及びＵＷＡによるものである。図６及び図７によれば、いずれの場合にもサブバンドの数を増加させると認識精度も向上する傾向が明らかである。特に、図６の場合にはＷＡでサブバンド数が７以上、ＵＷＡでサブバンド数が３以上のときによい性能を示し、図７の場合にはＷＡでサブバンド数が３以上、ＵＷＡでサブバンド数が４以上のときによい結果を示すことが分かる。
【０１６１】
［実施の形態の好ましい効果］
以上の通り、本発明の各実施の形態によれば、サブバンド方式でサブバンド間の相関を保つことができる。実験結果からも、音声信号のうち制限された帯域に雑音が加わっている場合、これら方式によれば既存の方式と比較してより高い性能を得ることができる。サブバンドごとの重みは最尤推定法により推定でき、かつサブバンドの数が少ないので、学習データの数が少なくても重みの推定を行なうことができる。
【０１６２】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１６３】
【図１】本発明の第１の実施の形態に係る音声認識システムのブロック図である。
【図２】図１に示すサブバンド方式特徴抽出部６０の詳細なブロック図である。
【図３】第２の実施の形態に係る音声認識システムのブロック図である。
【図４】図３に示すＨＭＭ調整部１２２の詳細なブロック図である。
【図５】第２の実施の形態に係る音声認識システムのＨＭＭ調整部１８０の詳細なブロック図である。
【図６】サブバンド数とＷＡ及びＵＷＡ方式での認識精度との関係を示すグラフである。
【図７】サブバンド数とＷＡ及びＵＷＡ方式での認識精度との関係を示すグラフである。
【符号の説明】
【０１６４】
１０  音声認識システム、２０，１０２  学習部、２２  入力音声、２４，１０４  音声認識部、２６，１０６  認識出力、４０  音声コーパス、４２  ＨＭＭ学習部、４４，１２４  ＨＭＭ、４６  学習用音声記憶部、４８  重み学習部、５０  重み記憶部、６０  サブバンド方式特徴抽出部、６２  判定部、８０  ＤＦＴ処理部、８２  メルフィルタバンク、８４  対数計算部、８６  サブバンドフィルタ、８８Ａ〜８８Ｋ，１５８Ａ〜１５８Ｋ，１９４Ａ〜１９４Ｋ  乗算回路、９０Ａ〜９０Ｋ，１５６Ａ〜１５６Ｋ  ＤＣＴ処理部、９２  加算部、１２０  ＨＭＭ調整部、１２２，１８０  ＨＭＭ調整部、１３０  特徴抽出部、１３２  判定部、１５０  平均ベクトル取出処理部、１５２  ＩＤＣＴ処理部、１５４  サブバンドフィルタ、１９０  クラス判定部
【図１】
2005070292.tif 000072
【図２】
2005070292.tif 000073
【図３】
2005070292.tif 000074
【図４】
2005070292.tif 000075
【図５】
2005070292.tif 000076
【図６】
2005070292.tif 000077
【図７】
2005070292.tif 000078
【手続補正書】
【提出日】平成16年7月7日(2004.7.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
【数３１】
2005070292.tif 000079
ただしベクトルｉは単位ベクトルである。行列Ｃはケプストラム行列であり、その列ベクトルはサブバンドケプストラムである。すなわち、行列Ｃ＝｛ベクトルｃ1，ベクトルｃ2，…，ベクトルｃK｝。Ｋは前述の通りサブバンドの数である。ベクトルｗは重みベクトルである。すなわちベクトルｗ＝｛ｗ1，ｗ2，…，ｗK｝。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
本実施の形態のシステムでは、平均ベクトルによって正規分布をいくつか（例えばＬ個）のクラスに分類する。その分類は重み学習部による学習時と、ＨＭＭ調整部１８０によるＨＭＭの調整時とで共通して用いられる。なお、以下の説明では、図４と同じ構成要素には同じ参照番号を付してある。それらの機能も同一である。従って、それらについての詳細な説明は繰返さない。なお、本実施の形態でクラス数Ｌ＝１とすれば第２の実施の形態の場合と同様になる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１６４
【補正方法】変更
【補正の内容】
【０１６４】
１０  音声認識システム、２０，１０２  学習部、２２  入力音声、２４，１０４  音声認識部、２６，１０６  認識出力、４０  音声コーパス、４２  ＨＭＭ学習部、４４，１２４  ＨＭＭ、４６  学習用音声記憶部、４８  重み学習部、５０  重み記憶部、６０  サブバンド方式特徴抽出部、６２  判定部、８０  ＤＦＴ処理部、８２  メルフィルタバンク、８４  対数計算部、８６  サブバンドフィルタ、８８Ａ〜８８Ｋ，１５８Ａ〜１５８Ｋ，１９４Ａ〜１９４Ｋ  乗算回路、９０Ａ〜９０Ｋ，１５６Ａ〜１５６Ｋ  ＤＣＴ処理部、９２  加算部、１２０  重み学習部、１２２，１８０  ＨＭＭ調整部、１３０  特徴抽出部、１３２  判定部、１５０  平均ベクトル取出処理部、１５２  ＩＤＣＴ処理部、１５４  サブバンドフィルタ、１９０  クラス判定部