(57)【要約】【課題】  入力音声信号（２）における変動は信号（２）が音声信号であるか非音声イベントであるかによって異なるという洞察に基づいた誤認識予測方法を提案する。【解決手段】  この誤認識予測方法は、音声信号を入力するステップ（Ｓ１）と、入力音声信号（２）の少なくとも１つの信号変動特性を抽出するステップ（Ｓ２）と、入力音声信号に信号変動メータを適用して信号変動尺度を導出するステップ（Ｓ５）とを有する。  【選択図】  図２
2005115386.tif 000002
【特許請求の範囲】
【請求項１】
音声認識システムにおいて誤認識を予測する誤認識予測方法において、
音声信号を入力するステップと、
上記入力音声信号の少なくとも１つの信号変動特性を抽出するステップと、
上記入力音声信号に対して信号変動メータを適用して信号変動尺度を導出するステップとを有する誤認識予測方法。
【請求項２】
上記信号変動メータは、上記入力音声信号の部分語に適用されることを特徴とする請求項１に記載の誤認識予測方法。
【請求項３】
上記入力音声信号の２つ以上の部分語から導出された信号変動尺度を組み合わせて、信頼度尺度を形成することを特徴とする請求項２に記載の誤認識予測方法。
【請求項４】
上記入力音声信号の２以上の部分語から導出された信号変動尺度の組合せは、相加平均、相乗平均、最大値、最小値、あるいは分散尺度に基づくことを特徴とする請求項３に記載の誤認識予測方法。
【請求項５】
上記分散尺度は、範囲、標準偏差又は相対分散であることを特徴とする請求項４に記載の誤認識予測方法。
【請求項６】
上記信号変動メータは、ユニークステート比の評価に基づくことを特徴とする請求項１乃至５のいずれか１項に記載の誤認識予測方法。
【請求項７】
上記信号変動メータは、同一ステート比の評価に基づくことを特徴とする請求項１乃至６のいずれか１項に記載の誤認識予測方法。
【請求項８】
上記信号変動メータは、ユニークステートエントロピーの評価に基づくことを特徴とする請求項１乃至７のいずれか１項に記載の誤認識予測方法。
【請求項９】
上記信号変動メータは、平均スペクトル変動の評価に基づくことを特徴とする請求項１乃至８のいずれか１項に記載の誤認識予測方法。
【請求項１０】
上記信号変動メータは、スペクトル不一致距離の評価に基づくことを特徴とする請求項１乃至９のいずれか１項に記載の誤認識予測方法。
【請求項１１】
上記信号変動メータは、ステート長単一比の評価に基づくことを特徴とする請求項１乃至１０のいずれか１項に記載の誤認識予測方法。
【請求項１２】
上記信号変動特性の抽出は、上記入力音声信号から取り出されたスペクトル特性に基づくことを特徴とする請求項１乃至１１のいずれか１項に記載の誤認識予測方法。
【請求項１３】
上記信号変動特性の抽出は、さらに、音声認識仮説ベースの隠れマルコフモデルによる音素配列に基づくことを特徴とする請求項１２に記載の誤認識予測方法。
【請求項１４】
音声認識システムにおける入力音声信号に関する認識仮説のための信頼度尺度を定めるコンピュータソフトウェア製品において、
請求項１乃至１３のいずれか１項に記載の誤認識予測方法を実行するようなデータ処理手段により処理される一連の状態要素により構成されることを特徴とするコンピュータソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【０００１】
音声認識システムにおいて、一音一音はっきりと発音された（articulated）音声又は発話は、それぞれの音声信号を解釈することによって、それぞれ書き言葉（written language）に変換される。最新技術の音声認識システムの場合でも、雑音の多い環境で使用すると、通常、認識エラーと呼ばれる誤解釈が起こることが多い。入力音声信号に重畳された周囲の雑音は、入力信号の特性を変化させ、あるいは音声認識装置によって誤って音素として解釈されてしまう。
【背景技術】
【０００２】
誤認識が起こったことを検出するためには、所謂信頼度尺度（confidence measure）が用いられる。信頼度尺度とは、ある単語又は部分語（sub-word）が音声信号の特定部分に対応するときの信頼度を判定するものである。そして、単語又は部分語は、算出された信頼度尺度に基づき、認識処理において容認され又は拒否される。
【０００３】
様々な種類の言葉による表現（expression）が非常に類似した音声を有するので、ある発話の解釈として幾つかの選択肢がある場合が多い。いずれか１つを特定するには、例えば、信頼度尺度を、ある表現がそれぞれの発話に対応する尤度として計算する。これは通常、何らかの特別な統計的仮説検定により行われる。これらの処理は、通常、非常に複雑であり、特に、ある音素が隣接した音素の影響によって音響的変動を生じる可能性がある場合、すなわち同時調音（coarticulation）として知られる効果がある場合は複雑である。
【０００４】
また、上述の音声信号に重畳した周囲の雑音のような非音声イベント（non-speech event）も、音声信号に音響的変動を生じる。したがって、音声信号を書き言葉と同等なものに変換するための単語又は部分語の正しい認識処理は、煩雑な作業であり、満足な解決策は未だ得られていない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、本発明の目的は、音声認識システムにおける認識エラーの検出を改善する方法を提案することである。
【課題を解決するための手段】
【０００６】
上述の目的は、独立請求項に定める発明により達成される。
【０００７】
音声信号の特性は、例えば、周囲の雑音やノイズバースト等の非音声信号の特性とは非常に異なる。非音声信号と異なり、音声信号は、準周期的に、比較的小さく変動するという性質を有する。このため、入力音声信号の通常安定している部分に急激な変化や大幅な変動があれば、非音声成分が存在する可能性が高い。
【０００８】
この洞察に基づいて上述の目的を達成するために、本発明に係る誤認識予測方法は、音声認識システムにおいて、音声信号を入力するステップと、入力音声信号の少なくとも１つの信号変動特性を抽出するステップと、入力音声信号に対して信号変動メータを適用して信号変動尺度を導出するステップとを有する。
【０００９】
さらに、上述の目的を達成するために、本発明は、音声認識システムにおける入力音声信号に関する認識仮説のための信頼度尺度を定めるコンピュータソフトウェア製品を提供する。このコンピュータソフトウェア製品は、本発明に係る誤認識予測方法を実行して信頼度尺度評価システムを形成するようにデータ処理手段により処理される一連の状態要素により構成される。
【００１０】
本発明の更なる有利な特徴については、各従属請求項に記載している。
【００１１】
信号変動メータは、以下に説明するように、入力音声信号の部分語、特に、フレーム、ステート又は音素に適用することが有利である。有利な展開によれば、入力音声信号の２以上の部分語から導出された信号変動尺度を組み合わせて、信頼度尺度を形成する。ここで、入力音声信号の２以上の部分語から導出された信号変動尺度の組合せは、好ましくは、相加平均、相乗平均、最大値、最小値、あるいは分散尺度に基づくものであり、分散尺度は、範囲、標準偏差又は相対分散により形成される。
【００１２】
信号変動メータは、ユニークステート比（Unique State Ratio）、同一ステート比（Same State Ratio）、ユニークステートエントロピー（Unique State Entropy）、平均スペクトル変動（Average Spectral Variation）、スペクトル不一致距離（Spectral Mismatch Distance）又はステート長単一比（State Length One Ratio）を評価し、あるいはこれらの２つ以上を組み合わせると、効果的である。
【００１３】
本発明の更なる好ましい実施例では、信号変動特性の抽出は、入力音声信号から導出したスペクトル特性に基づくものとすることにより、信号変動特性の抽出は、隠れマルコフモデルベースの音声認識仮説の音素配列に、十分基づくことができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１５】
図１は、時間の経過に対する入力音声信号２振幅の一部を示す波形図である。入力音声信号２は、音素の境界４、４’により互いに分離された幾つかの音素３、３’、３”に分割される。音素は、例えば「ｂ」を「ｐ」と区別するような最小の単語を識別できる信号として特徴付けられる音声である。これは、例えば音節等の部分語（sub-word）を既に表している場合もあるが、通常はもっと小さい単語成分である。この明細書においては、部分語という用語は、限定的なものではなく、音声として又は書き言葉として表現した場合の単語の一部を表すものである。
【００１６】
音声認識処理では、各音素が、所謂ステート（states）５１、５２、５３及び５’１、５’２、５’３等に細分化され、各ステートが更にフレーム６又は６’と呼ばれる小さい解析単位に細分化される。認識処理では、記録している信号の波形（以下、記録信号波形という。）からステート５２内の入力信号に一致しているものを探索する。通常、完全に一致した波形は存在せず、すなわち、記録信号波形は、各ステート５２の１つ以上のフレーム６内の入力音声信号２からずれている。したがって、様々な記録信号波形をステート５２内の入力音声信号２と比較して、そのステート５２内に存在するフレーム６に基づいて一致するものを検出する。したがって、様々な記録信号波形がステート５２の各フレーム６内においてそれぞれ最も一致する可能性がある。これを図１に示すが、ここでは各記録信号波形が指示符号７で示されている。記録信号波形番号「１７」は、ステート５２の１番目、４番目及び最後フレーム６においてよく一致し、記録信号波形番号「５」は、２番目、３番目及び５番目のフレームにおいて最も一致する。最後から３番目のフレームは、記録信号波形番号「２０」と一致し、最後から２番目のフレームは番号「２１」と一致する。
【００１７】
ステート５２のレベル内の記録している信号からの上述の入力音声信号２のずれ（deviation）は、例えば背景雑音の侵入や話者の気分の変化等、非音声イベントにより生じることが多い。このため、完全に一致することは殆どなく、ある程度の変動（variation）や不確実性を伴う。最も一致した場合であっても、間違っている可能性はある程度残る。
【００１８】
信頼度尺度（confidence measure system）方式の精度を向上させるために、本発明では、検出された各候補（match）の信頼度の特徴付け（characterisation）を行う。この特徴付けには、検出された各候補の信頼度を評価するための仮説を導き出す。仮説では、ある候補がおそらく正しいか誤っているかについてのステートメント（statement）を作成する。ステートメントは、通常、音声認識システムの後続の処理を簡単にするために、数値という形態をとる。仮説の値は、例えば、非常に確実な（very certain）、確実な（certain）、確実であろう（possibly certain）、確実かもしれない（perhaps certain）、おそらく有り得ない（more or less unlikely）、完全に有り得ない（completely unlikely）等、口語的な用語で表される判定に対応している。
【００１９】
本発明によれば、フレーム６のレベルまでの音声信号の変動を考慮した信号変動メータ（signal variation meter）を用いて仮説を生成する。本明細書の内容において理解される信号変動メータは、ステート５２内の各フレーム６に対する一致結果を用いて、入力音声信号２から信号変動特性を抽出し、音声イベントのみから得られる信号成分に関する最高の候補を特徴付ける値を探し出す。各信号変動メータは、好ましくは、音声認識システムの信頼度尺度評価部内で用いられる。
【００２０】
以下に詳細に説明するが、上述した方法により仮説を生成するために、以下の信号変動メータを提案する。すなわち、ユニークステート比（Unique State Ratio：ＵＳＲ）、同一ステート比（Same State Ratio：ＳＳＲ）、ユニークステートエントロピー（Unique State Entropy：ＵＳＥ）、平均スペクトル変動（Average Spectral Variation：ＡＳＶ）、スペクトル不一致距離（Spectral Mismatch Distance：ＳＭＤ）、ステート長単一比（State Length One Ratio：ＳＬＯＲ）である。
【００２１】
ユニークステート比（Unique State Ratio：ＵＳＲ）：ステート５２内の各フレーム６において、入力音声信号２に最も一致している記録信号波形、すなわち最高のフレーム候補（the best frame match）の識別子７を識別する。次に、ステート５２内において、異なる最高のフレーム候補の数をカウントし、この数をステート５２内にあるフレーム６の数で除算する。図１を参照して具体例を説明する。第１の音素３のステート５２は、８個のフレーム６から構成されている。最高のフレーム候補は、フレーム毎に異なり、合計４個の異なる識別子、すなわち「１７」、「５」、「２０」、「２１」がある。ステート５２内には全部で８個のフレーム６が存在するので、この場合のＵＳＲは０．５となる。
【００２２】
同一ステート比（Same State Ratio：ＳＳＲ）：上述と同様に、まず、ステート５２内のフレーム６毎に最高のフレーム候補（最適フレーム一致）を識別する。次に、同じ最高のフレーム候補（最適フレーム一致）を有するフレームの数を判定する。そして、最も大きなカウント値を、各ステート５２内に存在するフレーム６の数で除算する。図１に示す具体例では、最高のフレーム候補の識別子（最適フレーム一致）「１７」及び「５」が、それぞれ３つの異なるフレームに対して識別されている。他の２つ、すなわち「２０」及び「２１」は、それぞれ１つのフレーム６のみに対して識別されている。したがって、最も大きなカウント値は３であり、その結果、ＳＳＲ＝０．３７５となる。
【００２３】
ユニークステートエントロピー（Unique State Entropy：ＵＳＥ）は、以下のように定義される。
【００２４】
【数１】
2005115386.tif 000003
【００２５】
ここで、Ｎｓは、例えばステート５２等のステート内における様々な記録信号波形の総数であり、Ｎは、ステート（例えば５２）内のフレーム６、６’の数であり、ｃ（ｓ）は、ステート（例えば５２）内の各記録信号波形についてのフレームカウント数であり、ｓは、記録信号波形の識別番号である。図１の具体例では、ステート５２内における一致を検出するために、４つの異なる記録信号波形、すなわち「１７」、「５」、「２０」、「２１」という識別番号７の記録信号波形を用いている。したがって、Ｎｓ＝４であり、ステート５２を構成するフレームの総数（Ｎ）は８であり、ｃ（１７）＝３、ｃ（５）＝３、ｃ（２０）＝１、ｃ（２１）＝１となる。１つのステートのみにおける１つの記録信号波形に基づいて計算を行う場合、すなわちＮｓ＝１の場合、ゼロによる除算の問題が生じる。これについては、ＵＳＥの値を０に設定することにより対処する。
【００２６】
ステート５２内における隣接した２つのフレーム６間の平均スペクトル変動（Average Spectral Variation）は、スペクトルフラックス判定（spectral flux determination）に基づく一種のオーディオコンテンツ解析を表す。
【００２７】
【数２】
2005115386.tif 000004
【００２８】
ここで、ｎは、ステート５２のユニットｓｗにおけるフレームインデックスを表す。下限の値は、各ステートユニットｓｗの開始フレームｂｆｓｗであり、上限の値は、終了フレームｅｄｓｗである。Ｗｓｗは、ステート５２内のフレーム数を表す。Ｎｃｏｅｆは、スペクトル係数の総数であり、｜Ｆｎ（ｋ）｜は、ｋ番目のスペクトル係数に対応するｎ番目のフレームの振幅スペクトルである。
【００２９】
スペクトルを表すのに、この具体例のような振幅スペクトルではなく、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficient：ＭＦＣＣ）等の別のスペクトルベクトルも用いることができる。
【００３０】
スペクトル不一致距離（Spectral Mismatch Distance：ＳＭＤ）：記録信号による最高の候補の仮説と、各ステート５２内における入力音声信号２との間の不一致量を、好ましくは、距離メータ（distance meter）によって判定する。例えば、平均ユークリッド距離を用いると、仮説の最高ガウスフレーム候補（最適ガウスフレーム一致）μ（ｋ）とステート５２のユニットｓｗ内のスペクトルベクトルの間のスペクトル不一致距離ＳＭＤは、以下のようになる。
【００３１】
【数３】
2005115386.tif 000005
【００３２】
平均マハラノビス距離（average Mahalanobis Distance）を用いると、仮説の最高ガウスフレーム候補（仮説の最適ガウスフレーム一致）とステート５２のユニットｓｗ内のスペクトルベクトルとの間のＳＭＤは、以下のようになる。
【００３３】
【数４】
2005115386.tif 000006
【００３４】
これは、重み付けユークリッド距離分散（weighted Euclidian distance variance）に対応する。
【００３５】
平均スペクトル変動メータについて既に述べたように、ＭＦＣＣ等、他のスペクトルベクトルをスペクトル表現を用いることもできる。
【００３６】
ステート長単一比（State Length One Ratio：ＳＬＯＲ）は、ステート５２内のフレーム数Ｎでステート５２を分割することによって得られる単一のフレーム６内の最高フレーム候補の数によってられる。図１の具体例では、ステート５２の６番目（識別番号７が「２０」）と７番目（識別番号７が「２１」）のフレームのみが一度だけ起こっている。したがって、この２つのフレームが条件を満たし、ステート５２内のフレーム総数Ｎが８であるので、ステート長単一比は０．２５となる。
【００３７】
上述の信号変動メータの全てを組み合わせて、入力音声信号２を認識するための信頼度尺度を導き出すことができる。信頼度尺度は、ステート５２のレベル又はそれより高レベルのいずれかに基づいて得ることができる。特に、発話が２つ以上のステート５２からなる場合、後続のステート５２に対して得られる信頼度尺度を組み合わせて、高レベルの信頼度尺度を形成することが有利である。高レベルは、一音素、一連の音素、一単語、あるいは発話全体とすることができる。組合せは、ステート５２のレベルで算出された一連の信頼度尺度の相加平均又は相乗平均に基づくものでもよいが、最大値又は最小値の判定、あるいは範囲、標準偏差又は相対分散等の分散尺度に基づくものでもよい。分散尺度は、１つの単語及び／又は発話仮説におけるステート５２のユニット信号変動尺度の統計的分布を抽出するのに用いられる。
【００３８】
信頼度スコアは、上述した信号変動メータの１つ又はそれらの組合せから直接導出することができ、あるいは多層パーセプトロン（multilayer perceptron）等の最新の分類による１つ以上の信号変動メータを組み合わせることによって、導き出すことができる。
【００３９】
本発明に係る信号変動メータの適用例について、図２を参照して説明する。フローチャート２０は、本発明に基づく信頼度スコア又は尺度を生成する音声認識処理の各ステップを示す。ステップＳ１において、入力音声信号２が供給される。ステップＳ２において、入力音声信号２からスペクトル特性を導出する。これは、振幅スペクトルでもよいが、メル周波数ケプストラム係数等、他のスペクトルベクトルでもよい。ステップＳ３において、ステップＳ２で取り出したスペクトル特性から、認識仮説を生成する基礎をつくる。仮説を評価する音声認識装置は、隠れマルコフモデル（ＨＭＭ）２１に基づいている。ステップＳ４において、音素配列により、ステート５２に対する少なくともフレーム単位で一致する記録信号波形の識別情報に基づいて、最高候補の情報を得る。ステップＳ５において、上述の信号変動メータのうちの１つ以上により、ステップＳ２〜Ｓ４のスペクトル特性解析、ステップＳ３の認識の仮説、ステップＳ４の音素配列の各結果を統合して、信号変動特性の抽出（signal variation feature extraction：ＳＶＦＥ）を行う。ステップＳ６において、ステップＳ２〜Ｓ４で得られた結果を用いて、信頼度尺度器ＣＭはステップＳ５の結果を信頼度尺度に変換し、ステップＳ７において、この信頼性尺度を信頼度スコアとして出力する。なお、ステップＳ６において、ステップＳ２、Ｓ３、Ｓ４の結果を必ずしも利用しなくてもよいが、これらの結果を利用することにより、音声認識を大幅に改善することができる。
【図面の簡単な説明】
【００４０】
【図１】例えば信号変動尺度を導出するのに用いる、幾つかに細分化された部分を有する入力音声信号を示す波形図である。
【図２】本発明に係る信号変動測定を用いて、信頼度尺度を決定する処理を示すフローチャートである。
【符号の説明】
【００４１】
２  入力音声信号、３，３’，３”  音素、４，４’  音素の境界、５，５１，５２，５３  ステート、６，６’  フレーム、７  記録信号波形の識別番号、Ｓ１  音声信号の入力、Ｓ２  スペクトル特性の導出、Ｓ３  音声認識仮説の生成、Ｓ４  最高候補の情報の取得、Ｓ５  結果の統合、Ｓ６  結果を信頼度尺度に変換、Ｓ７  信頼度スコアの出力
【図１】
2005115386.tif 000007
【図２】
2005115386.tif 000008
【外国語明細書】
2005115386.tif 000009
2005115386.tif 000010
2005115386.tif 000011
2005115386.tif 000012
2005115386.tif 000013
2005115386.tif 000014
2005115386.tif 000015
2005115386.tif 000016
2005115386.tif 000017
2005115386.tif 000018
2005115386.tif 000019
【図１】
2005115386.tif 000020
【図２】
2005115386.tif 000021