(57)【特許請求の範囲】
【請求項１】
入力信号を受信する受信手段と、
受信した前記入力信号のエネルギーの変動を表すエネルギー変動信号を生成する生成手段と、
基準周波数よりも低い周波数を持つエネルギー変動を除去するために、前記エネルギー変動信号をフィルタリングするフィルタリング手段と、
前記フィルタリング手段によりフィルタリングされたエネルギー変動信号を用いて前記入力信号における音声の存在を検出する検出手段と、
を有することを特徴とする音声処理装置。
【請求項２】
前記フィルタリング手段が、基準周波数よりも高い周波数のエネルギー変動を前記エネルギー変動信号から除去することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記フィルタリング手段が、２Ｈｚより低い周波数及び１０Ｈｚより高い周波数のエネルギー変動を前記エネルギー変動信号からフィルタリングして除去することを特徴とする請求項２に記載の音声処理装置。
【請求項４】
前記フィルタリング手段が、４Ｈｚの周波数を持つエネルギー変動をパスすることを特徴とする請求項２または３に記載の音声処理装置。
【請求項５】
前記検出手段が、フィルタリングされたエネルギー変動信号をしきい値と比較し、その比較結果に基づいて音声の存在を検出することを特徴とする請求項１乃至４のいずれか１項に記載の音声処理装置。
【請求項６】
前記生成手段は、前記入力信号を多数の連続タイムフレームに分割し、前記エネルギー変動信号を生成するために前記連続タイムフレームの各々における入力信号のエネルギーを決定することを特徴とする請求項１乃至５のいずれか１項に記載の音声処理装置。
【請求項７】
基準周波数帯域内にフィルタリングされたエネルギー変動信号の変調パワーを決定する変調パワー決定手段を更に有することを特徴とする請求項６に記載の音声処理装置。
【請求項８】
前記フィルタリング手段及び前記変調パワー決定手段は、それぞれ、前記エネルギー変動信号の離散部分における変調パワーをフィルタリング及び決定することを特徴とする請求項７に記載の音声処理装置。
【請求項９】
それぞれ入力信号の一部分を表すフレームのシーケンスを受信する受信手段と、
各フレームのエネルギーを示すエネルギー値のシーケンスを生成する生成手段と、
基準周波数より低い周波数を持つエネルギー変動を除去するために、前記エネルギー値のシーケンスをフィルタリングするフィルタリング手段と、
フィルタリング済みのエネルギー値を用いて前記入力信号における音声の存在を検出する検出手段と、
を有することを特徴とする音声処理装置。
【請求項１０】
前記入力信号における音声を含む部分と音声を含まない部分との間の境界を決定する境界決定手段を更に有し、
該境界決定手段は、前記境界をエネルギー信号における複数のロケーションの各々に位置させた場合の尤度を決定し、その中で、最大の尤度を持つロケーションを決定することを特徴とする請求項９に記載の音声処理装置。
【請求項１１】
入力信号における音声を含む部分と音声を含まない部分との間における境界のロケーションを決定する音声処理装置であって、
入力信号を受信する手段と、
受信した前記入力信号の各フレームのエネルギーを示すエネルギー信号を生成する生成手段と、
基準周波数より低い周波数を持つエネルギー変動を除去するために前記エネルギー信号をフィルタリングするフィルタリング手段と
前記フィルタリング手段によってフィルタリングされたエネルギー信号における複数のロケーションの各々に前記境界を位置させた場合の尤度を決定する尤度決定手段と、
前記複数のロケーションの各々に関して決定された前記尤度を用いて、前記境界のロケーションを決定する手段と
を有することを特徴とする音声処理装置。
【請求項１２】
前記尤度決定手段は、前記複数のロケーションの各々について、
（ｉ）前記フィルタリング手段によってフィルタリングされたエネルギー信号における、前記ロケーションから一方の側の部分を、バックグラウンドノイズ内エネルギーを表す第１モデルと比較し、
（ｉｉ）前記フィルタリング手段によってフィルタリングされたエネルギー信号における、前記ロケーションからもう一方の側の部分を、音声内エネルギーを表す第２モデルと比較し、
（ｉｉｉ）比較結果を組み合わせて、前記ロケーションに関する尤度を決定することにより、
前記境界を前記複数のロケーションの各々に位置させた場合の尤度を決定することを特徴とする請求項１１に記載の音声処理装置。
【請求項１３】
前記第１及び第２モデルは統計的モデルであることを特徴とする請求項１２に記載の音声処理装置。
【請求項１４】
前記第１及び第２モデルはラプラス統計に基づくことを特徴とする請求項１３に記載の音声処理装置。
【請求項１５】
前記第２モデルは自己回帰モデルであることを特徴とする請求項１３または１４に記載の音声処理装置。
【請求項１６】
前記入力信号を処理し、かつ前記入力信号に音声が存在することを識別する音声検出手段を有し、
前記音声検出手段が前記入力信号において音声を検出した場合に前記尤度決定手段が前記入力信号における前記尤度を決定することを特徴とする請求項１１乃至１５のいずれか１項に記載の音声処理装置。
【請求項１７】
前記フィルタリング手段が１Ｈｚより低い周波数のエネルギー変動をフィルタリングして除去することを特徴とする請求項１１乃至１６のいずれか１項に記載の音声処理装置。
【請求項１８】
前記生成手段は、前記入力信号を複数の連続タイムフレームに分割し、離散エネルギー信号を生成するために前記タイムフレームの各々における前記入力信号のエネルギーを決定することを特徴とする請求項１１乃至１７のいずれか１項に記載の音声処理装置。
【請求項１９】
前記生成手段は、前記入力信号を多数の連続タイムフレームに分割し、離散エネルギー信号を生成するために前記タイムフレームの各々における入力信号のエネルギーを決定し、
前記フィルタリング手段は、フィルタリング済みのエネルギー信号を表す多数の離散サンプルを出力することを特徴とする請求項１１乃至１６のいずれか１項に記載の音声処理装置。
【請求項２０】
前記境界が、前記入力信号の音声を含む部分の開始または終端に位置することを特徴とする請求項１１乃至１９のいずれか１項に記載の音声処理装置。
【請求項２１】
受信手段が、入力信号を受信する受信ステップと、
生成手段が、受信した前記入力信号のエネルギーの変動を表すエネルギー変動信号を生成する生成ステップと、
フィルタリング手段が、基準周波数より低い周波数を持つエネルギー変動を除去するために、前記エネルギー変動信号をフィルタリングするフィルタリングステップと、
検出手段が、前記フィルタリングステップでフィルタリングされたエネルギー変動信号を用いて前記入力信号における音声の存在を検出する検出ステップと、
を含むことを特徴とする音声処理方法。
【請求項２２】
前記フィルタリングステップでは、２Ｈｚより低い周波数及び１０Ｈｚより高い周波数のエネルギー変動をフィルタリングして除去することを特徴とする請求項２１に記載の音声処理方法。
【請求項２３】
前記フィルタリングステップでは、４Ｈｚの周波数を持つエネルギー変動をパスすることを特徴とする請求項２１または２２に記載の音声処理方法。
【請求項２４】
受信手段が、各々が入力信号の一部分を表すフレームのシーケンスを受信する受信ステップと、
生成手段が、各フレームのエネルギーを示すエネルギー値のシーケンスを生成する生成ステップと、
フィルタリング手段が、基準周波数より低い周波数を持つエネルギー変動を除去するために、前記エネルギー値のシーケンスをフィルタリングするフィルタリングステップと、
検出手段が、フィルタリングされたエネルギー値を用いて前記入力信号における音声の存在を検出する検出ステップと、
を含むことを特徴とする音声処理方法。
【請求項２５】
境界決定手段が、前記入力信号における音声を含む部分と音声を含まない部分との間の境界を決定する境界決定ステップを更に含み、
該境界決定ステップでは、前記境界をエネルギー信号における複数のロケーションの各々に位置させた場合の尤度を決定し、その中で最大の尤度を持つロケーションを決定することを特徴とする請求項２４に記載の音声処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は音声処理装置及び方法に関する。本発明は、特に、入力信号内の音声の検出に関するが、これに限定されるものではない。
【０００２】
【従来の技術】
例えば音声認識システム、話者認証システム、及び、音声伝送システムのような幾つかの適用例において、ユーザの音声を対応する電気信号に変換するために用いられるマイクロホンは連続的にスイッチを入れた状態に保たれる。したがって、ユーザが話していない場合であっても、無音またはバックグラウンドノイズに対応してマイクロホンから絶えず出力信号が発生している。したがって、この種のシステムにおいては、（ｉ）このバックグラウンドノイズの不必要な処理を防止し、（ｉｉ）そのノイズに起因する間違った認識を防止し、（ｉｉｉ）全体的な性能を向上させるために、マイクロホンからの信号を連続的に監視し、入力信号内に音声が識別された場合に限り主音声処理をアクティブにする音声検出回路を使用する。
【０００３】
信号エネルギーは、無音期間中は小さいが、通話中は大きいので、従来技術による殆どのデバイスは、入力信号内のエネルギーを監視することによって音声の開始と終端を検出する。特に、従来のシステムにおいては、平均エネルギーをしきい値と比較し、平均エネルギーがそのしきい値を越えるのを待ち、越えたときに音声開始を示すものとして、音声が検出される。この技法によって音声の開始及び終端（いわゆる終端点）を適確に決定するためには、しきい値をノイズフロアに近い値に設定しなければならない。このシステムは、ノイズレベルが低く、かつ一定である環境においては良好に動作する。しかし、ノイズレベルが高く、時間的にかなり変動するような多くの環境においては、このシステムは適当ではない。この種の環境の例には、車内、道路脇、混雑した公共的場所が含まれる。これらの環境においては、ノイズが音声の比較的静かな部分をマスキングし、ノイズレベルが変化することによって、ノイズが音声として検出され得る。
【０００４】
【発明が解決しようとする課題】
本発明の一目的は入力信号内において的確に音声を検出するシステムを提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、その一態様によれば、次に示す手段を有する音声認識装置を提供する。即ち、入力信号を受信する手段と、受信した前記入力信号のエネルギーの変動を表すエネルギー変動信号を生成する生成手段と、基準周波数よりも低い周波数を持つエネルギー変動を除去するために、前記エネルギー変動信号をフィルタリングするフィルタリング手段と、前記フィルタリング手段によりフィルタリングされたエネルギー変動信号を用いて前記入力信号における音声の存在を検出する検出手段とを有する。ノイズレベルが高い環境であっても音声の存在を一層的確に検出できることがこの装置の利点である。音声に起因するエネルギー変動に較べてノイズレベルの変化は一般に比較的遅い（１Ｈｚ未満）ことにより、着目したものである。
【０００６】
本発明は、他の態様によれば、入力信号における音声を含む部分と音声を含まない部分との間の境界の位置を決定する装置を提供する。即ち、入力信号を受信する手段と受信した前記入力信号の各フレームのエネルギーを示すエネルギー信号を生成する生成手段と、基準周波数より低い周波数を持つエネルギー変動を除去するために前記エネルギー信号をフィルタリングするフィルタリング手段と、前記フィルタリング手段によってフィルタリングされたエネルギー信号における複数のロケーションの各々に前記境界を位置させた場合の尤度を決定する尤度決定手段と、前記複数のロケーションの各々に関して決定された前記尤度を用いて、前記境界のロケーションを決定する手段とを有する。
【０００７】
【発明の実施の形態】
本発明の実施形態はコンピュータハードウェアにおいて実行可能であるが、ここで記述する実施形態は、例えばパーソナルコンピュータ、ワークステーション、写真式複写機、ファクシミリマシン等の処理ハードウェアと共に動作するソフトウェアにおいて実行される。
【０００８】
図１は本発明の実施形態を操作するようにプログラミング可能なパーソナルコンピュータ（ＰＣ）１を示す。キーボード３、ポインティングデバイス５、マイクロホン７、及び、電話線９はインタフェース１１を介してＰＣ１に接続される。キーボード３及びポインティングデバイス５はユーザによるシステム制御を可能にする。マイクロホン７はユーザの音波音声信号を等価電気信号に変換し、これを処理するためにＰＣ１に供給する。内部モデム及び音声受信回路（不図示）は、ＰＣ１が、例えば、遠隔コンピュータ或いは遠隔ユーザと通信できるように、電話線９に接続することも可能である。
【０００９】
本発明にしたがってＰＣ１を動作させるプログラム命令は、既存のＰＣ１において使用するために、例えば磁気ディスク１３のような記憶デバイスに、または、内部モデム及び電話線９を介してインターネット（不図示）からソフトウェアをダウンロードすることによって供給することが出来る。
【００１０】
本実施形態の音声認識システムの動作について、図２を参照しながら、簡単に述べることとする。本音声認識システムに関するより詳細な記述は、本出願人の欧州特許出願ＥＰ０，７８９，３４９に既に記載されており、参考として、その内容をここに記す。例えば、マイクロホン７からの入力音声を表す電気信号はプリプロセッサ１５に供給される。このプリプロセッサは入力音声信号を一連のパラメータフレーム（a sequence of parameter frames）に変換する。その各パラメータフレームは、入力音声信号の、対応タイムフレームを表す。その一連のパラメータフレームはバッファ１６を介して認識ブロック１７に供給され、パラメータフレームの入力シーケンスを基準モデル又はワードモデル１９と比較することにより、音声が識別される。前記の各モデルは、認識されるべき入力音声のパラメータと同じ種類のパラメータで表現されたパラメータフレームのシーケンスを有する。
【００１１】
言語モデル２１及びノイズモデル２３は、認識処理を援助するために、同様に入力として認識ブロック１７へ供給される。ノイズモデルは無音またはバックグラウンドノイズを表し、本実施形態においては、認識されるべき入力音声信号のパラメータと同じタイプの単一パラメータフレームをも含む。言語モデル２１は、認識ブロック１７から出力されうるワードシーケンスを、システムにおいて既知のワード列に一致させるために用いられる。次に、認識ブロック１７から出力されるワードシーケンスは、例えばワードプロセッシングパッケージにおいて使用するために転記可能であり、又は、ＰＣ１の動作を開始、停止、或いは、修正するためのオペレータコマンドとして使用することもできる。
【００１２】
上記ブロックについて、以下に更に詳細に説明する。
【００１３】
［プリプロセッサ］
図３から１７までを参照してプリプロセッサについて説明する。
【００１４】
プリプロセッサ１５の機能は必要な情報を音声から抽出し、処理するべきデータ量を減じることである。入力信号から抽出できる情報には多くの異なるタイプがある。本実施形態において、プリプロセッサ１５は「フォルマント」関連情報を抽出するよう設計されている。フォルマントとはユーザの声道の共振周波数であると定義され、声道の形状が変わると変化する。
【００１５】
図３は、入力音声信号に対して実施される、いくつかの前処理を示すブロック図である。マイクロホン７または電話線９からの入力音声Ｓ（ｔ）はフィルタブロック６１に供給され、このブロックは入力音声信号内の殆ど無意味な情報を含む周波数を除去する。音声認識のために有用な情報の大部分は３００Ｈｚから４ＫＨｚまでの間の周波数帯域に含まれる。したがって、フィルタブロック６１は、この周波数帯域外の全ての周波数を除去する。音声認識に有用な情報がフィルタブロック６１によってフィルタリングされることはないので、認識性能の損失はない。更に、例えば自動車内のような環境においては、バックグラウンドノイズの大部分は３００Ｈｚ以下であり、したがって、フィルタブロック６１により、ＳＮ比を約１０ｄＢ、或いはそれ以上、効果的に増加することができる。フィルタリングされた音声信号は、次に、ＡＤＣ（アナログ／デジタルコンバータ）６３によって、１６ビットデジタルサンプルに変換される。ナイキストサンプリング基準に加えて、ＡＤＣ６３は毎秒８０００のレートでフィルタリング信号をサンプリングする。本実施形態において、全入力音声発声はデジタルサンプルに変換され、続けて行なわれる音声信号処理に先立ってバッファ（不図示）に記憶される。
【００１６】
入力音声がサンプリングされた後、ブロック６５において重複なし等長フレームに分割される。このように入力音声をフレームへ分割する理由について、ここで更に詳細に述べる。既に述べたように、音声が連続している間、フォルマント関連情報は連続的に変化するが、この場合の変化率は、生理学的拘束条件によって制限される音声調音器官の動きの度合に直接関係する。したがって、フォルマント周波数を追跡するためには、音声信号は短い期間またはフレームについて分析しなければならず、この方法は、音声分析の技術分野においては音声の「短時間」分析として知られている。短時間分析を実施する場合、次に示す２つの項目について考慮しなければならない。即ち、（ｉ）どの程度のレートで音声信号からタイムフレームを抽出するべきか、及び、（ｉｉ）どの程度の大きさのタイムフレームを使用するべきかということである。
【００１７】
第１の考慮項目は音声調音器官の動きの度合に依存する。即ち、重要な事象が失われないことを保証し、かつ妥当な連続性のあることを保証するために充分な程度にフレームが接近していなければならない。第２の考慮項目は、フレーム期間中は音声信号の特性が一定である程度にタイムフレームが十分に短いこと、そして、フォルマントが識別できる程度に充分な周波数分解能を与えるだけのフレーム長さを有すること、の両方を考慮して決定される。
【００１８】
本実施形態においては必要計算量を減らすために、フロントエンド処理及びその後の認識段階の両方において、１２８サンプルの重複なしフレーム（音声の１６ミリセカンドに対応する）が、従来の窓掛け処理することなしに音声から直接抽出される。図４及び５は、それぞれ、入力信号Ｓ（ｔ）の一部分及び信号の重複なしフレームへの分割、及び、これらのフレームＳｋ（ｒ）の１つを示す。従来の方式においては、通常、音声信号からフレームを抽出することに起因する周波数歪みを軽減する窓掛け機能を用いて重複フレームが抽出される。しかし、本出願人によれば、重複なしフレームを使用する場合、これらの従来型窓掛け機能は認識性能を向上させず、むしろ悪化させることが分かっている。
【００１９】
次に、ブロック６５によって出力された音声フレームＳｋ（ｒ）は音声の約１秒に対応する６２フレームを記憶できる循環バッファ６６に書き込まれる。循環バッファ６６に書込まれたフレームは、入力信号内の音声がいつ始まり、開始後いつ終るかを識別するため、終端検出部６８に送られる。循環バッファ内のフレームは、入力信号内で音声が検出されるまで、集中的に計算を行なう特徴抽出部７０には供給されない。ただし、終端検出部６８が入力信号内における音声の開始を検出すると、終端検出部は、音声の開始点以降に受け取ったフレームの特徴抽出部７０への送信を開始することを、循環バッファに合図し、次に特徴抽出部は当該フレーム内の音声信号を表現する、各フレームに関する１組のパラメータを抽出する。
【００２０】
［音声検出］
図６から図９までを参照し、本実施形態における終端検出部６８の動作について述べる。本実施形態においては、入力信号の平均フレームエネルギーをサンプリング信号として扱い、音声を特徴づける変調（modulation）をそのサンプリング信号内で捜すことによって音声が検出される。特に、音声によるエネルギーは４Ｈｚ周辺の周波数において強く変調され、１Ｈｚよりも低いか又は１０Ｈｚよりも高い周波数においては殆ど変調されない。これとは対照的に、ノイズレベルの変化は、一般に１Ｈｚ未満において信号エネルギーを変調する際に比較的ゆっくり発生する傾向がある。更に、ノイズエネルギーの不規則な変動はフレーム毎の相互関係を持たず、０Ｈｚからフレームレートの半分までの変調周波数範囲全体に亙って散在する。したがって、本実施形態における終端検出部６８は、２Ｈｚから６Ｈｚまでの間の周波数帯域において平均フレームエネルギーを帯域フィルタリングし、この周波数帯域内の変調パワーを算定し、算定した変調パワーへ検出しきい値を適用することによって音声の存在を検出するように構成されている。
【００２１】
図６Ａは一例としての入力信号における平均フレームエネルギーを示すプロットである。入力信号は、バックグラウンドノイズに対応し、かつ部分７４を拘束するバックグラウンドノイズ部７２ａと７２ｂを含む。図６Ａに示すように、バックグラウンドノイズ部における平均エネルギーは時間によってはあまり上下しない。対照的に、部分７４を含む音声においては、平均フレームエネルギーは時間によってかなり大きく変動し、平均値は比較的大きい。
【００２２】
上記したように、従来の技術における終端検出部は、音声開始点（ＳＯＳ）と音声終端（ＥＯＳ）とを決定するために、図６Ａに示す信号を簡単にしきい値で分割する。ただし、これらの点を適確に決定するためには、しきい値はノイズレベルに近いレベルに設定されなければならない。当該技術分野における当業者が認めるように、ノイズレベルが高いか或いはノイズレベルが連続的に変化する状況の下において、このような設定は、音声の開始点及び終端の検出エラーの原因となり得る。
【００２３】
既に述べたように、本実施形態において図６Ａに示すエネルギー信号は、カットオッフ周波数が２Ｈｚと６Ｈｚであって、約４Ｈｚにおいてピークレスポンスを持つバンドパスフィルタによって帯域フィルタリングされる。そして次に、帯域フィルタリングされた信号のパワーが決定される。図６Ａに示すエネルギー信号に関するその結果のプロットを図６Ｂに示す。図に示すように、領域７２ａと７２ｂにおけるこの変調パワーは音声部分７４期間の変調パワーに較べると比較的小さい。この傾向は、バックグラウンドノイズ内のエネルギー量とは無関係に同じである。したがって、各フレームに関してこのバンドパス変調パワーを固定検出しきい値Ｔｈと比較すると、音声開始点（ＳＯＳ）と音声終端（ＥＯＳ）は上に述べた特にノイズの多い環境における従来の方法よりも一層適確に検出可能である。
【００２４】
本実施形態において、音声開始点及び音声終端の検出が実際に実施される方法について更に詳細に述べる。図７は図３に示す終端検出部６８の構成要素を示すブロック図である。図に示すように、終端検出部は、ブロック６５によって出力されたフレームＳｋ（ｒ）を連続的に受け取り、受け取った各フレーム内の信号の平均エネルギーＥ（ｋ）を算定し、これをバッファ７８に出力するエネルギー計算ユニット７６を備える。新規な各平均パワー値が算定され、バッファ７８へ入力されると、固定サイズのスライドウィンドウによって定義され、最後に受け取ったフレームのエネルギー値で終了する、一連のエネルギー値がバンドパスフィルタ８０によってフィルタリングされ、変調パワー計算ユニット８２がフィルタリングされた一連の変調パワーを算定する。本実施形態において、スライドウィンドウにおける平均パワーの離散フーリエ変換の第１非ＤＣ係数を計算することにより、バンドパスフィルタリングとパワー計算が結合される。特に、フレームｋに関するバンドパス変調パワーｗｋは次式によって与えられる。
【００２５】
【数１】
0004484283.tif 000002
【００２６】
ここに、ｅｉはブロック７６によって算定されるフレームｉに関する平均フレームエネルギーであり、Ｎはウィンドウにおけるフレーム数である。本実施形態においてＮは、約４Ｈｚにおけるピークレスポンスを持つバンドパスフィルタに相当する１６に設定される。次に、しきい値回路８４において各フレームに関するｗｋの値が検出しきい値Ｔｈと比較され、しきい値回路は、カレントフレームに関するバンドパス変調パワーが検出しきい値よりも大きいか又は小さいかを識別する制御ユニット８６に制御信号を出力する。
【００２７】
用途に応じて、バンドパス変調パワーｗｋが検出しきい値Ｔｈを越えることをしきい値回路８４が検出すると直ちに、制御ユニット８６は特徴抽出部７０に入力信号の処理を開始させる。ただし、本実施形態においては、ノイズに起因する認識エラーを減少させ、かつ認識性能を改良するように特徴抽出部７０によるバックグラウンド信号の最小限度の処理が行われることを保証するために音声開始と音声終端の一層適確な決定が実施される。本実施形態においては、所定の個数のフレームに関してバンドパス変調パワーｗｋが検出しきい値Ｔｈを越えることを制御ユニット３６が識別した場合に算定される最尤計算を用いて、これが達成される。
【００２８】
図８は最大尤度計算をいつ実施するかを決定する際に制御ユニット８６によって実施される制御ステップを示す。本実施形態において、制御ユニット８６は、２つの状態、即ち、ＩＮＳＰＥＥＣＨ（音声中）状態とＩＮＳＩＬＥＮＣＥ（無音中）状態をとる。制御ユニット８６がＩＮＳＩＬＥＮＣＥ状態にある場合には音声開始を検索し、ＩＮＳＰＥＥＣＨ状態にある場合には音声終端を検索する。図８Ａに示すように、ステップＳ１において、制御ユニット８６はＩＮＳＰＥＥＣＨ状態にあるかどうかを判定する。そのような状態にない場合には、ステップＳ３に進行し、制御ユニット８６はカレントフレームｋに関するバンドパス変調パワーｗｋが検出しきい値Ｔｈよりも大きいかどうかを、しきい値回路８４に受信された信号から決定する。そうでない場合には、ステップＳ５に進み、ｋがインクリメントされ、その次のフレームに関して同じ手順が再び実行される。バンドパス変調パワーｗｋが検出しきい値Ｔｈより大きい場合には、ステップＳ３からステップＳ７へ進み、検出しきい値Ｔｈよりも大きいフレームの個数を示すカウント［ＣＮＴＡＢＶ］がインクリメントされる。次に、ステップＳ９において、このカウントＣＮＴＡＢＶは事前画定された数ＮＤＴＣＴ（音声が既に開始したことを示す）と比較される。本実施形態において、ＮＤＴＣＴは１８であり、２８８ミリセカンドの入力音声に対応する。
【００２９】
しきい値、即ち、ＣＮＴＡＢＶよりも大きいフレームの個数が所定の数ＮＤＴＣＴより大きくない場合には、フレーム数ｋはステップＳ１３においてインクリメントされ、更に、ステップＳ１５において、制御ユニット８６は、その次のフレームに関するバンドパス変調パワーｗｋ検出しきい値Ｔｈよりも大きいかどうかを決定する。そうでない場合には、次に、ステップＳ７に戻り、しきい値よりも大きいフレーム数のカウントＣＮＴＡＢＶがインクリメントされる。ステップＳ１５においてバンドパス変調パワーｗｋがしきい値未満である場合には、次にステップＳ１７に進み、しきい値よりも小さい連続したフレーム数のカウント（ＣＮＴＢＬＷ）がインクリメントされる。続いて、ステップＳ１９において、しきい値よりも小さい連続したフレーム数のカウントＣＮＴＢＬＷが所定の数ＮＨＬＤ（制御ユニット８６が、カウントを停止し、しきい値の再度超過を待たねばならないことを指示する）と比較される。本実施形態において、ＮＨＬＤは６であり、９６ミリセカンドの入力信号に対応する。
【００３０】
カウントＣＮＴＢＬＷが所定数ＮＨＬＤより大きい場合には、カウントＣＮＴＡＢＶ及びＣＮＴＢＬＷがステップＳ２１においてリセットされ、ステップＳ５に戻り、制御ユニット８６は、ステップＳ３及びＳ５の作用により、検出しきい値Ｔｈより大きいその次のフレームを待つ。ステップＳ１９において、しきい値よりも小さい連続するフレーム数が所定数ＮＨＬＤより大きい場合には、ステップＳ２３に進み、フレーム数ｋがインクリメントされる。ステップＳ２５において、制御ユニット８６は、その時次のフレームのためのバンドパス変調パワーｗｋが検出しきい値Ｔｈ以上であるかどうかを決定する。そうでない場合には、ステップＳ１７に戻り、しきい値より小さい連続したフレーム数のカウントＣＮＴＢＬがインクリメントされる。他方、ステップＳ２５において、その次のフレームに関するバンドパス変調パワーパワーｗｋが検出しきい値Ｔｈよりも大きいと制御ユニット８６に判定された場合には、ステップＳ２５からステップＳ２７へ進み、検出しきい値よりも小さいフレーム数がゼロにリセットされ、ステップＳ７へ戻り、検出しきい値よりも大きいフレーム数がインクリメントされる。一旦、カウントＣＮＴＡＢＶがＮＤＴＣＴよりも大きくなり、音声が開始されたことが指示された場合には、ステップＳ９からステップＳ２８に進み、制御ユニット８６が、その時点で処理していたフレームに関する最大尤度計算を用いて音声開始点の計算を開始する。次に、ステップＳ２９において制御ユニット８６の状態ＩＮＳＰＥＥＣＨに変更され、ステップＳ１に戻る。
【００３１】
したがって、要約すれば、制御ユニット８６がＩＮＳＩＬＥＮＣＥ状態にあり、バンドパス変調パワーが最初に検出しきい値Ｔｈを越えた場合、制御ユニット８６は、しきい値よりも大きいフレーム数及びしきい値より小さい連続したフレーム数のカウントを始める。しきい値よりも小さい連続したフレームの数がＮＨＬＤを越えた場合には、アルゴリズムはカウントを停止し、しきい値を再び越えるフレームを待つ。しきい値よりも大きいフレームの数のカウントＣＮＴＡＢＶがＮＤＴＣＴを越える以前に、このカウント停止が起きなかった場合には、状態情報をＩＮＳＰＥＥＣＨに変更し、最近のフレームを用いて開始点が算定される。次に、音声開始が算定された後で、特徴抽出部７０によるデータの全処理が開始される。
【００３２】
一旦、音声の開始が決定されると、制御ユニット８６は音声の終端を捜すようにプログラムされる。再び図８Ａを参照すると、ステップＳ２８における音声の開始が算定され、コントローラの状態がＩＮＳＰＥＥＣＨに設定された後で、図８Ｂに示すように、ステップＳ１からステップＳ３１へパスし、カレントフレームｋに関するバンドパス変調パワーｗｋが検出しきい値Ｔｈよりも小さいかどうかを判定するために制御ユニット８６がチェックする。次に、ｗｋが検出しきい値よりも大きい場合には、ステップＳ３３へループし、フレームカウンターｋがインクリメントされ、制御ユニットはその次のフレームのバンドパス変調パワーをチェックする。バンドパス変調パワーがしきい値よりも小さいフレームを制御ユニット８６が識別した場合には、ステップＳ３５に進み、しきい値よりも小さい連続フレーム数のカウントＣＮＴＢＬＷがインクリメントされる。次に、ステップＳ３７へ進み、しきい値よりも小さい連続フレーム数が音声が終了したことを示す所定数ＮＥＮＤを超過しているかどうかを制御ユニット８６がチェックする。本実施形態において、ＮＥＮＤは２２４ミリセカンドに対応する１４である。
【００３３】
連続フレームの数がＮＥＮＤより小さく、かつ音声が終了していない場合には、ステップＳ３９へ進行し、フレームカウンタｋがインクリメントされる。次に、ステップＳ４１へ進行し、その次のフレームに関するバンドパス変調パワーが検出しきい値Ｔｈより小さいかどうかを制御ユニット８６が判定する。そうでない場合には、検出しきい値よりも小さい連続フレーム数のカウントＣＮＴＢＬＷがステップＳ４３においてリセットされ、ステップＳ３３に戻る。ステップＳ４１において、バンドパス変調パワーが依然として検出しきい値より小さい場合には、ステップＳ３５に戻り、しきい値より小さい連続フレーム数のカウントがインクリメントされる。一旦、しきい値よりも小さい連続フレームの数がＮＥＮＤを越えると、ステップＳ４５へ進み、制御ユニット８６が、その時点のフレームに関する最大尤度計算を用いて音声終端の算定を開始する。次に、ステップＳ４７において制御ユニット８６の状態はＩＮＳＩＬＥＮＣＥに変更され、ステップＳ１に戻る。
【００３４】
したがって、要約すれば、音声の開始が決定された後、続いて、制御ユニット８６は音声の終端を捜す。これは、検出しきい値よりも小さいフレームの連続数をカウントする制御ユニット８６によって行われ、この数が所定の数ＮＥＮＤを越えた場合、制御ユニット８６は状態（state）をＩＮＳＩＬＥＮＣＥに変え、音声の終端が算定される。
【００３５】
［最尤終端検出］
既に述べたように、入力信号内音声の開始点及び終端は最尤法を用いて算定される。特定のフレームにおいて発生する終端に関する尤度が算出され、最大尤度をもつフレームが終端として選定される。再度説明すれば、尤度計算にはフレーム当たりの平均信号エネルギーが用いられ、このパラメータに関する単純モデルが仮定される。
【００３６】
図７を参照することとし、音声が開始したことを制御ユニット８６が識別した場合、制御ユニットはバッファ７８へのライン８８上に制御信号を出力し、時間的に最も近いＮ個のフレームエネルギーをバッファ７８から読み出し、ハイパスフィルタ９０へ入力させる。ハイパスフィルタ９０は、エネルギー信号内のＤＣオフセット及び変化の緩やかなあらゆるノイズの影響を除去し、フィルタリングされたエネルギーをバッファ９２へ出力する。本実施形態において、ハイパスフィルタ９０はカットオフ周波数が１Ｈｚの２次再帰フィルタである。図９は、図６Ａに示すエネルギー信号用のハイパスフィルタ９０の出力を示す。図に示すように、フィルタリングされたフレームエネルギーは無音部分７２ａ及び７２ｂの期間中はゼロのまわりで上下するが、音声部分７４の期間中は振動する。その結果として、一方、無音部分の期間において、フィルタリングされたフレームエネルギーはフレーム毎に相互関係を持たず、他方、音声部分において、各フレームのフィルタリングされたフレームエネルギーはその近傍フレームのフィルタリングされたフレームエネルギーに依存するものと仮定される。
【００３７】
次に、最尤終端計算ユニット９４は、各点を検出され得る開始点（或いは、終端）とみて、この点以前の全てのフレームをノイズとして扱い、また、この点以後の全てのフレームを音声として扱い、更に、当該点に終端としての尤度スコアを与えるために指示されたノイズフレームの各々をノイズモデルへ適用し、また、更に、指示された音声フレームの各々を音声モデルへ適用することによって、バッファ９２に記憶されているＮ個のフィルタリングされたエネルギーフレームを処理する。この処理は、バッファ９２内のＮ個のフレームの各々に関して実施され、最良の尤度スコアを与えるフレームが終端として決定される。
【００３８】
本実施形態において、ノイズ及び音声部分をモデル化するために、ラプラス統計量が用いられ、バッファ９２内のフレーム１からＭまでが無音である尤度Ｌ1は次式で与えられる。
【００３９】
【数２】
0004484283.tif 000003
ここに、ｙｉはハイパスフィルタリングされたエネルギーであり、σ１は無音分散である。同様に、フレームＭ＋１からＮまでが音声である尤度Ｌ2は次式で与えられる。
【００４０】
【数３】
0004484283.tif 000004
ここに、分散σ２のラプラス推進項を持つ一次自己回帰処理が用いられた。パラメータ a は自己回帰モデルの予測係数であり、本実施形態においては、固定値０．８が用いられる。ラプラス統計量は、更に一般的なガウス統計量よりもデータを一層よく表し、一層頑強な推定値を導き、必要な計算量を少なくすることが実証された。ただしガウス統計量を使用しても差し支えない。尤度Ｌ1とＬ2を乗算すると、フレームＭにおける無音から音声への遷移に関する尤度が与えられる。
【００４１】
分散σ１及びσ２は未知であるが、方程式（２）及び（３）を微分し、微分値をゼロに等しくするσを見付けることにより尤度を最大にする値はデータから算定できる。これは、σ１及びσ２に関して次式をあたえる。
【００４２】
【数４】
0004484283.tif 000005
【００４３】
【数５】
0004484283.tif 000006
これらの推定値を尤度に代入し、対数を求め、定数項を無視すると、最大化しようとする対数尤度が求められる。
【００４４】
【数６】
0004484283.tif 000007
これは各Ｍに関して算定され、したがって、最大１のフレームが終端として選定される。
【００４５】
音声の終端（ＥＯＳ）を算定するためには、データが時間の逆数であること以外は全く同じアルゴリズムが用いられる。更に、信頼できる終端を得るのに十分な無音フレーム及び十分な音声フレームがＮフレームのウィンドウに含まれていることを保証することが重要である。これは、十分な数の無音及び音声フレームを含むようにウィンドウサイズ（Ｎ）を動的に選択することによって保証される。これは、検出しきい値を越えた第１フレームの直前１６個の先行フレームと共に、検出しきい値Ｔｈを最初に越えたフレームから当該音声が開始したと制御ユニットが判断するまでの全てのフレームを対象とすることによって達成される。
【００４６】
［特徴抽出］
一旦、音声の開始が検出されると、第１音声フレームが図３に示す循環バッファ６６から特徴抽出部７０へ供給される。図１０は、本実施形態に用いられる特徴抽出部７０の構成要素を一層詳細に示す図である。図に示すように、特徴抽出における第１ステップは、ブロック６７におけるカレントフレームの離散フーリエ変換（ＤＦＴ）の大きさ、即ち｜Ｓｋ（ｆ）｜を計算するステップである。ここで、ｆは離散周波数変数である。このプリプロセッサの多くのアスペクトは入力音声信号の位相には比較的鈍感な人間聴覚系の動作をシミュレートするように設計されているので、大きさ情報だけが必要である。
【００４７】
図１１は図５に示すフレームＳｋ（ｒ）における音声信号のＤＦＴ｜Ｓｋ（ｆ）｜の大きさを示し、その最終サンプルはサンプリング周波数の半分の周波数、即ち４ＫＨｚにおいて発生する。ＤＦＴを実施した後におけるスペクトルは多数の周波数帯域内のサンプルを平均するフィルタバンクを通過する。人間の聴覚系に関する研究によれば、耳の周波数分解能は周波数の増大と共に低下することが判明している。したがって、対数的に間隔を保ったフィルタバンクは知覚的に一層有意な情報をもつので、対数的に間隔を保ったフィルタバンク、すなわち、高い周波領域と比較して低い周波領域により多くの周波数帯域が存在するフィルタバンクの方が線形的に間隔を保つフィルタバンクよりも好ましい。
【００４８】
本実施形態においては、１６個の帯域を持つメルスケールフィルタバンク６９が用いられる。メルスケールは音声分析の技術分野において周知であり、基音（トーン）の感知された周波数を線形スケール上にマッピングしようと試みる対数スケールである。図１２は、図１１に示すサンプルがバンク６９をパスする場合におけるメルスケールフィルタバンク６９の出力｜Ｓｋ（ｆ'）｜を示す。結果として得られる振幅スペクトルのエンベロープ１００は、フィルタバンクの対数間隔に起因して低い方の周波数においてはあまり顕著でないが、フィルタバンク６９の平均化効果により、かなり平滑である。
【００４９】
次に、以下に説明する処理により、フォルマント関連情報が図１０のブロック７３、７５、７７を用いて音声から抽出される。
【００５０】
励起信号Ｅ（ｔ）及びフィルタＶ（ｔ）に関してユーザの音声信号Ｓ（ｔ）をモデル化することが可能である。ここに、励起信号Ｅ（ｔ）は声道に入る気流を表し、フィルタＶ（ｔ）は声道のフィルタリング効果を表す。したがって、音声信号の周波数スぺクトル｜Ｓ（ｆ）｜の大きさは、次式で表されるように、励起信号の周波数スぺクトル｜Ｅ（ｆ）｜の大きさに声道フィルタのスペクトル｜Ｖ（ｆ）｜の大きさを乗算することによって与えられる。
【００５１】
【数７】
0004484283.tif 000008
【００５２】
ケプストラム法として知られている入力音声から声道情報を抽出する方法について次に述べる。この方法は、音声の振幅レスポンス｜Ｓ（ｆ）｜の対数を求めることにより励起の振幅レスポンス｜Ｅ（ｆ）｜から声道フィルタの振幅レスポンス｜Ｖ（ｆ）｜を分離し、結果的に励起特性と声道フィルタ特性を次式に示すように加算的にすることに関連する。
【００５３】
【数８】
0004484283.tif 000009
【００５４】
図１３はメルフィルタバンク６９かの対数出力のエンベロープ、即ち、ｌｏｇ｜Ｓｋ（ｆ’）｜を示す。この式は２つの成分１０１と１０３の加算性を図式的に示すものである。成分１０１は声道特性、即ち、ｌｏｇ｜Ｖ（ｆ）｜を表し、成分１０３は励起特性、即ち、ｌｏｇ｜Ｅ（ｆ）｜を表す。成分１０１におけるピークは声道のフォルマント周波数において発生し、成分１０３における等間隔ピークは話者のピッチの高周波帯域において発生する。
【００５５】
声道特性１０１は、ブロック７１から出力されたサンプルに離散余弦変換（ＤＣＴ）を実施し、その結果をフィルタリングすることによって励起特性１０３から抽出できる。ただし、ＤＣＴを実施する以前に、ノイズマスキング部７３によって動的ノイズマスキングが実施される。
【００５６】
［ノイズマスキング］
ノイズマスキング部７３は、先ず、メルフィルタバンク６９から出力される最大対数フィルタバンクエネルギーを算定することによって各フレームの動的マスキングを実施する。図１４は標本フレームに関する対数フィルタバンクエネルギーを示す。第１ステップは最大係数を出力する周波数バンクを決定することに単純に関係する。この例において、これは第２フィルタバンクであり、その値はｍｅｌｍａｘとして記憶される。次に、ノイズマスキング部７３は、カレントフレームに関して決定された最大対数フィルタバンクエネルギーから、トレーニング音声から経験的に見付けられる事前画定されたレンジ（ｍｅｌｒａｎｇｅ）を、減算することによって、最小対数フィルタバンクエネルギーｍｅｌｍｉｎを決定する。即ち、ノイズマスキング部７３は以下のようになる。
【００５７】
【数９】
0004484283.tif 000010
最終的に、ノイズマスキング部７３は、ｍｅｌｍｉｎよりも小さい任意のメルフィルタバンクエネルギーをｍｅｌｍｉｎに等しくする。この動的ノイズマスキングを行う理由及びその利点について、図１５を参照しながら説明する。
【００５８】
図１５Ａはノイズを殆ど含まない標本フレームの対数メルフィルタバンクエネルギーを示す。図に示すように、対数メルエネルギーは周波数軸に沿って間隔を保つ３個のピーク１００ａ、１００ｂ、１００ｃを有する。図１５Ｂはバックグラウンドノイズがハイレベルである場合における、同じフレームに関する対数メルエネルギーを示す。図に示すように、ハイレベルのノイズがある場合にはピーク１００ｂはノイズによって平滑化され、出力はピーク１００ａ及び１００ｃのみを有する。これら２つの信号を相互にマッチングさせようとして両者を比較すれば、両者は同一音声信号を表すにも拘わらず、図１５Ｂの信号に含まれる追加ノイズのために、誤認識が行われることがあり得る。ただし、それぞれのフレームのピーク対数フィルタバンクエネルギーに関してノイズフロアを定義することによってこの種の誤認識を減少させることが可能である。ノイズフロアに近い可能性のある（したがって、それによって汚染される可能性のある）対数フィルタバンクエネルギーのピークは、自動的にマスクされて除去され、マッチング処理中、考慮されないからである。これは図１５Ｃ及び図１５Ｄに示される。これらの図は、それぞれ図１５Ａ及び図１５Ｂに示す対数フィルタバンクエネルギーに本実施形態の動的ノイズマスキングが実施された状態を示す。太線プロファイル１０２及び１０４によって示すように、ノイズマスキングを施せば、比較的多くのノイズを含んでいる信号であっても、そうでない信号に一層密接に対応する。
【００５９】
ノイズマスキングの概念は新しいものではない。ただし、現在までに提案された方式においては、一定のマスキングレベルが各フレームへ適用され、ノイズフロアに基づいて算定される。このマスキングは、各フレームに適用される増幅及びスケーリングが同じである場合、又は、各フレームに対して同一レベルのマスキングが実施されるように各フレームの増幅量及びスケーリング量がモニタリングされる場合に、実施され得る。ただし、これは、入力音声の各フレームに異なる利得を適用する自動利得コントローラ（ＡＧＣ）を入力に対して用いるシステムにおいては実施困難である。ＡＧＣによって適用される利得が未知だからである。上記したように各フレームに対して異なるマスキングを実施する本実施形態の動的ノイズマスキングに関して言えば、各フレームへどの程度の利得が適用されたかは一切関係ない。マスキングレベルがフレームマキシマム（フレーム中の最大スペクトル）に関連して決定されるからである。
【００６０】
再び図１０を参照することとし、対数フィルタバンクエネルギーがノイズマスキング部７３によってマスクされた後で、ブロック７５において、離散余弦変換（ＤＣＴ）が実施される。本実施形態においては１６個のメルフィルタバンクエネルギーフレームがあるので、本実施形態においては、実際には高速コサイン変換がＤＣＴブロック７５において用いられる。速度の点で標準ＤＣＴよりもいくらか優れているからである。
【００６１】
図１６はケプストラムＣｋ（ｍ）として知られているＤＣＴブロック７５の出力を示す。ケプストラムの独立変数（図１６のｘ軸）の次元は時間であり、「ケフレンシィ（ｑｕｅｆｒｅｎｃｙ）」と称する。図１３に示す非常に周期的な成分１０３は話者のピッチ周期Ｔに等価なロケーションにおいてケプストラムのピーク１０５となる。図１３に示す徐々に変化する成分１０１はケプストラムの原点近くの多数の小さいピーク１０７に変換される。ピークの位置と振幅はフォルマントに依存する。
【００６２】
声道特性及び音声の励起特性はケフレンシィスケールの別々の部分に現れるので、それらはフィルタリング処理又はケプストラム用語において「リフタリング」と呼ばれる処理により相互に分離可能である。図１６に示すケプストラムＣｋ（ｍ）は１組の離散ケプストラム係数（Ｃ０、Ｃ１、．．Ｃ１５）で構成され、したがって、簡単な矩形ウィンドウによってリフタリングを達成することができる。ただし、スペクトルの信頼度が比較的小さいとみなされる部分をデエンファシスするために、更に漸進的な窓掛け機能が好ましい。本実施形態において、リフタリングブロック７７において用いられる窓掛け機能を次に示す。
【００６３】
【数１０】
0004484283.tif 000011
【００６４】
本実施形態においては、最初の９個のケプストラム係数が算定される。残りの係数は音声認識性能に無視出来る程度の影響を及ぼすに過ぎないからである。（ただし、話者認証システムにおいては、ピーク１０３のまわりの係数が用いられる。話者のピッチがその話者の特性であるからである。）
リフタリングブロック７７から出力される係数はそれぞれ１６ビットの２進数によって表される。基準モデル及び認識処理中における係数の両方を記憶するのに必要な記憶量を軽減するため、各ケプストラム係数のためのビット数が８に減らされる。これは、各２進数を簡単にスケーリングし直すことによって達成される。ただし、本出願人は、ケプストラム係数が平均値付近にまとまって所在し、時にはその付近以外にも所在することを確認した。即ち、この種のリスケーリングの結果として、ケプストラム係数の大部分はゼロの近辺に集まるはずである。
【００６５】
したがって、本実施形態においては、非線形変換が図１０に示すビット変換ユニット７９によって実施される。図１７は、本実施形態に適用される非線形変換を示す。特に、Ｘ軸は入力１６ビット２進値を示し、Ｙ軸は、曲線１１１によって表される非線形シグモイド関数から得られる対応８ビット値を示す。図１７から分かるように、シグモイド関数１１１は、ゼロのまわりの実質的に線形である部分１１３を有する。これは、大部分のケプストラム係数が存在する部分に対応する。したがって、図１７に示す非線形シグモイド関数は、極値から離れた大多数のケプストラム係数にとって有用な、分解能を効果的に増加させ、同時に、極値がオーバーフローすることを防止する。
【００６６】
［エネルギー正規化］
既にのべた９個のケプストラム係数に加えて、各フレーム内の音声信号の平均エネルギーも各入力フレームに関する認識特徴として用いられる。エネルギーは重要な特徴である。多くの特徴の中で、エネルギーは、フレーム中の入力音声信号が有声音声信号に対応するか否かを示すために使用できるからである。既に述べたように、各入力フレームのフレームエネルギーはエネルギー計算ユニット７６において算定され、図７に示すバッファ７８に記憶される。次に、可変記録条件によって引き起こされる変動を除去するために、バッファ７８によって出力されたカレントフレームに関するエネルギーは正規化ブロック８３によって正規化される。
【００６７】
図１８Ａ及び１８Ｂは、認識精度に影響を及ぼす可能性のあるエネルギー変動のタイプを示す。特に、図１８Ａ及び１８Ｂは同一語（ワード）の２つの発声におけるエネルギーレベルを概略的に図示する。図１８Ａに示す第１の発声１２１は、低いバックグラウンドノイズ状態における大きい発声であり、図１８Ｂに示す第２の発声１２３は、バックグラウンドノイズが更に多い状態におけるより静かな発声である。エネルギー計算ユニット７６によって各発声に関して算定されたエネルギーを認識特徴として単純に用いることにより、２つの発声の間の重大なミスマッチが示される。両方の発声におけるピークエネルギーが同じであるように正規化すると、大きい発声部分のミスマッチは除去されるが、静かな発声部分の間のミスマッチを増加させることになる。この問題を克服するために、本実施形態においては、エネルギーマスキングステップ（上記のノイズマスキング技術と同様）を実施し、それによって、最大値より小さい固定値よりも大きい全てのエネルギー値を最大値よりも小さい前記の値で置き換える。これを図１８Ｃに示す。即ち、図１８Ｃは、最大正規化後における図１８Ａ及び１８Ｂに示す発声１２１及び１２３の両エネルギーレベルを示し、更に、トレーニングデータから経験的に選定され、事前に設定された一定のマスキング深度１２７を用いてエネルギーマスキングを施した後に結果として得られるエネルギーレベル１２５を示す。
【００６８】
この技術を用いる場合の一問題は、全発声の受取りが完了するまで各発声に関する最大エネルギーが未知であることである。これは、入力音声が増分的に処理される場合、即ち、入力音声が、受け取られるにつれて、待ち状態に置かれることなしに、当該発声が終わるまで、処理される場合に問題となる。ただし、一般に発声内の最大エネルギーは音声の開始から２つ、３つのフレーム内に存在するので、この問題は克服可能である。したがって、既に述べた音声検出アルゴリズムは、音声が実際に開始してから幾らか時間が経過した後で当該音声の開始を確認するため、エネルギー正規化が最初に必要とされる段階において最大エネルギーが現れる可能性が大きい。最大エネルギーを推測するための次の方法は満足のゆくものであることが立証される。
【００６９】
ｉ）音声の開始が確認され、認識探索が始まる時まで、エネルギーの正規化を遅延させる。
【００７０】
ｉｉ）最大エネルギーのマスキング深さ１２７が少なくとも無音エネルギーより大きいと仮定する。
【００７１】
ｉｉｉ）現時点までの全ての音声フレームの最大値を算定する。
【００７２】
ｉｖ）（ｉｉｉ）において識別された最大エネルギーのなかの更に大きい方の値、及び、無音エネルギーにマスキング深さを加えた値を用いて最大正規化を実施する。ただし、増分処理においては、３個のフレームの処理を遅延させる。
【００７３】
前述のエネルギー正規化が各フレームエネルギーに実施された後で、認識スコアへのエネルギー貢献度に適宜重み付けする、経験的に選定した係数によって、エネルギー項がリスケールされる。
【００７４】
要約すれば、プリプロセッサ１５は入力信号を連続的に監視し、音声開始を識別すると、特徴抽出ルーチンを開始し、入力音声の各フレームに関して９個のケプストラム係数と１個のエネルギー係数を抽出する。次に、プリプロセッサによって出力された係数ベクトル又は特徴ベクトルは記憶されている基準モデルと比較される。基準モデルは当該システム及び当該システムを囲む音素環境にとって既知である語（ワード）をモデル化する。特定の語（ワード）と関連する各モデルは、記述のプリプロセッサによって出力された同じタイプの一連の特徴ベクトルを含む。
【００７５】
［トレーニング］
上述のワードモデルを生成する方法について簡単に記述する。更に詳細な記述に関しては、本出願人によって既に出願済みの記述欧州出願ＥＰ０７８９３４９を参照されたい。
【００７６】
本トレーニングの目的は、本システムによって使用される各語（ワード）の代表的モデルを生成することにある。トレーニングプロセスへの入力は当該ワードに関する複数のトレーニング事例（example）である。各事例は、上記特徴抽出部によって抽出された一連の特徴ベクトルによって表される。トレーニング処理は僅かに２つのトレーニング事例から１つのワードモデルを生成することができる。尤も、３つの事例を用いると僅かに一層適確なワードモデルが生成される。これ以上のトレーニング事例を用いても殆ど改良されることはない。
【００７７】
トレーニングアルゴリズムは、第１ワードモデルを生成するための入力として先ず２つの事例を用いる。当該ワードをトレーニングするために２つより多い事例を用いる場合には、第１モデルから第２のワードモデルと更に１つのトレーニング事例が生成される。必要とされる個数の事例の使用が終了するまで反復が継続される。最終的に生成されたワードモデルは、当該ワードの代表モデルとして記憶される。いずれにせよ、トレーニングアルゴリズムのコア部分はただ２つの事例から１つのワードモデルを生成するように動作する。
【００７８】
トレーニングにおける第１ステップは、２つの例に関する特徴ベクトルの２つのシーケンスを配置構成することである。この配置構成処理は、フレキシブルプログラミング配置構成処理を用いて実施される。この処理には、ワード間の最適配置パスが開始されるべき位置及び終るべき位置は含まれない。このフレキシブル動的配置構成処理については、さきの本出願人による欧州出願に詳細に記述されているので、ここでは再度述べない。
【００７９】
図１９Ａは２つのトレーニング事例１５１と１５３の間のこの種フレキシブル動的プログラミング配置構成処理を示す。図１９Ａに示すように、トレーニング事例１５１は、無音またはバックグラウンドノイズに対応する部分１５１ａ及び１５１ｃと、音声に対応する部分１５１ｂを有する。同様に、第２のトレーニング事例１５３も、無音またはバックグラウンドノイズに対応する、その開始点と終端の部分１５３ａ及び１５３ｃと、音声に対応する部分１５３ｂを有する。配置構成処理は、各トレーニング事例１５１及び１５３の開始点及び終端におけるノイズフレームを、無音またはノイズモデル１５５にマッチングさせ、音声部分１５１ｂ及び１５３ｂを、相互に配置させる。次に、相互に配置構成される部分１５１ｂ及び１５３ｂ内のフレームを平均することによって、当該音声に関するワードモデルが生成される。ただし、前述の処理は、特にトレーニング事例が一貫して行われていない場合に、ワードモデルにエラーを生じさせることがあり得る。本実施形態においては、一貫性のあるトレーニング事例のみを用いてワードモデルを生成することを保証するために一貫性チェックが実施される。
【００８０】
［一貫性検査］
本実施形態において実施される一貫性チェックは多数の理由に起因して発生する可能性のある事例間の矛盾を見付けるように設計されている。例えば、ユーザがトレーニング事例を入力する場合、トレーニング事例の開始に際してユーザがマイクロホン内に偶然深く息を吹き込むことがあり得る。発声の開始時における大きい振動１５５として、この可能性を図１９Ｂに示す。その代りに、ユーザが単に間違ったワードを入力することもあり得る。これは、信号１５１と信号１５３の音声部分において音声部分１５９が明らかに異なる現象として図１９Ｃに示される。別の可能性として、ユーザがトレーニングワードの一部分だけを入力するか、或いは、なんらかの理由によって、ワードの一部を遮断することもあり得る。これは図１９Ｄに示される。即ち、トレーニングワードの第１の部分１６１は入力されるが、第２の部分は入力されない。最後に、トレーニング事例の入力中に、バックグラウンドノイズが大幅に増加してトレーニング事例を汚染することもあり得る。これを図１９Ｅに示す。即ち、トレーニングワードの中央において現れたバックグラウンドノイズ１６３の一部が示される。
【００８１】
本実施形態は、２つのトレーニング事例が一貫して行われているか、そして、そうである場合には、トレーニング中のワードに関するモデルを生成するために両事例が使用されるか、についてチェックする。両事例に一貫性がない場合には、次の規則が適用される。
【００８２】
ｉ）一方の事例が既にワードモデルである場合（２つ又はそれ以上の以前のトレーニング事例によって形成された）には、もう一方の事例は廃棄され、余分な一事例が必要とされる。
【００８３】
ｉｉ）双方の事例が特徴抽出部から直接抽出された場合には、双方の事例が記憶されるが、モデル生成は実施されない。システムは他の一事例を必要とする。第３の事例が、記憶されている事例の一方と一貫性をもつ場合には、この一貫性のある一対の事例がワードモデルを生成するために用いられ、もう一方の事例は廃棄される。
【００８４】
ｉｉｉ）第３の事例が、記憶されている事例のどちらとも一貫性をもたない場合には、第１事例が廃棄され、第２と第３事例が、第１と第２事例としてラベリングし直される。次に、システムは別の事例を待つ。
【００８５】
トレーニングされた各ワードから見付けられた矛盾の件数の総計が求められる。矛盾件数が一定の最高値を越えた場合には、それ以上の矛盾チェックは一切行われない。これは、システムが無限ループに固着することを防止する。
【００８６】
本実施形態において用いられる一貫性テストについて次に述べる。先ず、システムは、相互に配置構成された２つのトレーニング事例内のフレームに関する平均フレームスコア（ｆ）を決定する。ただし、無音部分からのスコアは含まないものとする。これは、配置構成されたフレームに関する動的プログラミングスコアを配置構成されたフレーム数で除算することによって算定される。次に、システムは、配置構成された音声部分内の連続する１０個の最悪マッチングフレーム（ｗ）のスコアを決定する。次に、これらの値は、一貫性のある発声内においてこれら２つの値（ｆ及びｗ）がどのように変化するかをモデル化するモデルと比較され、カレントトレーニング事例に関するこれらの値がモデルと一致する場合には、２つのトレーニング事例は一貫性をもつものとみなされる。
【００８７】
一貫性をもつことが知られているトレーニング事例の大きい集合に関するこれらの２つの値（ｆ及びｗ）の統計資料を考察することによって、使用するモデルが決定される。モデルは単純にこれら２つの値の平均値であっても差し支えない。ただし、本実施形態においては、一貫性のある事例に含まれるこれら２つの値の間の変動値の平均及び相関性をモデル化するために二変量ガウスモデルが用いられる。次に、それらのトレーニング配置構成に関する統計値（即ちｆ及びｗ）がこの二変量ガウスモデルの９５％確率範囲内に所在するか、或いは、２つのトレーニング事例に関するｆ及びｗが両方とも、当該モデルによって画定されたｆ及びｗに関する予測値未満である場合には、２つのトレーニング発声は一貫性をもつものとみなされる。
【００８８】
１対のトレーニング事例が一貫性をもつとみなされた後で、これらのトレーニング事例に関する統計値（ｆ及びｗ）が一貫性のある発声に関して記憶されているモデルを更新するために使用される。これは最尤推定技術を用いて行われる。
【００８９】
本システムがトレーニングされた後で、認識結果を提供するために、本音声認識システムはユーザからの入力発声を記憶されているワードモデルと比較することが出来る。この種の音声認識結果が提供され得る方法については、既に述べた本出願人の欧州出願に記述済みであるので、ここでは改めて記述しない。
【００９０】
当該技術分野における当業者は、上記の音声処理及び一貫性チェックが音声認識システムの文脈において記述されたものであり、それらは、例えば話者認証システムのような他の音声処理システムにおいても同等に適用可能であることを理解するはずである。
【図面の簡単な説明】
【図１】本発明の実施形態を操作するようにプログラミング可能なコンピュータの概略構成図である。
【図２】音声認識システムの概略構成図である。
【図３】図２に示すシステムの一部として組み込まれたプリプロセッサであって、入力音声信号に適用される処理ステップの幾つかを示すブロック図である。
【図４】一連のタイムフレームへの入力音声信号Ｓ（ｔ）の分割をグラフに表した図である。
【図５】単一タイムフレームに関する典型的な一音声信号をグラフに表した図である。
【図６Ａ】入力信号内の音声開始と音声終端とにおける平均エネルギーの変化を示すため、入力音声信号の平均フレームエネルギーをプロットした図である。
【図６Ｂ】４Ｈｚのまわりに集中した周波数帯域内における図６Ａのエネルギー信号の変調パワーをプロットした図である。
【図７】図３に示す終端検出部について更に詳細に示すブロック図である。
【図８Ａ】図７に示す制御ユニットによる処理ステップの一部を示すフローチャートである。
【図８Ｂ】図７に示す制御ユニットによる処理ステップの図８Ａの続きを示すフローチャートである。
【図９】低周波変動及び直流変動を除去するためにフィルタリングした後における図６Ａに示す平均エネルギーをプロットした図である。
【図１０】図３に示す特徴抽出部による処理について更に詳細に示すブロック図である。
【図１１】図５に示す音声信号の離散フーリエ変換の振幅レスポンスをグラフに表した図である。
【図１２】メルスケールフィルタバンクの平均された振幅レスポンス出力をグラフに表した図である。
【図１３】メルスケールフィルタバンクから出力される対数振幅スペクトルをグラフに表した図である。
【図１４】入力フレーム内エネルギーがメル周波数バンク全体に亙って拡散される方法をグラフに表した図である。
【図１５Ａ】バックグラウンドノイズが殆ど無い場合において、サンプルワードに関するメルスケールフィルタバンクからの出力の対数振幅スペクトルをプロットした図である。
【図１５Ｂ】高レベルのバックグラウンドノイズが存在する場合において、図１５Ａと同じワードに関するメルスケールフィルタバンクからの出力の対数振幅スペクトルをプロットした図である。
【図１５Ｃ】メルスケールフィルタバンクからの出力に、ノイズマスキングレベルが適用される場合における図１５Ａのプロットを示す図である。
【図１５Ｄ】メルスケールフィルタバンクからの出力に、図１５Ｃと同じノイズマスキングが実施される場合における図１５Ｂのプロットを示す図である。
【図１６】図１３に示す対数振幅スペクトルのケプストラムをグラフに表した図である。
【図１７】ケプストラム係数の表現に使用するビット数を減らすため、ケプストラム係数の２値表現のスケーリングに用いられる非線形変換をプロットした図である。
【図１８Ａ】バックグラウンドノイズが殆ど無いサンプルワードの発声中においてエネルギーレベルが変化する様子をグラフに表した図である。
【図１８Ｂ】発声が一層静かであり、一層多くのバックグラウンドノイズが存在する場合に、図１８Ａと同じサンプルワードの発声中においてエネルギーレベルが変化する様子をグラフに表した図である。
【図１８Ｃ】エネルギー正規化及びエネルギーマスキング後における図１８Ａ及び１８Ｂのエネルギーレベルをグラフに表した図である。
【図１９Ａ】ワードモデルを生成するために用いられる図１８Ａと同じサンプルワードについての２つの発声をグラフに表した図である。
【図１９Ｂ】ユーザによるマイクロホンへの息吹き込みに起因して発声開始点において大きく振動するトレーニング例の発声をグラフに表した図である。
【図１９Ｃ】図１９Ａのトレーニングワードと異なる１つのトレーニングワードの発声をグラフに表した図である。
【図１９Ｄ】一部が削除されたトレーニングワードの発声をグラフに表した図である。
【図１９Ｅ】その音声部分に多量のノイズを含むトレーニングワードの発声をグラフに表した図である。
【符号の説明】
１５  プリプロセッサ
１７  認識ブロック
１９  ワードモデル
２１  言語モデル
２３  ノイズモデル
６６  循環バッファ
６８  終端検出部
７０  特徴抽出部
８２  変調パワー計算ユニット
８４  しきい値回路
８６  制御ユニット
９４  最尤終端計算ユニット
【図１】
0004484283.tif 000012
【図２】
0004484283.tif 000013
【図３】
0004484283.tif 000014
【図４】
0004484283.tif 000015
【図５】
0004484283.tif 000016
【図６Ａ】
0004484283.tif 000017
【図６Ｂ】
0004484283.tif 000018
【図７】
0004484283.tif 000019
【図８Ａ】
0004484283.tif 000020
【図８Ｂ】
0004484283.tif 000021
【図９】
0004484283.tif 000022
【図１０】
0004484283.tif 000023
【図１１】
0004484283.tif 000024
【図１２】
0004484283.tif 000025
【図１３】
0004484283.tif 000026
【図１４】
0004484283.tif 000027
【図１５Ａ】
0004484283.tif 000028
【図１５Ｂ】
0004484283.tif 000029
【図１５Ｃ】
0004484283.tif 000030
【図１５Ｄ】
0004484283.tif 000031
【図１６】
0004484283.tif 000032
【図１７】
0004484283.tif 000033
【図１８Ａ】
0004484283.tif 000034
【図１８Ｂ】
0004484283.tif 000035
【図１８Ｃ】
0004484283.tif 000036
【図１９Ａ】
0004484283.tif 000037
【図１９Ｂ】
0004484283.tif 000038
【図１９Ｃ】
0004484283.tif 000039
【図１９Ｄ】
0004484283.tif 000040
【図１９Ｅ】
0004484283.tif 000041