(57)【特許請求の範囲】
【請求項１】
入力信号における音声を検出する装置において、
前記信号内の平滑化周波数帯域制限エネルギーを表す値を決定する手段と
平滑化周波数帯域制限エネルギーの分散を決定する手段と、
前記平滑化周波数帯域制限エネルギーの分散及び前記平滑化周波数帯域制限エネルギーの以前の履歴に基づいて前記信号内の音声の開始及び終了点を決定する手段とを備え、
前記平滑化周波数帯域制限エネルギーが所定のエネルギーしきい値レベルを越え、かつそのｔ秒後に、平滑化周波数帯域制限エネルギーの前記分散が所定の上部分散しきい値レベルを越えた場合に、前記音声の開始点が、前記平滑化周波数帯域制限エネルギーが前記エネルギーしきい値レベルを最初に越える前の時間ｚ秒にある点として決定されることを特徴とする、入力信号における音声を検出する装置。
【請求項２】
前記ｚ秒は、前記平滑化周波数帯域制限エネルギーを表す値を決定する手段が平滑化に必要な音声の長さに相当することを特徴とする、請求の範囲１の装置。
【請求項３】
前記ｔ秒は、前記平滑化周波数帯域制限エネルギーの前記分散を決定する手段が平滑化周波数帯域制限エネルギーの変動量算出に必要な音声の長さに相当することを特徴とする、請求の範囲１の装置。
【請求項４】
入力信号における音声を検出する装置において、
前記信号内の平滑化周波数帯域制限エネルギーを表す値を決定する手段と
平滑化周波数帯域制限エネルギーの分散を決定する手段と、
前記平滑化周波数帯域制限エネルギーの分散及び前記平滑化周波数帯域制限エネルギーの以前の履歴に基づいて前記信号内の音声の開始及び終了点を決定する手段とを備え、
平滑化周波数帯域制限エネルギーの前記分散に対する上部及び下部しきい値レベルが予め決定されており、前記音声の終了点が、前記分散が前記下部分散しきい値レベルより下に降下する前時間のｚ秒にある点として決定されることを特徴とする、入力信号における音声を検出する装置。
【請求項５】
前記ｚ秒が０秒と100秒との間であることを特徴とする請求の範囲４の装置。
【発明の詳細な説明】
技術分野
本発明は、一般的には、音声セグメント及び非音声雑音又は背景セグメントの両方を含んでいる入力オーディオ信号内の音声を含んでいるセグメントの開始及び終了を検出するための装置に関する。
従来の技術
実時間での音声の検出は、音声起動テープレコーダ、返答機、自動音声認識装置、音楽から音声を取り除く処理器（これらに限定されないが）を含む多くの装置に必要な構成要素である。これらのアプリケーションの多くは、分離不可能に音声と混合した雑音を有する。音声の検出は、エネルギーレベルがプリセットしきい値よりいつ上に上がり又はプリセットしきい値よりも下に下がるかを単に検出する従来装置よって提供されるよりもより精巧な音声検出能力を必要とする。
自動音声認識の分野では、音声検出構成要素は最も決定的に重要である。実際には、音声信号の内容を決定するために一般に使用されるパターンマッチングにおけるエラーからよりも多くの音声認識エラーが音声検出におけるエラーから生じる。一つの提案された解決法は、認識装置が常に特定のワードが聞こえないかと耳を常に澄ますワードスポッティング技術を使用することである。しかしながら、ワードスポッティングが音声認識の前に行われなければ、全体のエラー率は高くなり得る。
多くの音声検出装置は、エネルギー、ピッチ及びゼロ交差のような入力のいくらかのパラメータに基づいている。音声検出器の性能は、背景雑音に対するそのパラメータの強さに主に依存する。実時間音声検出に関しては、パラメータは信号から速く抽出されねばならない。
発明の開示
本発明の目的の一つは、入力の到達と同じ歩調で進むのに十分高速に、すなわち実時間で動作できる音声の検出のための装置を提供することにある。
本発明の他の目的は、従来のディジタル信号処理回路板で実施され得る音声の検出のための装置を提供することにある。
本発明の他の目的は、音声と混合されたいろいろな種類の雑音にもかかわらず有効である音声の検出のための装置を提供することにある。
本発明の他の目的は、分離ワード自動音声認識装置、連続音声認識装置（文章の語句間の区切りを検出するための）、音声制御型テープレコーダ、返答機及び背景雑音又は音楽を有する記録に埋め込まれた音声の処理（これらに制限されないが）を含むいろいろなアプリケーションのための音声検出装置を提供することにある。
本発明のこれら及び他の目的は、入力信号における音声を検出する装置を備えることによって達成される。該装置は、前記信号内の平滑化周波数帯域制限エネルギーを表す値を決定する手段と、前記信号の平滑化周波数帯域制限エネルギーを表す値の分散を決定する手段と、前記平滑化周波数帯域制限エネルギーの分散及び前記帯域制限エネルギーの履歴に基づいて前記信号内の音声の開始及び終了点を決定する手段とを含んでいる。
本発明は、入力音声信号内の音声の開始及び終了を検出するために平滑化周波数帯域制限エネルギーの分散及び平滑化周波数帯域制限エネルギーの履歴を利用する。平滑化周波数帯域制限エネルギーの分散は、音楽の背景に対するリード歌手のような難しい背景で発生する前景音声が比較的低い変動の“ノイズフロア”より上のエネルギーレベルの顕著な変動を生じる観察に基づいて使用される。背景のレベルは高いかもしれないけれども、この効果が生じる。分散はそのエネルギーの変動を定量化する。
好ましい実施例によれば、装置は、ハミングウィンドウ及びフーリエ変換を使用して平滑化周波数帯域制限エネルギーを計算する。分散は、シフトレジスタに記憶された平滑化周波数帯域制限エネルギーからの時間の関数として計算される。音声の開始及び終了点を決定するために、装置は、平滑化周波数帯域制限エネルギーと所定のエネルギーしきい値とを、時間の関数としての分散と２つの所定のしきい値レベル、すなわち上部分散しきい値レベル及び下部分散しきい値レベルとを比較する。もし平滑化周波数帯域制限エネルギーがエネルギーしきい値を越えるならば、装置は、音声が開始されたことを試験的に決定する。
しかしながら、指定された時間量後に、分散が上部分散しきい値レベルの上にその後上昇しないならば、音声の開始の試験的な決定が廃棄される。平滑化周波数帯域制限エネルギーが、エネルギーしきい値を超過するときと分散が上部分散しきい値を超過するときとの間の時間中、装置は信号を開始（Ｂ）音声状態にあるものとして特徴づける。一旦分散が上部しきい値レベルを越えると、装置は信号を音声（Ｓ）状態にあるものとして特徴づける。最後に、分散は下部分散しきい値レベルよりも下に降下するとき、音声の終了点が決定される。
他方、平滑化周波数帯域制限エネルギーの最新の履歴及び時間の関数としてのその分散は、訓練神径ネットワークへの入力として使用され、その単一の２進出力は、音声が進行しているか否かを示している。
分散を試験するために上部及び下部しきい値レベルを使用することによって、音声を検出するときのエラー率は最小にされる。開始点を試験的に決定するために平滑化周波数帯域制限エネルギーのレベルを使用することによって、音声の真の開始と音声検出装置の応動との遅延が最小にされる。音声が存在するかどうかを示すために神経ネットワークを使用することによって、装置は、多くのいろいろな種類の雑音の中で音声を検出できる。
好ましくは、平滑化周波数帯域制限エネルギーの分散及び平滑化周波数帯域制限エネルギーの履歴に基づいて音声の開始及び終了点を決定するための入力信号の処理が実時間で実行され得るように、装置は集積回路ハードウェアの内部で実施される。
【図面の簡単な説明】
本発明の正確な特質、並びにその目的及び利点は、同じような参照番号がそれの図の至る所の同じような部品を示している添付図面とともに考案されるとき、下記の詳細な説明を参照することによって容易に明かになる。図面において、
図１は、本発明の好ましい実施例による音声検出装置を使用する自動音声認識装置のブロック図を提供する。
図２は、図１の音声検出装置のブロック図である。
図３は、図１の音声検出装置によって使用される平滑化周波数帯域制限エネルギーの分散を決定する方法を示すフローチャートを提供する。
図４は、図２の音声検出装置を示す状態図である。
図５は、典型的な入力信号である。及び
図６は、音声の開始及び終了点を決定するときに神経ネットワークの使用を示す第２の実施例における図２の一つの決定ユニットのブロック図である。
発明を実施するための最良モード
下記の説明は、いかなる当業者も発明を作成し、使用し、自分の発明を実施する発明者によって熟考された最良モードを記載することを可能にするために与えられる。しかしながら、いろいろな変更例は、本発明の一般的な原理が、入力信号の平滑化周波数帯域制限エネルギーの分散に基づいて音声の開始及び終了点を検出する音声検出装置を提供するために特にここに規定されているので、容易に当業者に明かのままでしょう。
本発明を使用する分離ワード自動音声認識システムのためのプロセッサは図１に示される。マイクロホンからのアナログ入力101は、電圧増幅され、サンプリング周波数に等しい速度（一般に、10,000サンプル／秒）でアナログ／ディジタル変換器102によってディジタル形式に変換される。結果として生じるディジタル信号103は、6.5536秒の音声−いかなる単一の音声の発声よりも長い期間まで記憶できるメモリ領域104に保管される。104の容量が超過されるならば、古いデータは、新しいデータが保管されるとき抹消される。したがって、104は最も最新の6.5536秒の入力データを含んでいる。ディジタル信号103はまた音声検出装置105への入力として役立つ。出力決定信号106は、ゲート107をトリガして音声を含むように105によって決定されたメモリ104の一部を出力108に送る。異なるアプリケーションに関しては、バッファ104の長さは修正され得て、返答機のようないくつかのアプリケーションでは、バッファ104は排除され得て、信号106はテープ駆動を直接制御できる。他方、バッファ104は単に数ミリ秒の遅延線であってもよい。
音声検出装置105は、図２に詳細に示されている。図１のディジタル入力信号103は、図２の入力信号201として示されている。信号201は、入力のnfの連続サンプル（例えば、256）を保持する遅延線に入力する。遅延線が満杯にされると、周波数帯域リミタ203は信号を処理し始める。入力データ201のnf/2（例えば128）の新しいサンプルが受け取られるとき、遅延線202は128のサンプルを右にシフトし、128の最も古いサンプルを抹消し、左半分を128の新しいサンプルで満たす。このように、シフトレジスタ202は、常に入力の256の連続サンプルを含み、以前の内容と50％重複する。用意するための128の新しいサンプルの時間の単位はフレームであり、１つのフレームは例えば、0.0128秒である。
周波数帯域制限エネルギーは203で計算される。ハミングウィンドウによって遅延線の要素を乗算後、フーリエ変換205は202の内容の周波数スペクトルを抽出する。250Hzと3500Hzとの間の周波数、すなわち最も重要な音声情報を含んでいる帯域、に対応するスペクトル成分は、206でデシベルの単位に変換され、207で一緒に合計され、図２で信号251として示される周波数帯域制限エネルギーを発生する。
他方、周波数帯域制限エネルギーは周波数スペクトル変換器の一部を合計する以外の方法によって計算され得る。例えば、入力信号は、畳み込みによって又は再帰型フィルタを通過させることによってディジタル的にフィルタリングされ、そのエネルギーは下記の方法によって測定され得る。これは、図２の202及び203の全部を取り替える。
同様に、帯域制限は、アナログフィルタから直接得られるエネルギーを有するアナログ領域で又は下記の方法によって実行され得る。アナログ帯域リミタは、バンドパスフィルタ、ローパスフィルタ、又は他のスペクトル整形フィルタから成ってもよく，又は増幅器あるいはマイクロホンに固有の周波数制限から生じてもよく，もしくは偽信号防止フィルタの形を取ってもよい。エネルギーは直接フィルタから又は下記のパラグラフに記載された方法によって得られてもよい。これらの代替の技術のいずれから結果として生じる信号は、以下、周波数帯域制限信号と称される。
周波数帯域制限エネルギーのエネルギーとともに一般に単調に分散する量は、以下、周波数帯域制限エネルギーと呼ばれる。図２に記載された方法の代わりに、周波数帯域制限エネルギーは、（ａ）短い時間間隔にわたって周波数帯域制限信号の分散を計算すること、（ｂ）短い時間間隔にわたる周波数帯域制限信号の絶対値、大きさ、整流値、又は他の等しい電力の二乗を合計すること、あるいは（ｃ）短い時間間隔にわたる周波数帯域制限信号の値のピーク、大きさ、整流値、又は他の等しい電力の二乗を決定することによって計算されてもよい。
本発明の好ましい実施例に関して続けると、周波数帯域制限エネルギーは平滑化モジュール220によって平滑化される。周波数帯域制限エネルギーは、最初に遅延線259に入る。フレーム毎に、この例では12.8ミリ秒で、この遅延線は新しいサンプルを受け取り、残りのサンプルを右に１だけシフトする。この例では、その長さは0.128秒に対応する10フレームである。より短い長さは音声検出装置の応答時間を減少する。より長い長さは、装置を衝撃雑音に対してより強くする。
平滑化計算ユニット250は遅延線259の内容の平均値を計算し、その値は平滑化周波数帯域制限エネルギー208である。
他方、平滑化計算250は、遅延線259における値の中央値を計算することによって、又は遅延線259の内容の短い衝撃分散を平滑化あるいは違った方法で抑制するための効果を有するいかなる関数をも計算することによって実行されてもよい。低下した場合では、遅延線259の長さは１であり得て、信号251は出力208に直接送られ得るので、平滑化周波数帯域制限エネルギー208は周波数帯域制限エネルギー251と同一である。
平滑化周波数帯域制限エネルギーは遅延線209に入る。平滑化計算250は遅延線259の内容の急速な変化を取り除くための効果を有しているので、分散計算のための遅延線209は、フレーム毎に１回よりも遅い速度で新しい値を受け取ってもよい。遅延線209は、各新しい入力が到着するとき、１だけ右にシフトする。より長い遅延線は、音声を終了させることを宣言する前に発声内部により長い区切りを可能にする。より短い遅延線は音声の終了に対する音声検出器の応答を速くする。この遅延線の長さはnvである。これは、この例では0.51秒の区切り長さに対応する40であり、下記のようになる。
0003604393.tif 000002
分散計算ユニット210は遅延線209における値の分散を計算する。平滑化周波数帯域制限エネルギーの分散Ｖは、下記のようになる。
Ｖ＝ｇ（A,B）
ここで、
0003604393.tif 000003
及び
0003604393.tif 000004
及び
0003604393.tif 000005
及び
Ｖは分散計算210の出力211である。
及び
BLE（ｆ）は、位置ｆ＝nv,...3,2,1での遅延線209の内容である。
BLE（１）は、最も古いBLE値であり、かつBLEは平滑化周波数帯域制限エネルギーである。
及び
分散211及び平滑化フィルタリング帯域制限エネルギー208は、その動作が図４及び図５に示されている決定ユニット212を駆動する。
図３は、分散Ｖを計算するためのより速い方法を示し、分散計算210及び遅延線209を取り替える。このより速い技術は、再計算するよりも下記のように量Ａ及びＢを更新する。
0003604393.tif 000006
ここで、
Ａ´は302として示されるＡに対する更新値である。
Ｂ´は303として示されるＢに対する更新値である。
及び
BLE（nv）は図２の208からの最新の平滑化周波数帯域制限エネルギー301であり、かつBLE（０）は最古の平滑化周波数帯域制限エネルギー304である。
BLEの二乗は遅延線305で遅延される。この遅延線は、304からの値を二乗することによって取り除かれ、取り替えられ得る。遅延線305及び306は、初期化の際ゼロにクリアされるべきである。同様に、遅延線306及び305が図２の遅延線209よりも一つ長いことに注目せよ。
図６は、神経ネットワークを使用する決定ユニット（図２の212）のブロック図である。神経ネットワーク620への入力は、その1.28秒の音声からの周波数帯域制限エネルギーのいくつかのサンプル及び平滑化周波数帯域制限エネルギーの分散である。遅延線603は、前１秒の平滑化周波数帯域制限エネルギー602を蓄積し、レジスタ604は周波数帯域制限エネルギー601の分散を蓄積する。神経ネットワークの出力621は、現在のフレームが音声を含んでいるか否かを示す２進決定である。これは図２の214に対応する。
他方、決定ユニットはしきい値処理方式を使用できる。図４は、音声の存在を検出するために分散（図２の211）及びエネルギー（図２の213）を使用する決定ユニットのための状態図を示している。図５は、平滑化周波数帯域制限エネルギーSBLE及び音声信号の平滑化周波数帯域制限エネルギーの分散VSBLE並びに状態図を理解するときに補助として対応する状態の例を示している。各フレーム、この例では0.0128秒でこの状態図の遷移が行われる。
状態図は、Ｎ−すなわち雑音−状態（502）で始まる。SBLEがエネルギーしきい値510よりも下にある限り、遷移402が行われ、状態Ｎは抜けられない。SBLEがエネルギーしきい値510より上に上昇するとき、遷移403が行われ、状態Ｂ（音声の試験的な開始503）が達せられる。このように、エネルギーは装置を速くトリガするために使用される。状態Ｂが達せられるとき、装置は、音声が2,3ミリ秒前に開始したことを決定する。この時間量ｚは一般に遅延線259の長さに等しい。
プリセット時間量に関しては、状態Ｂは抜けられない。すなわち、遷移404が行われる。もしこの時間があまり短いならば、開始点推測が遅れすぎ、音声の頭が切断される。この時間がより長くなると、音声の開始に対する音声検出器の応答は、不正確でないけれども、遅延されるようになる。もしそれが遅延線209の長さよりも長いならば、装置は音声を完全に見落とすかもしれない。この例では、時間は175ミリ秒である。この時間の終わりに、VSBLEは、それが506、すなわち上部分散しきい値を越えたかどうかを調べるために検査され、状態Ｂが抜けられる。もしVSBLEが上部分散しきい値より下にあるならば、遷移406が行われ、試験的な開始点が廃棄され、装置はＮ状態に戻る。もしVSBLEが上部分散しきい値より上にあるならば、遷移405が行われ、装置は、音声が装置にこれまで入力されてきており、現在入力されていることを決定してきていることを意味するＳ状態504に入る。
VSBLEは下部分散しきい値501より上に留まる限り、遷移407が行われ、状態Ｓが抜けられない。VSBLEが下部分散しきい値よりも下に落ちるとき、遷移408は装置を音声の終了が検出されたことの信号を送出するＥ状態にする。SBLEが、Ｅ状態が達せられる前に最後の時間の間エネルギーしきい値よりも下に落ちる点にあるように，音声の終了が決定される。次のフレームで、装置はＮ状態に戻る。
図１のゲート107の後の装置が自動音声認識装置であるならば、現在の状態を図２の線214上で送り、ゲート107を制御するためにそれを図１の106に接続することによって、自動音声認識装置は実時間で入力信号を処理できる。唯一の遅延は、開始点を決定するために音声検出器によってかかる時間である。音声が状態Ｂで自動音声認識装置に送られ得るならば、すなわち、ゲート又は認識装置が遷移406が行われる場合に入力音声を取り消す能力を有するならば、自動音声認識装置は、遅延線259の長さにおよそ等しい遅延を有する音声を処理し始めることができる。
記載されているものは入力信号内の音声の存在を検出する装置である。装置は、信号内の平滑化周波数帯域制限エネルギーの分散に基づいて音声の開始及び終了点を計算する。平滑化周波数帯域制限エネルギーの分散を利用することによって、音声の存在が実時間で有効に検出される。装置は、セグメントが抽出され、さらに処理される得るように、音声を含んでいる記録のセグメントを検出するのに特に有用である。
当業者は、前記の好ましい実施例のいろいろな変更及び修正が本発明の範囲及び精神を逸脱しないで構成され得ることを理解するだろう。したがって、添付クレームの範囲内で本発明は特にここで記載されたもの以外に実施され得ることが理解されるべきである。
【図１】
0003604393.tif 000007
【図３】
0003604393.tif 000008
【図２】
0003604393.tif 000009
【図４】
0003604393.tif 000010
【図５】
0003604393.tif 000011
【図６】
0003604393.tif 000012