(57)【要約】【課題】  ＶＡＤ閾値を自動的に判定して信号の検出精度を高める。【解決手段】  算出手段は、信号の強度を示す強度信号を算出する。フィルタ手段は、前記強度信号をフィルタリングする。追跡手段は、前記強度信号のノイズレベルを追跡する。判別手段は、フィルタリングされた強度信号と前記追跡手段より出力されたノイズレベルとを用いて、前記信号の判別を行う。【選択図】  図４
2009229583.tif 000002
【特許請求の範囲】
【請求項１】
フレームに分割された信号の強度を示す強度信号を算出する算出ステップと、
前記強度信号をフィルタリングするフィルタリングステップと、
前記強度信号のノイズレベルを追跡する追跡ステップと、
前記フィルタリングステップでフィルタリングした強度信号と前記追跡ステップで出力されたノイズレベルとを用いて、前記信号の判別を行う判別ステップと
を有することを特徴とする信号検出方法。
【請求項２】
前記判別ステップは、前記追跡ステップで出力されたノイズレベルから所定量オフセットした閾値を用いて前記信号の判別を行うことを特徴とする請求項１に記載の信号検出方法。
【請求項３】
前記信号は音声信号であることを特徴とする請求項２に記載の信号検出方法。
【請求項４】
請求項３に記載の信号検出方法を用いて音声と背景ノイズとを判別して、前記音声を認識することを特徴とする音声認識方法。
【請求項５】
フレームに分割された信号の強度を示す強度信号を算出する算出手段と、
前記強度信号をフィルタリングするフィルタ手段と、
前記強度信号のノイズレベルを追跡する追跡手段と、
前記フィルタ手段によりフィルタリングされた強度信号と前記追跡手段より出力されたノイズレベルとを用いて、前記信号の判別を行う判別手段と
を備えることを特徴とする信号検出装置。
【請求項６】
請求項１乃至３のいずれか１項に記載の信号検出方法をコンピュータに実行させるためのプログラム。
【請求項７】
請求項４に記載の音声認識方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項６又は７に記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号検出方法及び装置に関する。
【背景技術】
【０００２】
ＶＡＤ（Voice Activity Detection）は、背景ノイズのある環境での音声を検出する技術である。
【０００３】
ＶＡＤが必要とされる典型的な場面としては次の２つがある。
【０００４】
第１は、音声通信装置であり、これを図１に示す。この場合、音声入力部１０で入力された音声信号はエンコーダ１３で符号化されて、デコーダ１６を含む別のロケーションに送信される。通信チャネル１５は、使用するコストや容量の観点から制限されていると仮定する。ＶＡＤ１２により、ユーザが話をしている場合に限って、装置が送信できるようになる。ユーザが話をしていない場合は、ＶＡＤ１２により、送信しないようにすることができるので、費用を節約したり、このネットワークの別のユーザに送信させたりすることができる。ＶＡＤ１２及びエンコーダ１３の２つに対してフロントエンド処理１１が同じであると都合がよいが、それは必ずしも必要ではない。また、エンコーダ１３は全ての言葉を必要とするわけではないから、エンコーダ１３は音声発話内のポーズと長い無音とを区別する必要がない。
【０００５】
第２は、自動音声認識（ＡＳＲ）システムであり、これを図２に示す。音声入力部２０は図１の音声入力部１０と同じであるが、この場合は、ＶＡＤ２２により、音声認識部２４が背景ノイズを音声と判別しようとするのを防止する。これは、誤り（背景ノイズを音声と判別すること）の防止に役立つだけでなく、システムリソース（ＡＳＲは通常、計算量が多い）の管理に役立つ。例えば、音声で制御可能なモバイル装置があげられる。ＶＡＤにより、ユーザが発話をしていない時と、ユーザが発話している時とを区別する。これにより、ＡＳＲを行っていない時に装置を他の機能に集中させて、ユーザが発話をしている時にはＡＳＲに集中させることができる。ＶＡＤ２２及び音声認識部２４の２つに対してフロントエンド処理２１が同じであると都合がよいのは前述したとおりである。この例では、端点検出部２３がＶＡＤ信号を用いて、発話の開始又は終了と、その発話中の言葉と言葉の間のポーズ期間とを区別する。この理由は、音声認識部２４がすべての言葉に対応する音声を切れ目なく受信する必要があるからである。
【０００６】
なお、本発明は通信の場合にも適用することができるが、後述の本発明の実施形態の説明では、ＡＳＲに適用した場合を説明する。本明細書において、“雑音 (noise)”、“無音 (silence)”、“非音声 (non-speech)”の用語を相互に交換可能なものとする。
【０００７】
ＶＡＤは一般的には、図３に示すような以下の構成要素を備える。
【０００８】
１．ＶＡＤ算出部３８。音声信号（瞬時信号）３１に対するＶＡＤ尺度値３９を形成する。尺度としては、例えば、信号の零交差率、振幅、パワ（エネルギ）、フーリエ変換、ピリオドグラム等のスペクトル表現がある。また、尺度は、フロントエンドの特徴に基づくものとしてもよい。図３に示すように、フロントエンド部４２は振幅信号３３を生成する振幅フレーマ３２を含む。強度信号としての振幅信号３３からＶＡＤ尺度値が算出される。
【０００９】
２．ノイズ追跡部３６。背景ノイズを表す信号の定常状態を追跡する。これは通常、過去の観測にわたる信号尺度の平均値である。
【００１０】
３．ＶＡＤ算出部３８はさらに、瞬時信号尺度と定常状態信号尺度とを比較して、ＶＡＤ尺度値３９を生成する。このＶＡＤ尺度値は、連続的に変化する値をとりうるが、論理演算値的なＶＡＤ判別値４１が得られるように閾値判定されて（４０）してもよい。ここでの仮定としては、瞬時尺度が定常状態尺度と大きく異なる場合は、単なる背景ノイズではなく、音声を計測している可能性が高いということである。
【００１１】
また、ＡＳＲシステムのＶＡＤは通常、次の構成と組み合わせられている。
【００１２】
４．端点検出部４４。ＶＡＤ尺度値から端点判別値４５を求める。例えば、ＶＡＤ尺度値は、非音声より音声のときの方が大きい値をとるようにする。そして、一定期間の間ＶＡＤ尺度値が一定の値を超えている場合は、音声が存在すると判定できる。逆に、一定期間の間ＶＡＤ尺度値が一定の値以下である場合は、非音声であると判定とする。
【００１３】
上記の他に、ＶＡＤ判別値４１又は端点判別値４５の結果をノイズ追跡部３６にフィードバックすることは共通である。この目的は、現在の信号が音声か非音声かをノイズ追跡部に示すことである。これにより、ノイズ追跡部はノイズの推定をより確実に更新することができる。
【００１４】
従来、背景ノイズの追跡や閾値自動判定を行う方法が開示されている。例えば、本発明者の特許出願では、背景ノイズ及び確率分布に基づく閾値の自動判定方法を開示している。しかしながら、統計的分布を用いることは、ＶＡＤには不適切になってしまう。我々の以前の出願の雑音追跡方法は、非特許文献１に基づいている。
【００１５】
特許文献１では、固定閾値ＶＡＤを用いて、ＶＡＤ閾値ではなく、信号レベルを調整する自動利得制御を制御している。これは、本発明に用いられるアプローチの補完となるものである。
【００１６】
特許文献２及び特許文献３では、ＶＡＤ閾値を自動的に調整するが、基本的にそれが行われるのは、処理工程のかなり後になる。これは、本発明では、ＶＡＤ処理前の情報を用いて閾値を調整するので、直ちにそのような調整がなされる点で、異なる。
【００１７】
特許文献４では、１つのフレームに対して算出した信号対雑音比（ＳＮＲ）に基づいて、閾値を自動的に調整する。この技術は、本発明では、１つのフレームのノイズレベルではなく移動平均ノイズレベルを用いる点、閾値がＳＮＲではなく実際のノイズレベルである点で、異なる。
【００１８】
【非特許文献１】Sohn and Sung, "A Voice Activity Detector employing soft decision based noise spectrum adaptation", In Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, pages 365-368, May 1998
【特許文献１】米国特許出願第２００２／０１１８８５１号
【特許文献２】米国特許出願第２００３／０００９３３３号
【特許文献３】米国特許第６，５３９，３５２号
【特許文献４】米国特許第６，６４０，２０８号
【特許文献５】米国特許第６，７１１，５３６号
【発明の開示】
【発明が解決しようとする課題】
【００１９】
特許文献５には、ＶＡＤの実現例が記載されている。このＶＡＤでは、フレームの大きさを用いて、フレームシーケンスに対して変調信号を算出する。次に、１つの離散フーリエ変換（ＤＦＴ）ビンにより、変調信号をフィルタリングすることにより、ＶＡＤ特徴を算出する。フィルタリングした信号が２〜６Ｈｚ（理想的には約４Ｈｚ）のエネルギを有するように、ＤＦＴを配列する。入力信号が音声なのか雑音なのかを決定するために、フィルタリングした信号を閾値と比較する。フィルタリングした信号が所定期間の間、閾値を超えている場合、音声であると判定する。そうでない場合は、信号は雑音であると判定する。このＶＡＤには、閾値をあらかじめ求めるという問題がある。閾値が、ノイズレベルを超え、音声レベルを下回っていなければならないので、このような前決定を行うには、背景ノイズ及び音声入力の両方の信号レベルに関する知識が必要である。この問題は、以下の２つの場合において顕著となる。
【００２０】
１．閾値を静かな背景ノイズ環境で設定した場合、装置を騒音が大きい環境で使用すると、フィルタリングした背景ノイズが閾値を超え、ＶＡＤによって雑音が音声として間違って分類される。
【００２１】
２．ユーザが非常に小さな声で話をしたり、マイクから遠く離れて話をした場合には、フィルタリングした音声信号が所定の閾値に達しないことがある。この場合、有効な発話が検出されないことになる。
【００２２】
本発明は、ＶＡＤ閾値を自動的に判定して、上記した問題の発生を最小限にする、新規の方法を提供することを目的とする。
【課題を解決するための手段】
【００２３】
本発明の一側面によれば、フレームに分割された信号の強度を示す強度信号を算出する算出ステップと、前記強度信号をフィルタリングするフィルタリングステップと、前記強度信号のノイズレベルを追跡する追跡ステップと、前記フィルタリングステップでフィルタリングした強度信号と前記追跡ステップで出力されたノイズレベルとを用いて、前記信号の判別を行う判別ステップとを有することを特徴とする信号検出方法が提供される。
【発明の効果】
【００２４】
本発明は、従来技術の方法に対して２つの大きい利点がある。第１に、以前に開示した我々の発明と比較して、自動閾値は、未知の背景ノイズレベルに対してより正確である。例えば、背景ノイズが増加した場合には、以前に開示した発明で固定のままとするよりも、閾値も増加して補償するようにする。
【００２５】
第２に、他の従来技術と比較して、通常の条件下で、ノイズレベルが確実に閾値を下回るようにして、音声レベルが確実に閾値を上回るようにして、基準線閾値を算出する。主観的調整を更に行う必要はない。従来技術の方法では、ノイズレベルを超えるように閾値を主観的に設定する必要があった。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００２７】
本発明は、背景ノイズの追跡に基づいている。非音声期間の間、信号レベルの平均値をとり、背景ノイズレベルの推定値を計算する。信号の２つのフィルタリングしたバージョン及び非フィルタリングしたバージョンを考えることで、アルゴリズムにより閾値に対する好適な基準線値が求められる。入力信号レベルの知識により、この基準線を実験的に調整することができるが、必ずしも、このような調整を通常の条件で行う必要はない。具体的には、フィルタリングの実行後に、フィルタリングの実行前に平均していた背景ノイズを信号に対する閾値として用いる。
【００２８】
本実施形態のＶＡＤの主な特徴は、音声サンプルのオーバーラップ・フレームから算出した振幅信号３３である。標準ＰＣＭサンプリングを用いて、音声信号３１を１１０２５Ｈｚでサンプリングして、サンプルのストリームをそれぞれ２５６サンプルのフレームに分割する。新規のフレームは、１１０サンプル毎に開始する。つまり、フレームがオーバーラップしていて、フレームレートが約１００Ｈｚであることを意味している。各フレームに対して、２５６サンプルの平均値を差し引いてＤＣ成分を除去し、各サンプルの絶対値の合計として振幅（magnitude）を算出する。振幅はフレームエネルギと密接に関係しているが、乗算を必要としない。次に、この振幅信号を、図４に示す２つの別の処理ステージで処理する。図４は本実施形態における信号検出装置の構成を示している。
【００２９】
第１の処理ステージは、２５点ＤＦＴ５１として実現されるフィルタでフィルタリングする処理である。現在のフレームの大きさの平方根５０と、過去の２４フレームの平方根を用いて、ＤＦＴの第１の非ＤＣビンを算出する。例えば、米国特許第４，７２３，１２５号に記載のスライディングＤＦＴアルゴリズムを用いて、これを行う。ＤＦＴビンの実数部及び虚数部を、自乗し加算して、１つの実数値Ｄt2、ＶＡＤ尺度値（４Ｈｚ成分値）５２を得る。
【００３０】
第２の処理ステージは、次式で表される単極再帰型フィルタで実現されるノイズ追跡部３６による処理である。
【００３１】
／ｄt＝ρ（／ｄt-1）＋（１−ρ）ｄt
【００３２】
ただし、／ｄは追跡したノイズレベル３７、ｔはフレームインデックス、ｄは振幅（magnitude）、ρは０．９８に設定した時定数である。追跡したノイズレベルに対する大きなエネルギの音声信号の影響を防止するために、ＶＡＤにより、追跡動作を禁止する必要がある。これについては後で説明する。上記の式は再帰型なので、／ｄには初期化が必要である。好適な実施形態では、第１の計測値ｄ1と同じになるように初期化する。
【００３３】
定常背景ノイズに対して、／ｄはＤt2の上限なので、Ｄt2が／ｄを超える場合は、信号が音声である可能性が高い。この意味で、／ｄは好適なＶＡＤ閾値５３である。好適な実施形態では、／ｄを小さな固定値ｅで乗算して、ＶＡＤの感度をそれぞれ大きくしたり小さくしたりする。
【００３４】
理解しやすいように、ここまで対数を用いることなく説明してきたが、好適な実施形態では実際には、／ｄ及びＤt2を、閾値判定に適用する前に対数に変換する。従って、係数ｅは乗算ではなく加算である。固定小数点演算による実現においては、このような対数化によって数値安定性が増す。対数演算の前後で閾値化を行うことの差異はほとんど問題にならないことは当業者には明らかであろう。次に、最終的なＶＡＤ判別値４１により、次式を満たす場合には、時間ｔにおける入力フレームは音声と判別し、そうでなければ無音と判別する。
【００３５】
logＤt2＞log（／ｄt）＋ｅ
【００３６】
このように、ノイズ追跡部より出力されたノイズレベルから所定量オフセットした域を用いて信号の判別を行うことができる。対数空間において、係数ｅはデシベル（ｄＢ）測定値と密接に関連しているので、非常に直感的に設定することができる。既知の雑音環境により客観的に設定することもできるし、知覚誤り検出及びエラーとして排除されたものにより、主観的に設定することもできる。
【００３７】
上述の信号検出方法は音声認識に応用可能である。例えば、上述の信号検出方法により音声と背景ノイズとを判別し、音声を認識する。例えば、音声認識の適用例に用いる場合は、端点検出アルゴリズムが必要である。本実施形態に用いられる端点検出アルゴリズムについて、説明する。
【００３８】
図５に端点検出部４４の構成を示す。主な特徴は状態遷移判定部９０で、これは図６に示すような状態遷移を行う。状態は、“無音状態”８０で開始する。“音声確定待ち状態”８１への遷移８４を行う際には、現在のフレームインデックスをフレームインデックス記憶部９１に記憶する。次に、“音声状態”８２への遷移８６を行う際には、端点の始点として記憶したフレームインデックスを出力する。同様に、“無音確定待ち状態”８３への遷移８７を行う際には、現在のフレームインデックスをフレームインデックス記憶部９１に記憶する。次に、“無音状態”８０への遷移８９を行う際には、端点の終点として記憶したフレームインデックスを出力する。
【００３９】
遷移はＶＡＤ判別値４１によって生じる。まず、“無音状態”８０において、ＶＡＤ判別値が音声の存在を示した時に、“音声確定待ち状態”８１への遷移８４が生じる。このとき、音声カウント記憶部９３の音声カウントをゼロに設定する。“音声確定待ち状態”８１の間は、各フレームでＶＡＤ判別値４１が音声の存在を示す毎に、音声カウント記憶部９３の音声カウントをインクリメントする。音声カウント記憶部９３の音声カウント値がある値（例えば、３０）を超えると、“音声状態”８２への遷移８６を行う。一方、無音カウント記憶部９２の無音カウント値がある値（例えば、２６）を超えると、“無音状態”８０への遷移８５を行う。
【００４０】
“音声状態”８２において、ＶＡＤ判別値が非音声を示す場合は、“無音確定待ち状態”８３への遷移８７を行う。このとき、無音カウント記憶部９２の無音カウント値をゼロに設定する。“無音確定待ち状態”８３の間は、各フレームでＶＡＤ判別値４１が無音を示す毎に、無音カウント記憶部９２の無音カウント値をインクリメントする。ＶＡＤ判別値が音声を示す場合、“音声状態”８２に戻る遷移８８を行う。一方、無音カウント記憶部９２の無音カウント値がある値（例えば、２６）を超えると、“無音状態”８０への遷移８９を行う。
【００４１】
好適な実施形態では、米国特許第６，７１１，５３６号に記載の最尤方法を用いて、端点検出部４４を構成してもよい。しかしながら、最尤方法を用いても本発明に強い影響がないことは当業者には明らかであろう。
【００４２】
好適な実施形態では、“無音状態”の間でだけ上記ノイズ追跡動作を行うことが可能である。すなわち、端点検出後に入力信号が音声であるといった可能性がある場合は、次にノイズ追跡部３６の動作を禁止する。これにより、ノイズ追跡部は常に、音声レベルではなく背景ノイズレベルを確実に保持することが可能になる。
【００４３】
（他の実施形態）
上述の実施形態では、音声及び音声認識に関して本発明を説明したが、音声以外にも、動物の鳴き声や機械類の音といった音響信号にも応用可能である。また、ソナーや動物の鳴き声といった、人間の通常の可聴範囲以外の音響信号にも応用可能である。さらには、本発明は、レーダー又は無線信号等の電磁信号にも応用できる。
【００４４】
また、上述の実施形態では、信号の振幅（magnitude）を特徴量として用いたが、エネルギ、パワ等の、任意の強度信号を用いてもよい。
【００４５】
また、上述の実施形態では、ＤＦＴをスライディングＤＦＴで実現したが、数多く存在する他のＤＦＴを用いることもできる。例えば、これに限定されないが、ゴーツゥエル（Ｇｏｅｒｔｚｅｌ）アルゴリズム、直接ＤＦＴ計算、及び高速ハートレー変換等である。
【００４６】
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４７】
なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。
【００４８】
したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。
【００４９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５０】
プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００５１】
また、プログラムは、クライアントコンピュータのブラウザを用いてインターネットのホームページからダウンロードしてもよい。すなわち、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードする形態も考えられる。つまり、本発明の機能・処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。
【００５２】
また、本発明のプログラムを暗号化してコンピュータ読み取り可能なＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。
【００５３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。
【００５４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。
【図面の簡単な説明】
【００５５】
【図１】ＶＡＤの音声通信装置への適用例を説明する図である。
【図２】ＶＡＤのＡＳＲへの適用例を説明する図である。
【図３】ＶＡＤ３８の具体的な構成例を示す図である。
【図４】実施形態における信号検出装置の構成を示す図である。
【図５】実施形態における端点検出部の構成を示す図である。
【図６】実施形態における状態遷移判定処理を示す図である。
【図１】
2009229583.tif 000003
【図２】
2009229583.tif 000004
【図３】
2009229583.tif 000005
【図４】
2009229583.tif 000006
【図５】
2009229583.tif 000007
【図６】
2009229583.tif 000008