(57)【要約】人間のスピーチからの音響ノイズの除去のための方法およびシステムを提供し、これにおいては、ノイズのタイプ、大きさあるいは方位に無関係にノイズを除去してその信号を復元する。本システムは、プロセッサに結合したマイクロホンおよびセンサを備える。マイクロホンは、音響信号を受け、そしてＶＡＤは、スピーチ（有声および無声の両方）が生起しているとき二進１であり、そしてスピーチの不在時に二進０の信号を供給する。プロセッサは、デノイズ処理アルゴリズムを備え、これは、伝達関数を発生する。これら伝達関数は、指定された時間の間受けた音響信号に発声情報が存在しないとの判定に応答して発生する伝達関数を含む。また、それら伝達関数は、指定された時間の間その音響信号に発声情報が存在するとの判定に応答して発生する伝達関数を含む。少なくとも１つのデノイズ処理した音響データ・ストリームは、それら伝達関数を使用して発生する。
2004509362.tif 000002
【特許請求の範囲】
【請求項１】
音響信号からノイズを除去するノイズ除去方法であって、
複数の音響信号を受けるステップと、
人間の発声活動に関連した生理学的情報を受けるステップと、
少なくとも１つの指定された時間の間前記複数の音響信号に発声情報が存在しないと判定したときに、前記複数の音響信号を表す少なくとも１つの第１の伝達関数を発生するステップと、
少なくとも１つの指定された時間の間前記複数の音響信号に発声情報が存在すると判定したときに、前記複数の音響信号を表す少なくとも１つの第２の伝達関数を発生するステップと、
前記少なくとも１つの第１の伝達関数と前記少なくとも１つの第２の伝達関数との少なくとも１つの組み合わせを使用することにより、前記複数の音響信号からノイズを除去して、少なくとも１つのデノイズ処理した音響データ・ストリームを発生するステップと、
から成るノイズ除去方法。
【請求項２】
請求項１記載の方法において、前記複数の音響信号は、少なくとも１つの関連するノイズ・ソース信号の少なくとも１つの反射と、少なくとも１つの音響ソース信号の少なくとも１つの反射とを含むこと、を特徴とするノイズ除去方法。
【請求項３】
請求項１記載の方法において、生理学的情報を受けるステップは、無線周波デバイス、電気グロットグラフ、超音波デバイス、音響喉当てマイクロホン、空気流検出器から成るグループから選択した少なくとも１つの検出器を使用することによって、人間の発声に関連する生理学的データを受けること、を含むことを特徴とするノイズ除去方法。
【請求項４】
請求項１記載の方法において、複数の音響信号を受けるステップは、複数の独立に位置付けたマイクロホンを使用して受けること、を含むことを特徴とするノイズ除去方法。
【請求項５】
請求項１記載の方法において、ノイズを除去するステップは、さらに、前記少なくとも１つの第１伝達関数と前記少なくとも１つの第２伝達関数とを使用して少なくとも１つの第３の伝達関数を発生すること、を含むことを特徴とするノイズ除去方法。
【請求項６】
請求項１記載の方法において、前記少なくとも１つの第１伝達関数の発生は、少なくとも１つの予め指定したインターバルの間において、前記少なくとも１つの第１伝達関数を再計算すること、を含むことを特徴とするノイズ除去方法。
【請求項７】
請求項１記載の方法において、前記少なくとも１つの第２伝達関数の発生は、少なくとも１つの予め指定したインターバルの間において、前記少なくとも１つの第２伝達関数を再計算すること、を含むことを特徴とするノイズ除去方法。
【請求項８】
請求項１記載の方法において、前記少なくとも１つの第１伝達関数と前記少なくとも１つの第２伝達関数の発生は、適応形技術と再帰的技術とから成るグループから選択した少なくとも１つの技術の使用を含むこと、を特徴とするノイズ除去方法。
【請求項９】
電子的信号からノイズを除去するノイズ除去方法であって、
少なくとも１つの時間の間において発声情報の不在を検出するステップと、
前記少なくとも１つの時間の間において、少なくとも１つのノイズ・ソース信号を受けるステップと、
前記少なくとも１つのノイズ・ソース信号を表す少なくとも１つの伝達関数を発生するステップと、
音響信号とノイズ信号とを含む少なくとも１つの複合信号を受けるステップと、
前記少なくとも１つの複合信号から、前記少なくとも１つの伝達関数を使用して前記ノイズ信号を除去することにより、少なくとも１つのデノイズ処理された音響データ・ストリームを発生するステップと、
から成るノイズ除去方法。
【請求項１０】
請求項９記載の方法において、前記少なくとも１つのノイズ・ソース信号は、少なくとも１つの関連するノイズ・ソース信号の少なくとも１つの反射を含むこと、を特徴とするノイズ除去方法。
【請求項１１】
請求項９記載の方法において、前記少なくとも１つの複合信号は、少なくとも１つの関連する複合信号の少なくとも１つの反射を含むこと、を特徴とするノイズ除去方法。
【請求項１２】
請求項９記載の方法において、検出することは、無線周波デバイス、電気グロットグラフ、超音波デバイス、音響喉当てマイクロホン、空気流検出器から成るグループから選択した少なくとも１つの検出器を使用することによって、人間の発声に関連する生理学的データを収集すること、を含むことを特徴とするノイズ除去方法。
【請求項１３】
請求項９記載の方法において、受けることは、少なくとも１つのマイクロホンを使用して前記少なくとも１つのノイズ・ソース信号を受けること、を含むことを特徴とするノイズ除去方法。
【請求項１４】
請求項１３記載の方法において、前記少なくとも１つのマイクロホンは、複数の独立に位置付けたマイクロホンを含むこと、を特徴とするノイズ除去方法。
【請求項１５】
請求項９記載の方法において、前記少なくとも１つの複合信号から前記少なくとも１つの伝達関数を使用して前記ノイズ信号を除去することは、前記少なくとも１つの伝達関数を使用して少なくとも１つの他の伝達関数を発生すること、を含むことを特徴とするノイズ除去方法。
【請求項１６】
請求項９記載の方法において、少なくとも１つの伝達関数を発生することは、少なくとも１つの予め指定したインターバルの間において前記少なくとも１つの伝達関数を再計算すること、を含むことを特徴とするノイズ除去方法。
【請求項１７】
請求項９記載の方法において、少なくとも１つの伝達関数を発生することは、適応形技術と再帰的技術とから成るグループから選択した少なくとも１つの技術の使用して、前記少なくとも１つの伝達関数を計算すること、を含むことを特徴とするノイズ除去方法。
【請求項１８】
電子的信号からノイズを除去するノイズ除去方法であって、
有声情報がその間において不在である少なくとも１つの無発声時間を判定するステップと、
前記少なくとも１つの無発声時間の間において少なくとも１つのノイズ信号入力を受け、そして前記少なくとも１つのノイズ信号を表す少なくとも１つの無発声伝達関数を発生するステップと、
有声情報がその間において存在する少なくとも１つの発声時間を判定するステップと、
前記少なくとも１つの発声時間に間において少なくとも１つの信号検知デバイスから少なくとも１つの音響信号入力を受け、そして前記少なくとも１つの音響信号を表す少なくとも１つの発声伝達関数を発生するステップと、
音響信号およびノイズ信号を含む少なくとも１つの複合信号を受けるステップと、
前記少なくとも１つの無発声伝達関数と前記少なくとも１つの発声伝達関数の少なくとも１つの組み合わせを使用して、前記少なくとも１つの複合信号から前記ノイズ信号を除去することにより、少なくとも１つのデノイズ処理した音響データ・ストリームを発生するステップと、
から成るノイズ除去方法。
【請求項１９】
音響信号からノイズを除去するためのノイズ除去システムであって、
少なくとも１つの音響信号を受ける少なくとも１つの受信器と、
人間の発声活動に関連する生理学的情報を受ける少なくとも１つのセンサと、
前記少なくとも１つの受信器と、複数の伝達関数を発生する前記少なくとも１つのセンサとの間に結合した少なくとも１つのプロセッサであって、前記少なくとも１つの音響信号を表す少なくとも１つの第１伝達関数は、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に不在であるとの判定に応答して発生され、前記少なくとも１つの音響信号を表す少なくとも１つの第２伝達関数は、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に存在しているとの判定に応答して発生され、前記少なくとも１つの第１伝達関数と前記少なくとも１つの第２伝達関数との少なくとも１つの組み合わせを使用して、前記少なくとも１つの音響信号からノイズを除去することにより、少なくとも１つのデノイズ処理した音響データ・ストリームを発生する、前記の少なくとも１つのプロセッサと、
から成るノイズ除去システム。
【請求項２０】
請求項１９記載のシステムにおいて、前記少なくとも１つのセンサは、人間のスピーチ発生に関連した組織運動を検出する少なくとも１つの無線周波（ＲＦ）干渉計を含むこと、を特徴とするノイズ除去システム。
【請求項２１】
請求項１９記載のシステムにおいて、前記少なくとも１つのセンサは、無線周波デバイス、電気グロットグラフ、超音波デバイス、音響喉当てマイクロホン、空気流検出器から成るグループから選択した少なくとも１つのセンサを含むこと、を特徴とするノイズ除去システム。
【請求項２２】
請求項１９記載のシステムであって、さらに、
前記少なくとも１つの音響信号の音響データを複数のサブバンドに分割し、
前記少なくとも１つの第１伝達関数と前記少なくとも１つの第２伝達関数の前記少なくとも１つの組み合わせを使用して、前記複数のサブバンドの各々からノイズを除去し、複数のデノイズ処理した音響データ・ストリームが発生され、
前記複数のデノイズ処理した音響データ・ストリームを組み合わせることによって、前記少なくとも１つのデノイズ処理した音響データ・ストリームを発生すること、
を含むこと、を特徴とするノイズ除去システム。
【請求項２３】
請求項１９記載のシステムにおいて、前記少なくとも１つの受信器は、複数の独立に位置付けたマイクロホンを含むこと、を特徴とするノイズ除去システム。
【請求項２４】
音響信号からノイズを除去するためのノイズ除去システムであって、少なくとも１つのマイクロホンと少なくとも１つの発声センサとの間に結合した少なくとも１つのプロセッサとを備え、前記少なくとも１つの発声センサが、発声に関連した生理学的データを収集し、少なくとも１つの時間の間において前記少なくとも１つの発声センサを使用して有声情報の不在を検出し、前記少なくとも１つの時間において前記少なくとも１つのマイクロホンを使用して少なくとも１つのノイズ・ソース信号を受け、前記少なくとも１つのプロセッサが、前記少なくとも１つのノイズ・ソース信号を表す少なくとも１つの伝達関数を発生し、前記少なくとも１つのマイクロホンが、音響信号およびノイズ信号を含む少なくとも１つの複合信号を受け、前記少なくとも１つのプロセッサが、前記少なくとも１つの伝達関数を使用して前記少なくとも１つの複合信号から前記ノイズ信号を除去することにより、少なくとも１つのデノイズ処理した音響データ・ストリームを発生すること、を特徴とするノイズ除去システム。
【請求項２５】
少なくとも１人のユーザと少なくとも１つの電子デバイスとの間に結合した信号処理システムであって、該信号処理システムが、音響信号からノイズを除去するための少なくとも１つのデノイズ処理サブシステムを含み、該デノイズ処理サブシステムが、少なくとも１つの受信器と少なくとも１つのセンサとの間に結合した少なくとも１つのプロセッサとを備え、前記少なくとも１つの受信器を、少なくとも１つの音響信号を受けるように結合し、前記少なくとも１つのセンサを、人間の発声活動に関連した生理学的情報を受けるように結合し、前記少なくとも１つのプロセッサが、複数の伝達関数を発生し、前記少なくとも１つの音響信号を表す少なくとも１つの第１伝達関数が、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に不在であるとの判定に応答して発生され、前記少なくとも１つの音響信号を表す少なくとも１つの第２伝達関数は、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に存在しているとの判定に応答して発生され、前記少なくとも１つの第１伝達関数と前記少なくとも１つの第２伝達関数との少なくとも１つの組み合わせを使用して、前記少なくとも１つの音響信号からノイズを除去することにより、少なくとも１つのデノイズ処理した音響データ・ストリームを発生すること、を特徴とする信号処理システム。
【請求項２６】
請求項２５記載のシステムにおいて、前記少なくとも１つの電子デバイスは、セルラ電話、パーソナル・デジタル・アシスタント、ポータブル通信デバイス、コンピュータ、ビデオ・カメラ、デジタル・カメラ、テレマチック・システムから成るグループから選択した少なくとも１つのデバイスを含むこと、を特徴とする信号処理システム。
【請求項２７】
実行可能な命令を含むコンピュータ読み取り可能媒体であって、前記実行可能な命令が、処理システムにおいて実行されたときに、
少なくとも１つの音響信号を受け、
人間の発声活動に関連する生理学的情報を受け、
前記少なくとも１つの音響信号を表す少なくとも１つの第１伝達関数を、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に不在であるとの判定に応答して発生し、
前記少なくとも１つの音響信号を表す少なくとも１つの第２伝達関数を、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に存在しているとの判定に応答して発生し、
前記少なくとも１つの第１伝達関数と前記少なくとも１つの第２伝達関数との少なくとも１つの組み合わせを使用して、前記少なくとも１つの音響信号からノイズを除去することにより、少なくとも１つのデノイズ処理した音響データ・ストリームを発生すること、
により、受けた音響信号からノイズを除去すること、を特徴とするコンピュータ読み取り可能媒体。
【請求項２８】
実行可能な命令を含む電磁的媒体であって、前記実行可能な命令が、処理システムにおいて実行されたときに、
少なくとも１つの音響信号を受け、
人間の発声活動に関連する生理学的情報を受け、
前記少なくとも１つの音響信号を表す少なくとも１つの第１伝達関数を、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に不在であるとの判定に応答して発生し、
前記少なくとも１つの音響信号を表す少なくとも１つの第２伝達関数を、発声情報が、少なくとも１つの指定された時間の間に前記少なくとも１つの音響信号に存在しているとの判定に応答して発生し、
前記少なくとも１つの第１伝達関数と前記少なくとも１つの第２伝達関数との少なくとも１つの組み合わせを使用して、前記少なくとも１つの音響信号からノイズを除去することにより、少なくとも１つのデノイズ処理した音響データ・ストリームを発生すること、
により、受けた音響信号からノイズを除去すること、を特徴とする実行可能な命令を含む電磁的媒体。
【発明の詳細な説明】
【０００１】
発明の分野
本発明は、音響的な伝送または録音から望ましくない音響ノイズを除去あるいは抑制するための数学的方法並びに電子的システムに関するものである。
【０００２】
背景
代表的な音響用途においては、人間のユーザからのスピーチは、録音されるかあるいは格納されそして様々な場所にいる受け手に送信される。そのユーザの環境においては、問題とする信号（ユーザのスピーチ）を、望まない音響ノイズで汚染する１つまたはこれより多いノイズ・ソースが存在することがある。これは、受け手が人であろうと機械であろうと、その受け手がユーザのスピーチを理解するのを困難にしたりあるいは不可能にしたりする。このことは、特に、セルラ電話およびパーソナル・デジタル・アシスタントのようなポータブル通信デバイスの普及と共に、現在特に問題となっている。これらノイズ付加物を抑制する既存の方法があるが、これらは、いずれも、長過ぎる計算時間あるいは嵩張るハードウェアを必要としたり、問題の信号を歪ませ過ぎたり、あるいは有用な性能に欠けたりするものである。これら方法の多くは、ヴァセギ（Ｖａｓｅｇｈｉ）による“先進のデジタル信号処理およびノイズ低減（Ａｄｖａｎｃｅｄ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）”（ＩＳＢＮ ０−４７１−６２６９２−９）の教本に記載されている。結果として、代表的なシステムの上記欠点に対処しそして歪みなしで問題の音響信号をクリーンにする新たな技術を提供するノイズ除去および低減法に対するニーズがあることになる。
【０００３】
摘要
人間のスピーチからの音響ノイズの除去のための方法およびシステムを提供し、これにおいては、ノイズ・タイプ、大きさあるいは方位に無関係にノイズを除去してその信号を復元する。本システムは、プロセッサに結合したマイクロホンおよびセンサを備える。マイクロホンは、ノイズと人間の信号ソースからのスピーチ信号の両方を含む音響信号を受ける。センサは、二進の発声活動検出（ＶＡＤ）を発生し、これは、スピーチ（有声および無声の両方）が生起しているとき二進“１”であり、そしてスピーチが生起していないとき二進“０”の信号を供給する。このＶＡＤ信号は、種々の方法、例えば音響利得、加速度計、および無線周波（ＲＦ）センサを使用して得ることができる。
【０００４】
このプロセッサ・システムおよび方法は、デノイズ処理アルゴリズム（ｄｅｎｏｉｚｉｎｇ ａｌｇｏｒｉｔｈｍ）を備え、これは、ノイズ・ソースとマイクロホンとの間の伝達関数、並びに人間のユーザとマイクロホンとの間の伝達関数を計算する。これら伝達関数を使用することにより、受けた音響信号からノイズを除去して、少なくとも１つのデノイズ処理した音響データ・ストリームを発生する。
【０００５】
詳細説明
図１は、１実施形態のデノイズ処理システム（ｄｅｎｏｉｓｉｎｇ ｓｙｓｔｅｍ）のブロック図であって、このシステムは、発声活動に関する生理学的情報から得た、いつスピーチが生起しているかについての知識を使用する。本システムは、複数のマイクロホン１０と複数のセンサ２０とを備え、そしてこれらは、少なくとも１つのプロセッサ３０へ信号を供給する。プロセッサは、デノイズ処理を行うサブシステムまたはアルゴリズムを備えている。
【０００６】
図２は、単一のノイズ・ソースとマイクロホンへの直接経路を仮定したときの、１実施形態のノイズ除去システム／アルゴリズムのブロック図である。このノイズ除去システム図は、１実施形態のこのプロセスの図式記述を含み、単一の信号ソース（１００）と、単一のノイズ・ソース（１０１）とがある。このアルゴリズムは、２つのマイクロホン、すなわち“信号”マイクロホン（ＭＩＣ１，１０２）と、“ノイズ”マイクロホン（ＭＩＣ２，１０３）とを使用する（但し、これに限定されるものではない）。ＭＩＣ１は、大部分の信号といくらかのノイズを捕獲する一方で、ＭＩＣ２は、大部分のノイズといくらかの信号とを捕獲すると仮定する。これは、従来の先進の音響システムと共通の構成である。ＭＩＣ１への信号からのデータはｓ（ｎ）で示し、ＭＩＣ２への信号からのデータはｓ２（ｎ）で示し、ＭＩＣ２へのノイズからのデータはｎ（ｎ）で示し、ＭＩＣ１へのノイズからのデータはｎ２（ｎ）で示している。同様に、ＭＩＣ１からのデータはｍ１（ｎ）で、そしてＭＩＣ２からのデータはｍ２（ｎ）で示し、ここで、ｓ（ｎ）はソースからのアナログ信号の離散的なサンプルを示している。
【０００７】
信号からＭＩＣ１への伝達関数およびノイズからＭＩＣ２への伝達関数は、１であると仮定するが、信号からＭＩＣ２への伝達関数はＨ２（ｚ）、ノイズからＭＩＣ１への伝達関数はＨ１（ｚ）で示す。１の伝達関数のこの仮定は、このアルゴリズムの一般性を妨げるものでなく、その理由は、信号とノイズとマイクロホンとの実際の関係が単に比率であり、そしてこの比率は、簡単のためこのようにして再定義されるからである。
【０００８】
従来のノイズ除去システムにおいては、ＭＩＣ２からの情報は、ＭＩＣ１からのノイズを除去しようとする試みにおいて使用されている。しかし、語られていない仮定は、発声活動検出（ＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ））が決して完全ではないことであり、したがってそのデノイズ処理は、ノイズと一緒に信号をもかなり除去してしまうことのないよう、注意深く実行しなければならない。しかし、このＶＡＤが完全であり、そしてこれが、スピーチが全くユーザによって発されていないときにゼロに等しく、そしてスピーチが発生されているときに１に等しいと仮定すると、このノイズ除去においてかなりの改善を行うことができる。
【０００９】
マイクロホンへの単一のノイズ・ソースおよび直接経路の分析においては、図２において、ＭＩＣ１へ入来する音響情報は、ｍ１（ｎ）で示される。ＭＩＣ２へ入来する情報は、同様にｍ２（ｎ）で示される。ｚ（デジタル周波数）ドメインにおいては、これらは、Ｍ１（ｚ）およびＭ２（ｚ）として表される。このとき、
【００１０】
【数１】
2004509362.tif 000003
【００１１】
ここで、
【００１２】
【数２】
2004509362.tif 000004
【００１３】
したがって、以下となる。
【００１４】
【数３】
2004509362.tif 000005
【００１５】
これは、２個のマイクロホン・システムの全てに対する一般的なケースである。実際のシステムでは、常に、ＭＩＣ１へのノイズにいくらかの漏れと、ＭＩＣ２への信号にいくらかの漏れとがある。式１には、未知数が４つで、既知の関係が２つしかないため、これを明快に解くことはできない。
【００１６】
しかし、式１中の未知数のいくつかに対し解を与える別の方法がある。この分析は、信号が発生されていないケース、すなわちＶＡＤ信号がゼロに等しくかつスピーチが発生されていない場合を調べることから始まる。このケースでは、ｓ（ｎ）＝Ｓ（ｚ）＝０であり、したがって式１は、以下となる。
【００１７】
【数４】
2004509362.tif 000006
【００１８】
ここで、変数Ｍの下付文字ｎは、ノイズのみを受けていることを示す。これにより、以下となる。
【００１９】
【数５】
2004509362.tif 000007
【００２０】
Ｈ１（ｚ）は、本システムがノイズのみを受信していることが確かであれば、利用可能なシステム識別アルゴリズムおよびマイクロホン出力の任意のものを使用して計算することができる。この計算は、適応的に行うことができ、これにより、本システムは、そのノイズにおける変化に反応することができる。
【００２１】
式１中の未知数のうちの１つに対し、解がこれで入手可能である。別の未知数、すなわちＨ２（ｚ）は、ＶＡＤが１に等しくしかもスピーチが発生されている場合を使用することにより、決定することができる。その場合が発生しているが、マイクロホンの最近（おそらく、１秒未満）の履歴が低レベルのノイズを示している場合、ｎ（ｓ）＝Ｎ（ｚ）〜０とみなすことができる。このとき、式１は、以下となる。
【００２２】
【数６】
2004509362.tif 000008
【００２３】
これはさらに、以下となる。
【００２４】
【数７】
2004509362.tif 000009
【００２５】
これは、Ｈ１（ｚ）の逆である。しかし、分かるように、異なった入力を使用している、すなわち、これでは、信号のみが発生しており、そしてこれに対し、以前では、ノイズのみが発生していた。Ｈ２（ｚ）の計算の間、Ｈ１（ｚ）に対し計算した値は、一定に保持し、そして逆の場合もそうである。したがって、Ｈ１（ｚ）およびＨ２（ｚ）は、その他方を計算している間は実質上変化しない、と仮定する。
【００２６】
Ｈ１（ｚ）およびＨ２（ｚ）を計算した後、これらは、信号からノイズを除去するのに使用する。もし、式１を以下にように書き直すと、
【００２７】
【数８】
2004509362.tif 000010
【００２８】
このとき、Ｎ（ｚ）は、Ｓ（ｚ）を解くために、示したように以下のように置換することができる。
【００２９】
【数９】
2004509362.tif 000011
【００３０】
もし、伝達関数Ｈ１（ｚ）およびＨ２（ｚ）が十分な正確さで記述することができる場合、このときには、ノイズを完全に除去することができ、そして元の信号を復元することができる。このことは、ノイズの大きさまたはスペクトル特性に無関係に当てはまる。行った仮定は、完全なＶＡＤ、十分に正確なＨ１（ｚ）およびＨ２（ｚ）と、Ｈ１（ｚ）およびＨ２（ｚ）がその他方を計算しているときに実質上変化しない、ということのみである。実際、これら仮定は、妥当なものであると判明した。
【００３１】
記述したこのノイズ除去アルゴリズムは、任意の数のノイズ・ソースを含むように容易に一般化できる。図３は、ｎ個の区別できるノイズ・ソースに対し一般化した、１実施形態のノイズ除去アルゴリズムのフロントエンドのブロック図である。これら区別できるノイズ・ソースは、互いの他の反射またはエコーであるとすることができる（但し、これに限定されるものではない）。図示したように、いくつかのノイズ・ソースがあり、その各々は、各マイクロホンに対し伝達関数または経路を有している。先に名称を付与した経路Ｈ２は、Ｈ０としてラベルを付与しており、これにより、ＭＩＣ１へのノイズ・ソース２の経路にラベルを付与することは、より都合よくなる。各マイクロホンの出力は、ｚドメインに変換したときには、以下となる。
【００３２】
【数１０】
2004509362.tif 000012
【００３３】
信号が全くないとき（ＶＡＤ＝０）、このとき（簡単のためｚを抑制する）、以下となる。
【００３４】
【数１１】
2004509362.tif 000013
【００３５】
これにより、上記のＨ１（ｚ）と同じように、新たな伝達関数を定義することができる。
【００３６】
【数１２】
2004509362.tif 000014
【００３７】
したがって、Ｈ￣１は、ノイズ・ソースとそれらの各々の伝達関数にのみ依存し、したがって伝送されている信号がないどのような時にも計算することができる。もう一度繰り返すと、マイクロホン入力の下付文字ｎは、ノイズが検出されていることのみを示し、その一方で、下付文字ｓは、信号のみをマイクロホンが受信していることを示している。
【００３８】
ノイズが全く発生されていないと仮定している間において、式４を調べると、以下となる。
【００３９】
【数１３】
2004509362.tif 000015
【００４０】
したがって、Ｈ０は、任意の利用可能な伝達関数計算アルゴリズムを使って、前と同じように解くことができる。数学的には、以下となる。
【００４１】
【数１４】
2004509362.tif 000016
【００４２】
式６で定義したＨ￣１を使って、式４を書き直すと、以下となる。
【００４３】
【数１５】
2004509362.tif 000017
【００４４】
Ｓに関し解くと、以下となる。
【００４５】
【数１６】
2004509362.tif 000018
【００４６】
これは、式３と同じとなり、ここで、Ｈ０がＨ２に取って代わり、Ｈ￣１がＨ１に取って代わっている。したがって、このノイズ除去アルゴリズムは、依然として、ノイズ・ソースの多数のエコーを含む任意の数のノイズ・ソースに対し、数学的に有効である。再び、Ｈ０とＨ￣１を十分に高い正確さで推定することができ、そして信号からマイクロホンに対しての経路が１つのみであるという仮定が保たれる場合、ノイズは、完全に除去することができる。
【００４７】
最も一般的なケースは、多数のノイズ・ソースと多数の信号ソースが関係する場合である。図４は、ｎ個の区別できるノイズ・ソースおよび信号反射とがある最も一般的なケースにおける、１実施形態のノイズ除去アルゴリズムのフロントエンドのブロック図である。ここで、信号の反射は、両方のマイクロホンに入る。これは、最も一般的なケースであるが、それは、マイクロホンへのノイズ・ソースの反射が、単純な追加のノイズ・ソースとして正確にモデル化できるからである。簡単のため、信号からＭＩＣ２への直接経路は、Ｈ０（ｚ）からＨ００（ｚ）に変えてあり、そしてマイクロホン１および２へのその反射経路は、それぞれ、Ｈ０１（ｚ）およびＨ０２（ｚ）として示している。
【００４８】
これにより、マイクロホンへの入力は、以下となる。
【００４９】
【数１７】
2004509362.tif 000019
【００５０】
ＶＡＤ＝０のとき、それら入力は、以下となる（ｚを再び抑制する）。
【００５１】
【数１８】
2004509362.tif 000020
【００５２】
これは、式５と同じである。したがって、式６におけるＨ￣１の計算は、予期した通り、変化しない。ノイズがないこの状況を検討すると、式９は、以下となる。
【００５３】
【数１９】
2004509362.tif 000021
【００５４】
これは、Ｈ￣２の定義となる。
【００５５】
【数２０】
2004509362.tif 000022
【００５６】
再び、（式７におけるのと同じように）Ｈ￣１に対する定義を使用して式９を書き直すと、以下となる。
【００５７】
【数２１】
2004509362.tif 000023
【００５８】
いくらかの代数的操作により、以下のようになる。
【００５９】
【数２２】
2004509362.tif 000024
【００６０】
最後には、以下となる。
【００６１】
【数２３】
2004509362.tif 000025
【００６２】
式１２は、式８と同じであるが、但し、Ｈ０がＨ￣２で置き換わっており、また、（１＋Ｈ０１）の要素が左辺に追加されている。この余分な要素は、Ｓがこの状況では直接解くことができないということを意味しているが、解は、信号にそのエコーの全ての追加に対し生成することができる。このことは、それほど悪い状況ではないが、それは、エコー抑制を取り扱う多くの従来の方法があるからであり、そしてこれらエコーが抑制されない場合でも、それらがスピーチの理解度に意味のある程度にまで影響を与えることは起きそうにない。Ｈ￣２のより複雑な計算は、マイクロホン２における信号エコーを考慮する必要がある。
【００６３】
図５は、１実施形態のデノイズ処理方法のフロー図である。動作を説明すると、音響信号を受ける（５０２）。さらに、人の発声活動に関連する生理学的情報を受ける（５０４）。音響信号からの発声情報が少なくとも１つの指定した時間の間存在しないと判定したときに、音響信号を表す第１の伝達関数を計算する（５０６）。音響信号を表す第２の伝達関数は、この音響信号において発声情報が少なくとも１つの指定した時間の間存在すると判定したときに、計算する（５０８）。この音響信号からのノイズの除去は、第１伝達関数と第２伝達関数の少なくとも１つの組み合わせを使用して行い、これによりデノイズ処理した音響データ・ストリームを発生する（５１０）。
【００６４】
ノイズ除去のためのアルゴリズム、すなわちデノイズ処理アルゴリズムは、直接経路をもつ単一のノイズ・ソースの最も単純なケースから、反射およびエコーをもつ多数のノイズ・ソースまでここに記述した。このアルゴリズムは、どのような環境条件下においても実行可能であることを示した。ノイズのタイプおよび量は、Ｈ￣１およびＨ￣２について良好な推定を行った場合で、しかもそれらが他方の計算中に実質上変化しない場合には、重要ではない。ユーザ環境が、エコーが存在するようなものである場合、それらは、ノイズ・ソースから来たものである場合には、補償を行うことができる。もし、信号エコーも存在する場合、それらは、クリーンにした信号に影響を与えるが、その影響は、ほとんどの環境においては、無視できる程度のものである。
【００６５】
動作について説明すると、１実施形態のアルゴリズムは、様々なノイズのタイプ、大きさ、方位の取り扱いにおいて、優れた結果を示した。しかし、数学的概念からエンジニアリング用途へ移行するときには、常に近似および調節を行わなければならない。式３では、１つの仮定を行っており、これでは、Ｈ２（ｚ）は小さく、したがってＨ２（ｚ）Ｈ１（ｚ）≒０と仮定し、このため、式３は、以下のようになる。
【００６６】
【数２４】
2004509362.tif 000026
【００６７】
このことは、Ｈ１（ｚ）のみ計算しなければならないことを意味し、これにより、本プロセスをスピードアップし、そして必要な計算数をかなり減少させる。マイクロホンを適切に選択すれば、この近似は容易に実現することができる。
【００６８】
もう１つの近似は、１実施形態において使用するフィルタに関係する。実際のＨ１（ｚ）は、疑いなく、極とゼロの両方を有することになるが、しかし、安定性および簡単さのためには、全ゼロの有限インパルス応答（ＦＩＲ）フィルタを使用する。十分なタップ（およそ６０）では、実際のＨ１（ｚ）に対する近似は、非常に良好となる。
【００６９】
サブバンド選択に関しては、伝達関数を計算しなければならない周波数範囲が広くなるにつれて、それを正確に計算することがより難しくなる。したがって、音響データは、１６個のサブバンドに分割し、そして最も低い周波数を５０Ｈｚ、最も高いものを３７００とした。次に、本デノイズ処理アルゴリズムを各サブバンドに順番に適用し、そしてこの１６個のデノイズ処理したデータ・ストリームを組み合わせることによって、デノイズ処理した音響データを発生した。これは、非常にうまく機能するが、サブバンドのどのような組み合わせ（すなわち、４，６，８，３２個の等しく離間させ、知覚できる程離間させたもの）も使用でき、そしてこれは、同様に機能することが分かった。
【００７０】
ノイズの大きさは、１実施形態においては抑制することにより、使用したマイクロホンが飽和（すなわち、線形応答領域外での動作）しないようにした。重要なことは、マイクロホンが線形に動作することによって、最良の性能を確保することである。この抑制を伴う場合でも、非常に高い信号対雑音比（ＳＮＲ）のテストを行うことができた（約−１０ｄＢまで）。
【００７１】
Ｈ１（ｚ）の計算は、最小二乗平均法（ＬＭＳ）、一般的な適応性伝達関数を使用して、１０ミリ秒毎に実行した。この説明は、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ発行のＷｉｄｒｏｗおよびＳｔｅａｒｎｓによる“適応性信号処理（Ａｄａｐｔｉｖｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）”（１９８５），ＩＳＢＮ０−１３−００４０２９−０に見ることができる。
【００７２】
１実施形態に対するＶＡＤは、無線周波数センサおよび２つのマイクロホンから得て、これにより、有声のスピーチおよび無声のスピーチの両方に対し、非常に高い正確さ（＞９９％）を発生した。１実施形態に対するこのＶＡＤは、無線周波数（ＲＦ）干渉計を使用して、人のスピーチ発生に関係する組織運動を検出する（但しこれに限定されるものではない）。したがって、これは、完全に音響ノイズなしであり、このため、どのような音響ノイズ環境においても機能することができる。簡単なエネルギ測定を使用することにより、有声スピーチが生起しているかどうかを判定することができる。無声スピーチは、有声部分への近さにより、または上記の組み合わせによって、従来の周波数ベースの方法を使用して判定することができる。無声スピーチには、それほど多くのエネルギがないため、その活性化の正確さは、有声スピーチ程には重要でない。
【００７３】
有声スピーチおよび無声スピーチを信頼性良く検出することにより、１実施形態のアルゴリズムを実現することができる。ここで再び、ノイズ除去アルゴリズムは、ＶＡＤを得る方法に依存しないこと、これは有声スピーチに対しては特に正確であることのみを繰り返すことは有益である。もしスピーチが検出されずしかもトレーニングがそのスピーチに対して起きる場合、その後続のデノイズ処理された音響データは、歪むことがある。
【００７４】
データは、４つのチャンネルで、すなわち、ＭＩＣ１に対して１つ、ＭＩＣ２に対して１つ、有声スピーチに関連する組織運動を検出する無線周波数センサに対して２つで、収集した。このデータは、４０ＫＨｚで同時にサンプリングし、そして次に、デジタル的にフィルタしそして８ＫＨｚにデシメートした。この高いサンプリング・レートを使用することによって、このアナログ−デジタル・プロセスから生じることのあるどのようなエリアシングも低減するようにした。４チャンネルのナショナル・インスツルメンツのＡ／Ｄボード（Ｎａｔｉｏｎａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ａ／Ｄ ｂｏａｒｄ）を、Ｌａｂｖｉｅｗと共に使用して、上記データをキャプチャし格納した。このデータは、次にＣプログラムに読み込み、そして一時に１０ミリ秒デノイズ処理した。
【００７５】
図６は、空港ターミナルのノイズ（他の多くの話しをする人および公共のアナウンスを含む）の存在下でのアメリカの英語を話す女性に対しての、１実施形態のノイズ抑制アルゴリズムの結果を示している。この話し手は、中位の空港ターミナル・ノイズの真っ只中で、番号４０６−５５６２を発している。汚れた音響データは、一時に１０ミリ秒デノイズ処理し、そしてデータの１０ミリ秒のデノイズ処理の前に５０〜３７００Ｈｚにプレフィルタ処理した。およそ１７ｄＢのノイズ低減が明かとなった。このサンプルには、ポストフィルタ処理は行わなかったため、実現したノイズ低減は全て、１実施形態のこのアルゴリズムに起因するものである。本アルゴリズムは、ノイズに瞬時に適応し、したがって他の人の話者の非常に困難なノイズを除去する能力がある。多くの異なったタイプのノイズ（ほんのいくつかを挙げると、ストリートのノイズ、ヘリコプター、音楽、正弦波）は、その全てをテストしたが、同様の結果となった。また、ノイズの方位は、ノイズ抑制性能を有意に変化させずとも、実質的に変化させることができる。最後に、クリーンにしたスピーチの歪みは、非常に低く、スピーチ認識エンジン並びに人間の受け手に対しても同様に、良好な性能を確保する。
【００７６】
１実施形態のノイズ除去アルゴリズムは、どのような環境条件の下でも実行可能であることを示した。ノイズのタイプおよび量は、Ｈ￣１およびＨ￣２について良好な推定が行われた場合には、取るに足りない。もしユーザ環境が、エコーが存在するようなものである場合、これらがノイズ・ソースから来たものである場合にはそれを補償することができる。もし信号エコーも存在する場合、これらは、クリーンにした信号に影響を与えるが、その影響は、ほとんどの環境においては無視できるものである。
【００７７】
各種の実施形態について、図面を参照して説明したが、詳細な説明および図面は、限定を意図するものではない。記述した要素の種々の組み合わせについて示さなかったが、これらは、冒頭の特許請求の範囲に記載の本発明の範囲内にあるものである。
【図面の簡単な説明】
【図１】
図１は、１実施形態のデノイズ・システムのブロック図。
【図２】
図２は、単一のノイズ・ソースとマイクロホンへの直接経路を想定したときの、１実施形態のノイズ除去アルゴリズムのブロック図。
【図３】
図３は、ｎ個の区別できるノイズ・ソース（これらノイズ・ソースは、互いに他のものの反射またはエコーであることもある）に一般化した、１実施形態のノイズ除去アルゴリズムのフロントエンドのブロック図。
【図４】
図４は、ｎ個の区別できるノイズ・ソースと信号反射とがある最も一般的なケースにおける、１実施形態のノイズ除去アルゴリズムのフロントエンドのブロック図。
【図５】
図５は、１実施形態のデノイズ方法のフロー図。
【図６】
図６は、空港ターミナルのノイズ（他の多くの話しをする人および公共のアナウンスを含む）の存在下でのアメリカの英語を話す女性に対しての、１実施形態のノイズ抑制アルゴリズムの結果を示す。
【図１】
2004509362.tif 000027
【図２】
2004509362.tif 000028
【図３】
2004509362.tif 000029
【図４】
2004509362.tif 000030
【図５】
2004509362.tif 000031
【図６】
2004509362.tif 000032
【国際公開パンフレット】
2004509362.tif 000033
2004509362.tif 000034
2004509362.tif 000035
2004509362.tif 000036
2004509362.tif 000037
2004509362.tif 000038
2004509362.tif 000039
2004509362.tif 000040
2004509362.tif 000041
2004509362.tif 000042
2004509362.tif 000043
2004509362.tif 000044
2004509362.tif 000045
2004509362.tif 000046
2004509362.tif 000047
2004509362.tif 000048
2004509362.tif 000049
2004509362.tif 000050
2004509362.tif 000051
2004509362.tif 000052
2004509362.tif 000053
2004509362.tif 000054
2004509362.tif 000055
2004509362.tif 000056
2004509362.tif 000057
2004509362.tif 000058
2004509362.tif 000059
【国際公開パンフレット（コレクトバージョン）】
2004509362.tif 000060
2004509362.tif 000061
【国際調査報告】
2004509362.tif 000062
2004509362.tif 000063