(57)【要約】【解決手段】本技術は、音声の損失歪みと雑音低減との間のトレードオフのバランスをとるために、洗練された制御レベルを用いる、音響信号の適応型の雑音低減方法を提供する。音響信号のサブバンド信号における雑音成分のエネルギーレベルは、サブバンド信号について推定された信号対雑音比と、サブバンド信号の音声歪みについて推測された閾値レベルとに基づいて、低減される。いくつかの実施形態において、サブバンド信号における雑音成分のエネルギーレベルは、少なくとも、残留雑音目標レベルまで低減され得る。かかる目標レベルとは、雑音成分が知覚されなくなるレベルとして定義され得る。
2013525843.tif 000002
【特許請求の範囲】
【請求項１】
音響信号の雑音を低減する方法であって：
音響信号を受信する段階と；
前記音響信号を、複数のサブバンド信号へと分離する段階と；
低減値を前記複数のサブバンド信号のうちの一のサブバンド信号に適用する段階であって、前記サブバンド信号の雑音成分のエネルギーレベルを低減させ、
前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく、段階と；
を有する、方法。
【請求項２】
前記低減値を適用する前記段階は、前記低減値に基づいて、前記サブバンド信号の雑音消去を実行する段階を含む、
請求項１に記載の方法。
【請求項３】
前記低減値を適用する前記段階は、前記低減値を、前記サブバンド信号に乗算する段階を含む、
請求項１に記載の方法。
【請求項４】
第二の低減値を、前記サブバンド信号に乗算する段階であって、さらに前記雑音成分のエネルギーレベルを低減させる、段階
をさらに有する、請求項２に記載の方法。
【請求項５】
前記サブバンド信号における前記雑音成分のエネルギーレベルは、少なくとも残留雑音目標レベルまで減少させられる、
請求項１に記載の方法。
【請求項６】
前記推定された信号対雑音比と、前記音声損失歪みの推定された閾値レベルとに基づいて、前記低減値の第一の値を決定する段階と；
前記サブバンド信号における、前記雑音成分のエネルギーレベルの、前記残留雑音目標レベルへの低減に基づいて、前記低減値の第二の値を決定する段階と；
前記低減値として、前記第一の値と前記第二の値のうち一を選択する段階と；
をさらに有する、請求項５に記載の方法。
【請求項７】
前記低減値を低減した後に、分離された前記音響信号をエンコードする段階
をさらに有する、請求項６に記載の方法。
【請求項８】
前記残留雑音目標レベルは、可聴なレベルより低いレベルである、
請求項５に記載の方法。
【請求項９】
前記第二の低減値は、第二のサブバンド信号の前記雑音成分のエネルギーレベルが、前記残留雑音目標レベルより低い場合に、１となる、
請求項５に記載の方法。
【請求項１０】
前記低減値は、さらに、前記サブバンド信号における、前記雑音成分及び前記音声成分の、推定されたパワースペクトル密度に基づく、
請求項１に記載の方法。
【請求項１１】
プログラムを格納するコンピュータ読取可能な記憶媒体であって、前記プログラムは、プロセッサに、音響信号の雑音を低減する方法を実行させ、該方法は：
音響信号を受信する段階と；
前記音響信号を、複数のサブバンド信号へと分離する段階と；
低減値を前記複数のサブバンド信号のうちの一のサブバンド信号に適用する段階であって、前記サブバンド信号の雑音成分のエネルギーレベルを低減させ、
前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく、段階と；
を有する、記憶媒体。
【請求項１２】
前記低減値を適用する前記段階は、前記低減値に基づいて、前記サブバンド信号の雑音消去を実行する段階を含む、
請求項１１に記載の記憶媒体。
【請求項１３】
前記低減値を適用する前記段階は、前記低減値を、前記サブバンド信号に乗算する段階を含む、
請求項１１に記載の記憶媒体。
【請求項１４】
前記サブバンド信号における前記雑音成分のエネルギーレベルは、少なくとも残留雑音目標レベルまで減少させられる、
請求項１１に記載の記憶媒体。
【請求項１５】
前記方法は：
前記推定された信号対雑音比と、前記音声損失歪みの推定された閾値レベルとに基づいて、前記低減値の第一の値を決定する段階と；
前記サブバンド信号における、前記雑音成分のエネルギーレベルの、前記残留雑音目標レベルへの低減に基づいて、前記低減値の第二の値を決定する段階と；
前記低減値として、前記第一の値と前記第二の値のうち一を選択する段階と；
をさらに有する、請求項１４に記載の記憶媒体。
【請求項１６】
前記方法は、
第二の低減値を、前記サブバンド信号に乗算する段階であって、さらに前記雑音成分のエネルギーレベルを低減する、段階
をさらに有する、請求項１１に記載の記憶媒体。
【請求項１７】
前記残留雑音目標レベルは、可聴なレベルより低いレベルである、
請求項１４に記載の記憶媒体。
【請求項１８】
前記第二の低減値は、第二のサブバンド信号の前記雑音成分のエネルギーレベルが、前記残留雑音目標レベルより低い場合に、１となる、
請求項１４に記載の記憶媒体。
【請求項１９】
音響信号の雑音を低減するシステムであって：
プロセッサにより実行される、メモリに保管された周波数分析モジュール及び雑音低減モジュールを有し、
前記周波数分析モジュールは、
音響信号を受信し、
前記音響信号を、複数のサブバンド信号へと分離し；
前記雑音低減モジュールは、
低減値を前記複数のサブバンド信号のうちの一のサブバンド信号に適用し、前記サブバンド信号の雑音成分のエネルギーレベルを低減させ、
前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく、
システム。
【請求項２０】
前記雑音低減モジュールは、前記低減値に基づいて、前記サブバンド信号の雑音消去を実行する、
請求項１９に記載のシステム。
【請求項２１】
前記雑音低減モジュールは、前記低減値を、前記サブバンド信号に乗算する、
請求項１９に記載のシステム。
【請求項２２】
前記サブバンド信号における前記雑音成分のエネルギーレベルは、少なくとも残留雑音目標レベルまで減少させられる、
請求項１９に記載のシステム。
【請求項２３】
前記低減値は、さらに、前記雑音低減モジュールのアプリケーション・プログラム・インターフェースを介して受信された入力に基づく、
請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理に関し、特に、音声信号の適応型の雑音低減に関する。
【背景技術】
【０００２】
現在、都合の悪い音声環境において、音響信号内の背景雑音を低減するための、数多くの方法が存在する。かかる一つの方法は、定常雑音抑制システム（stationary  noise  suppression  system）を用いることである。定常雑音抑制システムは、入力雑音より小さい、固定量の出力雑音を常に提供する。一般的に、この雑音抑制は、１２−１３デシベル（ｄＢ）の範囲である。この雑音抑制は、音声の損失歪み（speech  loss  distortion）の生成を回避するために、控えめなレベルに固定される。そのような歪みは、より大きな雑音抑制を用いることで、より顕著となる。
【０００３】
より大きな雑音抑制を提供するために、信号対雑音比（ＳＮＲ）に基づいた、動的な雑音抑制システムが利用されてきた。かかるＳＮＲは、抑制値（suppression  value）を決定するために、用いることができる。不幸なことに、ＳＮＲそのものは、音声歪みの良い予測手段ではない。これは、音声環境の種々の雑音の存在に起因する。ＳＮＲは、音声が、雑音より、どれだけ大きいかを示す比率である。しかしながら、音声は、非定常的な信号であり、絶えず変動し、また、無音（pause）を含み得る。一般的には、ある期間にわたる音声エネルギーは、単語、無音、単語、無音等を含み得る。さらに、音声環境において定常雑音及び動的雑音が、表れる可能性がある。ＳＮＲは、かかる定常的又は非定常的な音声及び雑音の全てを平均化し、雑音の全体的なレベルがどの程度かに基づいて、比率を決定する。雑音信号の統計に関する考慮はなされていない。
【０００４】
いくつかの先行技術のシステムにおいて、雑音スペクトルの推定に基づいて、強調フィルタ（enhancement  filter）が生成され得る。ある一般的な強調フィルタは、ウィーナーフィルタである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
都合の悪いことに、強調フィルタは、一般的に、ユーザの知覚を考慮せずに、特定の数学的な誤差量を最小化するように構成されている。その結果、雑音を抑制する信号強調の副作用として、一定量の音声劣化（speech  degradation）が生ずる。例えば、エネルギーが雑音より低い音声成分は、一般的に、強調フィルタにより、抑制されてしまう。これにより、音声スペクトルの出力の変更がもたらされ、音声歪みとして知覚される。雑音レベルが上昇すると、かかる音声劣化は、より厳しくなり、より多くの音声成分が、拡張フィルタによって、減衰する。すなわち、ＳＮＲが低下すると、より多くの音声成分が、雑音に埋もれるか、又は雑音として解釈され、より多くの音声の損失歪みをもたらす。このことは、より多くの音声の損失歪みと、音声劣化をもたらす。
【０００６】
従って、音声の損失歪みと、残留雑音との間のトレードオフのバランスをとる、適応型の雑音低減方法が提供されることが望まれる。
【課題を解決するための手段】
【０００７】
本技術は、音声の損失歪みと雑音低減との間のトレードオフのバランスをとるために、洗練された制御レベルを用いる、音響信号の適応型の雑音低減方法を提供する。音響信号のサブバンド信号における雑音成分のエネルギーレベルは、サブバンド信号について推定された信号対雑音比と、サブバンド信号の音声歪みについて推測された閾値レベルとに基づいて、低減される。いくつかの実施形態において、サブバンド信号における雑音成分のエネルギーレベルは、少なくとも、残留雑音目標レベルまで低減され得る。かかる目標レベルとは、雑音成分が知覚されなくなるレベルとして定義され得る。
【０００８】
本明細書で説明される、音響信号の雑音を低減する方法は、音響信号を受信する段階と、前記音響信号を、複数のサブバンド信号へと分離する段階とを含む。次に、低減値（reduction  value）が、前記複数のサブバンド信号のうちの一のサブバンド信号に適用され、前記サブバンド信号の雑音成分のエネルギーレベルを低減させる。前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声損失歪みの推定された閾値レベルとに基づく。
【０００９】
本明細書で説明される、音響信号内の雑音を低減するシステムは、メモリに保管され、かつプロセッサによって実行される、周波数分析モジュールを含み、前記周波数モジュールは、音響信号を受信し、前記音響信号を、複数のサブバンド信号へと分離する。本システムは、さらに、メモリに保管され、かつプロセッサによって実行される、雑音低減モジュールを含み、前記雑音低減モジュールは、低減値（reduction  value）を、前記複数のサブバンド信号のうちの一のサブバンド信号に適用し、前記サブバンド信号の雑音成分のエネルギーレベルを低減させる。前記低減値は、前記サブバンド信号の推定された信号対雑音比と、前記サブバンド信号における音声の損失歪みの推定された閾値レベルとに基づく。
【００１０】
本明細書で説明される、コンピュータ読取可能な記憶媒体は、コンピュータに、音響信号を受信する段階と、前記音響信号を、複数のサブバンド信号へと分離する段階とを実行させるプログラムを具体化する。
【００１１】
本発明の、他の実施形態と利点は、以下の図面、詳細な説明及びクレームを検討することによって、理解することができる。
【図面の簡単な説明】
【００１２】
【図１】本技術が用いられ得る実施形態の環境の例を表す図。
【図２】例示的なオーディオ装置のブロック図。
【図３】例示的な音声処理システムのブロック図。
【図４】例示的なマスクジェネレータモジュールのブロック図。
【図５】例示的な最大抑制値の参照テーブルを表す図。
【図６】種々のレベルの音声損失歪みの例示的な抑制値を表す図。
【図７】サブバンドにわたる最終的な（final）ゲイン下限を表す図。
【図８】音響信号の雑音低減を実行する例示的な方法のフローチャート。
【図９】音響信号の雑音抑制を実行する例示的な方法のフローチャート。
【発明を実施するための形態】
【００１３】
本技術は、音声の損失歪みと雑音低減との間のトレードオフのバランスをとるために、洗練された制御レベルを用いる、音響信号の適応型の雑音低減方法を提供する。雑音低減（Noise  reduction）は、低減値（reduction  value）（例えば、減算値（subtraction  value）及び／又はゲインマスクの乗算）を、音響信号の対応するサブバンド信号に適用し、同時に、雑音低減によってもたらされる音声損失歪みを、許容可能な閾値レベルに制限することによって、なされ得る。低減値及び実行される雑音低減は、サブバンド信号にわたって、変動し得る。雑音低減は、個々のサブバンド信号の特性と、雑音低減によってもたらされた、知覚された音声損失歪みによる特性に基づき得る。雑音低減は、音声信号における雑音低減と音声の品質とを、共に最適化するように、実行され得る。
【００１４】
本技術は、サブバンド信号において実行される雑音低減量の下限（すなわち、下限の閾値）を提供する。雑音低減の下限は、サブバンド信号の音声損失歪みの量を制限する働きをする。結果として、あるサブバンド信号において、可能であれば、大きな量の雑音低減がなされ得る。大きな量の雑音低減に対する、高い音声損失歪みが許容されないような場合には、雑音低減は、より小さくなり得る。
【００１５】
本システムにより実行される雑音低減は、雑音抑制（noise  suppression）及び／又は雑音消去（noise  cancellation）の方法をとり得る。本システムは、主たる音響サブバンド信号に適用される、低減値を生成し、雑音低減を達成する。低減値は、サブバンド信号に乗算されるゲインマスクとして実装され、サブバンド信号における雑音成分のエネルギーレベルを抑制する。乗法による処理は、乗法性（multiplicative）雑音抑制と呼ばれる。雑音消去において、低減値は、混合（mixture）サブバンド信号から、雑音参照（noise  reference）サブバンド信号を減算することにより、サブバンド信号において実行された雑音消去量の下限として生成され得る。
【００１６】
本システムは、サブバンドの雑音成分のエネルギーレベルを、少なくとも、残留雑音目標レベルまで、減少させ得る。残留雑音目標レベルは、固定されるか、あるいは、ゆっくりと時間で変動し得る。また、いくつかの実施形態においては、各サブバンド信号に対して、同一である。残留雑音目標レベルは、例えば、雑音成分が、聞き取れなくなるか、又は知覚できなくなるレベルとして定義され得るか、あるいは、音響信号を取得するために用いるマイクの自己雑音のレベルより低いレベルとして定義され得る。別の例として、残留雑音目標レベルは、本明細書で説明される、雑音低減技術を実行するために用いられるシステム内の、内部ＡＧＣノイズゲート又はベースバンドノイズゲートのような、ある成分についてのノイズゲートより低くなり得る。
【００１７】
いくつかの先行技術のシステムは、一般化されたサイドローブキャンセラを実行する。一般化されたサイドローブキャンセラは、受信した信号に含まれる、望ましい信号と、干渉信号を識別するために、使用される。望ましい信号は、望ましい位置から伝播し、干渉信号は、他の位置から伝播する。干渉信号は、干渉を消去する目的で、受信した信号から減算される。かかる減算は、さらに、音声損失歪みと音声劣化をもたらし得る。
【００１８】
本技術の実施形態は、音声を受信し、かつ／あるいは提供するよう構成された、あらゆるオーディオ装置（例えば、携帯電話、ヘッドセット、会議システム。これに限定されない）において、実施され得る。本技術のいくつかの実施形態は、携帯電話における処理について説明されるが、本技術は、あらゆるオーディオ装置において、実施され得る。
【００１９】
図１は、本技術の実施形態が用いられ得る環境の例を表す図である。ユーザは、オーディオ装置１０４への音源１０２として、振舞う。例示的なオーディオ装置１０４は、二つのマイク：音源１０２に対する主たるマイク１０６及び主たるマイク１０６から離れて位置する補助的なマイク１０８を含む。代わりに、オーディオ装置１０４は、単一のマイクを含んでもよい。さらなる他の実施形態において、オーディオ装置１０４は、二以上のマイク、例えば、３、４、５、６、７、８、９、１０又はそれ以上のマイクを含んでもよい。
【００２０】
主たるマイク１０６及び補助的なマイク１０８は、全方位マイクであってもよい。代わりの実施形態は、他の方式のマイク又は音響センサを利用してもよい。
【００２１】
マイク１０６、１０８は、音源１０２からの音（すなわち、音響信号）を受信するが、マイク１０６、１０８は、雑音１１０をも拾う。図１において、雑音１１０は、単一の場所からやってくるように示されているが、音源１０２の位置と異なる、一以上の場所からの、あらゆる音を含み得る。さらに、雑音１１０は、反射とエコーを含み得る。雑音１１０は、定常雑音、非定常雑音及び／又はそれらの組み合わせであり得る。
【００２２】
いくつかの実施形態は、二つのマイク１０６、１０８によって受信される音響信号の間のレベルの差（例えば、エネルギーの差）を利用することができる。主たるマイク１０６は、補助的なマイク１０８よりも音源１０２に非常に近いため、主たるマイク１０６の強度レベルは、より高くなり、例えば、音声区間（speech/voice  segment）に主たるマイク１０６によって受信される、より大きなエネルギーレベルをもたらす。
【００２３】
レベルの差は、時間周波数領域において、音声と雑音を区別するために用いられ得る。さらなる実施形態は、音声を区別するために、エネルギーレベルの差と、時間遅延との組み合わせを用いることができる。両耳キュー符号化に基づいて、音声信号抽出又は音声強調が、実施され得る。
【００２４】
図２は、例示的なオーディオ装置１０４のブロック図である。図示される実施形態において、オーディオ装置１０４は、受信器２００と、プロセッサ２０２と、主たるマイク１０６と、任意の補助的なマイク１０８と、音声処理システム２１０と、出力デバイス２０６を含む。オーディオ装置１０４は、動作に必要な、さらなる、あるいは他の部品を含んでもよい。同様に、オーディオ装置１０４は、図２に示される部品と同様又は同等の機能を実行する、より少ない部品を含んでもよい。
【００２５】
プロセッサ２０２は、オーディオ装置１０４のメモリ（図２にて図示されない）に保管された命令及びモジュールを実行し、本明細書で説明される、音響信号に対する雑音抑制を含む機能を実行する。プロセッサ２０２は、演算装置として具体化される、ハードウェア及びソフトウェアを含み得る。演算装置は、プロセッサ２０２の、浮動小数点演算や、他の演算を行うことができる。
【００２６】
例示的な受信器２００は、通信ネットワークから信号を受信するよう構成された音響センサである。いくつかの実施形態において、受信器２００は、アンテナデバイスを含んでもよい。その信号は、音声処理システム２１０へと転送され、本明細書で説明される技術を用いて、雑音を低減し、音声信号を、出力デバイス２０６へと提供する。本技術は、オーディオ装置１０４の送信パス及び受信パスの一方又は両方において、使用され得る。
【００２７】
音声処理システム２１０は、主たるマイク１６０と補助的なマイク１０８を用いて、音源から音響信号を受信し、その音響信号を処理するよう構成される。処理は、音響信号において雑音低減を実行する段階を含み得る。音声処理システム２１０は、以下で、より詳細に説明される。主たるマイク１０６と補助的なマイク１０８は、それらの間で、エネルギーレベルの差の検出を可能にするために、一定の距離、離れて配置され得る。主たるマイク１０６と補助的なマイク１０８により受信される音響信号は、電気信号（すなわち、主たる電気信号及び補助的な電気信号）へと変換され得る。電気信号そのものは、アナログデジタル変換器（図示しない）により、デジタル信号へと変換され、いくつかの実施形態に従って処理される。明確化を目的として、音響信号を区別するために、本明細書では、主たるマイク１０６により受信された音響信号は、主たる音響信号と呼び、補助的なマイク１０８で受信された音響信号は、補助的な音響信号と呼ぶ。主たる音響信号及び補助的な音響信号は、音声処理システム２１０によって処理され、信号対雑音比の改善した信号を生成する。本明細書で説明される技術についての実施形態は、主たるマイク１０６のみを利用して、実施され得ることに留意する。
【００２８】
出力デバイス２０６は、音声出力をユーザに提供する、あらゆるデバイスである。例えば、出力デバイス２０６は、スピーカ、ヘッドセット若しくはハンドセットのイヤホン又は会議装置のスピーカを含み得る。
【００２９】
様々な実施形態において、主たるマイク及び補助的なマイクが、近接して配置される（例えば、１−２ｃｍ）全方位マイクである場合には、前方対向（forwards-facing）及び後方対向（backwards-  facing）な方向性マイクをシミュレートするために、ビームフォーミング技術が用いられ得る。レベルの差は、時間周波数領域での音声と雑音を区別するために用いられ、雑音低減において利用され得る。
【００３０】
図３は、本明細書で説明される雑音低減方法を実行するための、例示的な音声処理システム２１０のブロック図である。例示的な実施形態において、音声処理システム２１０は、オーディオ装置１０４の中のメモリの中に具体化される。音声処理システム２１０は、周波数分析モジュール３０２、特徴抽出器モジュール３０４、音源推定エンジンモジュール３０６、マスク生成器モジュール３０８、雑音消去器（ＮＰＮＳ）モジュール３１０、調整器モジュール３１２及び再構成器モジュール３１４を含むことができる。ここで、マスク生成器モジュール３０８は、調整器モジュール３１２及び雑音消去器モジュール３１０とともに、雑音低減モジュールと呼ぶ。音声処理システム２１０は、図３に示されるより、より多くの部品、あるいはより少ない部品を含み得る。また、複数のモジュールの機能は、より少ないモジュールか、又は追加のモジュールへ、組み合わされるか、または拡張され得る。例示的な通信ラインが、図３及び本明細書の他の図面において、様々なモジュールとの間に示されている。通信ラインは、どのモジュールが通信により他のモジュールと接続されているかを限定することを意図するものではない。また、モジュール間で通信される信号の数や種類を限定することを意図するものではない。
【００３１】
動作において、主たるマイク１０６及び補助的なマイク１０８から受信した音響信号は、電気信号へと変換され、その電気信号は、周波数分析モジュール３０２を通じて処理される。一実施形態において、周波数分析モジュール３０２は、音響信号を取得し、フィルタバンクによりシミュレーションされる、蝸牛の周波数分析（例えば、蝸牛領域（cochlear  domain））を模倣する。周波数分析モジュール３０２は、主たる音響信号と補助的な音響信号のそれぞれを、二つ以上の周波数サブバンド信号へと、分離する。サブバンド信号は、入力信号に関するフィルタリング処理の結果である。ここで、フィルタの帯域幅は、周波数分析モジュール３０２により受信される信号の帯域幅よりも狭い。代わりに、短時間フーリエ変換（ＳＴＦＴ）のような他のフィルタ、サブバンドフィルタバンク、変調複素重ね（lapped）変換、蝸牛モデル、ウェーブレット等を、周波数分析及び合成のために、用いることができる。ほとんどの音声（例えば、音響信号）は複雑であり、一以上の周波数を含むため、音響信号のサブバンド分析は、フレームの間（例えば、既定の期間）の複雑な音響信号の各サブバンドの中で、どの個別の周波数が存在するかを決定する。例えば、フレームの長さは、４ｍｓ、８ｍｓ又は他の時間長であってもよい。いくつかの実施形態において、全くフレームが存在しなくてもよい。その結果は、高速蝸牛変換（ＦＣＴ；fast  cochlea  transform）領域において、サブバンド信号を含み得る。
【００３２】
サブバンドのフレーム信号は、周波数分析モジュール３０２から、分析パスサブシステム３２０と、信号パスサブシステム３３０へと提供される。分析パスサブシステム３２０は、その信号を処理し、信号の特徴を識別し、サブバンド信号の音声成分と雑音成分とを区別し、信号調整器（modifier）を生成する。信号パスサブシステム３３０は、分析パスサブシステム３２０で生成された、乗算（multiplicative）ゲインマスクのような、ノイズキャンセラ又は雑音調整器を適用することにより、主たる音響信号のサブバンド信号を調整する責任を有する。その調整は、雑音を低減することができ、サブバンド信号における望ましい音声成分を保存する。
【００３３】
信号パスサブシステム３３０は、ＮＰＮＳモジュール３１０及び調整器モジュール３１２を含む。ＮＰＮＳモジュール３１０は、周波数分析モジュール３０２から、サブバンドのフレーム信号を受信する。ＮＰＮＳモジュール３１０は、主たる音響信号の、一以上のサブバンド信号から、雑音成分を取り去る（subtract）（すなわち、消去する）ことができる。または、ＮＰＮＳモジュール３１０は、主たる信号の中の雑音成分のサブバンド推定と、雑音除去済みのサブバンド信号の形式による音声成分のサブバンド推定を、出力する。
【００３４】
ＮＰＮＳモジュール３１０は、様々な方法で、実装され得る。いくつかの実施形態において、ＮＰＮＳモジュール３１０は、単一のＮＰＮＳモジュールによって、実装され得る。代わりに、ＮＰＮＳモジュール３１０は、例えば、直接接続によって配置され得る、二以上のＮＰＮＳモジュールを含み得る。
【００３５】
ＮＰＮＳモジュール３１０は、例えば、音源の位置に基づく二つのマイク構成に対し、減算（subtractive）アルゴリズムを用いることにより、雑音消去を提供する。ＮＰＮＳモジュール３１０は、エコー消去を提供するためにも、用いられ得る。雑音消去及びエコー消去は、通常、音声品質の劣化がほとんどなく、あるいはまったくなく、達成され得る。そのため、ＮＰＮＳモジュール３１０により実行される処理は、皇族のポストフィルタリング及び乗算処理の段階によって受信される、主たる音響信号において、増幅されたＳＮＲをもたらす。実行される雑音消去の量は、雑音源の拡散と、マイク間の距離に依存し得る。これらは、共に、マイクの間の雑音の一貫性に貢献し、同時に、より高い一貫性が、よりよい消去をもたらす。
【００３６】
いくつかの実施形態において、雑音消去器モジュール３１０により実行される、雑音消去の例は、
米国特許出願第１２／２１５，９８０号（タイトル「System  and  Method  for  Providing  Noise  Suppression  Utilizing  Null  Processing  Noise  Subtraction」、２００８年６月３０日出願）、
米国特許出願第１２／４２２，９１７号（タイトル「Adaptive  Noise  Cancellation」、２００９年４月１３日出願）、
米国特許出願第１２／６９３，９９８号（タイトル「Adaptive  Noise  Reduction  Using  Level  Cues」、２０１０年１月２６日出願）、
において開示される。ここで、これらの内容を、本明細書に援用する。
【００３７】
分析パスサブシステム３２０の特徴抽出器モジュール３０４は、周波数分析モジュール３０２により提供される、主たる音響信号及び補助的な音響信号に由来する、サブバンドのフレーム信号を受信する。特徴抽出器モジュール３０４は、ＮＰＮＳモジュール３１０の出力を受信し、サブバンド信号のフレームのエネルギー推定と、主たる音響信号と補助的な音響信号との間のマイク間レベル差（ＩＬＤ）と、主たるマイクと補助的なマイクの自己雑音推定とを計算する。特徴抽出器モジュール３０４は、さらに、他のモジュールによって必要とされ得る、ピッチの推定や、マイク信号間の相互相関のような、他のモノラル又はステレオの特徴を計算してもよい。特徴抽出器モジュール３０４は、ＮＰＮＳモジュール３１０への入力を提供し、ＮＰＮＳモジュール３１０からの出力を処理することができる。
【００３８】
特徴抽出器モジュール３０４は、主たる音響信号と補助的な音響信号の、サブバンド信号のエネルギーレベルを計算することができ、また、そのエネルギーレベルから、マイク間のレベル差（ＩＬＤ）を計算することができる。ＩＬＤは、特徴抽出器モジュール３０４の中の、ＩＬＤモジュールによって、決定され得る。
【００３９】
エネルギーレベル推定と、マイク間のレベル差の決定は、米国特許出願第１１／３４３，５２４号（タイトル「System  and  Method  for  Utilizing  Inter-Microphone  Level  Differences  for  Speech  Enhancement」）において、より詳細に議論される。ここで、その内容を、本明細書に援用する。
【００４０】
音源推定エンジンモジュール３０６は、フレームのエネルギー推定（量）を処理し、雑音推定を計算する。そして、サブバンド信号における雑音と音声のモデルを得る。音源推定エンジンモジュール３０６は、ＮＰＮＳモジュール３１０の出力信号のエネルギースペクトルのような、音源の属性を、適応的に見積もる。エネルギースペクトル属性は、マイク生成モジュール３０８において、乗算マスクを生成するために用いられ得る。
【００４１】
音源推定エンジンモジュール３０６は、特徴抽出器モジュール３０４から、ＩＬＤを受信することができる。そして、そのＩＬＤの確率分布又は対象となる音源１０２の「クラスタ」、背景雑音及び任意でエコーを追跡することができる。一般性の損失がなく、エコーを無視し、音声と雑音のＩＬＤ分布が重複しないとき、二つの分布の間の、分類境界又は優性（dominance）閾値を特定することが可能である。分類境界又は優性閾値は、ＳＮＲが十分に肯定的であるとき、信号を音声として分類し、ＳＮＲが十分に否定的であるとき、信号を雑音として分類するために用いられる。かかる分類は、優性マスクとして、サブバンド又は時間フレームごとに決定され、クラスタ追跡モジュールにより、音源推定エンジンモジュール３０６の中の雑音推定モジュールへと出力される。
【００４２】
クラスタ追跡モジュールは、サブバンドごとに、雑音／音声分類信号を生成し、その分類を、ＮＰＮＳモジュール３１０に提供することができる。いくつかの実施形態において、その分類は、雑音と信号の間の区別を示す制御信号である。ＮＰＮＳモジュール３１０は、分類信号を利用し、受信したマイクエネルギー推定信号において雑音を推定する。いくつかの実施形態において、クラスタ追跡モジュールの結果は、音源推定エンジンモジュール３０６の中の雑音推定モジュールへと転送され得る。言い換えれば、音声処理システム２１０で雑音信号を処理するために、現在の雑音推定が、雑音のある可能性のある、エネルギースペクトルにおける位置とともに、提供される。
【００４３】
クラスタ追跡モジュールによる、クラスタを追跡する例は、米国特許出願第１３／００４，８９７号（タイトル「System  and  method  for  Adaptive  Classification  of  Audio  Sources」、２００７年１２月２１日出願）に開示される。ここで、その開示内容を、本明細書に援用する。
【００４４】
音源推定エンジンモジュール３０６は、クラスタ追跡モジュールから、雑音／音声分類制御信号を受信し、ＮＰＮＳモジュール３１０の出力を受信して雑音Ｎ（ｔ，ｗ）を推定する、雑音推定モジュールを含み得る。雑音推定モジュールにより決定された雑音推定は、マイク生成モジュール３０８に提供される。いくつかの実施形態において、マスク生成器モジュール３０８は、ＮＰＮＳモジュール３１０の雑音推定出力と、クラスタ追跡モジュールの出力を受信する。
【００４５】
音源推定エンジンモジュール３０６の雑音推定モジュールは、ＩＬＤ雑音推定器と、定常雑音推定器を含むことができる。一実施形態において、雑音推定は、max()演算と組み合わされ、それにより、組み合わされた雑音推定によって生ずる雑音抑制能力は、少なくとも、個別の雑音推定の能力となる。ＩＬＤ雑音推定は、優性マスクと、ＮＰＮＳモジュール３１０の出力信号エネルギーとから、算出される。
【００４６】
マスク生成器モジュール３０８は、音源推定エンジンモジュール３０６により推定された、サブバンドの音声成分と雑音成分のモデルを受信する。音声スペクトルを推定するために、各サイドバンド信号に対する雑音スペクトルの雑音推定は、主たるスペクトルのエネルギー推定から減じられる。マスク生成器モジュール３０８は、主たる音響信号のサブバンド信号に対する、ゲインマスクを決定し、そのゲインマスクを調整器モジュール３１２へと提供することができる。調整器モジュール３１２は、そのゲインマスクを、ＮＰＮＳモジュール３１０により出力された、雑音が減じられた主たる音響信号のサブバンド信号に、乗算する。そのマスクの適用により、主たる音響信号のサブバンド信号における雑音成分のエネルギーレベルが低減され、雑音低減が成し遂げられる。
【００４７】
以下でより詳細に説明されるように、マイク生成モジュール３０８から出力されるゲインマスクの値は、時間とサブバンド信号に依存し、サブバンドごとに雑音低減を最適化する。雑音低減は、音声損失歪みが、許容される閾値の制限に従うという、制約を受けることがある。閾値の制限は、例えば、音質最適化抑制（ＶＱＯＳ；voice  quality  optimized  suppression）レベルのような、多くの要因に基づく可能性がある。ＶＱＯＳレベルは，雑音低減によって取り込まれる、サブバンド信号における音声損失歪みの、推定される最大閾値レベルである。ＶＱＯＳは、調整することができ、サブバンド信号の特性を考慮に入れる。その結果、システム及び音響設計者に対して、十分な設計の柔軟性を提供する。サブバンド信号において実施される雑音低減の量の下限は、ＶＱＯＳ閾値により決定される。その結果、サブバンド信号の音声損失歪みの量を制限する。結果として、可能な場合には、サブバンド信号において、大きな雑音低減が実施される。大きな量の雑音による、高い音声損失歪みが許容されない状況においては、より小さな雑音低減が実施され得る。
【００４８】
いくつかの実施形態において、サブバンド信号の雑音成分のエネルギーレベルは、少なくとも、残留雑音目標レベルまで低減され得る。残留雑音目標レベルは、固定されるか、あるいは、ゆっくりと時間で変動し得る。いくつかの実施形態において、残留雑音目標レベルは、各サブバンド信号に対して、同一となる。かかる目標レベルは、例えば、目標レベルは、例えば、雑音成分が、聞き取れなくなるか、又は知覚できなくなるレベルとして定義され得るか、あるいは、音響信号を取得するために用いるマイクの自己雑音のレベルより低いレベルであってもよい。別の例として、残留雑音目標レベルは、本明細書で説明される、雑音低減技術を実行するために用いられるシステム内の、内部ＡＧＣノイズゲート又はベースバンドノイズゲートのような、ある成分についてのノイズゲートより低くなり得る。
【００４９】
再構成器モジュール３１４は、マスクされた周波数サブバンド信号を、蝸牛領域から、時間領域へと変換することができる。その変換は、マスクされた周波数サブバンド信号と位相シフトされた信号とを加算する段階を含むことができる。代わりに、その変換は、マスクされた周波数サブバンド信号を、蝸牛チャネル（cochlea  channel）の逆（inverse）周波数で乗算する段階を含むことができる。時間領域への変換が完了すると、合成された音響信号は、出力装置２０６を介して、ユーザへ出力され、かつ／あるいは、符号化のために、コーデックへと提供され得る。
【００５０】
いくつかの実施形態において、合成された時間領域の音響信号についての、追加の事後処理が実行され得る。例えば、快適雑音生成器により生成される、快適雑音（comfort  noise）が、ユーザに信号を提供する前に、合成された音響信号に追加され得る。快適雑音は、通常、聞き手にとって認識できない、一様な快適雑音（例えば、ピンク雑音）であり得る。かかる快適雑音は、合成された音響信号に加えられ、可聴性についての閾値を強制し、低レベルの非定常出力雑音成分をマスクする。いくつかの実施形態において、快適雑音レベルは、可聴性についての閾値よりちょうど上になるよう選択され、さらに、ユーザによって設定可能とされ得る。いくつかの実施形態において、マスク生成器モジュール３０８は、雑音を、快適雑音のレベルか、又はそれより低いレベルに抑えるゲインマスクを生成するために、快適雑音のレベルへのアクセスを有する。
【００５１】
図３のシステムは、オーディオ装置によって処理される、複数の種類の信号を処理することができる。そのシステムは、一以上のマイクを介して受信される音響信号に、適用され得る。そのシステムは、デジタルのＲｘ信号のような、アンテナ又は他の接続を通じて受信される信号をも処理することができる。
【００５２】
図４は、マスク生成器モジュール３０８の例示的なブロック図である。マスク生成器モジュール３０８は、ウィーナーフィルタモジュール４００、マスク平滑器モジュール４０２、信号対雑音比（ＳＮＲ）推定器モジュール４０４、ＶＱＯＳマッパモジュール４０６、残留雑音目標抑制（値）（ＲＮＴＳ；residual  noise  target  suppressor）推定器モジュール４０８及びゲイン調整器モジュール４１０を含むことができる。マスク生成器モジュール３０８は、図４に示されるより、より多くの、あるいはより少ない部品を含んでもよい。また、モジュールの機能は、より少ないモジュール又は追加のモジュールへと、組み合わされるか、あるいは拡張されてもよい。
【００５３】
ウィーナーフィルタモジュール４００は、ウィーナーフィルタのゲインマスク値Gwf(t,ω)を、主たる音響信号の各サブバンド信号に対して、計算する。ゲインマスク値は、時間フレームtの間の雑音と音声の短時間パワースペクトルと、サブバンド信号インデックスωに基づき得る。これは、数学的に、以下のように表される。
【００５４】
【数１】
2013525843.tif 000003
Psは、時間フレームtの間の、主たる音響信号の、サブバンド信号ωにおける、音声の推定パワースペクトル密度である。Pnは、時間フレームtの間の、主たる音響信号の、サブバンド信号ωにおける、雑音の推定パワースペクトル密度である。上述したように、Pnは、音源推定エンジンモジュール３０６によって計算され得る。PSは、数学的に、以下のように求めることができる。
【００５５】
【数２】
2013525843.tif 000004
λSは、一次再帰形ＩＩＲフィルタ又は漏洩積分器（leaky  integrator）の忘却因子であり、Pyは、上述したように、ＮＰＮＳモジュールによって出力された、主たる音響信号のパワースペクトル密度である。音声及び雑音推定に由来する、ウィーナーフィルタのゲインマスク値Gwf(t,ω)は、知覚による認識からの最適値でなくてもよい。すなわち、ウィーナーフィルタは、一般的に、結果として生ずる音声歪みのついてのユーザの近くを考慮することなく、特定の数学的な誤差量を最小化するよう構成され得る。結果として、特定の量の音声歪みは、ウィーナーフィルタのゲインマスク値を用いる、雑音抑制の副作用として、取り入れられる可能性がある。例えば、雑音より低いエネルギーの音声成分は、一般的に、雑音抑制器によって抑制され、その結果、音声歪みとして知覚される、出力音声スペクトルの修正をもたらす。かかる音声劣化は、雑音レベルが高くなると、より厳しくなり、より多くの音声成分が、雑音抑制器によって、減衰される。すなわち、ＳＮＲが低くなると、一般的に、より多くの音声成分が、雑音に埋もれるか、雑音として解釈される。したがって、より多くの音声損失歪みが存在する。いくつかの実施形態において、音声及び雑音のＰＳＤに基づいて初期のゲイン値を決定するために、スペクトル減算法若しくはエフライム−マラ（Ephraim-Malah）の公式又は他の方式が、利用され得る。
【００５６】
マスクを適用した結果として、音声歪みの量を制限するために、ウィーナーゲイン値は、知覚的に生成されたゲイン下限Glb(t,ω)を用いて、下方の境界となり得る：
【００５７】
【数３】
2013525843.tif 000005
ここで、Gn(t,ω)は、雑音抑制マスクであり、Glb(t,ω)は、サブバンド信号、周波数、パワー及びＶＱＯＳレベルにおける瞬間のＳＮＲの複合関数である。ゲイン下限は、以下で説明される、ＶＱＯＳマッパモジュール４０６と、ＲＮＴＳ推定器モジュール４０８の両方を利用して、導かれる。
【００５８】
ウィーナーフィルタモジュール４００は、さらに、全体的な（global）音声区間検出器（ＶＡＤ）と、各サブバンド又は「ＶＡＤマスク」に対するサブバンドＶＡＤを含んでもよい。全体的なＶＡＤとサブバンドＶＡＤは、マスク生成器モジュール３０８によって、例えば、マスク平滑器モジュール４０２の中で使用され、また、例えば自動ゲイン制御（ＡＧＣ）のような、マスク生成器モジュール３０８の外で、使用され得る。サブバンドＶＡＤマスクと全体的なｖＡＤは、ウィーナーゲインから、直接に導かれる。
【００５９】
【数４】
2013525843.tif 000006
ここで、g1は、ゲイン閾値であり、n1及びn2は、ＶＡＤマスクがアクティブな音声を示すサブバンドの数についての閾値であり、n1＞n2である。従って、ＶＡＤは、三つの意味をもつ。VAD(t)=1は、音声フレームを示し、VAD(t)=-1は、雑音フレームを示し、VAD(t)=0は、音声フレームか、雑音フレームかが決定的でないことを示す。ＶＡＤとＶＡＤマスクは、ウィーナフィルタゲインから導かれるため、ゲイン下限及びＶＱＯＳレベルについて独立している。このことは、例えば、雑音抑制の量は変化するにもかかわらず、類似したＡＧＣの振る舞いを取得する場合に、都合が良い。
【００６０】
ＳＮＲ推定器モジュール４０４は、あるサブバンドにおける雑音成分と音声成分のエネルギー推定を受け取り、主たる音響信号のサブバンド信号ごとのＳＮＲを計算する。サブバンドごとに計算されたＳＮＲは、以下で説明される、知覚によって生成されたゲイン下限を計算するために、ＶＱＯＳマッパモジュール４０６及びＲＮＴＳ推定器モジュール４０８に提供され、使用される。
【００６１】
例示される実施形態において、ＳＮＲ推定器モジュール４０４は、長期ピーク音声エネルギーの割合PS(t,ω)の、瞬間的な雑音エネルギーPn(t,ω)に対する割合として、瞬間のＳＮＲを計算する。
【００６２】
【数５】
2013525843.tif 000007
PS(t,ω)は、入力された音声パワー推定及び雑音パワー推定Pn(t,ω)に基づく、一以上の方式を用いて、決定され得る。その方式は、ピーク音声レベル追跡器を含み、音声信号のダイナミックレンジの最大xｄＢにおける音声エネルギーの平均値を求め、例えば叫び声の後のような、音声レベルの急な落下の後に、音声レベル追跡器をリセットし、（発話者の基本成分を下回る可能性のある）低い周波数にて、下限を音声推定に適用し、サブバンドにわたって音声パワーと雑音パワーを平滑化し、その音声パワー推定とＳＮＲが、成功した（oracle）混合物の一組の正しい値と一致するように、固定されたバイアスを、それらの値に加算することができる。
【００６３】
ＳＮＲ推定器モジュール４０４は、（全てのサイドバンド信号にわたる）全体的なＳＮＲを、さらに計算することができる。ＳＮＲ推定器モジュール４０４は、システム２１０の中の他のモジュールの中にあると有益である。あるいは、該モジュールは、オーディオ装置１０４の他の機能を制御するための、ＯＳの出力ＡＰＩとして構成され得る。
【００６４】
ＶＱＯＳマッパモジュール４０６は、各サブバンド信号Glb(t,ω)の最小ゲイン下限を決定する。最小ゲイン下限は、取り込まれた知覚による音声損失歪みが、少なくとも、指定されたＶＱＯＳレベルにより決定される、許容される閾値レベルでなくてはならないという制約を受ける。最大抑制値（Glb(t,ω)の逆数（inverse））は、サブバンド信号にわたって変動し、各サブバンド信号の周波数及びＳＮＲ並びにそのＶＱＯＳレベルに基づいて決定される。
【００６５】
各サブバンド信号の最小ゲイン下限は、数学的に、以下のように表される。
【００６６】
【数６】
2013525843.tif 000008
ＶＱＯＳレベルは、最大許容音声損失歪みを定義する。ＶＱＯＳレベルは、多数の、音声歪みの閾値レベルの中から、選択可能であるか、あるいは調整可能であり得る。または、ＶＱＯＳレベルは、主たる音響信号の特性を考慮に入れ、システム及び音響設計者に対して、完全な設計の柔軟性を提供する。
【００６７】
例示される実施形態において、各サブバンド信号の最小ゲイン下限Glb(t,ω)は、オーディオ装置１０４のメモリに保管される参照テーブルを用いて決定される。
【００６８】
参照テーブルは、経験的に、主観的な音質評価テストを使用して、生成され得る。例えば、聞き手は、様々な抑制レベルと信号対雑音比の音声信号の音声損失歪みのレベル（ＶＱＯＳレベル）を評価することができる。かかる評価は、音声信号品質の主観的な評価基準として、参照テーブルを生成するために用いられることができる。いくつかの実施形態において、コンピュータ化された技術を用いて音声信号品質を推定する、客観的な測定基準を用いるような代わりの技術が、参照テーブルを生成するために用いられてもよい。
【００６９】
一実施形態において、音声損失歪みのレベルは、以下のように定義され得る。
【００７０】
【表１】
2013525843.tif 000009
かかる例において、ＶＱＯＳレベル０は、抑制がゼロであることと対応し、事実上、雑音抑制器はバイパスされる。ＶＱＯＳレベル４と６の間のＶＱＯＳレベル５のような、上記で特定される複数のレベルの間のＶＱＯＳレベルの参照テーブルは、レベル間の補間（interpolation）により、決定され得る。音声歪みのレベルは、過剰な音声歪みを超えて、拡張されてもよい。ＶＱＯＳレベル１０は、上記の例では、過剰な音声歪みを表すため、１０より高い各レベルは、３ｄＢのように、追加のノイズ抑制の定数ｄＢとして表してもよい。
【００７１】
図５は、ＶＱＯＳレベル２、４、６、８、１０に対する、最大抑制値（最小のGlb(t,ω)の逆数（inverse））の、信号対雑音比及びサブバンド信号の中央周波数の関数としての、例示的な参照テーブルを表す。図５において例示される各テーブルのタイトルが示すように、そのテーブルは、音声歪みの特定のレベルが得られる前の、達成可能な最大の抑制値を示す。例えば、１８ｄＢの信号対雑音比、０．５ｋＨｚのサブバンド中央周波数、およびＶＱＯＳレベル２に対して、達成可能な最大の抑制値は、略１８ｄＢである。抑制値が１８ｄＢを超えるにつれて、音声歪みは、「知覚可能な音声歪みがない」状態を上回る。上述したように、参照テーブルの値は、経験的に決定され、実施形態によって変動し得る。
【００７２】
図５の参照テーブルは、三つの振る舞いを説明する。第一に、達成可能な最大抑制値は、ＶＱＯＳレベルとともに、単調増加する。第二に、達成可能な最大抑制値は、サブバンド信号ＳＮＲとともに、単調増加する。第三に、既定の抑制量は、低い周波数より、高い周波数において、より高い音声損失歪みをもたらす。
【００７３】
また、ＶＱＯＳマッパモジュール４０６は、音声損失歪みが、いくつかの許容可能な閾値レベルを下回り、同時に、ＳＮＲと雑音の種類に対して抑制量を最大化する、知覚モデルに基づく。結果として、あるサブバンド信号において、可能であれば、大きな量の雑音低減がなされ得る。大きな量の雑音低減に対する、高い音声損失歪みが許容されないような場合には、雑音低減は、より小さくなり得る。
【００７４】
図４に戻ると、ＲＮＴＳ推定器モジュール４０８は、最終的な（final）ゲイン下限Glb(t,ω)を決定する。ＶＱＯＳマッパモジュール４０６によって提供される、最小のゲイン下限
【００７５】
【数７】
2013525843.tif 000010
は、各サブバンド信号における雑音成分のエネルギーレベルが、少なくとも、残留雑音目標レベル（ＲＮＴＬ）まで低減されるという制約を受ける。以下でより詳細に説明されるように、いくつかの例において、ＶＱＯＳマッパモジュール４０６により提供される最小ゲイン下限は、ＲＮＴＬより低い残留雑音にするために必要な値より低くなり得る。結果として、ＶＱＯＳマッパモジュール４０６により提供される最小ゲイン下限は、残留雑音がＲＮＴＬより低いという目標を達成するために必要とされるより多くの音声損失歪みをもたし得る。そのような場合には、ＲＮＴＳ推定器モジュール４０８は、最小ゲイン下限を制限し、抑制と、結果として生ずる音声損失歪みを弱める。例えば、ゲイン下限の最初の値は、排他的に、推定ＳＮＲ及びＶＱＯＳレベルに基づいて、決定され得る。ゲイン下限の二番目の値は、サブバンド信号の雑音成分のエネルギーレベルを、ＲＮＴＬに減少させることに基づいて、決定され得る。最終的なＧＬＢであるGlb(t,ω)は、二つの抑制値のうちの小さなほうを選択することにより、決定され得る。
【００７６】
最終的なゲイン下限は、雑音成分のエネルギーレベルPn(t,ω)が、ＲＮＴＬのエネルギーレベルPrntl(t,ω)である場合に、適用される最大の抑制が、低減された雑音をもたらさないように、さらに制限され得る。すなわち、エネルギーレベルが、既にＲＮＴＬを下回っているとき、最終的なゲイン下限は、１（unity）となる。そのような場合には、最終的なゲイン下限は、数学的に、以下のように表される。
【００７７】
【数８】
2013525843.tif 000011
低いＳＮＲでは、残留雑音が可聴となる場合がある。これは、ＶＱＯＳマッパモジュール４０６について上述したように、ゲイン下限が、一般に、過剰な音声損失歪みを回避するために、低い境界となるからである。しかしながら、高いＳＮＲでは、残留雑音は、完全に不可聴とされ得る。実際に、ＶＱＯＳマッパモジュール４０６により提供される最小ゲイン下限は、雑音を不可聴とするのに必要な値より低くなり得る。結果として、ＶＱＯＳマッパモジュール４０６により提供される最小ゲイン下限を用いることにより、残留雑音がＲＮＴＬを下回るという目標を達成するために必要とされるより、多くの音声損失歪みをもたらし得る。そのような場合には、ＲＮＴＳ推定器モジュール４０８は、最小ゲイン下限を制限し、その抑制を控える。
【００７８】
ＲＮＴＬの選択は、システムの目的に依存する。ＲＮＴＬは、固定的若しくは適応的であるか、周波数依存若しくはスカラであるか、又は、較正時に計算されるか、任意の装置依存のパラメータ若しくはＡＰＩ（application  program  interface）を通じて設定可能である。いくつかの実施形態において、ＮＲＴＬは、各サブバンド信号に対して、同一である。ＲＮＴＬは、例えば、雑音成分が知覚できなくなるレベルか、主たる音響信号を取得するために用いられる、主たるマイク１０６の自己雑音レベルのエネルギー推定Pmsnを下回るレベルとして、定義され得る。自己雑音レベルのエネルギー推定は、特徴抽出器モジュール３０４によって、事前に較正され得るか、又は求められ得る。別の例として、ＲＮＴＬは、本明細書で説明される、雑音低減技術を実行するために用いられるシステム内の、内部ＡＧＣノイズゲート又はベースバンドノイズゲートのような、ある成分についてのノイズゲートより低くなり得る。
【００７９】
雑音成分を残留雑音目標レベルへと低減することは、いくつかの有益な効果をもたらす。第一に、残留雑音が「白色化」され（すなわち、時間とともに平滑化され、より一定の大きさのスペクトルを有する）、わずらわしく聞こえず、より快適雑音のように聞こえるようになる。第二に、不連続送信（ＤＴＸ；discontinuous  transmission）を有するコーデックによりエンコーディングする場合に、「白色化」による効果は、時間と共に、取り込まれる変調（modulation）を少なくする。そのコーデックが、時間と共に、大きく変調する残留雑音を受信した場合には、残留雑音のいくつかを、音声として誤って識別し、エンコーディングし得る。その結果、雑音の可聴な爆発音が、低減雑音信号へと加わる。時間の経過による、変調の低減は、信号をエンコードするために必要とされる、ＭＩＰＳの量を低減させる。このことは、電力を節約する。時間の経過による、変調の低減は、エンコードされた信号に対する、フレームごとのビットの量を少なくする。このことは、エンコードされた信号を送信するために必要とされる電力をも低減し、その信号を伝播させるネットワークの容量を効果的に増大させる。
【００８０】
図６は、例示的な抑制値を、異なるＶＱＯＳレベルに対するサブバンドＳＮＲの関数として示す図である。図６において、例示的な抑制値は、０．２ｋＨｚ、１ｋＨｚ及び５ｋＨｚの中央周波数をそれぞれ有するサブバンド信号に対して示される。例示的な抑制値は、残留雑音目標抑制値推定器モジュールからの出力として、最終ゲイン下限Glb(t,ω)の逆数となる。図６における、各プロットの、ＲＮＴＳとラベルの付された、傾斜のある破線は、各サブバンド信号の残留雑音を、既定の残留雑音目標レベルより小さくするために必要な最小抑制値を示す。かかる特定の例における残留雑音目標レベルのスペクトルは、フラットである。
【００８１】
実線は、残留雑音目標抑制値推定器モジュール４０８によって決定され、各サブバンド信号に対する実際の抑制値である。実線から伸びる、ＲＮＴＳとラベル付けされた線より上の破線は、ＲＮＴＳ推定器モジュール４０８によって課される、残留雑音目標レベルの制約がない場合の、各サブバンド信号に対する抑制値を表す。例えば、残留雑音目標レベルの制約がない場合には、示される例における抑制値は、ＶＱＯＳレベルが２で、ＳＮＲが２４ｄＢで、かつ、サブバンドの中央周波数が０．２ｋＨｚである場合に対して、略４８ｄＢとなる。反対に、残留雑音目標レベルの制約がある場合には、最終的な抑制値は、略２６ｄＢとなる。
【００８２】
図６において示されるように、高いＳＮＲ値の抑制値は、ＲＮＴＳ推定器モジュール４０８により課される残留雑音目標レベルに束縛される。適度なＳＮＲ値において、それぞれ、高い抑制値は、許容可能な音声損失歪みの閾値レベルに到達する前に、適用され得る。低いＳＮＲ値において、抑制値は、雑音低減によって取り込まれる音声損失歪みにより、大きく束縛されるため、抑制値は、相対的に小さくなる。
【００８３】
図７は、例示的な入力音声パワースペクトル７００、雑音パワースペクトル７１０及びＲＮＴＬ７２０に対する、複数のサブバンドにわたる、最終的なゲイン下限Glb(t,ω)を表す。示される例において、周波数f1における最終的なゲイン下限は、雑音パワー７１０をＲＮＴＬ７２０まで低減させるために必要となる値より、小さい抑制値に制限される。結果として、周波数f1における残留雑音パワーは、ＲＮＴＬ７２０を上回る。周波数f2における最終的なゲイン下限は、雑音パワー７１０の抑制値を、ＲＮＴＬ７２０まで下げる。従って、そのゲイン下限は、上述した技術を用いる、残留雑音目標抑制値推定器モジュール４０８により、制限される。周波数f3において、雑音パワー７１０は、ＲＮＴＬ７２０より小さい。従って、周波数f3において、最終的なゲイン下限は、1（unity）となり、抑制値は適用されず、雑音パワー７１０は変化しない。
【００８４】
図４に戻ると、ウィーナーフィルタモジュール４００からのウィーナーゲイン値は、任意のマスク平滑化モジュール４０２へとさらに提供される。マスク平滑化モジュール４０２は、ウィーナーゲイン値の時間平滑化を実行し、音楽雑音（musical  noise）を低減することを支援する。ウィーナーゲイン値は、俊敏に（例えば、あるフレームから次のフレームへと）変動し得る。そして、音声と雑音の推定値は、各フレーム間で、大きく変動し得る。従って、ウィーナーゲイン値のそのままの使用は、不自然な結果（例えば、不連続、ブリップ、過渡（transient）等）を生じ得る。従って、ウィーナーゲイン値を時間平滑化するために、任意のフィルタ平滑化が、マスク平滑化モジュール４０２において、実行されてもよい。
【００８５】
ゲイン調節器モジュール４１０は、制限あるいは下限と、平滑化されたウィーナーゲイン値と、残留雑音目標抑制値推定器モジュール４０８により提供されるゲイン下限とを保つ。これは、著しく音声を歪めないように、マスクを加減するためになされ、数学的に、以下のように表される。
【００８６】
【数９】
2013525843.tif 000012
各サブバンド信号の最終的なゲイン下限は、ゲイン調節器モジュール４１０から、調節器モジュール３１２へと渡される。上述したように、調節器モジュール３１２は、（主たる音響信号の、ＮＰＮＳモジュール３１０により出力される）雑音が減ぜられたサブバンド信号により、ゲイン下限を乗算する。乗算処理は、主たる音響信号のサブバンド信号内の雑音成分のエネルギーレベルを低減し、その結果、雑音低減をもたらす。
【００８７】
図８は、音響信号の雑音低減を実行する例示的な方法を表すフローチャートである。図８の各ステップは、任意の順序で実行されることができる。また、図８の方法は、例示されるより、追加のステップを含んでもよいし、より少ないステップであってもよい。
【００８８】
ステップ８０２において、音響信号が、主たるマイク１０６と補助的なマイク１０８により、受信される。例示的な実施形態において、音響信号は、処理のために、デジタル形式へと変換される。いくつかの実施形態において、音響信号は、二つより多い、あるいは二つより少ないマイクから、受信される。
【００８９】
ステップ８０４において、音響信号についての周波数分析が実行され、音響信号を、サブバンド信号へと分離する。周波数分析は、フィルタバンクか、あるいは、例えば離散フーリエ変換若しくは離散コサイン変換を利用することができる。
【００９０】
ステップ８０６において、主たるマイクと補助的なマイクの両方で受信された音響信号のサブバンド信号のエネルギースペクトルが、計算される。エネルギー推定が計算されると、ステップ８０８において、マイク間のレベル差（ＩＬＤ）が計算される。一実施形態において、ＩＬＤは、主たる音響信号と、補助的な音響信号の両方のエネルギー推定（すなわち、エネルギースペクトル）に基づいて、計算される。
【００９１】
ステップ８１０において、音声成分及び雑音成分は、適応的に、分類される。ステップ８１０は、受信されたエネルギー推定を分析し、可能であれば、音声を、音響信号の雑音と区別するために、ＩＬＤを分析する。
【００９２】
ステップ８１２において、サブバンド信号の雑音スペクトルが、決定される。複数の実施形態において、各サブバンド信号の雑音推定は、主たるマイク１０６において受信される、主たる音響信号に基づく。雑音推定は、主たるマイク１０６から受信された、主たる音響信号のサブバンド信号に対する現在のエネルギー推定と、以前に計算された雑音推定に基づき得る。雑音推定を決定する際に、例示的な実施形態に従い、ＩＤＬが増加したときに、雑音推定を凍結してもよいし、あるいは、そのペースを落としてもよい。
【００９３】
ステップ８１３において、雑音消去が実行される。ステップ８１４において、雑音抑制が実行される。雑音抑制処理については、図９において、以下でより詳細に説明する。ステップ８１６において、雑音抑制済みの音響信号は、ユーザへと出力され得る。いくつかの実施形態において、デジタル音響信号は、出力のために、アナログ信号へと変換される。出力は、例えば、スピーカ、イヤホン又は他の同様の装置を用いて、なされ得る。
【００９４】
図９は、音響信号の雑音抑制を実行する例示的な方法を表すフローチャートである。図９の各ステップは、任意の順序で実行されてもよい。また、図９の方法は、例示されるより、追加のステップを含んでもよいし、より少ないステップで実行されてもよい。
【００９５】
ステップ９００において、サブバンド信号のウィーナフィルタゲインが、計算される。ステップ９０１において、主たる音響信号の各サブバンド信号の、推定信号対雑音比が計算される。ＳＮＲは、長期ピーク音声エネルギーの瞬間的な雑音エネルギーに対する割合として表される、瞬間のＳＮＲであってもよい。
【００９６】
ステップ９０２において、各サブバンド信号の最小ゲイン下限
【００９７】
【数１０】
2013525843.tif 000013
は、各サブバンド信号の、推測ＳＮＲに基づいて決定される。最小ゲイン下限は、取り込まれた知覚による音声損失歪みが、許容可能な閾値レベル未満となるように、決定される。許容可能な閾値レベルは、指定されたＶＱＯＳレベルによって決定されるか、他のいくつかの基準に基づいて、決定され得る。
【００９８】
ステップ９０４において、最終的なゲイン下限は、各サブバンド信号に対して、決定される。最終的なゲイン下限は、最小ゲイン下限を制限することにより、決定され得る。最終的なゲイン下限は、サブバンド信号における雑音成分のエネルギーレベルが、少なくとも、残留雑音目標レベルまで低減されるという制約を受ける。
【００９９】
ステップ９０６において、各サブバンド信号に対する、最終的なゲイン下限の最大値と、ウィーナフィルタゲインは、ＮＰＮＳモジュール３１０により出力される、主たる音響信号についての、対応する、雑音の減ぜられたサブバンド信号により、乗算される。乗算により、雑音の減ぜられたサブバンド信号における、雑音のレベルを低減し、雑音低減をもたらす。
【０１００】
ステップ９０８において、主たる音響信号の、マスクされたサブバンド信号は、時間領域へと変換される。例示的な変換技術は、マスクされたサブバンド信号を合成するために、蝸牛チャンネルの逆（inverse）周波数を、マスクされたサブバンド信号へと適用する。ステップ９０８において、快適雑音を適用するような、追加の後処理が実行されてもよい。いくつかの実施形態において、快適雑音は、加算器を用いて、適用される。
【０１０１】
本明細書で説明された雑音低減技術は、サブバンド信号に乗算されるゲインマスクとして、低減値を実現し、サブバンド信号の雑音成分のエネルギーレベルを抑制する。かかる処理は、乗法性雑音抑制とよばれる。実施形態において、本明細書で説明された雑音低減技術は、さらに、あるいは代替的に、減法性（subtractive）雑音消去処理において、利用されてもよい。そのような場合には、低減値は、例えば、任意に雑音消去されたサブバンド信号と、元の雑音のある主たるサブバンド信号との間のクロスフェード値を制御することにより、サブバンド信号において実行される雑音消去の量に対する下限を提供するために、求められる。減算性雑音消去処理は、例えば、ＮＰＮＳモジュール３１０において、実行され得る。
【０１０２】
図３、４に関して説明されたものを含む、上述したモジュールは、コンピュータ読取可能な媒体（例えば、コンピュータ読取可能な媒体）のような、記憶媒体に保管される命令として、含まれ得る。これらの命令は、プロセッサ２０２によって読み出され、実行され、上述した機能を実行することができる。いくつかの命令の例は、ソフトウェア、プログラムコード及びファームウェアを含む。記憶媒体の例は、メモリ装置及び集積回路を含む。
【０１０３】
本発明は、上述した、好ましい実施形態及び実施例への参照によって開示されるが、かかる例は、例示的なものであり、限定する意図をもってなされたものではない点に留意する。修正及び組み合わせは、容易に当業者の頭に思い浮かぶであろうことが予期される。これらの修正及び組み合わせは、本発明の精神及び以下のクレームの範囲内にある。
【図１】
2013525843.tif 000014
【図２】
2013525843.tif 000015
【図３】
2013525843.tif 000016
【図４】
2013525843.tif 000017
【図５】
2013525843.tif 000018
【図６】
2013525843.tif 000019
【図７】
2013525843.tif 000020
【図８】
2013525843.tif 000021
【図９】
2013525843.tif 000022
【国際調査報告】
2013525843.tif 000023