(57)【要約】【課題】マイクロホンによって生成されるマイクロホン信号を処理するためのシステムを提供すること。【解決手段】マイクロホンによって生成されるマイクロホン信号を処理するためのシステムであって、受信されるマイクロホン信号に基づいてエコー補償された信号を出力するために、該マイクロホン信号を受信し、かつエコー補償するように構成されているエコー補償フィルタリング手段と、該エコー補償された信号を受信および解析することによってその場にいる話者の発話行為を検出し、かつ検出信号を出力するように構成されている発話行為検出手段と、出力信号を出力するために、該検出信号を受信し、かつ該検出信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている残留エコー抑制手段とを備える、システム。【選択図】図１
2007306546.tif 000002
【特許請求の範囲】
【請求項１】
マイクロホンによって生成されるマイクロホン信号におけるエコーを減少する方法であって、
エコー補償された信号を生成するために、該マイクロホン信号から推定されたエコー信号を減算することによって該マイクロホン信号をエコー補償するステップと、
該マイクロホン信号および該推定されたエコー信号に基づいてその場にいる話者の発話行為を検出するステップと、
出力信号を得るために、該検出される発話行為に基づいて該エコー補償された信号における残留エコーを抑制するステップと
を包含する、方法。
【請求項２】
前記マイクロホン信号が、サブ帯域マイクロホン信号に変換され、前記推定されたエコー信号が、推定されたサブ帯域エコー信号を含み、かつ前記エコー補償、前記発話行為の検出、および前記残留エコーの抑制が、サブ帯域レジームにおいて行われる、請求項１に記載の方法。
【請求項３】
前記その場にいる話者の前記発話行為を前記検出するステップが、
前記マイクロホンサブ帯域信号を周波数において、特に、一次再帰型フィルタリングによって平滑化するステップと、
前記推定されたサブ帯域エコー信号を周波数において、特に、一次再帰型フィルタリングによって平滑化するステップと、
サブ帯域の所定の範囲の各サブ帯域に対して、該平滑化されたマイクロホンサブ帯域信号と該平滑化された推定されたサブ帯域エコー信号との間の距離を決定するステップと
を含み、
前記エコー補償された信号における前記残留エコーを前記抑制するステップが、該サブ帯域の所定の範囲の各サブ帯域における該決定された距離に基づいている、請求項２に記載の方法。
【請求項４】
前記マイクロホン信号に存在する背景雑音のパワー密度スペクトルを推定するステップをさらに包含し、
前記マイクロホンサブ帯域信号を周波数において平滑化するステップが、該マイクロホンサブ帯域信号の平滑化されたパワー密度スペクトルを得るためにサブ帯域マイクロホン信号のパワー密度スペクトルを再帰型フィルタリングすることを含み、
前記推定されたサブ帯域エコー信号を周波数において平滑化するステップが、該推定されたサブ帯域エコー信号の平滑化されたパワー密度スペクトルを得るために該推定されたサブ帯域エコー信号のパワー密度スペクトルを再帰型フィルタリングすることを含み、
各サブ帯域において、該平滑化されたマイクロホンサブ帯域信号と該平滑化されたサブ帯域エコー信号との間の距離を決定するステップが、
修正されたマイクロホンパワー密度スペクトルを得るために、各サブ帯域において、第１の所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該マイクロホンサブ帯域信号の該平滑化されたパワー密度スペクトルとの最大値を決定することと、
修正されたエコーパワー密度スペクトルを得るために、各サブ帯域において、第２の所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該推定されたサブ帯域エコー信号の該平滑化されたパワー密度スペクトルとの最大値を決定することと、
スペクトル距離測定を得るために、該修正されたマイクロホンパワー密度スペクトルと該修正されたエコーパワー密度スペクトルを比較することと
を含み、
前記エコー補償されたサブ帯域信号における前記残留エコーを前記抑制するステップが、該スペクトル距離測定に基づいている、請求項３に記載の方法。
【請求項５】
前記エコー補償された信号の前記パワー密度を推定するステップと、
前記残留エコーの前記パワー密度を推定するステップと
をさらに包含し、
該エコー補償された信号における該残留エコーを前記抑制するステップが、該エコー補償された信号の該推定されたパワー密度および該残留エコーの該推定されたパワー密度に基づいている、請求項１〜４のうちのいずれか一項に記載の方法。
【請求項６】
前記エコー補償された信号における前記残留エコーを前記抑制するステップが、フィルタ特性
【数１】
2007306546.tif 000072
を有するフィルタによって該エコー補償された信号をフィルタリングすることを含み、
ここで、サブ帯域μの中間周波数がΩμによって示され、
【数２】
2007306546.tif 000073
がそれぞれ該エコー補償された信号の前記推定されたパワー密度および該残留エコーの前記推定されたパワー密度であり、ｎが離散時間指数であり、かつβ（ｎ）が前記検出される発話行為に依存するフィルタパラメータである、請求項５に記載の方法。
【請求項７】
前記エコー補償された信号における前記残留エコーを前記抑制するステップが、フィルタ特性
【数３】
2007306546.tif 000074
を有するフィルタによって該エコー補償された信号をフィルタリングすることを含み、
ここで、
【数４】
2007306546.tif 000075
が前記検出される発話行為に対する測定であり、かつＣｔｈｒｅｓが所定のしきい値である、請求項５に記載の方法。
【請求項８】
前記フィルタ特性がｍａｘ［Ｇｍｉｎ，Ｇ（ｅｊΩμ，ｎ）］によって制限され、ここでＧｍｉｎが抑制の所定の度合いに対応する、請求項６または７に記載の方法。
【請求項９】
前記マイクロホン信号に存在する前記出力信号および前記背景雑音の前記パワー密度を決定するステップと、
該出力信号の該パワー密度を該背景雑音の該パワー密度と比較するステップと、
該出力信号の該パワー密度が該背景雑音の該パワー密度を超えた場合、遠隔側に該出力信号を送信するステップと、
該背景雑音の該パワー密度が該出力信号の該パワー密度を超えた場合、該遠隔側に人為的雑音を送信するステップと
をさらに包含する、請求項１〜８のうちのいずれか一項に記載の方法。
【請求項１０】
請求項１〜９のうちのいずれか一項に記載の方法のステップを実行するためのコンピュータ実行可能命令を有する１つ以上のコンピュータ読取可能媒体を備える、コンピュータプログラム製品。
【請求項１１】
マイクロホンによって生成されるマイクロホン信号を処理するためのシステムであって、
受信されるマイクロホン信号に基づいてエコー補償された信号を出力するために、該マイクロホン信号を受信し、かつエコー補償するように構成されているエコー補償フィルタリング手段と、
該エコー補償された信号を受信および解析することによってその場にいる話者の発話行為を検出し、かつ検出信号を出力するように構成されている発話行為検出手段と、
出力信号を出力するために、該検出信号を受信し、かつ該検出信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている残留エコー抑制手段と
を備える、システム。
【請求項１２】
前記マイクロホン信号、および前記マイクロホンと同じ部屋に設置されている少なくとも１つの拡声器によって出力される他のオーディオ信号を変換するように構成されているフィルタバンクをさらに備える、請求項１１に記載のシステム。
【請求項１３】
前記マイクロホン信号に存在する背景雑音の背景雑音パワースペクトルを推定するように構成されている背景雑音推定手段をさらに備え、
前記発話行為検出手段が、
マイクロホンサブ帯域信号の平滑化されたパワー密度スペクトルを得るために、サブ帯域マイクロホン信号の該パワー密度スペクトルを平滑化するように構成されている再帰型フィルタリング手段と、
推定されたサブ帯域エコー信号の平滑化されたパワー密度スペクトルを得るために、該推定されたサブ帯域エコー信号の該パワー密度スペクトルを平滑化するように構成されている再帰型フィルタリング手段と、
各サブ帯域において、所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該マイクロホンサブ帯域信号の該平滑化されたパワー密度スペクトルとの最大値を決定し、かつ該決定された最大値の修正されたマイクロホンパワー密度スペクトルを生成するように構成されている決定手段と、
各サブ帯域において、該所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該推定されたサブ帯域エコー信号の該平滑化されたパワー密度スペクトルとの最大値を決定し、かつ該決定された最大値の修正されたエコーパワー密度スペクトルを生成するように構成されている決定手段と、
該修正されたマイクロホンパワー密度スペクトルと該修正されたエコーパワー密度スペクトルを比較し、かつスペクトル距離信号を生成するように構成されている比較手段と
を含み、
前記残留エコー抑制手段が、該スペクトル距離信号を受信し、かつ該スペクトル距離信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている、請求項１２に記載のシステム。
【請求項１４】
前記発話行為検出手段が、前記エコー補償された信号のパワー密度および該エコー補償された信号に存在する残留エコーのパワー密度を推定するように構成されていて、
前記残留エコー抑制手段が、該エコー補償された信号の該推定されたパワー密度および該残留エコーの該推定されたパワー密度に基づいて該エコー補償された信号における該残留エコーを抑制するように構成されている、請求項１１〜１３のうちのいずれか一項に記載のシステム。
【請求項１５】
前記残留エコー抑制手段が、フィルタ特性
【数５】
2007306546.tif 000076
を有するフィルタリング手段を含み、
ここで、サブ帯域μの中間周波数がΩμによって示され、
【数６】
2007306546.tif 000077
が前記エコー補償された信号の前記推定されたパワー密度および前記残留エコーの前記推定されたパワー密度であり、ｎが離散時間指数であり、かつβ（ｎ）が前記検出される発話行為に依存するフィルタパラメータである、請求項１１〜１４のうちのいずれか一項に記載のシステム。
【請求項１６】
前記残留エコー抑制手段が、フィルタ特性
【数７】
2007306546.tif 000078
を有するフィルタリング手段を含み、
ここで、
【数８】
2007306546.tif 000079
が前記検出される発話行為に対する測定であり、かつＣｔｈｒｅｓが所定のしきい値である、請求項１１〜１５のうちのいずれか一項に記載のシステム。
【請求項１７】
人為的雑音を生成するように構成されているノイズ生成器と、
前記出力信号および前記マイクロホン信号に存在する背景雑音の前記パワー密度を決定するように構成されている手段と、
該出力信号の該パワー密度を該背景雑音の該パワー密度と比較するように構成されている手段と、
該出力信号の該パワー密度が該背景雑音の該パワー密度を超えた場合、遠隔側に該出力信号を送信させ、かつ該背景雑音の該パワー密度が該出力信号の該パワー密度を超えた場合、該生成された人為的雑音を送信させるように構成されている制御手段と
をさらに備える、請求項１１〜１６のうちのいずれか一項に記載のシステム。
【請求項１８】
請求項１１〜１７のうちのいずれか一項に記載のシステムを備える、ハンズフリー電話セット。
【請求項１９】
少なくとも１つのマイクロホン、少なくとも１つの拡声器、および請求項１１〜１７のうちのいずれか一項に記載のシステムまたは請求項１８に記載のハンズフリー電話セットを備える、車両通信システム。
【請求項２０】
請求項１１〜１７のうちのいずれか一項に記載のシステムを備える、スピーチ認識システムまたはスピーチダイアログシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理のためのシステムおよび方法に関し、より詳細には、音響エコー抑制を用いるスピーチ信号処理に関する。本発明は、特に、時間依存性であるインパルス応答を示す拡声器−部屋−マイクロホン（ｌｏｕｄｓｐｅａｋｅｒ−ｒｏｏｍ−ｍｉｃｒｏｐｈｏｎｅ）システムにおけるエコー抑制に関する。
【背景技術】
【０００２】
エコー補償は、所望の信号（例えば、スピーチ認識システムまたはハンズフリーセットユーザのスピーチ信号）のみではなく、同じ通信システムの拡声器によって出力される妨害信号をも検出するマイクロホンを含む通信システムにおけるオーディオ信号処理の基本的問題である。ハンズフリーセットの場合、例えば、遠隔側から受信され、近端における拡声器によって出力される信号が、近端におけるマイクロホンによってシステム内にて再度送り込まれ、かつ遠隔側に送り返されることは望まれていない。音響エコーがかなり減衰されないか、または実質的に除去されない場合、拡声器によって出力されるマイクロホンによる信号の検出は、通信の完全な破壊も引き起こし得る迷惑な音響エコーという結果になり得る。
【０００３】
騒々しい環境にて用いられるスピーチ認識システムまたはスピーチダイアログシステムの場合、同様の問題が生じる。ユーザのスピーチ信号と異なる信号が認識部に供給されることは阻止されるべきである。スピーチダイアログシステムのマイクロホンは、しかしながら、例えば、スピーチダイアログシステムによって出力される合成されたスピーチ信号、もしくはＣＤ、ＤＶＤプレーヤまたはラジオのようなオーディオデバイスによって再生されるオーディオ信号を表す拡声器出力を検出し得る。これらの信号がマイクロホン信号にて十分に抑制されなかった場合、ユーザの発声を表す所望の信号は、適切なスピーチ認識を不可能にする度合いまで劣化され得る。
【０００４】
例えば、ハンドルを操縦する一方、ハンズフリー電話セットによって遠隔側と通信するハンズフリーセットを用いる運転手のように、遠隔の通信側との通信のためにマイクロホンを用いる話者が移動している場合、エコー抑制は特に困難である。この場合、拡声器−部屋−マイクロホン（ＬＲＭ）システムのインパルス応答は時変である。通常、残留エコーは、遠隔の通信側に提供される処理されたオーディオ信号に依然として存在する。これらの残留エコーは、例えば、ハンズフリー電話システムにおけるいわゆるエコーブリップという結果となり、それによって、特に現行の移動電話接続の大きな遅延によってマイクロホン信号をかなり破壊する。
【０００５】
近年ではエコー補償に対するいくつかの方法が提案され、かつ通信システムにてインプリメントされている。適合フィルタは、適合有限インパルス応答（ＦＩＲ）フィルタによってＬＲＭシステムの伝達関数をモデリングするために用いられる音響信号のエコー補償のために利用されている（例えば、非特許文献１を参照）。複数の拡声器信号が多数の拡声器によって別々に出力された場合、１つのフィルタが各拡声器に対して利用されなければならない。
【０００６】
現在のエコー補償処理においては、適合フィルタは、マイクロホン信号から減算され得るエコー信号に対する推定を生成するためにＬＲＭシステムのインパルス応答をモデリングするために用いられている。エコー補償フィルタリング手段の適合は通常、正規化最小平均二乗（ＮＬＭＳ）アルゴリズムによって行われる。
【０００７】
しかしながら、エコー補償は、かなり時間がかかり、かつ処理器強化手順であって、通常はＬＲＭシステムのインパルス応答の一部分に制限されている。従って、エコー補償はしばしば、適切な時変インパルス応答を用いて推定されたエコー信号の減算の後にマイクロホン信号をフィルタリングすることによる残留エコーの抑制によって補われる。この補助フィルタリングは通常、制限されたサブ帯域またはウィーナフィルタの何らかのバージョンによって制限された高速フーリエ変換（ＦＦＴ）範囲にて実行される。
【非特許文献１】Ｅ．ＨａｎｓｌｅｒおよびＧ．Ｓｃｈｍｉｄｔ，「Ａｃｏｕｓｔｉｃ  Ｅｃｈｏ  ａｎｄ  Ｎｏｉｓｅ  Ｃｏｎｔｒｏｌ」，Ｊｏｈｎ  Ｗｉｌｅｙ＆Ｓｏｎｓ，Ｎｅｗ  Ｙｏｒｋ，２００４
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、現行のエコー減少処理は、特に、時変インパルス応答を示すＬＲＭシステムにおいて依然として信頼性がない。従って、近年におけるエンジニアリング処理に関らず、オーディオ信号、特に、通信システム（例えば、ハンズフリー電話セットおよびスピーチダイアログシステム）におけるスピーチ信号のエコー減少を満たすことにまだ問題がある。
【課題を解決するための手段】
【０００９】
上記の問題は、マイクロホン信号の品質を強化するための請求項１に記載の方法によって解決され、特に、マイクロホンによって生成されるマイクロホン信号におけるエコーを減少する方法であって、
エコー補償された信号を生成するために、該マイクロホン信号から推定されたエコー信号を減算することによって該マイクロホン信号をエコー補償するステップと、
該マイクロホン信号および該推定されたエコー信号に基づいてその場にいる話者の発話行為を検出するステップと、
出力信号を得るために、該検出される発話行為に基づいて該エコー補償された信号における残留エコーを抑制するステップと
を包含する、方法によって解決される。
【００１０】
エコー補償は、インパルス応答による拡声器−部屋−マイクロホンシステム転送をモデリングする適合エコー補償フィルタリング手段によって行われる。マイクロホン信号から減算される推定されたエコー
【００１１】
【数９】
2007306546.tif 000003
を得るために、ｎが離散時間指数である、
【００１２】
【数１０】
2007306546.tif 000004
によって与えられるインパルス応答は、オーディオ信号ｘ（ｎ）と畳み込まれる。このマイクロホン信号は一般に、例えば、遠隔の話者から受信されるスピーチ信号に基づく拡声器出力から結果として生じるエコーに加えて、マイクロホンを用いるその場にいる話者からのスピーチ信号および背景雑音を含む。適合エコー補償フィルタリング手段の適合は、正規化最小平均二乗（ＮＬＭＳ）アルゴリズムによって行われ得る。
【００１３】
エコー補償の後、一部の残留エコーは依然として、エコー補償されたマイクロホン信号に存在する。本発明に従うと、この残留エコーは、通信のためにマイクロホンを用いるその場にいる話者の発話行為の検出の結果によって抑制される。
【００１４】
発話行為は、マイクロホン信号および推定されたエコー信号を解析することによって検出される。例えば、その場にいる話者が静かな場合、比較的強い残留エコー抑制が、残留エコー抑制手段によって行われ得る。逆に、その場にいる話者の発声が検出された場合、残留エコー抑制手段の異なる特性が好まれる。従って、オーディオ信号、特に通信システム（例えば、ハンズフリー電話セット、スピーチ認識システムおよびスピーチダイアログシステム）におけるスピーチ信号の非常に満足なエコー抑制が達成される。
【００１５】
本明細書中に開示される信号処理が、サブ帯域またはフーリエ変換レジームにおいて行われ得ることに留意したい。本発明の局面の以下の説明において、サブ帯域レジームにおける信号処理が説明される。フーリエ変換の後のフーリエレジームにおける対応する処理が、代替的に行われ得ることが理解される。
【００１６】
サブ帯域レジームにおける処理に対して、マイクロホン信号は、フィルタバンクによってサブ帯域マイクロホン信号に変換され、かつ推定されたエコー信号は、推定されたサブ帯域エコー信号を含む。この場合、エコー補償、発話行為の検出（話者が静かであるか、または話しているか）および残留エコーの抑制は、サブ帯域レジームにおいて行われる。サブ帯域における残留エコーの抑制の後、合成フィルタバンクは、例えば、出力サブ帯域信号から、遠隔の通信側に送信される所望の出力信号を合成するために用いられ得る。
【００１７】
本明細書中に開示される方法の一実施形態に従うと、その場にいる話者の発話行為を検出するステップは、
マイクロホンサブ帯域信号を周波数において、特に、一次再帰型フィルタリングによって平滑化するステップと、
推定されたサブ帯域エコー信号を周波数において、特に、一次再帰型フィルタリングによって平滑化するステップと、
サブ帯域の所定の範囲の各サブ帯域に対して、該平滑化されたマイクロホンサブ帯域信号と該平滑化された推定されたサブ帯域エコー信号との間の距離を決定するステップと
を含み、
エコー補償された信号における残留エコーを抑制するステップは、該サブ帯域の所定の範囲の各サブ帯域における該決定された距離に基づいている。
【００１８】
本実施形態に従うと、各サブ帯域
【００１９】
【数１１】
2007306546.tif 000005
におけるエコー信号に対する推定とともに、サブ帯域マイクロホン信号Ｙ（ｅｊΩμ，ｎ）は、サブ帯域の所定の範囲Ｍ  μ＝０，Ｍ−１に亘って、
【００２０】
【数１２】
2007306546.tif 000006
によって周波数において平滑化される。ここで、Ωμは、サブ帯域μの中間周波数を示し、かつ「ｓｍｏｏｔｈ」は何らかの適切な平滑関数を示している。サブ帯域の所定の範囲は、好ましくは、２００Ｈｚから３５００Ｈｚまでを網羅し得る。この範囲は、一般に、スピーチ信号のかなりのパワーを示す。例えば、サブ帯域マイクロホン信号および推定されたエコーサブ帯域信号の大きさまたは大きさの二乗は、周波数範囲において正（Ω０からΩＭ−１まで）および負（ΩＭ−１からΩ０まで）の方向の両方において平滑化され得る。
【００２１】
サブ帯域の所定の範囲の各サブ帯域において、何らかの距離測定または平滑化されたマイクロホンサブ帯域信号と推定されたエコーサブ帯域信号との差（例えば、それぞれの大きさの差）に依存してエコー補償された信号における残留エコーを抑制することは、強化された品質を有する出力信号を得るために検出される発話行為に基づいて残留エコーを抑制するための効率的および満足な様式を提供する。
【００２２】
マイクロホン信号におけるエコーを減少する本発明の方法の有利な一実施形態に従うと、マイクロホン信号に存在する一部の背景雑音のパワー密度スペクトルがサブ帯域において推定され、
マイクロホンサブ帯域信号を周波数において平滑化するステップは、該マイクロホンサブ帯域信号の平滑化されたパワー密度スペクトルを得るためにサブ帯域マイクロホン信号のパワー密度スペクトルを再帰型フィルタリングすることを含み、
推定されたサブ帯域エコー信号を周波数において平滑化するステップは、該推定されたサブ帯域エコー信号の平滑化されたパワー密度スペクトルを得るために該推定されたサブ帯域エコー信号のパワー密度スペクトルを再帰型フィルタリングすることを含み、
各サブ帯域において、該平滑化されたマイクロホンサブ帯域信号と該平滑化されたサブ帯域エコー信号との間の距離を決定するステップは、
修正されたマイクロホンパワー密度スペクトルを得るために、各サブ帯域において、第１の所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該マイクロホンサブ帯域信号の該平滑化されたパワー密度スペクトルとの最大値を決定することと、
修正されたエコーパワー密度スペクトルを得るために、各サブ帯域において、第１と同じになり得る第２の所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該推定されたサブ帯域エコー信号の該平滑化されたパワー密度スペクトルとの最大値を決定することと、
スペクトル距離測定を得るために、該修正されたマイクロホンパワー密度スペクトルと該修正されたエコーパワー密度スペクトルを比較することと
を含み、
エコー補償されたサブ帯域信号における残留エコーを抑制するステップは、該スペクトル距離測定に基づいている。
【００２３】
本実施形態においては、平滑化は、
【００２４】
【数１３】
2007306546.tif 000007
によって行われる。
【００２５】
【数１４】
2007306546.tif 000008
は、推定されたサブ帯域エコー信号の平滑化されたパワー密度スペクトルである。サブ帯域マイクロホン信号Ｙ（ｅｊΩμ，ｎ）の平滑化は、サブ帯域マイクロホン信号の平滑化されたパワー密度スペクトルＳｙｙ，ｍｏｄ（Ωμ，ｎ）を得るために状況に応じて実行される。例えば、１１０２５ＨｚおよびＭ＝２５６サブ帯域の典型的なサンプリングレートに対して、平滑パラメータλＦｒｅが、０．２≦λＦｒｅ≦０．８として有利に選ばれることを、実験は示した。
【００２６】
平滑化処理の後、平滑化されたスペクトルと背景雑音のパワー密度スペクトルとのそれぞれの最大値（サブ帯域における）は、修正されたマイクロホンパワー密度スペクトルおよび修正されたエコーパワー密度スペクトルを得るために
【００２７】
【数１５】
2007306546.tif 000009
によってサブ帯域に対して計算される。
【００２８】
雑音過大推定因子Ｋｂが、例えば、２≦Ｋｂ≦１６として選ばれ得る事を、実験は示した。異なる雑音過大推定因子が、修正されたマイクロホンパワー密度および修正されたエコーパワー密度に対して選ばれることが好まれ得る。修正されたスペクトルの比較は、残留エコーの抑制の制御ために有利に用いられ得る何らかのスペクトル距離測定を提供する。結果的に、以前に知られていないエコー減少を用いる出力信号が達成され得る。本実施形態の方法は、特に、時変拡声器−部屋−マイクロホン（ＬＲＭ）システムにおけるエコー減少に対して信頼性があって効率的であることを証明した。修正されたスペクトルの比較に対する特定な一例は、以下の実施形態の詳細な説明に示される。
【００２９】
本発明の方法の一例に従うと、エコー補償された信号のパワー密度の推定および残留エコーのパワー密度の推定が行われる。この場合、エコー補償された信号における残留エコーの抑制は、エコー補償された信号の推定されたパワー密度および残留エコーの推定されたパワー密度に基づいている。パワー密度は、それぞれの信号の大きさの二乗によって示される。
【００３０】
例えば、エコー補償された信号の推定されたパワー密度が残留エコーの推定されたパワー密度を大きく超えた場合、残留エコーの抑制は、既に了解性のあるマイクロホン信号をあまり修正しないように非常に弱々しくなり得る。逆に、残留エコーの推定されたパワー密度がエコー補償された信号の推定されたパワー密度を超えた場合、エコー補償された信号のよりアグレッシブ（ａｇｇｒｅｓｓｉｖｅ）なフィルタリングが必要とされる。
【００３１】
エコー補償された信号における残留エコーの抑制は、フィルタ特性（フィルタ応答）
【００３２】
【数１６】
2007306546.tif 000010
を有するフィルタによって該エコー補償された信号をフィルタリングすることを含み、
ここで、
【００３３】
【数１７】
2007306546.tif 000011
は該エコー補償された信号の推定されたパワー密度および該残留エコーの推定されたパワー密度を示し、かつβ（ｎ）は検出される発話行為に依存するフィルタパラメータである。例えば、何らかの所定の検出しきい値を超えて、上述したようにスペクトル距離測定によって測定される発話行為が検出された場合、β（ｎ）は高く（例えば、約β（ｎ）＝１０００）、そうでない場合、β（ｎ）は低い（例えば、β（ｎ）＝１）。特に、β（ｎ）は時変ＬＲＭシステムを説明する時間依存パラメータである。
【００３４】
ある者は、Ｇｍｉｎ、すなわち
【００３５】
【数１８】
2007306546.tif 000012
によって与えられる所定の値に抑制を制限することも好み得る。
【００３６】
示されるフィルタ特性が、遠隔の通信側への送信の前に品質が改良されるマイクロホン信号を生成するマイクロホンを用いるその場にいる話者の検出される発話行為に依存して既にエコー補償されたマイクロホン信号における残留エコーを抑制することにおいて非常に効率的であることを、実験は証明した。
【００３７】
エコー補償された信号における残留エコーを抑制するためのエコー補償された信号のより効率的であるが、より複雑であるフィルタリングに従うと、フィルタ特性は、
【００３８】
【数１９】
2007306546.tif 000013
として選ばれ得る。ここで、
【００３９】
【数２０】
2007306546.tif 000014
は検出される発話行為に対する測定であり、Ｃｔｈｒｅｓは所定のしきい値である。例えば、
【００４０】
【数２１】
2007306546.tif 000015
は時間平均されたスペクトル距離測定になり得る。再度、上述されたように、抑制は、所定の値Ｇｍｉｎに制限され得る。
【００４１】
本発明の方法のさらなる例においては、上述されたようなエコー補償およびエコー抑制処理の後の出力信号のパワー密度およびマイクロホン信号に存在する背景雑音のパワー密度は決定され、かつ比較される。背景雑音のパワー密度が出力信号のパワー密度を超えた場合、遠隔側に通常送信され得る出力信号の代わりに、人為的雑音（いわゆる、快適雑音）が遠隔の通信側に送信される。これによって、残留エコー抑制が、遠隔の通信側によって受信される背景雑音レベルにおける迷惑な急激な変化という結果になる、マイクロホンによって検出される背景雑音をも抑制することが回避される。
【００４２】
本発明は、上述された例のうちの１つに従う本明細書中に開示される方法のステップを実行するためのコンピュータ実行可能命令を有する１つ以上のコンピュータ読取可能媒体を備える、コンピュータプログラム製品も提供する。
【００４３】
上述の問題は、請求項１１に記載のマイクロホンによって生成されるマイクロホン信号を処理するためのシステムであって、
受信されるマイクロホン信号に基づいてエコー補償された信号を出力するために、該マイクロホン信号を受信し、かつエコー補償するように構成されているエコー補償フィルタリング手段と、
該エコー補償された信号を受信および解析することによってその場にいる話者の発話行為を検出し、かつ発話検出の結果に従って検出信号を出力するように構成されている発話行為検出手段と、
残留エコーを抑制し、かつ出力信号を出力するために、該検出信号を受信し、かつ該検出信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている残留エコー抑制手段と
を備える、システムによっても解決される。
【００４４】
システムは、マイクロホン信号、およびマイクロホンと同じ部屋に設置されている少なくとも１つの拡声器によって出力される他のオーディオ信号を変換するように構成されているフィルタバンク、ならびにマイクロホン信号および他のオーディオ信号をフーリエ変換するように構成されているフーリエ変換手段をさらに備える。
【００４５】
一実施形態に従うと、本明細書中に開示されるシステムは、マイクロホン信号に存在する背景雑音の背景雑音パワースペクトルを推定するように構成されている背景雑音推定手段をさらに備え、
発話行為検出手段は、
マイクロホンサブ帯域信号の平滑化されたパワー密度スペクトルを得るために、サブ帯域マイクロホン信号の該パワー密度スペクトルを平滑化するように構成されている再帰型フィルタリング手段と、
推定されたサブ帯域エコー信号の平滑化されたパワー密度スペクトルを得るために、該推定されたサブ帯域エコー信号の該パワー密度スペクトルを平滑化するように構成されている再帰型フィルタリング手段と、
各サブ帯域において、所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該マイクロホンサブ帯域信号の該平滑化されたパワー密度スペクトルとの最大値を決定し、かつ該決定された最大値の修正されたマイクロホンパワー密度スペクトルを生成するように構成されている決定手段と、
各サブ帯域において、該所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該推定されたサブ帯域エコー信号の該平滑化されたパワー密度スペクトルとの最大値を決定し、かつ該決定された最大値の修正されたエコーパワー密度スペクトルを生成するように構成されている決定手段と、
該修正されたマイクロホンパワー密度スペクトルと該修正されたエコーパワー密度スペクトルを比較し、かつスペクトル距離信号を生成するように構成されている比較手段と
を含み、
残留エコー抑制手段は、該スペクトル距離信号を受信し、かつ該スペクトル距離信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている。
【００４６】
本発明のシステムの上述の例においては、発話行為検出手段は、エコー補償された信号のパワー密度および該エコー補償された信号に存在する残留エコーのパワー密度を推定するように構成され得、かつ残留エコー抑制手段は、該エコー補償された信号の該推定されたパワー密度および該残留エコーの該推定されたパワー密度に基づいて該エコー補償された信号における該残留エコーを抑制するように構成され得る。
【００４７】
残留エコー抑制手段は、以下のフィルタ特性
【００４８】
【数２２】
2007306546.tif 000016
のうちの１つを有するフィルタリング手段を有利に含み得る。ここで、サブ帯域μの中間周波数はΩμによって示され、
【００４９】
【数２３】
2007306546.tif 000017
はエコー補償された信号の推定されたパワー密度および残留エコーの推定されたパワー密度を示し、ｎは離散時間指数であり、かつβ（ｎ）は検出される発話行為に依存するフィルタパラメータである。ここで、
【００５０】
【数２４】
2007306546.tif 000018
は検出される発話行為に対する測定であり、かつＣｔｈｒｅｓは所定のしきい値である。
【００５１】
残留エコーフィルタリング手段のフィルタ特性は、上述された特性のうちの１つを何らかの所定の値Ｇｍｉｎを用いるｍａｘ［Ｇｍｉｎ，Ｇ（ｅｊΩμ，ｎ）］によって置き換えることによって代替的に制限され得る。
【００５２】
システムは、人為的雑音を生成するように構成されているノイズ生成器と、
出力信号およびマイクロホン信号に存在する背景雑音のパワー密度を決定するように構成されている手段と、
該出力信号の該パワー密度を該背景雑音の該パワー密度と比較するように構成されている手段と、
該出力信号の該パワー密度が該背景雑音の該パワー密度を超えた場合、遠隔側に該出力信号を送信させ、かつ該背景雑音の該パワー密度が該出力信号の該パワー密度を超えた場合、該生成された人為的雑音を送信させるように構成されている制御手段と
をさらに備え得る。
【００５３】
従って、例えば、遠隔の通信側に送信されるか、またはスピーチ認識システムによって認識される所望の信号は、サブ帯域信号
【００５４】
【数２５】
2007306546.tif 000019
から成り得る。ここで、Ｅ（ｅｊΩμ，ｎ）およびＢ（ｅｊΩμ，ｎ）はエコー補償された信号および人為的雑音信号（サブ帯域における）を示す。
【００５５】
マイクロホン信号を処理するためのシステムの上述の例のうちの１つを含むハンズフリー電話セットも提供される。上述の例は、遠隔の通信側にハンズフリーセットによって送信されるスピーチ信号の品質を強化するために特に有用である。特に、開示されるような、エコー補償およびエコー抑制のために処理される送信された信号の了解度は、ＬＲＭシステムが一時的に変化した場合に従来技術に対して強化される。これに関して、少なくとも１つのマイクロホン、少なくとも１つの拡声器および上述の例のうちの１つ従ったシステムまたは上述されたハンズフリー電話セットを備える車両通信システムが提供される。開示されるシステムは、例えば、ハンドルを操縦することによって、車を運転している話者が動いている状況におけるエコーを減少することにおいて特に効率的である。
【００５６】
本発明は、上述の例のうちの１つに従ったシステムを備えるスピーチ認識システムまたはスピーチダイアログシステムをさらに提供する。本発明のシステムの一例によって処理されるスピーチ入力の認識結果の信頼性は、当該記述分野と比較して大きく強化されている。
【００５７】
本発明の更なる特徴および利点は、図面を参照して詳細に説明される。説明においては、本発明の好ましい実施形態を示すことを意図する添付の図が参照される。そのような実施形態が、上記の特許請求の範囲によって規定される本発明の全範囲を表さないことが理解される。
【００５８】
本発明は、さらに以下の手段を提供する。
（項目１）
マイクロホンによって生成されるマイクロホン信号におけるエコーを減少する方法であって、
エコー補償された信号を生成するために、該マイクロホン信号から推定されたエコー信号を減算することによって該マイクロホン信号をエコー補償するステップと、
該マイクロホン信号および該推定されたエコー信号に基づいてその場にいる話者の発話行為を検出するステップと、
出力信号を得るために、該検出される発話行為に基づいて該エコー補償された信号における残留エコーを抑制するステップと
を包含する、方法。
（項目２）
上記マイクロホン信号が、サブ帯域マイクロホン信号に変換され、上記推定されたエコー信号が、推定されたサブ帯域エコー信号を含み、かつ上記エコー補償、上記発話行為の検出、および上記残留エコーの抑制が、サブ帯域レジームにおいて行われる、項目１に記載の方法。
（項目３）
上記その場にいる話者の上記発話行為を上記検出するステップが、
上記マイクロホンサブ帯域信号を周波数において、特に、一次再帰型フィルタリングによって平滑化するステップと、
上記推定されたサブ帯域エコー信号を周波数において、特に、一次再帰型フィルタリングによって平滑化するステップと、
サブ帯域の所定の範囲の各サブ帯域に対して、該平滑化されたマイクロホンサブ帯域信号と該平滑化された推定されたサブ帯域エコー信号との間の距離を決定するステップと
を含み、
上記エコー補償された信号における上記残留エコーを上記抑制するステップが、該サブ帯域の所定の範囲の各サブ帯域における該決定された距離に基づいている、項目２に記載の方法。
（項目４）
上記マイクロホン信号に存在する背景雑音のパワー密度スペクトルを推定するステップをさらに包含し、
上記マイクロホンサブ帯域信号を周波数において平滑化するステップが、該マイクロホンサブ帯域信号の平滑化されたパワー密度スペクトルを得るためにサブ帯域マイクロホン信号のパワー密度スペクトルを再帰型フィルタリングすることを含み、
上記推定されたサブ帯域エコー信号を周波数において平滑化するステップが、該推定されたサブ帯域エコー信号の平滑化されたパワー密度スペクトルを得るために該推定されたサブ帯域エコー信号のパワー密度スペクトルを再帰型フィルタリングすることを含み、
各サブ帯域において、該平滑化されたマイクロホンサブ帯域信号と該平滑化されたサブ帯域エコー信号との間の距離を決定するステップが、
修正されたマイクロホンパワー密度スペクトルを得るために、各サブ帯域において、第１の所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該マイクロホンサブ帯域信号の該平滑化されたパワー密度スペクトルとの最大値を決定することと、
修正されたエコーパワー密度スペクトルを得るために、各サブ帯域において、第２の所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該推定されたサブ帯域エコー信号の該平滑化されたパワー密度スペクトルとの最大値を決定することと、
スペクトル距離測定を得るために、該修正されたマイクロホンパワー密度スペクトルと該修正されたエコーパワー密度スペクトルを比較することと
を含み、
上記エコー補償されたサブ帯域信号における上記残留エコーを上記抑制するステップが、該スペクトル距離測定に基づいている、項目３に記載の方法。
（項目５）
上記エコー補償された信号の上記パワー密度を推定するステップと、
上記残留エコーの上記パワー密度を推定するステップと
をさらに包含し、
該エコー補償された信号における該残留エコーを上記抑制するステップが、該エコー補償された信号の該推定されたパワー密度および該残留エコーの該推定されたパワー密度に基づいている、項目１〜４のうちのいずれか一項に記載の方法。
（項目６）
上記エコー補償された信号における上記残留エコーを上記抑制するステップが、フィルタ特性
【００５９】
【数２６】
2007306546.tif 000020
を有するフィルタによって該エコー補償された信号をフィルタリングすることを含み、
ここで、サブ帯域μの中間周波数がΩμによって示され、
【００６０】
【数２７】
2007306546.tif 000021
がそれぞれ該エコー補償された信号の上記推定されたパワー密度および該残留エコーの上記推定されたパワー密度であり、ｎが離散時間指数であり、かつβ（ｎ）が上記検出される発話行為に依存するフィルタパラメータである、項目５に記載の方法。
（項目７）
上記エコー補償された信号における上記残留エコーを上記抑制するステップが、フィルタ特性
【００６１】
【数２８】
2007306546.tif 000022
を有するフィルタによって該エコー補償された信号をフィルタリングすることを含み、
ここで、
【００６２】
【数２９】
2007306546.tif 000023
が上記検出される発話行為に対する測定であり、かつＣｔｈｒｅｓが所定のしきい値である、項目５に記載の方法。
（項目８）
上記フィルタ特性がｍａｘ［Ｇｍｉｎ，Ｇ（ｅｊΩμ，ｎ）］によって制限され、ここでＧｍｉｎが抑制の所定の度合いに対応する、項目６または７に記載の方法。
（項目９）
上記マイクロホン信号に存在する上記出力信号および上記背景雑音の上記パワー密度を決定するステップと、
該出力信号の該パワー密度を該背景雑音の該パワー密度と比較するステップと、
該出力信号の該パワー密度が該背景雑音の該パワー密度を超えた場合、遠隔側に該出力信号を送信するステップと、
該背景雑音の該パワー密度が該出力信号の該パワー密度を超えた場合、該遠隔側に人為的雑音を送信するステップと
をさらに包含する、項目１〜８のうちのいずれか一項に記載の方法。
（項目１０）
項目１〜９のうちのいずれか一項に記載の方法のステップを実行するためのコンピュータ実行可能命令を有する１つ以上のコンピュータ読取可能媒体を備える、コンピュータプログラム製品。
（項目１１）
マイクロホンによって生成されるマイクロホン信号を処理するためのシステムであって、
受信されるマイクロホン信号に基づいてエコー補償された信号を出力するために、該マイクロホン信号を受信し、かつエコー補償するように構成されているエコー補償フィルタリング手段と、
該エコー補償された信号を受信および解析することによってその場にいる話者の発話行為を検出し、かつ検出信号を出力するように構成されている発話行為検出手段と、
出力信号を出力するために、該検出信号を受信し、かつ該検出信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている残留エコー抑制手段と
を備える、システム。
（項目１２）
上記マイクロホン信号、および上記マイクロホンと同じ部屋に設置されている少なくとも１つの拡声器によって出力される他のオーディオ信号を変換するように構成されているフィルタバンクをさらに備える、項目１１に記載のシステム。
（項目１３）
上記マイクロホン信号に存在する背景雑音の背景雑音パワースペクトルを推定するように構成されている背景雑音推定手段をさらに備え、
上記発話行為検出手段が、
マイクロホンサブ帯域信号の平滑化されたパワー密度スペクトルを得るために、サブ帯域マイクロホン信号の該パワー密度スペクトルを平滑化するように構成されている再帰型フィルタリング手段と、
推定されたサブ帯域エコー信号の平滑化されたパワー密度スペクトルを得るために、該推定されたサブ帯域エコー信号の該パワー密度スペクトルを平滑化するように構成されている再帰型フィルタリング手段と、
各サブ帯域において、所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該マイクロホンサブ帯域信号の該平滑化されたパワー密度スペクトルとの最大値を決定し、かつ該決定された最大値の修正されたマイクロホンパワー密度スペクトルを生成するように構成されている決定手段と、
各サブ帯域において、該所定の雑音過大推定因子によって強化される該推定された背景雑音パワースペクトルと該推定されたサブ帯域エコー信号の該平滑化されたパワー密度スペクトルとの最大値を決定し、かつ該決定された最大値の修正されたエコーパワー密度スペクトルを生成するように構成されている決定手段と、
該修正されたマイクロホンパワー密度スペクトルと該修正されたエコーパワー密度スペクトルを比較し、かつスペクトル距離信号を生成するように構成されている比較手段と
を含み、
上記残留エコー抑制手段が、該スペクトル距離信号を受信し、かつ該スペクトル距離信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている、項目１２に記載のシステム。
（項目１４）
上記発話行為検出手段が、上記エコー補償された信号のパワー密度および該エコー補償された信号に存在する残留エコーのパワー密度を推定するように構成されていて、
上記残留エコー抑制手段が、該エコー補償された信号の該推定されたパワー密度および該残留エコーの該推定されたパワー密度に基づいて該エコー補償された信号における該残留エコーを抑制するように構成されている、項目１１〜１３のうちのいずれか一項に記載のシステム。
（項目１５）
上記残留エコー抑制手段が、フィルタ特性
【００６３】
【数３０】
2007306546.tif 000024
を有するフィルタリング手段を含み、
ここで、サブ帯域μの中間周波数がΩμによって示され、
【００６４】
【数３１】
2007306546.tif 000025
が上記エコー補償された信号の上記推定されたパワー密度および上記残留エコーの上記推定されたパワー密度であり、ｎが離散時間指数であり、かつβ（ｎ）が上記検出される発話行為に依存するフィルタパラメータである、項目１１〜１４のうちのいずれか一項に記載のシステム。
（項目１６）
上記残留エコー抑制手段が、フィルタ特性
【００６５】
【数３２】
2007306546.tif 000026
を有するフィルタリング手段を含み、
ここで、
【００６６】
【数３３】
2007306546.tif 000027
が上記検出される発話行為に対する測定であり、かつＣｔｈｒｅｓが所定のしきい値である、項目１１〜１５のうちのいずれか一項に記載のシステム。
（項目１７）
人為的雑音を生成するように構成されているノイズ生成器と、
上記出力信号および上記マイクロホン信号に存在する背景雑音の上記パワー密度を決定するように構成されている手段と、
該出力信号の該パワー密度を該背景雑音の該パワー密度と比較するように構成されている手段と、
該出力信号の該パワー密度が該背景雑音の該パワー密度を超えた場合、遠隔側に該出力信号を送信させ、かつ該背景雑音の該パワー密度が該出力信号の該パワー密度を超えた場合、該生成された人為的雑音を送信させるように構成されている制御手段と
をさらに備える、項目１１〜１６のうちのいずれか一項に記載のシステム。
（項目１８）
項目１１〜１７のうちのいずれか一項に記載のシステムを備える、ハンズフリー電話セット。
（項目１９）
少なくとも１つのマイクロホン、少なくとも１つの拡声器、および項目１１〜１７のうちのいずれか一項に記載のシステムまたは項目１８に記載のハンズフリー電話セットを備える、車両通信システム。
（項目２０）
項目１１〜１７のうちのいずれか一項に記載のシステムを備える、スピーチ認識システムまたはスピーチダイアログシステム。
【００６７】
（摘要）
本発明は、マイクロホンによって生成されるマイクロホン信号におけるエコーを減少する方法であって、エコー補償された信号を生成するために、該マイクロホン信号から推定されたエコー信号を減算することによって該マイクロホン信号をエコー補償することと、該マイクロホン信号および該推定されたエコー信号に基づいてその場にいる話者の発話行為を検出することと、出力信号を得るために、該検出される発話行為に基づいて該エコー補償された信号における残留エコーを抑制することとを包含する、方法に関する。本発明は、さらに、マイクロホンによって生成されるマイクロホン信号を処理するためのシステムであって、受信されるマイクロホン信号に基づいてエコー補償された信号を出力するために、該マイクロホン信号を受信し、かつエコー補償するように構成されているエコー補償フィルタリング手段と、該エコー補償された信号を受信および解析することによってその場にいる話者の発話行為を検出し、かつ検出信号を出力するように構成されている発話行為検出手段と、出力信号を出力するために、該検出信号を受信し、かつ該検出信号に基づいて該エコー補償された信号を受信およびフィルタリングするように構成されている残留エコー抑制手段とを備える、システムに関する。
【発明を実施するための最良の形態】
【００６８】
以下において、本願に開示される信号処理（システム）の一例が、図１から図３に対して詳細に説明される。図１に示されるように、電話法ハンズフリーセットは、マイクロホン１および拡声器２を含む。その場にいる話者の発声は、マイクロホン１によって検出され、かつ拡声器２は、遠隔の通信側によって提供されるオーディオ信号ｘ（ｎ）に基づいて拡声器信号を生成する。
【００６９】
マイクロホンは、その場にいる話者のスピーチ信号ｓ（ｎ）を検出するだけではなく、ＬＲＭシステムのインパルス応答ｈ（ｎ）に基づく拡声器−部屋−マイクロホン（ＬＲＭ）転送信号ｄ（ｎ）および背景雑音信号ｂ（ｎ）も検出する。マイクロホン信号ｙ（ｎ）は、従って、スピーチ信号ｓ（ｎ）、背景雑音信号ｂ（ｎ）およびＬＲＭシステムのインパルス応答ｈ（ｎ）の寄与を含む。
【００７０】
ｎによって離散時間指数が示される。この例においては、サブ帯域にて信号処理によって実行されるエコー補償および残留エコー抑制が説明される。代替的に、周波数範囲（高速フーリエ変換範囲）における処理は、それぞれのオーディオ信号ｘ（ｎ）およびマイクロホン信号ｙ（ｎ）をフーリエ変換した後に実行され得る。
【００７１】
第１のフィルタバンク手段３は、オーディオ信号ｘ（ｎ）からサブ帯域信号Ｘ（ｅｊΩμ，ｎ）を、かつマイクロホン信号ｙ（ｎ）からサブ帯域信号Ｙ（ｅｊΩμ，ｎ）を生成する。サブ帯域μの中間周波数は、Ωμによって示される。オーディオサブ帯域信号Ｘ（ｅｊΩμ，ｎ）は、適合エコー補償フィルタリング手段５によってフィルタリングされる。エコー補償フィルタリング手段５のフィルタ係数は、サブ帯域におけるインパルス応答ｈ（ｎ）をモデリングするために決定される。各サブ帯域
【００７２】
【数３４】
2007306546.tif 000028
におけるエコー信号に対する推定は、各サブ帯域
【００７３】
【数３５】
2007306546.tif 000029
におけるエコー補償フィルタリング手段のインパルス応答とオーディオサブ帯域信号Ｘ（ｅｊΩμ，ｎ）を畳み込むことによって得られる。
【００７４】
サブ帯域マイクロホン信号Ｙ（ｅｊΩμ，ｎ）から推定されたエコー
【００７５】
【数３６】
2007306546.tif 000030
を減算することによって、各サブ帯域Ｅ（ｅｊΩμ，ｎ）におけるエコー補償された信号が得られる。エコー補償された信号Ｅ（ｅｊΩμ，ｎ）は、残留エコー減少手段６によって残留エコーの抑制のためにさらに処理される。残留エコー減少手段６は、エコー補償された信号Ｅ（ｅｊΩμ，ｎ）の背景雑音寄与を実質的に除去するための雑音減少手段を含み得るか、またはその手段を用いて補われ得る。残留エコー減少手段６によって得られるサブ帯域出力信号
【００７６】
【数３７】
2007306546.tif 000031
は、遠隔の通信側に送信され得るサブ帯域信号から成る所望の信号を得るために、引き続いて合成され得る。
【００７７】
本発明は、残留エコー減少手段６の実現に主に関する。残留エコー
【００７８】
【数３８】
2007306546.tif 000032
およびエコー補償されたサブ帯域信号
【００７９】
【数３９】
2007306546.tif 000033
の推定されたパワー密度スペクトルを利用して、ただ単にウィーナフィルタの何らかの変形を利用することは、当該技術分野において知られている。ウィーナフィルタは、以下のフィルタ特性
【００８０】
【数４０】
2007306546.tif 000034
を明示し得る。ここで、最大減衰は、パラメータＧｍｉｎによって予め決定され得、かつフィルタの感度は、パラメータβによって制御される。β＞１であった場合、減衰は強すぎる場合があり、それによって、所望の信号も適切なレベルより下に減衰する。
【００８１】
本発明に従うと、利用される残留エコーフィルタリング手段のフィルタ特性（周波数応答）は、その場にいる話者の発話行為（ｓｐｅｅｃｈ  ａｃｔｉｖｉｔｙ）が検出されない場合、非常にセンシティブ（「アグレッシブ」）な減衰が行われるように調節され得る。本発明の方法は、話者が動いていても、発話行為の検出が満足のいくものであることを保証する。特に、本明細書中に開示される方法は、時変ＬＲＭシステムにおける拡声器による（すなわち、遠隔の話者によって提供される）出力とその場にいる話者のスピーチ信号とを区別することができる。残留エコー減少手段のフィルタ特性は、次いで、その場にいる話者の検出される発話行為に基づいて適合され得る。
【００８２】
本発明に従った発話行為の検出に対する一例は、図２に示される。雑音推定手段７は、マイクロホン１によって検出される背景雑音ｂ（ｎ）のパワー密度スペクトル
【００８３】
【数４１】
2007306546.tif 000035
（サブ帯域における）を推定するためにサブ帯域マイクロホン信号Ｙ（ｅｊΩμ，ｎ）を受信する。雑音推定手段７は、例えば、パワー密度スペクトル
【００８４】
【数４２】
2007306546.tif 000036
を推定するために最小統計を利用し得る（例えば、「Ａｎ  Ｅｆｆｉｃｉｅｎｔ  Ａｌｇｏｒｉｔｈｍ  ｔｏ  Ｅｓｔｉｍａｔｅ  ｔｈｅ  Ｉｎｓｔａｎｔａｎｅｏｕｓ  ＳＮＲ  ｏｆ  Ｓｐｅｅｃｈ  Ｓｉｇｎａｌｓ」Ｒ．Ｍａｒｔｉｎ，ＥＵＲＯＳＰＥＥＣＨ  １９９３，Ｂｅｒｌｉｎ，Ｃｏｎｆ．Ｐｒｏｃｅｅｄ．，ｐ．１０９３−１０９６，９月１９９３を参照）。
【００８５】
各サブ帯域
【００８６】
【数４３】
2007306546.tif 000037
におけるエコー信号に対する推定とともに、サブ帯域マイクロホン信号Ｙ（ｅｊΩμ，ｎ）は、所定のＭサブ帯域μ＝０，Ｍ−１に亘って、周波数において平滑化される（８、９）。
【００８７】
特定の効率的な平滑関数は、周波数範囲の正および負の方向における大きさまたは大きさの二乗を平滑化するための一次再帰型フィルタによって実現され得る。本例に従うと、平滑化は、
【００８８】
【数４４】
2007306546.tif 000038
に従って行われる。１１０２５ＨｚおよびＭ＝２５６サブ帯域の典型的なサンプリングレートに対して、平滑パラメータが、０．２≦λＦｒｅ≦０．８として有利に選ばれることを、実験は示した。サブ帯域マイクロホン信号Ｙ（ｅｊΩμ，ｎ）の平滑化は、平滑化されたマイクロホンスペクトルＳｙｙ，ｍｏｄ（Ωμ，ｎ）を得るために状況に応じて実行される。
【００８９】
処理手段８および９は、雑音推定手段７の出力を受け取り、かつ上記された、平滑化され推定されたエコースペクトルおよび対応するマイクロホンスペクトルと背景雑音のパワー密度スペクトル
【００９０】
【数４５】
2007306546.tif 000039
に対する推定との最大値を、それぞれ、
【００９１】
【数４６】
2007306546.tif 000040
によって決定するようにも構成されている。ここで、背景雑音は、Ｋｂによって過大推定される。エコー抑制に対する結果を満たすためにＫｂが２≦Ｋｂ≦１６から選ばれ得ることを、実験が示した。ｗ１およびｗ２が適切に選ばれる重み関数（例えば、Ωμに依存している）または定数である何らかの距離（差）
【００９２】
【数４７】
2007306546.tif 000041
は、残留エコーを抑制するためのフィルタ特性が制御され得る発話行為を示す距離測定を決定するために用いられ得る。
【００９３】
本例においては、しかしながら、マイクロホン信号および／または推定エコー信号の強いレベルの増加または低下が検出されているかが決定される。強い一時的なレベルのジャンプは、その場にいる話者の発話行為を決定するための距離測定が以下のように計算された場合、アーチファクトという結果になり得る。急激なレベル変化が存在しない場合、すなわち、一時的な相対同質信号が存在する場合、処理手段８および９の平滑化された出力信号、すなわち、
【００９４】
【数４８】
2007306546.tif 000042
はそれぞれ、典型的な４≦Ｋ△≦１００の検出しきい値を有する信号フランク検出１０
【００９５】
【数４９】
2007306546.tif 000043
に対して用いられる。
【００９６】
距離検出手段１１によって、スペクトル距離測定は、処理手段８および９によって計算される修正されたスペクトル
【００９７】
【数５０】
2007306546.tif 000044
および△（Ωμ，ｎ）に基づいて決定され得る
【００９８】
【数５１】
2007306546.tif 000045
。
【００９９】
検出しきい値に対する適切な選択は、例えば、Ｋ１＝１６、Ｋ２＝４、Ｋ３＝４およびＫ４＝１６である。距離Ｃ（Ωμ，ｎ）は、例えば、検出パラメータＣ１＝−０．４、Ｃ２＝０．１、Ｃ３＝０．１およびＣ４＝０．６によって特定される。スペクトル距離測定Ｃ（Ωμ，ｎ）の大きな正の値は、マイクロホンスペクトルのパワー密度が推定されたエコーのパワー密度を支配することを示す。推定されたエコーのパワー密度がマイクロホンスペクトルのパワー密度をかなり超えた場合、高い負のコストパラメータＣ１によって特徴付けられて、ＬＲＭシステムにおける強い変化が検出される。
【０１００】
△（Ωμ，ｎ）およびＣ（Ωμ，ｎ）の両方の決定は、スピーチ信号のかなりのパワーを示すサブ帯域に制限される。これは、サブ帯域がμ∈［μｓｔａｒｔ，μｅｎｄ］に制限されることを意図する。ここで、μｓｔａｒｔおよびμｅｎｄは、約２００Ｈｚから約３００Ｈｚの周波数範囲カバレージに対応して選ばれる。
【０１０１】
加算手段１２は、
【０１０２】
【数５２】
2007306546.tif 000046
によって個別のサブ帯域に対する結果Ｃ（Ωμ，ｎ）を足す。
【０１０３】
続いて、所定の時間間隔に亘る平滑化は、好ましくは、平滑化された距離測定
【０１０４】
【数５３】
2007306546.tif 000047
を得るために実行される。
【０１０５】
距離検出手段１２によって得られる検出結果はここで、
【０１０６】
【数５４】
2007306546.tif 000048
によって測定されるような検出された発話行為に依存して、残留エコー抑制手段６（図１参照）のフィルタ特性の効率的適合のために用いられ得る。発話行為が平滑化された距離測定
【０１０７】
【数５５】
2007306546.tif 000049
に基づいて検出されなかった場合、残留エコーフィルタリングは、推定されたエコー
【０１０８】
【数５６】
2007306546.tif 000050
の大きさの二乗または
【０１０９】
【数５７】
2007306546.tif 000051
と残留エコーのパワー密度
【０１１０】
【数５８】
2007306546.tif 000052
との最大値によって実行され得る。しかしながら、ダブルトーク状況が存在する場合、すなわちその場にいる話者および遠隔の話者の両方が話している場合、すなわちかなりの発話行為が検出された場合、ウィーナフィルタ特性であるが時間依存フィルタパラメータβ（ｎ）を用いるウィ−ナフィルタ特性が用いられることが好ましい。結果的に、本例に従った残留エコーフィルタリングが、
【０１１１】
【数５９】
2007306546.tif 000053
によって行われる。
【０１１２】
フィルタの感度を制御するパラメータβ（ｎ）は、平滑化された距離測定
【０１１３】
【数６０】
2007306546.tif 000054
に依存する。
【０１１４】
βパラメータに対する適した値が、例えば、β１＝１およびβ２＝１０００であることを実験が示した。Ｃｔｈｒｅｓによって、その場にいる話者のかなりの発話行為が存在することが考慮される所定のしきい値が上記される。抑制は、Ｇｍｉｎ、例えばＧｍｉｎ＝０．１によって制限される。
【０１１５】
エコー補償されたサブ帯域マイクロホン信号Ｅ（ｅｊΩμ，ｎ）のパワー密度スペクトル
【０１１６】
【数６１】
2007306546.tif 000055
は、０≦λｅ≦１として選ばれる平滑パラメータを用いて
【０１１７】
【数６２】
2007306546.tif 000056
によって再帰的に決定され得る。
【０１１８】
本例においては、残留エコーのパワー密度スペクトル
【０１１９】
【数６３】
2007306546.tif 000057
は、エコー補償フィルタリング手段５によって得られる推定されたエコー補償
【０１２０】
【数６４】
2007306546.tif 000058
が、当該技術分野にて知られる方法によって計算され得る、
【０１２１】
【数６５】
2007306546.tif 000059
によって決定される（例えば、「Ｓｔｅｐ−Ｓｉｚｅ  Ｃｏｎｔｒｏｌ  ｉｎ  Ｓｕｂｂａｎｄ  Ｅｃｈｏ  Ｃａｎｃｅｌｌａｔｉｏｎ  Ｓｙｓｔｅｍｓ」Ｇ．Ｓｃｈｍｉｄｔ，ＩＷＡＮＥＣ１９９９，Ｐｏｃｏｎａ  Ｍａｎｏｒ，Ｐｅｎｎｓｙｌｖａｎｉａ，ＵＳＡ，Ｃｏｎｆ．Ｐｒｏｃｅｅｄ．，ｐ．１１６−１１９，１９９９を参照）。拡声器によって出力されるオーディオ信号の推定されたパワー密度スペクトル
【０１２２】
【数６６】
2007306546.tif 000060
は、０≦λＸ≦１として選ばれる平滑パラメータを用いた
【０１２３】
【数６７】
2007306546.tif 000061
によって、エコー補償されたサブ帯域マイクロホン信号のパワー密度スペクトル
【０１２４】
【数６８】
2007306546.tif 000062
と同様に計算される。
【０１２５】
図３は、本発明の一例に従った残留エコー抑制の概要を示す。エコー補償されたサブ帯域マイクロホン信号Ｅ（ｅｊΩμ，ｎ）は、残留エコー抑制手段６によってフィルタリングされる。このフィルタリングのために、フィルタ特性Ｇｍｏｄ（ｅｊΩμ，ｎ）が適合されなければならない。フィルタ特性Ｇｍｏｄ（ｅｊΩμ，ｎ）の適合は、発話行為検出１３（その場にいる話者の発話行為に関する）Ｃ（ｎ）の結果、またはより詳細には、平滑化された距離測定
【０１２６】
【数６９】
2007306546.tif 000063
に基づいて行われる。特に、上記のβパラメータは、検出される発話行為によって制御される（１４）。
【０１２７】
上述されたように、その場にいる話者の発話行為の検出のための手段１３は、マイクロホンサブ帯域信号Ｙ（ｅｊΩμ，ｎ）とともに、エコーサブ帯域信号に対する推定
【０１２８】
【数７０】
2007306546.tif 000064
を受信し、かつ、さらに、雑音推定手段７の出力も受信する。雑音推定手段７によって得られる背景雑音のパワー密度スペクトル
【０１２９】
【数７１】
2007306546.tif 000065
は、人為的な雑音生成器１５に入力される。
【０１３０】
雑音生成器は、雑音推定手段７による背景雑音に対して決定されるのと実質的に同じ統計パワー分配を用いて人為的雑音を生成するように構成される。遠隔の通信側に送信される背景雑音の迷惑な急激な変化を回避するために、残留エコー抑制手段６によって出力される出力信号が残りの背景雑音より下のパワー密度を有する場合、人為的に生成される背景雑音サブ帯域信号Ｂ（ｅｊΩμ，ｎ）が出力される。本例においては、残留エコー抑制手段６は、このいわゆる快適雑音が出力されるべきか否かの制御もする。従って、遠隔の通信側に送信される所望の信号は、最終的に、
【０１３１】
【数７２】
2007306546.tif 000066
のようにサブ帯域信号を合成することによって達成される。
【０１３２】
図４は、本明細書中に開示される、コンピュータシミュレーション研究によるマイクロホン信号のエコー減少に対する信号処理の効率を示す。全てのパネルにおいて、横座標は信号のパワーを任意の単位で示し、かつ縦座標は時間を秒で示す。
【０１３３】
上のパネルは、その場にいる話者のシミュレートされたスピーチ信号を示し、かつ第２のパネルは、対応するマイクロホン信号を示す。マイクロホン信号は、エコー寄与とともに、スピーチ信号を含む。シミュレーションランの間、ＬＲＭシステムは、約５秒後および約１５秒後の話者の動きをシミュレートすることによって変化された。約２０．５秒後、ダブルトーク状況は、約７秒の期間の間シミュレートされ、すなわち、シミュレートされたスピーチ信号およびエコー寄与はマイクロホンによって検出される。
【０１３４】
発話行為検出の結果としての平滑化された距離測定
【０１３５】
【数７３】
2007306546.tif 000067
は、第３のパネルに表示されている。図４から明確に見られ得るように、平滑化された距離測定
【０１３６】
【数７４】
2007306546.tif 000068
は、話者の動きに反応しないか、または非常にわずかにしか反応しない。特に、
【０１３７】
【数７５】
2007306546.tif 000069
は、しきい値Ｃｔｈｒｅｓ＝１より下にあり、従って、話者が動いた場合に残留エコーのかなりの抑制が行われる。逆に、ダブルトークによって特徴付けられる期間の間、平滑化された距離測定
【０１３８】
【数７６】
2007306546.tif 000070
は、その場にいる話者の発話行為を示す。結果的に、最終的に得られる所望の出力信号
【０１３９】
【数７７】
2007306546.tif 000071
は、その場にいる話者のシミュレートされたスピーチ信号に対して満足な一致を示す。
【０１４０】
上記の説明された特徴の一部または全てが異なる方法においても組み合わされ得ることが理解されたい。論議された例においてはハンズフリー電話法が考慮されたが、開示されるアルゴリズムは、一般に、マイクロホン信号におけるエコーを減少するために適用され得る。
【図面の簡単な説明】
【０１４１】
【図１】図１は、マイクロホンによって検出されるスピーチ信号、拡声器信号および背景雑音に基づいて生成されるマイクロホン信号の品質を強化するためのエコー減少システムの構造を示す。
【図２】図２は、開示されるエコー減少処理の重要な要素を表す発話行為の検出の一例を示す。
【図３】図３は、検出発話行為および残留エコー抑制手段のフィルタ特性の適合を含むエコー補償されたマイクロホン信号における残留エコーの抑制の基本的要素を示す。
【図４】図４は、マイクロホン信号の開示されるエコー減少処理に対するシミュレーション実験の結果を示す。
【符号の説明】
【０１４２】
１  マイクロホン
２  拡声器
３  フィルタバンク手段
５  エコー補償フィルタリング手段
６  残留エコー減少手段
７  雑音推定手段
８、９  処理手段
１０  フランク検出
１１  距離検出手段
１２  加算手段
１３  発話行為検出
１５  雑音生成器
【図１】
2007306546.tif 000080
【図２】
2007306546.tif 000081
【図３】
2007306546.tif 000082
【図４】
2007306546.tif 000083