(57)【特許請求の範囲】
【請求項１】
第１の音声信号の再生音が収音されることで生成されたエコー信号を含む第２の音声信号から、前記エコー信号が消去されたエコー消去信号を生成及び出力するためのエコー消去装置であって、
前記第１の音声信号に対して、前記再生音が収音されるまでの伝達特性と等価な特性を有するフィルタを用いた信号処理を行うことにより第１の擬似エコー信号を生成する第１の擬似エコー生成部と、
前記第２の音声信号から、前記第１の擬似エコー生成部により生成された前記第１の擬似エコー信号を減算することにより、第１のエコー消去信号を生成し、出力する第１のエコー消去部と、
前記第１のエコー消去部により生成された前記第１のエコー消去信号に対して非線形変換を行うことにより非線形変換されたエコー消去信号を生成し、前記非線形変換されたエコー消去信号と、前記第１の音声信号と、前記第１の音声信号の一次ノルムとを用いて、前記フィルタの特性が前記伝達特性と等価となるように、前記フィルタの特性の更新を行うフィルタ更新部と
を備えるエコー消去装置。
【請求項２】
前記フィルタ更新部は、
前記第１の音声信号の一次ノルムに対する前記第１の音声信号の比と、前記非線形変換されたエコー消去信号とを用いて、前記フィルタの特性の更新を行う
請求項１に記載のエコー消去装置。
【請求項３】
前記フィルタ更新部は、
前記第１の音声信号の一次ノルムに対する前記第１の音声信号の比と、前記非線形変換されたエコー消去信号と、所定の係数との積を、更新前の前記フィルタの特性に加算することにより、前記フィルタの特性の更新を行う
請求項１または請求項２に記載のエコー消去装置。
【請求項４】
前記フィルタ更新部は、
前記第１のエコー消去信号が正のときに＋１を、前記変数が負のときに−１を、前記変数が０のときに０をそれぞれとる関数である符号関数を用いて、前記非線形変換を行う
請求項１に記載のエコー消去装置。
【請求項５】
前記エコー消去装置は、さらに、
前記第１の音声信号の一次ノルムと前記非線形変換されたエコー消去信号とを用いて第２の擬似エコー信号を生成する第２の擬似エコー信号生成部と、
前記第１のエコー消去信号から前記第２の擬似エコー信号生成部により生成された前記第２の擬似エコー信号を減算することで第２のエコー消去信号を生成し、出力する第２のエコー消去部とを備える
請求項１〜４のいずれか１項に記載のエコー消去装置。
【請求項６】
前記エコー消去装置は、さらに、
前記第１の音声信号の一次ノルムと前記非線形変換されたエコー消去信号と前記第１の音声信号とを用いて第２の擬似エコー信号を生成する第２の擬似エコー信号生成部と、
前記第１のエコー消去信号から前記第２の擬似エコー信号生成部により生成された前記第２の擬似エコー信号を減算することで第２のエコー消去信号を生成し、出力する第２のエコー消去部とを備える
請求項１〜４のいずれか１項に記載のエコー消去装置。
【請求項７】
前記エコー消去装置は、さらに、
前記第２のエコー消去信号の大きさが前記第１のエコー消去信号の大きさより小さい場合に、前記第２のエコー消去信号を新たな第２のエコー消去信号として出力し、前記第２のエコー消去信号の大きさが前記第１のエコー消去信号の大きさより大きい場合に、前記第１のエコー消去信号を新たな第２のエコー消去信号として出力する選択部を備える
請求項５または請求項６に記載のエコー消去装置。
【請求項８】
前記フィルタ更新部は、
前記選択部が前記第１のエコー消去信号を新たな第２のエコー消去信号として出力した場合に、前記フィルタの特性の更新を行わない
請求項７に記載のエコー消去装置。
【請求項９】
前記フィルタ更新部は、
過去の所定時間内の第１の音声信号の大きさの２乗和を算出することにより、第２の擬似エコー信号を算出する
請求項１〜８のいずれか１項に記載のエコー消去装置。
【請求項１０】
第１の音声信号の再生音が収音されることで生成されたエコー信号を含む第２の音声信号から、前記エコー信号が消去されたエコー消去信号を生成及び出力するためのエコー消去方法であって、
前記第１の音声信号に対して、前記再生音が収音されるまでの伝達特性と等価な特性を有するフィルタを用いた信号処理を行うことにより第１の擬似エコー信号を生成する第１の擬似エコー生成ステップと、
前記第２の音声信号から、前記第１の擬似エコー生成ステップで生成された前記第１の擬似エコー信号を減算することにより、第１のエコー消去信号を生成し、出力する第１のエコー消去ステップと、
前記第１のエコー消去ステップで生成された前記第１のエコー消去信号に対して非線形変換を行うことにより非線形変換されたエコー消去信号を生成し、前記非線形変換されたエコー消去信号と、前記第１の音声信号と、前記第１の音声信号の一次ノルムとを用いて、前記フィルタの特性が前記伝達特性と等価となるように、前記フィルタの特性の更新を行うフィルタ更新ステップと
を含むエコー消去方法。
【請求項１１】
前記エコー消去方法は、さらに、
前記第１の音声信号の一次ノルムと前記非線形変換されたエコー消去信号と前記第１の音声信号とを用いて第２の擬似エコー信号を生成する第２の擬似エコー信号生成ステップと、
前記第１のエコー消去信号から前記第２の擬似エコー信号生成ステップで生成された前記第２の擬似エコー信号を減算することで第２のエコー消去信号を生成し、出力する第２のエコー消去ステップと
を含む請求項１０に記載のエコー消去方法。
【請求項１２】
請求項１０に記載のエコー消去方法をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１１に記載のエコー消去方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１〜９のいずれか１項に記載のエコー消去装置と、
周囲の音声を収音して音声信号を生成するマイクと、
音声信号に基づいて音声を再生するスピーカーと、
音声信号を通話相手へ送信し、かつ、通話相手から音声信号を受信する通信部と
を備え、
前記エコー消去装置は、前記通信部が通話相手から受信した音声信号を前記第１の音声信号として受信し、前記マイクにより生成された音声信号を前記第２の音声信号として受信し、前記第１のエコー消去信号または前記第２のエコー消去信号を通話相手に送信される音声信号として通信部へ出力する
通話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エコー消去装置、エコー消去方法、及び、通話装置に関する。特に、第１の音声信号の再生音が収音されることで生成されたエコー信号を含む第２の音声信号から、エコー信号が消去されたエコー消去信号を生成及び出力するためのエコー消去装置、エコー消去方法、及び、通話装置に関する。
【背景技術】
【０００２】
ビデオ会議システムを利用したビデオ会議が行われている。ビデオ会議システムを利用したビデオ会議では、自地点のビデオ会議システム装置（以降、単に装置と称する）と相手地点の装置とが、通信回線を介して映像及び音声を相互に送受信する。自地点の装置は、自地点のカメラで撮像された映像と自地点のマイクロホン（マイク）で収音された音声とを相手地点へ送信する。また、自地点の装置は、相手地点のカメラで撮影された映像を受信し自地点の画面に表示するとともに、相手地点のマイクで収音された音声を受信し、自地点のスピーカーで再生する。このように双方向に映像及び音声を送受信することでコミュニケーションを行う。このようなビデオ会議システムでは、自地点のマイクは、自地点のユーザー音声だけでなく、自地点のスピーカーから再生される相手地点側から受信された音声も収音する。自地点のスピーカーから再生された相手地点の音声が自地点のマイクに収音される音を音響エコー（以降、単にエコーと称する）という。エコーが生じる状態でエコーを消去せずに相手地点に音声を送信すると、相手地点では、自身の発声した音声が時間差をもってスピーカーから再生される。このようなエコーは、コミュニケーションの妨げとなる。エコー消去装置によりエコーを消去することで円滑なコミュニケーションが実現できる。
【０００３】
エコー消去装置では、スピーカーからマイクまでのエコー伝達特性を模擬したフィルタを用いてスピーカー信号を畳み込むことで擬似エコーを生成し、マイク信号から擬似エコーを減算することでエコーを消去する。さらにエコー消去信号（エコーが消去された信号）とスピーカー信号とを用いて、エコー伝達特性と等価になるようにフィルタ特性が更新される。
【０００４】
フィルタ特性の更新方法として、最小平均２乗誤差（ＬＭＳ）に基づく方法や正規化最小平均２乗誤差（ＮＬＭＳ）に基づく方法が広く知られている。これらの方法では、マイク信号にエコーのみ存在する（シングルトーク）という前提で、エコー消去信号が０になるようにフィルタの更新を行う。
【０００５】
マイク信号に自地点のユーザーの音声とエコーとが同時に存在する同時通話（ダブルトーク）時にこれらの方法を用いると、フィルタ特性は必ずしもエコー伝達特性に近づくように更新されない。場合によっては、エコーがより大きくなるように変更されることがある。このように、従来のエコー消去装置は、適切に擬似エコー信号を生成できず、その結果、エコーを増大させてしまうことがある。
【０００６】
ダブルトーク時でもフィルタ特性をエコー伝達特性と等価にし、正しくエコー消去を行うことを目的に、独立成分分析を適用する技術が開示されている（例えば、特許文献１）。また、不感帯や過修正帯を有する非線形関数を用いたＮＬＭＳを適用する技術が開示されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４―０４８２５３号公報
【特許文献２】特開２０１０−２２６６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、従来のエコー消去装置では、マイク信号に自地点のユーザーの音声とエコーとが同時に存在する同時通話（ダブルトーク）時に、フィルタの特性をエコー伝達特性と等価にすることができないという問題がある。なぜなら、従来のエコー消去装置ではマイク信号がエコー信号のみを含むという前提でマイク信号の大きさを減少させる演算を行うが、マイク音声にユーザーの音声が混在しているダブルトーク時には、この演算ではフィルタ特性の更新が正しく行われず、エコーを増加させてしまう場合があるためである。
【０００９】
よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることによりエコーを消去することが課題となる。
【００１０】
上記課題に対し、特許文献１では、独立成分分析を適用する。しかし、フィルタの更新がスピーカー信号の大きさに依存している。このため、スピーカー信号の大きさが時々刻々と変化すると、フィルタ特性のエコー伝達特性への収束速度が低下する。収束速度が低いことは、収束するまでの間、エコーが残存することを意味する。したがって、通話者の会話が継続しているときに適切にエコー消去できるといえない。よって特許文献１に開示される技術によって上記課題は解決されない。
【００１１】
一方、上記課題に対し、特許文献２では、不感帯や過修正帯を有する非線形関数を用いたＮＬＭＳを適用する。この技術によれば、従来のＮＬＭＳに比べて収束速度は向上する。しかし、特許文献２では、フィルタ更新において正規化が正しく行われない。また、フィルタ更新により生成される擬似エコーがユーザー音声の大きさにのみ依存している。このため、従来のＮＬＭＳのダブルトーク時にエコー伝達特性と等価にする更新が正しくされない。よって特許文献２に開示される技術によって上記課題は解決されない。
【００１２】
本発明は、上記従来の課題を解決するもので、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることによりエコーを消去することができるエコー消去方法等を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の一態様に係るエコー消去装置は、第１の音声信号の再生音が収音されることで生成されたエコー信号を含む第２の音声信号から、前記エコー信号が消去されたエコー消去信号を生成及び出力するためのエコー消去装置であって、前記第１の音声信号に対して、前記再生音が収音されるまでの伝達特性と等価な特性を有するフィルタを用いた信号処理を行うことにより第１の擬似エコー信号を生成する第１の擬似エコー生成部と、前記第２の音声信号から、前記第１の擬似エコー生成部により生成された前記第１の擬似エコー信号を減算することにより、第１のエコー消去信号を生成し、出力する第１のエコー消去部と、前記第１のエコー消去部により生成された前記第１のエコー消去信号に対して非線形変換を行うことにより非線形変換されたエコー消去信号を生成し、前記非線形変換されたエコー消去信号と、前記第１の音声信号と、前記第１の音声信号のノルムとを用いて、前記フィルタの特性が前記伝達特性と等価となるように、前記フィルタの特性の更新を行うフィルタ更新部とを備える。
【００１４】
これにより、ノルムにより正規化された第１の音声信号（スピーカー信号）と、非線形変換された第２の音声信号（マイク信号）とに依存するフィルタ更新量を算出することができる。このフィルタ更新量を用いて更新されるフィルタと第１の音声信号との演算により生成される擬似エコー信号は、第１の音声信号の振幅１乗次元で与えられる。このため、シングルトーク時及びダブルトーク時において安定してフィルタの特性をエコー伝達特性と等価にすることが可能となる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることによりエコー信号を消去することができる。
【００１５】
また、好ましくは、前記フィルタ更新部は、前記第１の音声信号のノルムに対する前記第１の音声信号の比と、前記非線形変換されたエコー消去信号とを用いて、前記フィルタの特性の更新を行う。
【００１６】
また、好ましくは、前記フィルタ更新部は、前記第１の音声信号のノルムに対する前記第１の音声信号の比と、前記非線形変換されたエコー消去信号と、所定の係数との積を、更新前の前記フィルタの特性に加算することにより、前記フィルタの特性の更新を行う。
【００１７】
これにより、第１の音声信号の平均値に対する相対変化量と、非線形変換された第２の音声信号とに依存するフィルタ更新量を算出することができる。このフィルタ更新量を用いて更新されるフィルタと第１の音声信号との演算により生成される擬似エコー信号は、第１の音声信号の振幅１乗次元で与えられる。このため、シングルトーク時及びダブルトーク時において安定してフィルタの特性をエコー伝達特性と等価にすることが可能となる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることによりエコー信号を消去することができる。
【００１８】
また、好ましくは、前記フィルタ更新部は、前記第１のエコー消去信号が正のときに＋１を、前記変数が負のときに−１を、前記変数が０のときに０をそれぞれとる関数である符号関数を用いて、前記非線形変換を行う。
【００１９】
これにより、エコー消去信号の大きさを０に近づける方向へ変化させるための計算に使われる符号に対応する値を得ることができる。
【００２０】
また、好ましくは、前記エコー消去装置は、さらに、前記第１の音声信号のノルムと前記非線形変換されたエコー消去信号とを用いて第２の擬似エコー信号を生成する第２の擬似エコー信号生成部と、前記第１のエコー消去信号から前記第２の擬似エコー信号生成部により生成された前記第２の擬似エコー信号を減算することで第２のエコー消去信号を生成し、出力する第２のエコー消去部とを備える。
【００２１】
これにより、スピーカー信号のノルムと、非線形変換されたエコー消去信号と、第１のエコー消去信号とにより、エコー消去信号に残留するエコーを消去するための第２の擬似エコー信号を少ない演算量で生成することができる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることにより、さらに高い精度でエコーを消去することが可能となる。
【００２２】
また、好ましくは、前記エコー消去装置は、さらに、前記第１の音声信号のノルムと前記非線形変換されたエコー消去信号と前記第１の音声信号とを用いて第２の擬似エコー信号を生成する第２の擬似エコー信号生成部と、前記第１のエコー消去信号から前記第２の擬似エコー信号生成部により生成された前記第２の擬似エコー信号を減算することで第２のエコー消去信号を生成し、出力する第２のエコー消去部とを備える。
【００２３】
これにより、スピーカー信号と、スピーカー信号のノルムと、非線形変換されたエコー消去信号と、第１のエコー消去信号とにより、エコー消去信号に残留するエコーを消去するための第２の擬似エコー信号を少ない演算量で生成することができる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることができ、さらに高い精度でエコーを消去することが可能となる。
【００２４】
また、好ましくは、前記エコー消去装置は、さらに、前記第２のエコー消去信号の大きさが前記第１のエコー消去信号の大きさより小さい場合に、前記第２のエコー消去信号を新たな第２のエコー消去信号として出力し、前記第２のエコー消去信号の大きさが前記第１のエコー消去信号の大きさより大きい場合に、前記第１のエコー消去信号を新たな第２のエコー消去信号として出力する選択部を備える。
【００２５】
これらにより、第１のエコー消去信号と第２のエコー消去信号とのうちで、効果的にエコーが消去された方をエコー消去装置の出力とすることができる。第２のエコー消去信号の大きさが、第１のエコー消去信号の大きさより大きい場合とは、第１のエコー消去信号のエコー消去を意図した演算において、当該意図と異なり第１のエコー消去信号に含まれるエコーを増大させた場合に相当する。このような場合には、エコー消去装置の出力として第１の消去信号が適切であるためである。
【００２６】
また、好ましくは、前記フィルタ更新部は、前記選択部が前記第１のエコー消去信号を新たな第２のエコー消去信号として出力した場合に、前記フィルタの特性の更新を行わない。
【００２７】
これにより、第２のエコー消去信号の大きさが、第１のエコー消去信号の大きさより大きい場合とは、第１の擬似エコーの生成を意図したフィルタ更新算出において、当該意図と異なりエコー消去信号の大きさを増大させるようにフィルタ更新がされる場合に相当する。このような場合には、フィルタ更新を行わないことで、安定にフィルタの特性をエコー伝達特性と等価にすることができ、さらに高い精度でエコーを消去することが可能となる。
【００２８】
また、好ましくは、前記フィルタ更新部は、過去の所定時間内の第１の音声信号の大きさの２乗和を算出することにより、第２の擬似エコー信号を算出する。
【００２９】
これにより、第２の擬似エコー信号を生成するための計算を高速に実行することができる。なぜなら、現時刻における第１の音声信号の大きさの２乗和を算出するには、前の処理時刻で算出した第１の音声信号の大きさの２乗和から、最も古い時刻の２乗値を減じ、現時刻で取得した最新時刻の２乗値を加えるだけで現処理時刻におけるスピーカー信号の２乗和を算出できる。よって、第２のエコー消去の演算量を削減することができる。
【００３０】
また、本発明の一態様に係るエコー消去方法は、第１の音声信号の再生音が収音されることで生成されたエコー信号を含む第２の音声信号から、前記エコー信号が消去されたエコー消去信号を生成及び出力するためのエコー消去方法であって、前記第１の音声信号に対して、前記再生音が収音されるまでの伝達特性と等価な特性を有するフィルタを用いた信号処理を行うことにより第１の擬似エコー信号を生成する第１の擬似エコー生成ステップと、前記第２の音声信号から、前記第１の擬似エコー生成ステップで生成された前記第１の擬似エコー信号を減算することにより、第１のエコー消去信号を生成し、出力する第１のエコー消去ステップと、前記第１のエコー消去ステップで生成された前記第１のエコー消去信号に対して非線形変換を行うことにより非線形変換されたエコー消去信号を生成し、前記非線形変換されたエコー消去信号と、前記第１の音声信号と、前記第１の音声信号のノルムとを用いて、前記フィルタの特性が前記伝達特性と等価となるように、前記フィルタの特性の更新を行うフィルタ更新ステップとを含む。
【００３１】
また、本発明の一態様に係るエコー消去方法は、前記エコー消去方法は、さらに、前記第１の音声信号のノルムと前記非線形変換されたエコー消去信号と前記第１の音声信号とを用いて第２の擬似エコー信号を生成する第２の擬似エコー信号生成ステップと、前記第１のエコー消去信号から前記第２の擬似エコー信号生成ステップで生成された前記第２の擬似エコー信号を減算することで第２のエコー消去信号を生成し、出力する第２のエコー消去ステップとを含む。
【００３２】
これらにより、上記エコー消去装置と同様の効果を奏することができる。
【００３３】
また、本発明の一態様に係る通話装置は、エコー消去装置と、周囲の音声を収音して音声信号を生成するマイクと、音声信号に基づいて音声を再生するスピーカーと、音声信号を通話相手へ送信し、かつ、通話相手から音声信号を受信する通信部とを備え、前記エコー消去装置は、前記通信部が通話相手から受信した音声信号を前記第１の音声信号として受信し、前記マイクにより生成された音声信号を前記第２の音声信号として受信し、前記第１のエコー消去信号または前記第２のエコー消去信号を通話相手に送信される音声信号として通信部へ出力する。
【００３４】
これにより、上記エコー消去装置と同様の効果を奏することができる。
【００３５】
なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００３６】
本発明のエコー消去装置等によれば、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることによりエコーを消去することができる。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明の実施の形態１におけるビデオ会議システムの全体構成図である。
【図２】図２は、本発明の実施の形態１におけるビデオ会議システムの機能ブロック図である。
【図３】図３は、本発明の実施の形態１におけるエコー消去装置の機能ブロック図である。
【図４】図４は、本発明の実施の形態１におけるフィルタ更新部の機能ブロック図である。
【図５】図５は、本発明の実施の形態１におけるエコー消去方法のフロー図である。
【図６】図６は、本発明の実施の形態２におけるエコー消去装置の機能ブロック図である。
【図７】図７は、本発明の実施の形態２におけるエコー消去方法のフロー図である。
【図８】図８は、本発明の実施の形態２の変形例におけるエコー消去装置の機能ブロック図である。
【図９】図９は、本発明の実施の形態３におけるエコー消去装置の機能ブロック図である。
【図１０】図１０は、本発明の実施の形態３におけるエコー消去方法のフロー図である。
【図１１】図１１は、本発明の実施の形態３におけるエコー消去信号の選択方法のフロー図である。
【図１２】図１２は、本発明の実施の形態４におけるエコー消去装置の機能ブロック図である。
【図１３】図１３は、本発明の実施の形態４の変形例におけるエコー消去装置の機能ブロック図である。
【図１４】図１４は、本発明の実施の形態４におけるエコー消去方法のフロー図である。
【発明を実施するための形態】
【００３８】
以下、本発明の実施の形態について、図面を用いて説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
【００３９】
なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。
【００４０】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。なお、本実施の形態では、ビデオ会議システムを例に説明するが、音声会議システム、Ｗｅｂ会議サービス及び電話のようにスピーカーとマイクロホンとを用いて双方向に通話を行うシステムに適用することができる。
【００４１】
図１を用いて、本実施の形態のビデオ会議システムの構成について説明する。図１は、ビデオ会議システムの全体構成図である。図１に示されるように、ビデオ会議システムの全体構成には、ビデオ会議システム１と、テレビ２と、マイクロホン（マイク）３と、カメラ４と、インターネット５とが含まれる。
【００４２】
ビデオ会議システム１は、マイクロホン３により生成された音声信号（マイク信号）と、カメラ４により生成された映像信号とを受信し、インターネット５を介して通話相手のビデオ会議システムへ送信する。また、ビデオ会議システム１は、通話相手のビデオ会議システムから受信した音声信号（スピーカー信号）と映像信号とをテレビ２へ送信する。なお、スピーカー信号は、第１の音声信号の一例である。また、マイク信号は、第２の音声信号の一例である。
【００４３】
テレビ２は、映像信号と音声信号（スピーカー信号）とを受信し、受信した映像信号に基づいて映像を再生し、受信した音声信号（スピーカー信号）に基づいて音声を再生する。
【００４４】
マイクロホン３は、ユーザー音声を収音し、音声信号（マイク信号）を生成する。
【００４５】
カメラ４は、ユーザーを撮像し、映像信号を生成する。
【００４６】
インターネット５は、ビデオ会議システム１が接続されるネットワークであり、通話相手のビデオ会議システム（不図示）も接続されている。
【００４７】
ビデオ会議システム１はユーザー及びユーザーの通話相手の映像と音声とを双方向で送受信することで、ユーザー及びユーザーの通話相手のコミュニケーションを実現する。
【００４８】
図２は、ビデオ会議システムの機能ブロック図である。図１に示されるビデオ会議システム１について、図２を用いて詳細に説明する。なお、図２における矢印はデータが流れる方向を示す。
【００４９】
図２に示されるように、ビデオ会議システム１は、音声ＡＤＣ６と、映像ＡＤＣ（Analog DigitalConverter）７と、エンコーダー８と、デコーダー９と、音声ＤＡＣ（Digital AnalogConverter）１０と、映像ＤＡＣ１１と、通信部１４と、エコー消去装置２０とを備える。
【００５０】
通信部１４は、映像データ、及び、音声データを送受信する。
【００５１】
デコーダー９は、通信部１４にて受信した通話相手のビデオ会議システムから受信した映像データと音声データとをデコードし、映像信号とデジタルスピーカー信号とを生成する。
【００５２】
音声ＤＡＣ１０は、デコーダー９により生成されたデジタルスピーカー信号をアナログスピーカー信号に変換する。ビデオ会議システム１はデジタルスピーカー信号をスピーカー１２へ送信してもよい。
【００５３】
映像ＤＡＣ１１は、デコーダー９により生成されたデジタル映像信号をアナログ映像信号に変換する。ビデオ会議システム１はデジタル映像信号をディスプレイ１３へ送信してもよい。
【００５４】
映像ＡＤＣ７は、カメラ４により生成されたアナログ映像信号をデジタル映像信号に変換する。カメラ４が映像ＡＤＣ７を備えてデジタル映像信号を生成し、ビデオ会議システム１へ送信してもよい。
【００５５】
音声ＡＤＣ６は、マイク３により生成されたアナログマイク信号をデジタルマイク信号に変換する。マイク３が音声ＡＤＣ６を備えてデジタルマイク信号を生成し、ビデオ会議システム１へ送信してもよい。
【００５６】
エコー消去装置２０は、マイク信号とスピーカー信号を入力してエコー消去信号を出力する。
【００５７】
エンコーダー８は、映像ＡＤＣ７から出力されたデジタル映像信号とエコー消去装置２０から出力されたエコー消去信号とをエンコードする。
【００５８】
また、ビデオ会議システムに接続されるテレビ２は、スピーカー１２とディスプレイ１３とを備える。スピーカー１２は、ビデオ会議システム１からのアナログスピーカー信号を再生する。ディスプレイ１３は、ビデオ会議システム１からのアナログ映像信号を表示する。
【００５９】
なお、以降で、単にスピーカー信号、マイク信号、及び、映像信号と記したときには、それぞれ、デジタルスピーカー信号、デジタルマイク信号、及び、デジタル映像信号を意味する。
【００６０】
なお、図２ではスピーカー１個、マイクロホン１個の構成が示されているが、スピーカーとマイクロホンとはそれぞれ２個以上であってもよい。その場合、ビデオ会議システム１は、対応するマイクロホンの数の音声信号をエンコードできるエンコーダーと、対応するスピーカーの数の音声信号をデコードできるデコーダーと、対応する数のスピーカー信号と対応する数のマイク信号とを用いて１個以上のエコー消去信号を生成するエコー消去装置とを備える。ビデオ会議システム１は、音声ＤＡＣを内蔵する場合は、対応するスピーカーの数の音声ＤＡＣを備える。ビデオ会議システム１は、音声ＡＤＣを内蔵する場合は、対応するマイクロホンの数の音声ＡＤＣを備える。
【００６１】
なお、テレビ２、マイクロホン３、及び、カメラ４が、デジタル信号を入出力する場合には、映像ＡＤＣ５、音声ＡＤＣ６、音声ＤＡＣ１０、及び、映像ＤＡＣ１１は不要である。
【００６２】
ここで、エコー消去装置２０について説明する。図２のように構成されるビデオ会議システムは、受信した相手地点の音声をテレビ２のスピーカー１２から再生する。このとき、マイクロホン３には、自地点のユーザー音声に加えて、スピーカー１２から再生された通話相手地点の音声が収音される。このように、スピーカー１２から再生されてマイクロホン３に混入する音声がエコーである。エコーが生じる状態でエコーを消去せずに通話相手地点に音声を送信すると、通話相手にとっては、自分の発声した音声が時間差をもってスピーカーから再生されるため、コミュニケーションの妨げとなる。そこで、エコー消去装置２０が、マイクロホン３で収音したマイク信号に含まれるエコーを消去し、エコー消去信号を相手地点に送信する。これにより、エコーのない円滑なコミュニケーションを実現する。
【００６３】
上記のように構成されたビデオ会議システムの動作について説明する。ビデオ会議システム１と通話相手のビデオ会議システムとによってビデオ会議を開始すると、カメラ４で生成された映像信号が、映像ＡＤＣ７によりデジタル映像信号に変換され、エンコーダー８に送られる。マイクロホン３で生成された音声信号が、音声ＡＤＣ６によりデジタルマイク信号に変換され、エコー消去装置２０によりエコーが消去され、エンコーダー８に送られる。そして、エンコーダー８のエンコードにより生成された映像データ及び音声データが、通信部１４からインターネット５を介して通話相手のビデオ会議システムに送信される。また、通信部１４にて通話相手のビデオ会議システムから受信した映像データ及び音声データは、デコーダー９によってデコードされ、音声ＤＡＣ１０、映像ＤＡＣ１１を介して、映像信号、スピーカー信号それぞれをテレビ２に出力する。上記のように映像と音声データを双方向に送受信することで、コミュニケーションを行う。
【００６４】
図３は、本実施の形態におけるエコー消去装置２１の機能ブロック図である。本エコー消去装置２１は、図２に示されるエコー消去装置２０に相当する。図３において、マイクロホン３には自地点のユーザー音声だけでなく、スピーカー１２から再生されたスピーカー信号がエコーとして混入する。
【００６５】
エコー消去装置２１は、第１の擬似エコー生成部２００と、第１のエコー消去部２０１と、フィルタ更新部２０２とを備える。
【００６６】
第１の擬似エコー生成部２００は、スピーカー信号とエコー伝達特性を模擬したフィルタとの畳み込み演算により擬似エコー信号を生成する。
【００６７】
第１のエコー消去部２０１は、マイク信号から、第１の擬似エコー生成部２００により生成された擬似エコーを減算することでエコー消去信号を生成する。
【００６８】
フィルタ更新部２０２は、エコー消去部より生成されたエコー消去信号と、スピーカー信号とを用いてフィルタの特性を更新するためのものである。
【００６９】
図４は、本実施の形態におけるフィルタ更新部２０２の機能ブロック図である。フィルタ更新部２０２は、ノルム算出部３００と、非線形変換部３０１と、フィルタ更新量算出部３０２とを備える。
【００７０】
ノルム算出部３００は、スピーカー信号のノルムを算出する。ここで、スピーカー信号のノルムとは、過去の所定時間内のスピーカー信号の大きさの総和であり、当該時間内の信号の大きさの度合いを示す値である。
【００７１】
非線形変換部３０１は、エコー消去信号に対して非線形変換を行うことにより、非線形変換されたエコー消去信号を生成する。
【００７２】
フィルタ更新量算出部３０２は、ノルム算出部３００より算出されたノルムと、非線形変換されたエコー消去信号と、スピーカー信号とを用いてフィルタ特性の更新量を算出する。
【００７３】
かかる構成によればスピーカー信号のノルムと、非線形変換されたエコー消去信号と、スピーカー信号とを用いてフィルタ更新量を算出し、算出されたフィルタ更新量を用いてフィルタの更新を行う。これにより、ダブルトーク時であっても、フィルタをエコー伝達特性と等価にするための更新が可能となり、擬似エコーを正しく生成することができ、常時エコーを正しく消去することができる。
【００７４】
図５は本実施の形態におけるエコー消去方法のフロー図である。本実施の形態におけるエコー消去方法についてフロー図と数式とを用いて説明する。
【００７５】
本エコー消去方法では、まず、エコー消去装置２０が、マイク信号ｍ（ｔ）を取得する（Ｓ５０１）。ここで、ｔはデジタル化された信号における時刻を表し、ｘ（ｔ）は時刻ｔにおけるスピーカー信号を表す。マイク信号ｍ（ｔ）は、ユーザー音声ｓ（ｔ）とエコーe（ｔ）とを用いて（式１）により与えられる（ｓ（ｔ）には、ユーザー音声だけでなく、複数のユーザー音声または背景ノイズが含まれる。）。
【００７６】
【数１】
0005887535.tif 000002
【００７７】
また、エコーｅ（ｔ）は、スピーカー１２からマイクロホン３までのエコー伝達特性ｈ（τ）と、スピーカー信号ｘ（ｔ）とより（式２）により与えられる。ここで、τはフィルタのサンプル番号、Ｌはエコー伝達特性の長さを表す。
【００７８】
【数２】
0005887535.tif 000003
【００７９】
次に、エコー消去装置２０が、スピーカー信号ｘ（ｔ）を取得する（Ｓ５０２）。
【００８０】
次に、第１の擬似エコー生成部２００は、擬似エコーｚ（ｔ）を生成する（Ｓ５０３）。エコー伝達特性を模擬するための更新前のフィルタをｗｔ−１（τ）とすると、第１の擬似エコー生成部２００は、擬似エコーｚ（ｔ）を（式３）により生成する。ここで、Ｔはフィルタの長さである。
【００８１】
【数３】
0005887535.tif 000004
【００８２】
次に、第１のエコー消去部２０１は、マイク信号に含まれるエコーを消去することにより、エコー消去信号ｏ（ｔ）を生成する（Ｓ５０４）。第１のエコー消去部２０１は、（式４）により、マイク信号ｍ（ｔ）から擬似エコーｚ（ｔ）を減算することでエコー消去信号ｏ（ｔ）を生成する。
【００８３】
【数４】
0005887535.tif 000005
【００８４】
次に、ノルム算出部３００は、スピーカー信号ｘ（ｔ）のノルムｎ（ｔ）を算出する（Ｓ５０５）。ノルム算出部３００は、（式５）によりスピーカー信号ｘ（ｔ）のノルムｎ（ｔ）を算出する。
【００８５】
【数５】
0005887535.tif 000006
【００８６】
なお、（式５）において、ノルムは、スピーカー信号の絶対値の累積値としたが、他の算出方法でも算出され得る。例えば、スピーカー信号の２乗の累積値の平方根で与えられるユークリッドノルム、または、信号の大きさの最大値で与えられる最大値ノルムにより算出され得る。
【００８７】
次に、非線形変換部３０１は、非線形変換されたエコー消去信号φ（ｏ（ｔ））を生成する（Ｓ５０６）。非線形変換部３０１は、エコー消去信号ｏ（ｔ）に対して非線形変換を行うことにより、非線形変換されたエコー消去信号φ（ｏ（ｔ））を生成する。なお、非線形変換に用いられる非線形関数の具体例には、変換対象の変数が正のときに＋１を、変換対象の変数が負のときに−１を、変換対象の変数が０のときに０をそれぞれとるような符号関数がある。また、非線形関数の他の具体例には、双曲線正接ｔａｎｈ（ｏ（ｔ））がある。つまり、φ（ｏ（ｔ））はマイク信号の大きさによらず−１以上＋１以下の値をとる。
【００８８】
次に、フィルタ更新量算出部３０１は、フィルタ更新量Δｗ（τ）を算出する（Ｓ５０６）。フィルタ更新量算出部３０１は、非線形変換されたエコー消去信号φ（ｏ（ｔ））と、スピーカー信号ｘ（ｔ）と、ノルムｎ（ｔ）とを用いて（式６）によりフィルタ更新量Δｗ（τ）を算出する。
【００８９】
【数６】
0005887535.tif 000007
【００９０】
ここで、ノルムｎ（ｔ）に対するスピーカー信号ｘ（ｔ）の比は、ある時間のスピーカー信号の大きさの平均値からの相対変化量を示す値である。なお、ノルムｎ（ｔ）に対するスピーカー信号ｘ（ｔ）の比をとることを、スピーカー信号ｘ（ｔ）をノルムにより正規化する、と表現する。
【００９１】
なお、Δｗ（τ）は、非線形変換されたエコー消去信号φ（ｏ（ｔ））と、スピーカー信号ｘ（ｔ）と、ノルムｎ（ｔ）とにより求められるものであって、フィルタ更新量として用いることができる無次元量であれば、他の計算により算出されてもよい。
【００９２】
次に、第１の擬似エコー生成部２００は、フィルタを更新する（Ｓ５０７）。第１の擬似エコー生成部２００は、更新後のフィルタｗｔ（τ）を、更新前のフィルタｗｔ−１（τ）と、フィルタ更新量Δｗ（τ）と、ステップゲインαとを用いて（式７）により算出する。ここで、ステップゲインαは、更新量を調整するための係数である。更新後のフィルタは時刻ｔの次の時刻である時刻（ｔ＋１）で用いられる。
【００９３】
【数７】
0005887535.tif 000008
【００９４】
以上の一連の処理によって、フィルタ特性を用いてマイク信号に含まれるエコーを消去し、フィルタ特性を更新することができる。更新されたフィルタ特性は、次の時刻のエコーの消去に用いられる。
【００９５】
以下で、本発明におけるエコー消去方法の特徴を先行技術文献との比較をしながら説明する。
【００９６】
特許文献１に開示される技術によれば、フィルタ更新量Δｗ（τ）は（式８）のように定義される。
【００９７】
【数８】
0005887535.tif 000009
【００９８】
（式８）において、スピーカー信号ｘ（ｔ−τ）は、ノルムによる正規化が行われていない。そのため、フィルタ更新量Δｗ（τ）は、スピーカー信号の大きさに依存して変動する。よって、スピーカー信号の大きさが時々刻々と変化する場合には、フィルタ特性がエコー伝達特性に近づく速度である収束速度が低下する。なお、信号の大きさが時々刻々と変化する信号の具体例の一つは会話の音声信号である。
【００９９】
これに対し、本実施の形態の更新式（式６）おけるΔｗ（τ）は、スピーカー信号のノルムで正規化されているため、スピーカー信号の大きさに依存しない。よって、スピーカー信号の大きさが時々刻々と変化する場合にも、フィルタ特性の変動は小さく抑えられる。その結果、フィルタ特性が比較的早くエコー伝達特性に近づく。
【０１００】
一方、特許文献２に開示される技術によれば、更新量は（式９）のように定義される。
【０１０１】
【数９】
0005887535.tif 000010
【０１０２】
（式９）では、Δｗ（τ）は、分子がスピーカー信号の大きさに非依存のφ（ｏ（ｔ））とスピーカー信号との積で与えられ、分母がスピーカー信号の２乗和で与えられているため、スピーカー信号の振幅の−１乗次元に正規化されている。そのため、スピーカー信号の大きさ変化の影響を受け、正しい更新量が算出されず、フィルタ特性がエコー伝達特性に近づく速度である収束速度が低下する。
【０１０３】
特許文献１及び特許文献２のように、フィルタ更新量Δｗ（τ）の正規化が正しくない場合、適切なフィルタ更新ができないことはいうまでもない。フィルタ更新が適切でない場合、ステップゲインαを試行錯誤により調整することにより、誤差を小さくすることが従来実現されていたが、あくまで限定的な範囲内での調整に限られていた。
【０１０４】
これに対し、本実施の形態におけるフィルタ更新方法では、ノルムにより更新量の次元を正しく正規化でき、ダブルトーク時であっても安定してフィルタをエコー伝達特性と等価にするための更新を正しく行うことが可能となる。
【０１０５】
以上より、本実施の形態によれば、シングルトーク時だけでなくダブルトーク時においても、安定してフィルタの特性をエコー伝達特性と等価にすることにより、エコーを消去することができる。その理由は以下のように説明される。
【０１０６】
第一に、フィルタの更新量Δｗ（τ）がユーザー音声ｓ（ｔ）の大きさに対する依存を軽減できているからである。Δｗ（τ）は、（式６）に示されるとおり、非線形変換されたエコー消去信号φ（ｏ（ｔ））に依存する。ダブルトーク時にはエコー消去信号ｏ（ｔ）にユーザー音声ｓ（ｔ）が含まれるが、その場合でも非線形変換を行っているため、フィルタ更新量Δｗ（τ）はユーザー音声ｓ（ｔ）の大きさに依存して過度に増減することはない。
【０１０７】
第二に、フィルタｗｔ（τ）の更新量Δｗ（τ）がスピーカー信号ｘ（ｔ）の大きさに対する依存度を軽減しているためである。Δｗ（τ）は、（式６）に示されるとおり、正規化された形のｘ（ｔ）、つまり、ｘ（ｔ−τ）／ｎ（ｔ）に依存する。よって、シングルトーク時でもダブルトーク時でもスピーカー信号ｘ（ｔ）の大きさに依存して、Δｗ（τ）が過度に増減することはない。
【０１０８】
第三に、第１の擬似エコー生成部２００において、擬似エコーが同次元の信号で生成されるためである。具体的には、振幅１乗次元である擬似エコーはスピーカー信号ｘ（ｔ）の振幅１乗次元で生成されるためである。この場合に、同次元の信号で擬似エコー信号を生成しているため、安定してより正しい擬似エコーを生成することができる。
【０１０９】
以上の理由により、フィルタの更新量が、エコー消去信号の相対変化量とスピーカー信号の相対変化量とに依存し、擬似エコー信号がスピーカー信号の振幅１乗次元で表されるようになる。そのため、ダブルトーク時においてフィルタの特性をエコー伝達特性と等価にすることができる。
【０１１０】
以上のように、本発明の一態様に係るエコー消去装置は、ノルムにより正規化された第１の音声信号（スピーカー信号）と、非線形変換された第２の音声信号（マイク信号）とに依存するフィルタ更新量を算出することができる。このフィルタ更新量を用いて更新されるフィルタと第１の音声信号との演算により生成される擬似エコー信号は、第１の音声信号の振幅１乗次元で与えられる。このため、シングルトーク時及びダブルトーク時において安定してフィルタの特性をエコー伝達特性と等価にすることが可能となる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることによりエコー信号を消去することができる。
【０１１１】
また、第１の音声信号の平均値に対する相対変化量と、非線形変換された第２の音声信号とに依存するフィルタ更新量を算出することができる。このフィルタ更新量を用いて更新されるフィルタと第１の音声信号との演算により生成される擬似エコー信号は、第１の音声信号の振幅１乗次元で与えられる。このため、シングルトーク時及びダブルトーク時において安定してフィルタの特性をエコー伝達特性と等価にすることが可能となる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることによりエコー信号を消去することができる。
【０１１２】
また、エコー消去信号の大きさを０に近づける方向へ変化させるための計算に使われる符号に対応する値を得ることができる。
【０１１３】
（実施の形態２）
図６は、本発明の実施の形態３におけるエコー消去装置２２の機能ブロック図である。エコー消去装置２２は、実施の形態１におけるエコー消去装置２０に相当する。図６において、図２、図３及び図４と同じ構成要素については同じ符号を用い、説明を省略する。
【０１１４】
図６において、エコー消去装置２２は、第２の擬似エコー生成部４００と、第２のエコー消去部４０１とを備える。
【０１１５】
第２の擬似エコー生成部４００は、前記算出したノルムと前記非線形変換されたエコー消去信号と前記スピーカー信号とを用いて第２の擬似エコー信号を生成する。
【０１１６】
第２のエコー消去部４０１は前記エコー消去信号から前記第２の擬似エコー信号を減算することで第２のエコー消去信号を生成する。
【０１１７】
かかる構成によれば、実施の形態１のエコー消去信号（以降、第１のエコー消去信号とも称する）から、第２の擬似エコー生成部４００により生成された第２の擬似エコー信号を減算することで、第２のエコー消去信号を生成することができる。第２のエコー消去信号は、（式６）により算出されるフィルタ更新量を用いて更新されるフィルタにより生成される。第２のエコー消去信号は、第１のエコー消去信号に比べてエコー消去性能が高い。
【０１１８】
本実施の形態におけるエコー消去方法についてフロー図と数式とを用いて説明する。
【０１１９】
図７は本実施の形態におけるエコー消去方法のフロー図である。本実施の形態におけるフローが実施の形態１のフローと異なる点は、フィルタ更新（Ｓ５０８）の後の処理である。以降で、フィルタ更新（Ｓ５０８）の後の処理のフローについてのみ説明する。
【０１２０】
フィルタ更新（Ｓ５０８）の後、第２の擬似エコー生成部４００は、第２の擬似エコーを生成する（Ｓ７０９）。第２の擬似エコーｚ２（ｔ）は、フィルタ更新量Δｗ（τ）とスピーカー信号ｘ（ｔ）とを用いて（式１０）により与えられる。
【０１２１】
【数１０】
0005887535.tif 000011
【０１２２】
（式１０）では、フィルタ更新量Δｗ（τ）とスピーカー信号ｘ（ｔ）とを畳み込んでいる。この畳み込み演算の演算量は膨大である。そこで、次式のように数式展開することにより、畳み込み演算を行う必要がなくなる。
【０１２３】
【数１１】
0005887535.tif 000012
【０１２４】
（式１１）を利用すれば、第２の擬似エコー生成部４００は、既に算出したノルムと非線形変換されたエコー消去信号と、スピーカー信号の２乗和とを用いることで、第２の擬似エコーｘ２（ｔ）を生成することが可能となる。
【０１２５】
（式１１）において、毎時刻２乗和を計算しなくとも、前の処理時刻で算出した２乗和から、最も古い時刻の２乗値を減じ、現時刻で取得した最新時刻の２乗値を加えるだけで現処理時刻におけるスピーカー信号の２乗和を算出できる。よって、第２のエコー消去の演算量を大幅に削減することができる。
【０１２６】
次に、第２のエコー消去部４０１は、第１のエコー消去信号に含まれるエコーを消去することにより、第２のエコー消去信号を生成する（Ｓ７１０）。第２のエコー消去部４０１は、（式４）に示される第１のエコー消去信号から（式１１）に示される第２の擬似エコー信号を減算することにより、第２のエコー消去信号を生成する。
【０１２７】
【数１２】
0005887535.tif 000013
【０１２８】
このように第２のエコー消去を行うことで、第１のエコー消去信号に比べ、エコー消去性能の高いエコー消去信号を生成することができる。
【０１２９】
以下で本発明におけるエコー消去方法の特徴を先行技術文献との比較をしながら説明する。第２の擬似エコーの構成要素について物理的な意味を解釈することで、エコー消去方法の特徴が理解される。第２の擬似エコーは、フィルタの更新により変化する擬似エコーの変化量に対応する。
【０１３０】
仮に、特許文献１に開示されるエコー消去方法により算出されるフィルタ更新量を用いて、第２の擬似エコー信号を生成すると（式１３）のようになる。
【０１３１】
【数１３】
0005887535.tif 000014
【０１３２】
特許文献１では、第２の擬似エコー信号（振幅の１乗次元）が、スピーカー信号のパワー（振幅の２乗次元）で更新される。第２の擬似エコー信号は１乗次元であり、次元が異なるため、正しい更新ができないことを意味している。
【０１３３】
また、仮に、特許文献２に開示されるエコー消去方法により算出されるフィルタ更新量を用いて、第２の擬似エコーを生成すると（式１４）のようになる。
【０１３４】
【数１４】
0005887535.tif 000015
【０１３５】
特許文献２では、第２の擬似エコー信号が、非線形変換されたエコー消去信号（無次元）で更新される。特許文献２で特に問題になるのはダブルトークの時である。（式１４）ではスピーカー信号が含まれていない。つまり、スピーカー信号に依存せず擬似エコーの更新量が決まることとなり、ダブルトーク時にエコー信号が残存しているか否かを判断せずに更新される。典型的な例として、エコーがなく、ユーザー音声のみあるような場合には、本来、擬似エコーの更新は不要であるが、（式１４）によれば、第２の擬似エコー信号が更新される。つまり、特許文献２では、従来のＮＬＭＳのダブルトーク時に正しくフィルタを更新できないという欠点を有する。不感帯または過修正帯を有する非線形関数を用いることで、エコー伝達特性と等価になる収束速度の改善が図られているため、一定の程度のエコー消去効果が得られるが、最適なエコー消去信号を利用しているとはいえない。
【０１３６】
以上のように、特許文献１及び特許文献２ではダブルトーク時において、正しくフィルタをエコー伝達特性と等価にする更新はできない。
【０１３７】
以下で、本実施の形態よる方法について説明する。（式１１）は、変形及び近似により、（式１５）となる。
【０１３８】
【数１５】
0005887535.tif 000016
【０１３９】
（式１５）に示されるように、本実施の形態におけるエコー消去方法では、第２の擬似エコー信号は、振幅の１乗次元で生成される。スピーカー信号のノルムは振幅の１乗次元であり、非線形変換されたエコー消去信号φ（ｏ（ｔ））はマイク信号の大きさによらず−１以上＋１以下の値をとるため無次元である。よって、両辺の次元が一致しており、非線形変換によりユーザー音声の大きさの依存度を軽減できているため、シングルトーク時やダブルトーク時によらず安定して擬似エコーを生成することが可能となる。
【０１４０】
以上のように、本実施の形態におけるエコー消去方法は、フィルタ更新量がダブルトーク状態においても、非線形変換されたエコー消去信号とスピーカー信号との独立性により算出され、かつスピーカー信号の大きさの依存度を軽減できているため、フィルタのエコー伝達特性と等価にするための更新を正しく行うことができる。
【０１４１】
以上のように、本発明の一態様に係るエコー消去装置は、スピーカー信号と、スピーカー信号のノルムと、非線形変換されたエコー消去信号と、第１のエコー消去信号とにより、エコー消去信号に残留するエコーを消去するための第２の擬似エコー信号を少ない演算量で生成することができる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることができ、さらに高い精度でエコーを消去することが可能となる。
【０１４２】
また、第２の擬似エコー信号を生成するための計算を高速に実行することができる。なぜなら、現時刻における第１の音声信号の大きさの２乗和を算出するには、前の処理時刻で算出した第１の音声信号の大きさの２乗和から、最も古い時刻の２乗値を減じ、現時刻で取得した最新時刻の２乗値を加えるだけで現処理時刻におけるスピーカー信号の２乗和を算出できる。よって、第２のエコー消去の演算量を削減することができる。
【０１４３】
（実施の形態２の変形例）
図６で示されるエコー消去装置２２は、（式１５）の近似により、図８に示されるエコー消去装置２３の構成をとることも可能である。本変形例によれば、本実施の形態による場合に比べて、エコー消去装置の計算量を削減することができる。つまり、本実施の形態では、（式１１）のようにスピーカー信号の２乗和とノルムと非線形変換されたエコー消去信号とから、第２のエコー消去信号が求められる。一方、本変形例ではノルムと非線形変換されたエコー消去信号とのみから第２のエコー消去信号が求められる。
【０１４４】
図８は、本実施の形態の変形例におけるエコー消去装置の機能ブロック図である。第２の擬似エコー生成部４０２は、（式１５）のように、ノルム算出部３００より算出したノルムと、非線形変換されたエコー消去信号とを用いて算出することができ、少ない演算量で第２の擬似エコーを生成することが可能となる。
【０１４５】
かかる構成によれば、極めて少ない演算量でエコー消去性能の改善を図ることが可能となる。
【０１４６】
以上のように、本発明の一態様に係るエコー消去装置は、スピーカー信号のノルムと、非線形変換されたエコー消去信号と、第１のエコー消去信号とにより、エコー消去信号に残留するエコーを消去するための第２の擬似エコー信号を少ない演算量で生成することができる。よって、シングルトーク時だけでなくダブルトーク時にも、フィルタの特性をエコー伝達特性と等価にすることにより、さらに高い精度でエコーを消去することが可能となる。
【０１４７】
（実施の形態３）
図９は、本実施の形態におけるエコー消去装置２４の機能ブロック図である。エコー消去装置２４は、実施の形態１におけるエコー消去装置２０に相当する。図９において、図２、図３、図４及び図６と同じ構成要素については同じ符号を用い、説明を省略する。
【０１４８】
図９において、エコー消去装置２４は、選択部５００を備える。
【０１４９】
選択部５００は、第１のエコー消去信号の大きさと第２のエコー消去信号の大きさとを比較し、第２のエコー消去信号の大きさが第１のエコー消去信号の大きさより小さい場合に、第２のエコー消去信号を新たな第２のエコー消去信号として出力する。また、第２のエコー消去信号の大きさが第１のエコー消去信号の大きさより大きい場合に、第１のエコー消去信号を新たな第２のエコー消去信号として出力する。なお、第２の擬似エコー信号は、第２の擬似エコー生成部４００により生成されたものでもよいし、第２の擬似エコー生成部４０２により生成されたものでもよい。
【０１５０】
かかる構成によれば、エコー消去装置２４は第１のエコー消去信号及び第２のエコー消去信号のうち、エコー消去性能の高いエコー消去信号を選択することが可能となる。
【０１５１】
本実施の形態におけるエコー消去方法についてフロー図と数式とを用いて説明する。
【０１５２】
図１０は本実施の形態におけるエコー消去方法のフロー図である。本実施の形態のフロー図が実施の形態２のフローと異なる点は、本実施の形態では、第２のエコー消去（Ｓ７１０）の後の処理である。以降で、第２のエコー消去（Ｓ７１０）の後の処理についてのみ説明する。
【０１５３】
第２のエコー消去（Ｓ７１０）の後、選択部５００は、エコー消去信号の選択を行う（Ｓ１０１１）。
【０１５４】
図１１は、本実施の形態におけるエコー消去信号の選択方法のフロー図である。
【０１５５】
選択部５００は、（式４）により生成された第１のエコー消去信号の大きさと、（式１２）により生成された第２のエコー消去信号の大きさとを比較する（Ｓ１１０１）。そして、第２のエコー消去信号の大きさが第１のエコー消去信号の大きさより小さい場合（Ｓ１１０１でＹｅｓ）に、第２のエコー消去信号を新たな第２のエコー消去信号ｏ３（ｔ）とする（Ｓ１１０２）。また、第２のエコー消去信号の大きさが第１のエコー消去信号の大きさより大きい場合（Ｓ１１０１でＮｏ）に、第１のエコー消去信号を新たな第２のエコー消去信号ｏ３（ｔ）とする（Ｓ１１０３）。このようにして新たな第２のエコー消去信号ｏ３（ｔ）を生成する。
【０１５６】
【数１６】
0005887535.tif 000017
【０１５７】
このように、第１のエコー消去信号と第２のエコー消去信号とのうち、その大きさの小さいエコー消去信号を選択することで、エコー消去性能の高いエコー消去信号を選択することが可能となる。
【０１５８】
なお、第２のエコー消去信号を算出する前の時点で、（式１２）の第２のエコー消去信号の大きさ（ｏ２（ｔ）の絶対値）が、第１のエコー消去信号の大きさ（ｏ（ｔ）の絶対値）より大きくなることが判明したときには、第２のエコー消去信号を算出しないようにしてもよい。なぜなら、結果的にｏ２（ｔ）がその後の処理に利用されないためである。具体的には、例えば、（式１２）のｏ（ｔ）とｚ２（ｔ）との大小関係を比較し、０＜ｚ２（ｔ）＜２×ｏ（ｔ）が成立するときには、ｏ２（ｔ）を算出しないようにしてもよい。また、同様に、２×ｏ（ｔ）＜ｚ２（ｔ）＜０が成立するときには、ｏ２（ｔ）を算出しないようにしてもよい。
【０１５９】
以上のように、本発明の一態様に係るエコー消去装置は、第１のエコー消去信号と第２のエコー消去信号とのうちで、効果的にエコーが消去された方をエコー消去装置の出力とすることができる。第２のエコー消去信号の大きさが、第１のエコー消去信号の大きさより大きい場合とは、第１のエコー消去信号のエコー消去を意図した演算において、当該意図と異なり第１のエコー消去信号に含まれるエコーを増大させた場合に相当する。このような場合には、エコー消去装置の出力として第１の消去信号が適切であるためである。
【０１６０】
（実施の形態４）
図１２は、本実施の形態におけるエコー消去装置２５の機能ブロック図である。エコー消去装置２５は、実施の形態１におけるエコー消去装置２０に相当する。図１２において、図２、図３、図４、図６及び図９と同じ構成要素については同じ符号を用い、説明を省略する。
【０１６１】
図１２において、エコー消去装置２５は、フィルタ更新量算出部３０３を備える。
【０１６２】
フィルタ更新量算出部３０３は、第１のエコー消去信号と第２のエコー消去信号とを比較し、第２のエコー消去信号の大きさが第１のエコー消去信号の大きさより大きい場合にはフィルタの更新を行わない。また、第２のエコー消去信号の大きさが第１のエコー消去信号の大きさより小さい場合に、ノルム算出部３００より算出されたノルムと、第１のエコー消去信号と、スピーカー信号とを用いてフィルタ更新量を算出し、算出された更新量を用いてフィルタを更新する。なお、第２の擬似エコー信号は、第２の擬似エコー生成手段４００により生成されたものでもよいし、第２の擬似エコー生成手段４０２により生成されたものであってもよい。
【０１６３】
本実施の形態におけるエコー消去方法についてフロー図と数式とを用いて説明する。本実施の形態のフロー図が実施の形態３のフローと異なる点は、本実施の形態では、スピーカー信号のノルム算出（Ｓ５０６）の後の処理である。以降で、スピーカー信号のノルム算出（Ｓ５０６）の後の処理についてのみ説明する。
【０１６４】
図１４は本実施の形態におけるエコー消去方法のフロー図である。
【０１６５】
スピーカー信号のノルム算出（Ｓ５０６）の後、エコー消去装置２５は、第２の擬似エコー生成（Ｓ１４０７）、第２のエコー消去（Ｓ１４０８）、及び、エコー消去信号選択（Ｓ１４０９）を行う。これらの処理は、それぞれ、ステップＳ７０９、Ｓ７１０、及び、Ｓ１０１１と同じである。
【０１６６】
次に、（式４）で生成された第１のエコー消去信号の大きさと、（式１２）で生成された第２のエコー消去信号の大きさとを比較する（Ｓ１４１０）。
【０１６７】
ステップＳ１４１０での比較の結果、第２のエコー消去信号の大きさがエコー消去信号の大きさより大きい場合（Ｓ１４１０でＮｏ）に、第２のエコー消去信号を新たな第２のエコー消去信号として出力する（Ｓ１４１４）。このとき、フィルタ更新量算出部３０３は、フィルタの更新を行わない。
【０１６８】
一方、ステップＳ１４１０での比較の結果、第２のエコー消去信号の大きさがエコー消去信号の大きさより小さい場合（Ｓ１４１０でＹｅｓ）に、第１のエコー消去信号を新たな第２のエコー消去信号として出力する（Ｓ１４１１）。フィルタ更新量算出部３０３は、フィルタの更新量を算出し（Ｓ１４１２）、フィルタの更新を行う（Ｓ１４１３）。
【０１６９】
本実施の形態において、第２のエコー消去信号の大きさが、第１のエコー消去信号の大きさより大きい場合とは、第１の擬似エコーの生成を意図したフィルタ更新算出において、当該意図と異なりエコー消去信号の大きさを増大させるようにフィルタ更新がされる場合に相当する。このような場合には、フィルタ更新を行わないことが適切である。また、フィルタ更新の判定は第１のエコー消去信号の大きさと第２のエコー消去信号の大きさとの比較により行っているため、判定においてフィルタの更新量は用いられない。よって、フィルタの更新量を算出する前に更新の判定することができ、エコー消去装置の演算量を削減することができる。
【０１７０】
（実施の形態４の変形例）
図１３は、本実施の形態の変形例におけるエコー消去装置２６の機能ブロック図である。実施の形態４では、選択部５００がエコー消去信号の大きさを用いてフィルタ更新の有無を決定するが、本変形例では、フィルタ更新量算出部３０４において、第１のエコー消去信号と第２のエコー消去信号と非線形変換されたエコー消去信号を用いて、実施の形態４と同様のことが実現される。
【０１７１】
かかる構成によれば算出されたフィルタの更新量がエコー伝達特性と等価になるような更新量か否かを、前記エコー消去信号の大きさと前記第２のエコー消去信号の大きさとを比較することで判定することができ、不適切な更新がされなくなる。その結果、フィルタのエコー伝達特性と等価になる収束性能が改善し、フィルタをよりエコー伝達特性と等価にできる。
【０１７２】
以上のように、本発明の一態様に係るエコー消去装置は、第２のエコー消去信号の大きさが、第１のエコー消去信号の大きさより大きい場合とは、第１の擬似エコーの生成を意図したフィルタ更新算出において、当該意図と異なりエコー消去信号の大きさを増大させるようにフィルタ更新がされる場合に相当する。このような場合には、フィルタ更新を行わないことで、安定にフィルタの特性をエコー伝達特性と等価にすることができ、さらに高い精度でエコーを消去することが可能となる。また、第２のエコー消去信号の大きさが、第１のエコー消去信号の大きさより大きいときに、エコー消去装置の演算量を削減することができる。フィルタ更新の判定は第１のエコー消去信号の大きさと第２のエコー消去信号の大きさとの比較により行っている。したがって、判定においてフィルタの更新量は用いられないためである。
【０１７３】
以上、本発明の部品実装方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【産業上の利用可能性】
【０１７４】
本発明に係るエコー消去装置及び方法、並びに、本エコー消去装置を搭載する通話装置は、ユーザー音声とエコーが同時に存在するダブルトーク時においても、スピーカーからマイクロホンまでのエコー伝達特性とフィルタ特性とを等価にすることが可能である。そのため、ビデオ会議システム、音声会議システム、ハンズフリー電話、Ｗｅｂ会議サービス等として有用である。また、その他にも、マイクロホンにスピーカーから再生される音が混入してしまうような場合のエコー消去方法にも応用できる。
【符号の説明】
【０１７５】
１  ビデオ会議システム
２  ビデオ会議端末
３  マイク
４  カメラ
５  インターネット
６  音声ＡＤＣ
７  映像ＡＤＣ
８  エンコーダー
９  デコーダー
１０  音声ＤＡＣ
１１  映像ＤＡＣ
１２  スピーカー
１３  ディスプレイ
１４  通信部
２０、２１、２２、２３、２４、２５、２６  エコー消去装置
１００  マイク信号取得部
１０１  スピーカー信号取得部
２００  第１の擬似エコー生成部
２０１  第１のエコー消去部
２０２  フィルタ更新部
３００  ノルム算出部
３０１  非線形変換部
３０２、３０３、３０４  フィルタ更新量算出部
４００、４０２  第２の擬似エコー生成部
４０１  第２のエコー消去部
５００  選択部
【図１】
0005887535.tif 000018
【図２】
0005887535.tif 000019
【図３】
0005887535.tif 000020
【図４】
0005887535.tif 000021
【図５】
0005887535.tif 000022
【図６】
0005887535.tif 000023
【図７】
0005887535.tif 000024
【図８】
0005887535.tif 000025
【図９】
0005887535.tif 000026
【図１０】
0005887535.tif 000027
【図１１】
0005887535.tif 000028
【図１２】
0005887535.tif 000029
【図１３】
0005887535.tif 000030
【図１４】
0005887535.tif 000031