(57)【特許請求の範囲】
【請求項１】
スピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネル受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する多チャネルエコー消去方法であって、
適応フィルタによる疑似エコー経路に前記受話信号を入力して疑似エコー信号を生成するエコー予測ステップと、
前記マイクロホンで収音する第１収音信号から前記疑似エコー信号を差し引き、第２収音信号を求める減算ステップと、
前記第２収音信号と前記受話信号を用いて、前記適応フィルタのフィルタ係数を更新するエコー経路推定ステップと、
Ｍチャネル受話信号と、第２収音信号とを周波数領域の信号に変換する周波数領域変換ステップと、
Ｍチャネル受話信号の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）と、Ｍチャネル受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、Ｍチャネル受話信号と第２収音信号の間のクロススペクトルＱ（ｆ，ｊ）とを周波数ごとに求める入出力相関係数算出ステップと、
前記パワースペクトルＰｍｍ（ｆ，ｊ）、クロススペクトルＰｍ’ｍ（ｆ，ｊ）及びＱ（ｆ，ｊ）を用いて、周波数ごとに入出力伝達特性を推定する入出力伝達特性推定ステップと、
前記周波数領域のＭチャネル受話信号と推定した入出力伝達特性とから第２収音信号に含まれるエコー成分を周波数ごとに予測する残留エコー予測ステップと、
周波数領域の第２収音信号から、予測したエコー成分を差し引き、送話信号を周波数ごとに求める減算ステップと、
前記減算ステップで求めた送話信号を時間領域の信号に変換する時間領域変換ステップと、を有する、
ことを特徴とする多チャネルエコー消去方法。
【請求項２】
請求項１記載の多チャネルエコー消去方法であって、
前記推定した入出力伝達特性の大きさを算出する大きさ算出ステップと、
予め指定した基準値よりも前記入出力伝達特性の大きさが大きいか否かを判定する判定ステップと、
前記入出力伝達特性の大きさが前記基準値よりも大きい場合には、前記推定した入出力伝達特性に前記基準値を乗じ、さらに、前記入出力伝達特性の大きさで割ることによって、前記入出力伝達特性を調整する調整ステップを備える、
ことを特徴とする多チャネルエコー消去方法。
【請求項３】
請求項１または２記載の多チャネルエコー消去方法であって、
前記入出力相関係数算出ステップにおいて、前記Ｐｍｍ（ｆ，ｊ），Ｐｍ’ｍ（ｆ，ｊ），Ｑ（ｆ，ｊ）は、受話信号をＸｍ（ｆ，ｊ）、第２収音信号をＳ（ｆ，ｊ）とすると、
【数１２】
0005391103.tif 000013
により算出し、前記入出力伝達特性推定ステップにおいて、前記入出力伝達特性Ｇ（ｆ，ｊ）は、
【数１３】
0005391103.tif 000014
により推定し、前記残留エコー予測ステップにおいて、前記エコー成分を、
【数１４】
0005391103.tif 000015
として予測する、
ことを特徴とする多チャネルエコー消去方法。
【請求項４】
スピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネル受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する多チャネルエコー消去装置であって、
適応フィルタによる疑似エコー経路に前記受話信号を入力して疑似エコー信号を生成するエコー予測部と、
前記マイクロホンで収音する第１収音信号から前記疑似エコー信号を差し引き、第２収音信号を求める減算部と、
前記第２収音信号と前記受話信号を用いて、前記適応フィルタのフィルタ係数を更新するエコー経路推定部と、
Ｍチャネル受話信号と、第２収音信号とを周波数領域の信号に変換する周波数領域変換部と、
Ｍチャネル受話信号の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）と、Ｍチャネル受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、Ｍチャネル受話信号と第２収音信号の間のクロススペクトルＱ（ｆ，ｊ）とを周波数ごとに求める入出力相関係数算出部と、
前記パワースペクトルＰｍｍ（ｆ，ｊ）、クロススペクトルＰｍ’ｍ（ｆ，ｊ）及びＱ（ｆ，ｊ）を用いて、周波数ごとに入出力伝達特性を推定する入出力伝達特性推定部と、
前記周波数領域のＭチャネル受話信号と推定した入出力伝達特性から第２収音信号に含まれるエコー成分を周波数ごとに予測する残留エコー予測部と、
周波数領域の第２収音信号から、予測したエコー成分を差し引き、送話信号を周波数ごとに求める減算部と、
前記減算部で求めた送話信号を時間領域の信号に変換する時間領域変換部と、を有する、
ことを特徴とする多チャネルエコー消去装置。
【請求項５】
請求項１から３の何れかに記載の方法をコンピュータに実行させるためのプログラム。
【請求項６】
請求項５記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はスピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネル受話信号を再生し、マイクロホンで収音した収音信号（以下「第１収音信号」という）から音響エコー（以下、単に「エコー」という）を消去する技術、特にテレビ会議システム等の拡声通話系におけるエコーを消去する技術に関する。
【背景技術】
【０００２】
スピーカで受話信号が再生され、その音声がマイクロホンで収音されてエコーが生じる。そのまま送信されると通話の障害や不快感などの問題が生じる。さらに、スピーカやマイクロホンの音量が大きい場合にはハウリングが生じ、通話が不可能になる。特に拡声通話系では、このような問題が顕著となる。
【０００３】
この問題を解決するために、従来技術として、適応フィルタを用いてエコーを消去するエコー消去装置がある。非特許文献１が従来技術の多チャネルエコー消去装置として知られている。図１を用いて従来の多チャネルエコー消去装置９０を説明する。
【０００４】
Ｍ個のスピーカ２１，…，２ＭとＮ個のマイクロホン３１，…，３Ｎが共通の音場に配置され、スピーカ２１，…，２ＭからＭチャネル受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を再生した場合に、多チャネルエコー消去装置９０は、ｍ×ｎ本のエコー経路ｈｍｎ（ｋ）を介してマイクロホンに回り込む再生音（エコー）を消去する。但し、ｍ＝１，…，Ｍであり、ｎ＝１，…，Ｎであり、Ｍは２以上であり、Ｎは１以上である。多チャネルエコー消去装置９０は、受話側の全Ｍチャネルの受話端子１1〜１Ｍ、送話側の全Ｎチャネルの送話端子４1，…，４Ｎ及びマイクロホン３１，…，３Ｎが接続されており、受話信号ｘ１（ｋ），…，ｘＭ（ｋ）及び収音信号ｙ１（ｋ），…，ｙＮ（ｋ）が入力され、送話信号ｕ１（ｋ），…，ｕＮ（ｋ）を送話端子４１，…，４Ｎに出力する。多チャネルエコー消去装置９０は、Ｎ個のエコー消去部８０１，…，８０Ｎを備え、各エコー消去部は、エコー予測部８１と、減算部８２と、エコー経路推定部８３とを有する。図１はエコー消去部８０１について説明し、ｙ１（ｋ）をｙ（ｋ）とし、ｕ１（ｋ）をｕ（ｋ）とし、ｈ１１（ｋ），…，ｈＭ１（ｋ）をｈ１（ｋ），…，ｈＭ（ｋ）として表す。他のマイクロホンからの収音信号についても同様の処理を行うことができ、図１の構成を並列に並べるだけでよいため、以下では図１を用いて説明する。
【０００５】
多チャネルエコー消去装置９０は、減算部８２にて収音信号ｙ（ｋ）と疑似エコー信号ｙ’（ｋ）との差すなわち誤差信号ｕ（ｋ）を求め、この信号ｕ（ｋ）と受話信号ｘ１（ｋ），…，ｘＭ（ｋ）からエコー経路推定部８３にてエコー経路（フィルタ係数ｈ’（ｋ））を逐次推定し、この推定結果を用いてエコー予測部８１で疑似エコー信号ｙ’（ｋ）を生成する。エコー経路推定が精度よく行われた状態では、収音信号ｙ（ｋ）に含まれるエコー成分と疑似エコー信号ｙ’（ｋ）がほぼ等しくなり、誤差信号ｕ（ｋ）中にエコーは殆ど含まれなくなる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】M.M.Sondhi, D.R.Morgan, and J.L.Hall, “Stereophonic Acoustic Echo Cancellation-An Overview of the Fundamental Problem”, IEEE Signal Processing Letters, AUGUST 1995, vol.2, no.8, pp.148-151
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術ではいつも十分にエコーを消去できるとは限らない。
【０００８】
エコー経路推定部８３によるエコー経路推定が瞬時には完了しないため、人の動き等によりエコー経路が変動するたびに、残留エコーが増大する。
【０００９】
また、ダブルトーク状態では、誤差信号に送話者の音声が含まれるため、エコー経路の推定が乱れ、残留エコーが大きくなる。
【００１０】
さらに、非特許文献１に記載されているように、受話信号が多チャネルの場合には、チャネル間相関が高いために、エコーが消去されている状態であっても推定されたエコー経路と真のエコー経路は必ずしも一致しないことがある。その場合、受話端子側の話者が交代して受話信号のチャネル間の相互相関が変化すると突然残留エコーが大きくなる。
【００１１】
そして、残留エコーが大きくなると通話品質が劣化するという問題がある。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明に係る多チャネルエコー消去技術は、スピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネル受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去し、Ｍチャネル受話信号とマイクロホンで収音する第１収音信号を用いて得られる信号（以下「収音信号等」という）を周波数領域の信号に変換し、Ｍチャネル受話信号の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）と、Ｍチャネル受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、Ｍチャネル受話信号と収音信号等の間のクロススペクトルＱ（ｆ，ｊ）を求め、パワースペクトルＰｍｍ（ｆ，ｊ）、クロススペクトルＰｍ’ｍ（ｆ，ｊ）及びＱ（ｆ，ｊ）を用いて、周波数ごとに入出力伝達特性を推定し、周波数領域のＭチャネル受話信号と推定した入出力伝達特性から収音信号等に含まれるエコー成分を予測し、周波数領域の収音信号等から、予測したエコー成分を差し引き、送話信号を求め、減算ステップで求めた送話信号を時間領域の信号に変換し、収音信号等は、マイクロホンで収音した第１収音信号、または、第１収音信号から疑似エコー信号を差し引いて得られる第２収音信号の何れかであることを特徴とする。
【発明の効果】
【００１３】
本発明は、Ｍチャネル受話信号の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）と、Ｍチャネル受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、Ｍチャネル受話信号と収音信号等間のクロススペクトルＱ（ｆ，ｊ）から入出力伝達特性を推定し、Ｍチャネル受話信号と入出力伝達特性から収音信号等に含まれるエコー成分を迅速に予測するため、エコー経路の変動、ダブルトーク及び受話信号のチャネル間の相互相関に影響されずに、迅速にエコーを消去することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】従来の多チャネルエコー消去装置の構成例を示す図。
【図２】実施例１の多チャネルエコー消去装置の構成例を示す図。
【図３】実施例１の多チャネルエコー消去装置の処理フローを示す図。
【図４】入出力相関係数算出部の構成例を示す図。
【図５】実施例２の多チャネルエコー消去装置の構成例を示す図。
【図６】実施例２及び３の多チャネルエコー消去装置の処理フローを示す図。
【図７】実施例３の多チャネルエコー消去装置の構成例を示す図。
【図８】伝達特性調整部の構成例を示す図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、詳細に説明する。
【実施例１】
【００１６】
＜多チャネルエコー消去装置１００＞
図２及び３を用いて実施例１に係る多チャネルエコー消去装置１００を説明する。多チャネルエコー消去装置１００は、Ｎ個の残留エコー消去部６００１，…，６００Ｎを備え、各残留エコー消去部は、Ｍ個の周波数領域変換部６０１１，…，６０１Ｍと、周波数領域変換部６０２と、入出力相関係数算出部６０３と、入出力伝達特性推定部６０４と、残留エコー予測部６０５と、減算部６０６と、時間領域変換部６０７とを有する。
【００１７】
Ｍ個のスピーカ２１，…，２ＭとＮ個のマイクロホン３１，…，３Ｎが共通の音場に配置され、スピーカ２１，…，２ＭからＭチャネル受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を再生した場合に、多チャネルエコー消去装置１００は、ｍ×ｎ本のエコー経路ｈｍｎ（ｋ）を介してマイクロホンに回り込む再生音（エコー）を消去する。但し、ｍ＝１，…，Ｍであり、ｎ＝１，…，Ｎであり、Ｍは２以上であり、Ｎは１以上である。多チャネルエコー消去装置１００は、受話側の全Ｍチャネルの受話端子１1〜１Ｍ、送話側の全Ｎチャネルの送話端子４1，…，４Ｎ及びマイクロホン３１，…，３Ｎが接続されており、受話信号ｘ１（ｋ），…，ｘＭ（ｋ）及び収音信号ｙ１（ｋ），…，ｙＮ（ｋ）を入力とし、送話信号ｖ１（ｋ），…，ｖＮ（ｋ）を送話端子４１，…，４Ｎに出力する。
【００１８】
図２は残留エコー消去部６００１について説明し、ｙ１（ｋ）をｙ（ｋ）とし、ｖ１（ｋ）をｖ（ｋ）とし、ｈ１１（ｋ），…，ｈＭ１（ｋ）をｈ１（ｋ），…，ｈＭ（ｋ）として表す。他のマイクロホンからの収音信号についても同様の処理を行うことができ、図２の構成を並列に並べるだけでよいため、以下では図２を用いて説明する。
【００１９】
＜周波数領域変換部６０１１，…，６０１Ｍ及び６０２＞
周波数領域変換部６０１１，…，６０１Ｍは、それぞれＭチャネル受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を入力とし、周波数領域の信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）に変換し、出力する（ｓ６０１１，…，ｓ６０１Ｍ）。但し、ｆは周波数番号を表し、ｊはフレーム番号を表す。
【００２０】
周波数領域変換部６０２は、マイクロホンで収音する第１収音信号ｙ（ｋ）を入力とし、周波数領域の信号Ｙ（ｆ，ｊ）に変換し、出力する（ｓ６０２）。
【００２１】
各信号を１フレーム＝２Ｌサンプルとし、Ｌ／Ｄサンプル毎にブロック化し、Ｌ／Ｄサンプルずつずらして、フレームを作成する場合について説明する。但し、Ｌは自然数であり、ＤはＬを割り切る自然数であり、時刻ｋ＝ｊＬ／Ｄである。周波数領域への変換は例えば、ＦＦＴ（Fast Fourier transform）やＤＦＴ（discrete Fourier transform）により行い、計算を簡略化・高速化するために、Ｌを２のべき乗にとってもよい。例えば、Ｌ＝６４〜５１２、Ｄ＝２〜８等とする。
【００２２】
＜入出力相関係数算出部６０３＞
入出力相関係数算出部６０３は、Ｍチャネル受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と、第１収音信号Ｙ（ｆ，ｊ）を入力とし、Ｍチャネル受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）と、Ｍチャネル受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、Ｍチャネル受話信号と収音信号等の間のクロススペクトルＱ（ｆ，ｊ）を求め、出力する（ｓ６０３）。言い換えると、入出力相関係数算出部６０３は、パワースペクトルＰｍｍ（ｆ，ｊ）とクロススペクトルＰｍ’ｍ（ｆ，ｊ）からなる入力信号間の相関係数Ｐ（ｆ，ｊ）と、入出力信号間の相関係数Ｑ（ｆ，ｊ）を求める。
【００２３】
【数１】
0005391103.tif 000002
【００２４】
図４を用いて入出力相関係数算出部６０３を説明する。例えば、入出力相関係数算出部６０３はパワースペクトル算出部６０３ａと、受話信号間クロススペクトル算出部６０３ｂと、受話−収音信号間クロススペクトル算出部６０３ｃを備える。
【００２５】
パワースペクトル算出部６０３ａは、Ｘｍ（ｆ，ｊ）を用いて、受話信号の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）を算出する。
【００２６】
受話信号間クロススペクトル算出部６０３ｂは、Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）を用いて、受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）を算出する。但し、ｍ’≠ｍとする。
【００２７】
受話−収音信号間クロススペクトル算出部６０３ｃは、Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と第１収音信号Ｙ（ｆ，ｊ）間のクロススペクトルＱ（ｆ，ｊ）を算出する。
【００２８】
例えば、Ｐｍｍ（ｆ，ｊ），Ｐｍ’ｍ（ｆ，ｊ），Ｑ（ｆ，ｊ）は、時刻ｋ＝ｊＬ／ＤにおけるＭチャネル受話信号Ｘｍ（ｆ，ｊ）と第１収音信号Ｙ（ｆ，ｊ）から
【００２９】
【数２】
0005391103.tif 000003
【００３０】
により算出する。Ｘ＊はＸの複素共役を、Ｅ［ ］は平均をとることを意味し、平均処理の一例としては、
【００３１】
【数３】
0005391103.tif 000004
【００３２】
のように、１フレーム前の処理結果と０〜１の値をとる平滑化定数βを用いる方法や過去の数フレームに時定数を乗じて求める方法等が考えられる。Ｑ（ｆ，ｊ）についても同様である。
【００３３】
ｍ＝ｍ’のとき、各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）が得られ、ｍ≠ｍ’のとき、受話信号のチャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）が得られる。１≦ｍ≦Ｍ、１≦ｍ’≦Ｍである。
【００３４】
＜入出力伝達特性推定部６０４＞
入出力伝達特性推定部６０４は、パワースペクトルＰｍｍ（ｆ，ｊ）、クロススペクトルＰｍ’ｍ（ｆ，ｊ）及びＱ（ｆ，ｊ）を入力とし、これらを用いて、周波数ごとに入出力伝達特性Ｇ（ｆ，ｊ）を推定し、出力する（ｓ６０４）。
【００３５】
例えば、入出力伝達特性推定部６０４は、入出力伝達特性Ｇ（ｆ，ｊ）を
【００３６】
【数４】
0005391103.tif 000005
【００３７】
により推定する。
【００３８】
なお上記パワースペクトルとクロススペクトルからなる行列について、逆行列計算を安定化するために、対角成分に微小定数を加えてもよい。
【００３９】
＜残留エコー予測部６０５＞
残留エコー予測部６０５は、周波数領域のＭチャネル受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と推定した入出力伝達特性Ｇ（ｆ，ｊ）を入力とし、これらを用いて第１収音信号Ｙ（ｆ，ｊ）に含まれるエコー成分を予測し、出力する（ｓ６０５）。
【００４０】
例えば、エコー成分を、
【００４１】
【数５】
0005391103.tif 000006
【００４２】
として予測する。
【００４３】
＜減算部６０６及び時間領域変換部６０７＞
減算部６０６は、第１収音信号Ｙ（ｆ，ｊ）と予測したエコー成分Ｙ＾（ｆ，ｊ）を入力とし、周波数領域の第１収音信号Ｙ（ｆ，ｊ）から、予測したエコー成分Ｙ＾（ｆ，ｊ）を差し引き、送話信号Ｖ（ｆ，ｊ）を求め、出力する（ｓ６０６）。
【００４４】
V(f,j)=Y(f,j)-Y^(f,j)        (8)
時間領域変換部６０７は、減算部６０６で求めた送話信号Ｖ（ｆ，ｊ）を入力とし、これを時間領域の信号ｖ（ｋ）に変換し、送話信号として送話端子４１へ出力する（ｓ６０７）。
【００４５】
＜効果＞
Ｍチャネル受話信号の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）と、Ｍチャネル受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、Ｍチャネル受話信号と収音信号等間のクロススペクトルＱ（ｆ，ｊ）から入出力伝達特性を推定し、Ｍチャネル受話信号と入出力伝達特性から収音信号等に含まれるエコー成分を予測するため、適応フィルタのフィルタ係数を更新する必要がない。そのため、エコー経路の変動に即座に対応し、従来の多チャネルエコー消去装置に比べ高速にエコーを予測することができ、エコー以外の信号による推定揺らぎを抑えることができる。また、周波数領域で伝達特性とエコーに関して振幅と位相を推定し、引き算によりエコーの消去を図るため、ダブルトーク時でも送話損失の歪みを小さくでき、チャネル数によらずエコーを消去することができる。
【００４６】
＜変形例＞
各残留エコー消去部内で使用される周波数領域のＭチャネル受話信号Ｘ１（ｆ，ｊ）〜ＸＭ（ｆ，ｊ）の値は６００１〜６００Ｎで同じため、Ｎ個の残留エコー消去部６００１〜６００Ｎが、受話信号の周波数領域変換部の出力を共有してもよい。
【００４７】
全ての送話信号に対しエコー消去処理を行わなくとも、一部の送話信号に対してのみ、エコーを消去してもよい。
【００４８】
多チャネルエコー消去装置１００への入力は、受話端子１１，…，１Ｍから得られる信号に対し、相関変動処理等を行った受話信号であってもよい。
【００４９】
上述した多チャネルエコー消去装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（実施例で図に示した機能構成をもつ装置）として機能させるためのプログラム、又はその処理手順（実施例で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
【実施例２】
【００５０】
＜多チャネルエコー消去装置２００＞
図５及び６を用いて実施例２に係る多チャネルエコー消去装置２００を説明する。なお、図５では、マイクロホン３１からの収音信号の処理について説明するが、他のマイクロホンからの収音信号についても同様の処理を行うことができ、図５の構成を並列に並べるだけでよい。多チャネルエコー消去装置２００は、Ｎ個のエコー消去部８０１，…，８０ＮとＮ個の残留エコー消去部６００１，…，６００Ｎを有する。残留エコー消去部６００１は、実施例１の多チャネルエコー消去装置１００の残留エコー消去部６００１と同様の構成であり、第１収音信号ｙ（ｋ）に代えて、第２収音信号ｕ（ｋ）を入力される点が異なる。なお、第２収音信号ｕ（ｋ）はエコー消去部８０１の出力である誤差信号である。よって、残留エコー消去部６００１は、マイクロホンで収音した第１収音信号ｙ（ｋ）に含まれるエコー成分に代えて、第１収音信号から疑似エコー信号を差し引き求めた第２収音信号（誤差信号）ｕ（ｋ）に含まれる残留エコー成分を消去する。
【００５１】
例えば、周波数領域変換部６０２は、エコー消去部８０１の出力である誤差信号を第２収音信号ｕ（ｋ）とし、入力され、周波数領域の信号Ｕ（ｆ，ｊ）に変換し、出力する。
【００５２】
入出力相関係数算出部６０３は、Ｍチャネル受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と、第２収音信号Ｕ（ｆ，ｊ）を入力とし、Ｍチャネル受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）の各チャネルのパワースペクトルＰｍｍ（ｆ，ｊ）と、Ｍチャネル受話信号の各チャネル間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、Ｍチャネル受話信号と第２収音信号の間のクロススペクトルＱ（ｆ，ｊ）を求め、出力する。
【００５３】
【数６】
0005391103.tif 000007
【００５４】
残留エコー予測部６０５は、周波数領域のＭチャネル受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と推定した入出力伝達特性Ｇ（ｆ，ｊ）を入力とし、これらを用いて第２収音信号Ｕ（ｆ，ｊ）に含まれるエコー成分を予測し、出力する。
【００５５】
【数７】
0005391103.tif 000008
【００５６】
として予測する。
【００５７】
減算部６０６は、第２収音信号Ｕ（ｆ，ｊ）と予測したエコー成分Ｕ＾（ｆ，ｊ）を入力とし、周波数領域の第２収音信号Ｙ（ｆ，ｊ）から、予測したエコー成分Ｕ＾（ｆ，ｊ）を差し引き、送話信号Ｖ（ｆ，ｊ）を求め、出力する。
【００５８】
V(f,j)=U(f,j)-U^(f,j)        (8')
なお、第１収音信号Ｙ（ｆ，ｊ）または第２収音信号Ｕ（ｆ，ｊ）が請求項の収音信号等Ｓ（ｆ，ｊ）に相当し、残留エコー予測部６０５で予測する第１収音信号に含まれるエコー成分Ｙ＾（ｆ，ｊ）または第２収音信号に含まれるエコー成分Ｕ＾（ｆ，ｊ）が、請求項の収音信号等に含まれるエコー成分Ｓ＾（ｆ，ｊ）に相当する。
【００５９】
＜エコー消去部８０１＞
一方、エコー消去部８０１，…，８０Ｎは、従来のエコー消去装置９０と同様の構成である。例えば、以下のようにして、エコー消去部８０１は誤差信号を求める。エコー消去部８０１は、エコー予測部８１、減算部８２及びエコー経路推定部８３を備える。
【００６０】
まず、スピーカ２ｍからマイクロホン３１までのエコー経路のインパルス応答をｈｍ（ｋ）、その長さをＬとすると、Ｍチャネル受話信号と収音信号ｙ（ｋ）の間には次の関係がある。
【００６１】
【数８】
0005391103.tif 000009
【００６２】
各チャネルのインパルス応答と受話信号を
hm=[hm(0)…hm(L-1)]T        (12)
xm=[xm(0)…xm(L-1)]T        (13)
として、ベクトル化すると、Ｍチャネル受話信号と第１収音信号の関係は次のように記述される。
【００６３】
y(k)=h1Tx1(k)+…+hMTxM(k)        (14)
但し、Ｔは転置を表す。
【００６４】
＜エコー予測部８１＞
エコー予測部８１は、適応フィルタによる疑似エコー経路に受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を入力して疑似エコー信号ｙ’（ｋ）を生成、出力する（ｓ８１）。エコー予測部８１は適応フィルタによって構成され、受話状態における減算部８２の誤差信号が最小となるように後述するエコー経路推定部８３で適応フィルタの特性が制御される。
【００６５】
例えば、各チャネルの適応フィルタのフィルタ係数を
h'm=[h'm(0)…h'm(L-1)]T        (15)
とし、
y'(k)=h'1Tx1(k)+…+h'MTxM(k)         (16)
を生成する。
【００６６】
＜減算部８２＞
減算部８２は、第１収音信号ｙ（ｋ）と疑似エコー信号ｙ’（ｋ）を入力とし、第１収音信号ｙ（ｋ）から疑似エコー信号ｙ’（ｋ）を差し引き、第２収音信号ｕ（ｋ）を求め、出力する（ｓ８２）。
【００６７】
u(k)=y(k)-y'(k)         (17)
求めた第２収音信号（誤差信号）ｕ（ｋ）をエコー経路推定部８３と残留エコー消去部６００１内の周波数領域変換部６０２に出力する。
【００６８】
＜エコー経路推定部８３＞
エコー経路推定部は、第２収音信号ｕ（ｋ）と受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を入力とし、これらを用いて、適応フィルタのフィルタ係数ｈ’（ｋ）を更新し、出力する（ｓ８３）。適応フィルタの係数修正法としてNormalized Least Mean Squareアルゴリズム（NLMSアルゴリズム）を用いた場合を説明する。
【００６９】
h'm(k+1)=h'm(k)+μu(k)xm(k)         (18)
但し、μはステップサイズであり、
【００７０】
【数９】
0005391103.tif 000010
【００７１】
により決定される。μ０と入力信号のパワーに基づいて制御される。但し、μ０は推定を安定するために、あらかじめ０〜１の値に設定されるパラメータである。エコー経路推定部８３は、更新したフィルタ係数ｈ’（ｋ＋１）をコピーして、エコー予測部８１に出力する。
【００７２】
＜効果＞
このような構成とすることによって、従来技術と同等のエコー消去量及び音声品質を保ったまま、実施例１と同様の効果を得ることができる。
【００７３】
エコー消去部８０ｎにおけるエコー経路推定に時間がかかる初期段階や状況が変化する等の場合に、高速な残留エコー消去部によるエコー消去処理を行うことで残留エコーを抑えることができる。また、エコー消去部におけるエコー経路推定が安定した場合には、エコー消去部による性能によりさらに残留エコーを抑えることできる。そのため、エコー消去部及び残留エコー消去部を単独で使う場合に比べて、処理時間全体にわたり残留エコーを低減した通話が可能になる。
【００７４】
＜変形例＞
フィルタ係数は、学習同定法以外の従来技術（例えば、射影アルゴリズム、指数重み付けアルゴリズム、指数重み付け射影アルゴリズム等）で更新してもよい。
【００７５】
実施例１と同様に残留エコー消去部６００１〜６００Ｎは受話信号の周波数領域変換部の出力を共有してもよい。
【実施例３】
【００７６】
＜多チャネルエコー消去装置３００＞
図６、７及び８を用いて実施例３に係る多チャネルエコー消去装置３００を説明する。
【００７７】
多チャネルエコー消去装置３００は伝達特性調整部３６０４を有する点が、多チャネルエコー消去装置２００と異なる。
【００７８】
＜伝達特性調整部３６０４＞
伝達特性調整部３６０４は、大きさ算出部３６０４ａと、判定部３６０４ｂと、調整部３６０４ｃを備え、推定した入出力伝達特性Ｇ（ｆ，ｊ）の大きさが基準値よりも大きいとき、入出力伝達特性Ｇ（ｆ，ｊ）の大きさが基準値と一致するように調整する処理、いわゆるクリップ処理を行う。
【００７９】
伝達特性調整部３６０４は、入出力伝達特性推定部６０４の出力である入出力伝達特性Ｇ（ｆ，ｊ）を入力とし、これを格納し、調整された入出力伝達特性Ｇ’（ｆ，ｊ）または入力値である入出力伝達特性Ｇ（ｆ，ｊ）をそのまま出力する。以下、各部の処理を説明する。
【００８０】
大きさ算出部３６０４ａは、例えば、推定した入出力伝達特性Ｇ（ｆ，ｊ）の大きさとしてノルム｜Ｇ（ｆ，ｊ）｜を算出する。例えば、
【００８１】
【数１０】
0005391103.tif 000011
【００８２】
として求める。
【００８３】
判定部３６０４ｂは、予め指定した基準値Ｃよりもノルム｜Ｇ（ｆ，ｊ）｜が大きいか否か判定する。ノルム｜Ｇ（ｆ，ｊ）｜が基準値Ｃよりも小さい場合には、入力値である入出力伝達特性Ｇ（ｆ，ｊ）をそのまま出力する。ノルムが基準値よりも大きい場合には、調整部３６０４ｃに対し、調整指示を送信する。基準値（クリップする値）Ｃは例えば、［１音響パスの想定される音響結合量］×［音響パス数（ｓｑｒｔ）］として設定する。
【００８４】
調整部３６０４ｃは、調整指示を受け取ると、入出力伝達特性Ｇ（ｆ，ｊ）に基準値Ｃを乗じ、さらに、ノルム｜Ｇ（ｆ，ｊ）｜で割ることによって、入出力伝達特性Ｇ（ｆ，ｊ）を調整する（ｓ３６０４）。例えば、以下の式で表される。
【００８５】
【数１１】
0005391103.tif 000012
【００８６】
残留エコー予測部６０５は、周波数領域のＭチャネル受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と推定した入出力伝達特性Ｇ（ｆ，ｊ）または調整した入出力伝達特性Ｇ’（ｆ，ｊ）から第２収音信号Ｕ（ｆ，ｊ）に含まれる残留エコー成分を予測する。
【００８７】
＜効果＞
実施例２と同様の効果を得ることができ、さらに、このように閾値比較を行って入出力伝達特性を修正することで、送話と受話の相関によりときに入出力伝達特性が過大評価されてしまうことを防止できる。
【００８８】
通常、送話者の話す音声と受話信号の間には、相関がないが、処理単位のフレームを短くすると、送話者の話す音声と受話信号の間に偽りの相関が生じることがある。その場合、式（４）、（６）により入出力伝達特性が過大に評価され、式（７）のＹ＾（ｆ，ｊ）の値が必要以上に大きくなり、音声品質を劣化させてしまう可能性がある。本実施例では、その劣化を防止できる。
【００８９】
＜変形例＞
実施例１の多チャネルエコー消去装置１００と伝達特性調整部３６０４を組合せてもよい。その場合も入出力伝達特性が過大評価されてしまうことを防止できる。
【００９０】
また、入出力伝達特性の大きさを式（２１）以外の従来技術により求めてもよい。
【符号の説明】
【００９１】
９０、１００、２００、３００  多チャネルエコー消去装置
６００１，…，６００Ｎ、３６００１，…３６００Ｎ  残留エコー消去部
８０１，…，８０１Ｎ  エコー消去部
６０１１，…，６０１Ｍ，６０２  周波数領域変換部
６０３  入出力相関係数算出部
６０４  入出力伝達特性推定部
６０５  残留エコー予測部
６０６  減算部
６０７  時間領域変換部
【図１】
0005391103.tif 000016
【図２】
0005391103.tif 000017
【図３】
0005391103.tif 000018
【図４】
0005391103.tif 000019
【図５】
0005391103.tif 000020
【図６】
0005391103.tif 000021
【図７】
0005391103.tif 000022
【図８】
0005391103.tif 000023