(57)【特許請求の範囲】
【請求項１】
スピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネルの受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する多チャネルエコー消去方法であって、
適応フィルタによる疑似エコー経路に前記受話信号を入力して疑似エコー信号を生成するエコー予測ステップと、
前記マイクロホンで収音する第１収音信号から前記疑似エコー信号を差し引き、第２収音信号を求める減算ステップと、
前記第２収音信号と前記受話信号を用いて、前記適応フィルタのフィルタ係数を更新するエコー経路推定ステップと、
前記擬似エコー信号と前記第２収音信号とをそれぞれ周波数領域の信号である周波数領域擬似エコー信号と周波数領域第２収音信号とに変換する周波数領域変換ステップと、
前記周波数領域擬似エコー信号のパワースペクトルと、前記周波数領域第２収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルを求める入出力相関係数算出ステップと、
前記周波数領域擬似エコー信号のパワースペクトルと、前記周波数領域第２収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルとを用いて、周波数ごとに入出力伝達特性を推定する入出力伝達特性推定ステップと、
前記周波数領域擬似エコー信号と推定した入出力伝達特性から前記周波数領域第２収音信号に含まれる残留エコー成分を予測する残留エコー予測ステップと、
前記周波数領域第２収音信号から、予測した残留エコー成分を差し引き、送話信号を求める減算ステップと、
前記減算ステップで求めた送話信号を時間領域の信号に変換する時間領域変換ステップと、
を備える多チャネルエコー消去方法。
【請求項２】
請求項１記載の多チャネルエコー消去方法であって、
前記周波数領域変換ステップにおいて、前記擬似エコー信号と前記第２収音信号と前記受話信号とをそれぞれ周波数領域の信号である周波数領域擬似エコー信号と周波数領域第２収音信号と周波数領域受話信号とに変換し、
前記入出力相関係数算出ステップにおいて、前記周波数領域擬似エコー信号とＭチャネルの各前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルと、前記周波数領域擬似エコー信号及びＭチャネルの前記周波数領域受話信号の各チャネルのパワースペクトルとを求め、
前記入出力伝達特性推定ステップにおいて、前記周波数領域擬似エコー信号及びＭチャネルの各前記周波数領域受話信号のパワースペクトルと、前記周波数領域擬似エコー信号とＭチャネルの各前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルとを用いて、周波数ごとに入出力伝達特性を推定し、
前記残留エコー予測ステップにおいて、Ｍチャネルの前記周波数領域受話信号と前記周波数領域擬似エコー信号と推定した入出力伝達特性から前記周波数領域第２収音信号に含まれる残留エコー成分を予測する、
ことを特徴とする多チャネルエコー消去方法。
【請求項３】
請求項２に記載の多チャネルエコー消去方法であって、
ｍ’≠ｍとし、ｍ＝１，…，Ｍとし、ｍ’＝１，…，Ｍとし、ｑ’≠ｑとし、ｑ＝０，１，…，Ｍとし、ｑ’＝０，１，…，Ｍとし、前記周波数領域擬似エコー信号をＸ０（ｆ，ｊ）とし、第ｍチャネルの前記周波数領域受話信号をＸｍ（ｆ，ｊ）とし、前記周波数領域第２収音信号をＵ（ｆ，ｊ）とし、前記周波数領域擬似エコー信号のパワースペクトルをＰ００（ｆ，ｊ）とし、第ｍチャネルの前記周波数領域受話信号のパワースペクトルをＰｍｍ（ｆ，ｊ）とし、前記周波数領域擬似エコー信号と第ｍチャネルの前記周波数領域受話信号との間のクロススペクトルをＰ０ｍ（ｆ，ｊ）とし、第ｍ’チャネルの前記周波数領域受話信号と第ｍチャネルの前記周波数領域受話信号の間のクロススペクトルをＰｍ’ｍ（ｆ，ｊ）とし、前記周波数領域擬似エコー信号と前記周波数領域第２収音信号との間のクロススペクトルをＱ０（ｆ，ｊ）とし、第ｍチャネルの前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルをＱｍ（ｆ，ｊ）とし、Ａ＊をＡの複素共役とし、Ｅ［Ａ］をＡの平均をとる関数とし、
前記入出力相関係数算出ステップにおいて、前記周波数領域擬似エコー信号のパワースペクトルＰ００と第ｍチャネルの前記周波数領域受話信号のパワースペクトルＰｍｍを
【数２８】
0005469564.tif 000029
として求め、前記周波数領域擬似エコー信号と第ｍチャネルの前記周波数領域受話信号との間のクロススペクトルＰ０ｍ（ｆ，ｊ）と、第ｍ’チャネルの前記周波数領域受話信号と第ｍチャネルの前記周波数領域受話信号の間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）を
【数２９】
0005469564.tif 000030
として求め、前記周波数領域擬似エコー信号と前記周波数領域第２収音信号との間のクロススペクトルＱ０（ｆ，ｊ）と、第ｍチャネルの前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルＱｍ（ｆ，ｊ）を、
【数３０】
0005469564.tif 000031
として求め、
前記入出力伝達特性推定ステップにおいて、前記入出力伝達特性Ｇ（ｆ，ｊ）を、
【数３１】
0005469564.tif 000032
として推定し、
前記残留エコー予測ステップにおいて、前記残留エコー成分を、
【数３２】
0005469564.tif 000033
として予測する、
ことを特徴とする多チャネルエコー消去方法。
【請求項４】
スピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネルの受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する多チャネルエコー消去方法であって、
適応フィルタによる疑似エコー経路に前記受話信号を入力して疑似エコー信号を生成するエコー予測ステップと、
前記マイクロホンで収音する第１収音信号から前記疑似エコー信号を差し引き、第２収音信号を求める減算ステップと、
前記第２収音信号と前記受話信号を用いて、前記適応フィルタのフィルタ係数を更新するエコー経路推定ステップと、
前記擬似エコー信号と前記第２収音信号と前記受話信号とをそれぞれ周波数領域の信号である周波数領域擬似エコー信号と周波数領域第２収音信号と周波数領域受話信号とに変換する周波数領域変換ステップと、
Ｍチャネルの各前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルと、Ｍチャネルの前記周波数領域受話信号の各チャネルのパワースペクトルとを求める第１入出力相関係数算出ステップと、
Ｍチャネルの各前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルと、Ｍチャネルの前記周波数領域受話信号の各チャネルのパワースペクトルとを用いて、周波数ごとに入出力伝達特性を推定する第１入出力伝達特性推定ステップと、
Ｍチャネルの前記周波数領域受話信号と推定した入出力伝達特性から前記周波数領域第２収音信号に含まれる第１残留エコー成分を予測する第１残留エコー予測ステップと、
前記周波数領域第２収音信号から、予測した第１残留エコー成分を差し引き、第３収音信号を求める減算ステップと、
前記周波数領域擬似エコー信号のパワースペクトルと、前記第３収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルを求める第２入出力相関係数算出ステップと、
前記周波数領域擬似エコー信号のパワースペクトルと、第３収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルとを用いて、周波数ごとに入出力伝達特性を推定する第２入出力伝達特性推定ステップと、
前記周波数領域擬似エコー信号と推定した入出力伝達特性から前記第３収音信号に含まれる第２残留エコー成分を予測する第２残留エコー予測ステップと、
前記第３収音信号から、予測した第２残留エコー成分を差し引き、送話信号を求める減算ステップと、
前記減算ステップで求めた送話信号を時間領域の信号に変換する時間領域変換ステップと、
を備える多チャネルエコー消去方法。
【請求項５】
請求項１乃至請求項４の何れかに記載の多チャネルエコー消去方法であって、
前記推定した入出力伝達特性の大きさを算出する大きさ算出ステップと、
予め指定した基準値よりも前記入出力伝達特性の大きさが大きいか否かを判定する判定ステップと、
前記入出力伝達特性の大きさが前記基準値よりも大きい場合には、前記推定した入出力伝達特性に前記基準値を乗じ、さらに、前記入出力伝達特性の大きさで割ることによって、前記入出力伝達特性を調整する調整ステップをさらに備える、
ことを特徴とする多チャネルエコー消去方法。
【請求項６】
スピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネルの受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する多チャネルエコー消去装置であって、
適応フィルタによる疑似エコー経路に前記受話信号を入力して疑似エコー信号を生成するエコー予測部と、
前記マイクロホンで収音する第１収音信号から前記疑似エコー信号を差し引き、第２収音信号を求める減算部と、
前記第２収音信号と前記受話信号を用いて、前記適応フィルタのフィルタ係数を更新するエコー経路推定部と、
前記擬似エコー信号と前記第２収音信号とをそれぞれ周波数領域の信号である周波数領域擬似エコー信号と周波数領域第２収音信号とに変換する周波数領域変換部と、
前記周波数領域擬似エコー信号のパワースペクトルと、前記周波数領域第２収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルを求める入出力相関係数算出部と、
前記周波数領域擬似エコー信号のパワースペクトルと、前記周波数領域第２収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルとを用いて、周波数ごとに入出力伝達特性を推定する入出力伝達特性推定部と、
前記周波数領域擬似エコー信号と推定した入出力伝達特性から前記周波数領域第２収音信号に含まれる残留エコー成分を予測する残留エコー予測部と、
前記周波数領域第２収音信号から、予測した残留エコー成分を差し引き、送話信号を求める減算部と、
前記減算部で求めた送話信号を時間領域の信号に変換する時間領域変換部と、
を備える多チャネルエコー消去装置。
【請求項７】
請求項６記載の多チャネルエコー消去装置であって、
前記周波数領域変換部において、前記擬似エコー信号と前記第２収音信号と前記受話信号とをそれぞれ周波数領域の信号である周波数領域擬似エコー信号と周波数領域第２収音信号と周波数領域受話信号とに変換し、
前記入出力相関係数算出部において、前記周波数領域擬似エコー信号とＭチャネルの各前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルと、前記周波数領域擬似エコー信号及びＭチャネルの前記周波数領域受話信号の各チャネルのパワースペクトルとを求め、
前記入出力伝達特性推定部において、前記周波数領域擬似エコー信号及びＭチャネルの各周波数領域受話信号のパワースペクトルと、前記周波数領域擬似エコー信号とＭチャネルの各前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルとを用いて、周波数ごとに入出力伝達特性を推定し、
前記残留エコー予測部において、Ｍチャネルの前記周波数領域受話信号と前記周波数領域擬似エコー信号と推定した入出力伝達特性から前記周波数領域第２収音信号に含まれる残留エコー成分を予測する、
ことを特徴とする多チャネルエコー消去装置。
【請求項８】
請求項７に記載の多チャネルエコー消去装置であって、
ｍ’≠ｍとし、ｍ＝１，…，Ｍとし、ｍ’＝１，…，Ｍとし、ｑ’≠ｑとし、ｑ＝０，１，…，Ｍとし、ｑ’＝０，１，…，Ｍとし、前記周波数領域擬似エコー信号をＸ０（ｆ，ｊ）とし、第ｍチャネルの前記周波数領域受話信号をＸｍ（ｆ，ｊ）とし、前記周波数領域第２収音信号をＵ（ｆ，ｊ）とし、前記周波数領域擬似エコー信号のパワースペクトルをＰ００（ｆ，ｊ）とし、第ｍチャネルの前記周波数領域受話信号のパワースペクトルをＰｍｍ（ｆ，ｊ）とし、前記周波数領域擬似エコー信号と第ｍチャネルの前記周波数領域受話信号との間のクロススペクトルをＰ０ｍ（ｆ，ｊ）とし、第ｍ’チャネルの前記周波数領域受話信号と第ｍチャネルの前記周波数領域受話信号の間のクロススペクトルをＰｍ’ｍ（ｆ，ｊ）とし、前記周波数領域擬似エコー信号と前記周波数領域第２収音信号との間のクロススペクトルをＱ０（ｆ，ｊ）とし、第ｍチャネルの前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルをＱｍ（ｆ，ｊ）とし、Ａ＊をＡの複素共役とし、Ｅ［Ａ］をＡの平均をとる関数とし、
前記入出力相関係数算出部において、前記周波数領域擬似エコー信号のパワースペクトルＰ００と第ｍチャネルの前記周波数領域受話信号のパワースペクトルＰｍｍを
【数３３】
0005469564.tif 000034
として求め、前記周波数領域擬似エコー信号と第ｍチャネルの前記周波数領域受話信号との間のクロススペクトルＰ０ｍ（ｆ，ｊ）と、第ｍ’チャネルの前記周波数領域受話信号と第ｍチャネルの前記周波数領域受話信号の間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）を
【数３４】
0005469564.tif 000035
として求め、前記周波数領域擬似エコー信号と前記周波数領域第２収音信号との間のクロススペクトルＱ０（ｆ，ｊ）と、第ｍチャネルの前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルＱｍ（ｆ，ｊ）を、
【数３５】
0005469564.tif 000036
として求め、
前記入出力伝達特性推定部において、前記入出力伝達特性Ｇ（ｆ，ｊ）を、
【数３６】
0005469564.tif 000037
として推定し、
前記残留エコー予測部において、前記残留エコー成分を、
【数３７】
0005469564.tif 000038
として予測する、
ことを特徴とする多チャネルエコー消去装置。
【請求項９】
スピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネルの受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する多チャネルエコー消去装置であって、
適応フィルタによる疑似エコー経路に前記受話信号を入力して疑似エコー信号を生成するエコー予測部と、
前記マイクロホンで収音する第１収音信号から前記疑似エコー信号を差し引き、第２収音信号を求める減算部と、
前記第２収音信号と前記受話信号を用いて、前記適応フィルタのフィルタ係数を更新するエコー経路推定部と、
前記擬似エコー信号と前記第２収音信号と前記受話信号とをそれぞれ周波数領域の信号である周波数領域擬似エコー信号と周波数領域第２収音信号と周波数領域受話信号とに変換する周波数領域変換部と、
Ｍチャネルの各前記周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルと、Ｍチャネルの前記周波数領域受話信号の各チャネルのパワースペクトルとを求める第１入出力相関係数算出部と、
Ｍチャネルの各周波数領域受話信号と前記周波数領域第２収音信号との間のクロススペクトルと、Ｍチャネルの周波数領域受話信号の各チャネルのパワースペクトルとを用いて、周波数ごとに入出力伝達特性を推定する第１入出力伝達特性推定部と、
Ｍチャネルの前記周波数領域受話信号と推定した入出力伝達特性から前記周波数領域第２収音信号に含まれる第１残留エコー成分を予測する第１残留エコー予測部と、
前記周波数領域第２収音信号から、予測した第１残留エコー成分を差し引き、第３収音信号を求める減算部と、
前記周波数領域擬似エコー信号のパワースペクトルと、前記第３収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルを求める第２入出力相関係数算出部と、
前記周波数領域擬似エコー信号のパワースペクトルと、前記第３収音信号と前記周波数領域擬似エコー信号との間のクロススペクトルとを用いて、周波数ごとに入出力伝達特性を推定する第２入出力伝達特性推定部と、
前記周波数領域擬似エコー信号と推定した入出力伝達特性から前記第３収音信号に含まれる第２残留エコー成分を予測する第２残留エコー予測部と、
前記第３収音信号から、予測した第２残留エコー成分を差し引き、送話信号を求める減算部と、
前記減算部で求めた送話信号を時間領域の信号に変換する時間領域変換部と、
を備える多チャネルエコー消去装置。
【請求項１０】
請求項１から請求項５の何れかに記載の多チャネルエコー消去方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はスピーカＭ個（Ｍは２以上の整数）とマイクロホンＮ個（Ｎは１以上の整数）が共通の音場に配置され、スピーカからＭチャネルの受話信号を再生し、マイクロホンで収音した収音信号（以下「第１収音信号」という）から音響エコー（以下、単に「エコー」という）を消去する技術、特にテレビ会議システム等の拡声通話系におけるエコーを消去する技術に関する。
【背景技術】
【０００２】
スピーカで受話信号が再生され、その音声がマイクロホンで収音されてエコーが生じる。そのまま送信されると通話の障害や不快感などの問題が生じる。さらに、スピーカやマイクロホンの音量が大きい場合にはハウリングが生じ、通話が不可能になる。特に拡声通話系では、このような問題が顕著となる。
【０００３】
この問題を解決するために、従来技術として、適応フィルタを用いてエコーを消去するエコー消去装置がある。非特許文献１が従来技術の多チャネルエコー消去装置として知られている。図１を用いて従来の多チャネルエコー消去装置９０を説明する。
【０００４】
Ｍ個のスピーカ２１，…，２ＭとＮ個のマイクロホン３１，…，３Ｎが共通の音場に配置され、スピーカ２１，…，２ＭからＭチャネルの受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を再生した場合に、多チャネルエコー消去装置９０は、ｍ×ｎ本のエコー経路ｈｍｎ（ｋ）を介してマイクロホンに回り込む再生音（エコー）を消去する。但し、ｍ＝１，…，Ｍであり、ｎ＝１，…，Ｎであり、Ｍは２以上であり、Ｎは１以上である。多チャネルエコー消去装置９０は、受話側の全Ｍチャネルの受話端子１1〜１Ｍ、送話側の全Ｎチャネルの送話端子４1，…，４Ｎ及びマイクロホン３１，…，３Ｎが接続されており、受話信号ｘ１（ｋ），…，ｘＭ（ｋ）及び収音信号ｙ１（ｋ），…，ｙＮ（ｋ）が入力され、送話信号ｕ１（ｋ），…，ｕＮ（ｋ）を送話端子４１，…，４Ｎに出力する。多チャネルエコー消去装置９０は、Ｎ個のエコー消去部８１，…，８Ｎを備え、各エコー消去部は、エコー予測部８１と、減算部８２と、エコー経路推定部８３とを有する。図１はエコー消去部８１について説明し、ｙ１（ｋ）をｙ（ｋ）とし、ｕ１（ｋ）をｕ（ｋ）とし、ｈ１１（ｋ），…，ｈＭ１（ｋ）をｈ１（ｋ），…，ｈＭ（ｋ）として表す。他のマイクロホンからの収音信号についても同様の処理を行うことができ、図１の構成を並列に並べるだけでよいため、以下では図１を用いて説明する。
【０００５】
多チャネルエコー消去装置９０は、減算部８２にて収音信号ｙ（ｋ）と疑似エコー信号ｙ’（ｋ）との差すなわち誤差信号ｕ（ｋ）を求め、この信号ｕ（ｋ）と受話信号ｘ１（ｋ），…，ｘＭ（ｋ）からエコー経路推定部８３にてエコー経路（フィルタ係数ｈ’（ｋ））を逐次推定し、この推定結果を用いてエコー予測部８１で疑似エコー信号ｙ’（ｋ）を生成する。エコー経路推定が精度よく行われた状態では、収音信号ｙ（ｋ）に含まれるエコー成分と疑似エコー信号ｙ’（ｋ）がほぼ等しくなり、誤差信号ｕ（ｋ）中にエコーは殆ど含まれなくなる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】M.M.Sondhi, D.R.Morgan, and J.L.Hall, “Stereophonic Acoustic Echo Cancellation-An Overview of the Fundamental Problem”, IEEE Signal Processing Letters, AUGUST 1995, vol.2, no.8, pp.148-151
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術ではいつも十分にエコーを消去できるとは限らない。
【０００８】
エコー経路推定部８３によるエコー経路推定が瞬時には完了しないため、人の動き等によりエコー経路が変動するたびに、残留エコーが増大する。
【０００９】
また、ダブルトーク状態では、誤差信号に送話者の音声が含まれるため、エコー経路の推定が乱れ、残留エコーが大きくなる。
【００１０】
さらに、非特許文献１に記載されているように、受話信号が多チャネルの場合には、チャネル間相関が高いために、エコーが消去されている状態であっても推定されたエコー経路と真のエコー経路は必ずしも一致しないことがある。その場合、遠端の話者が交代して受話信号のチャネル間の相互相関が変化すると突然残留エコーが大きくなる。
【００１１】
そして、残留エコーが大きくなると通話品質が劣化するという問題がある。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明に係る多チャネルエコー消去技術は、残留エコー消去部または第２残留エコー消去部において、擬似エコー信号のパワースペクトルと、第２収音信号または第３収音信号と擬似エコー信号との間のクロススペクトルを用いて入出力伝達特性を推定し、擬似エコー信号と入出力伝達特性から第２収音信号または第３収音信号に含まれる残留エコー成分を予測する。
【発明の効果】
【００１３】
本発明は、残留エコー消去部または第２残留エコー消去部において、適応フィルタ用いずに残留エコー成分を予測するため、エコー経路の変動、ダブルトーク及び受話信号のチャネル間の相互相関に影響されずに、迅速にエコーを消去することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】従来の多チャネルエコー消去装置９０の構成例を示す図。
【図２】多チャネルエコー消去装置１００及び４００の構成例を示す図。
【図３】多チャネルエコー消去装置１００及び４００の処理フローを示す図。
【図４】入出力相関係数算出部６０３の構成例を示す図。
【図５】多チャネルエコー消去装置２００及び５００の構成例を示す図。
【図６】多チャネルエコー消去装置２００及び５００の処理フローを示す図。
【図７】入出力相関係数算出部２６０３及び９０３の構成例を示す図。
【図８】多チャネルエコー消去装置３００の構成例を示す図。
【図９】多チャネルエコー消去装置３００の処理フローを示す図。
【図１０】入出力相関係数算出部３６０３の構成例を示す図。
【図１１】第２残留エコー消去部３９１の構成例を示す図。
【図１２】伝達特性調整部４６０４及び５６０４の構成例を示す図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、詳細に説明する。
【実施例１】
【００１６】
＜多チャネルエコー消去装置１００＞
図２及び図３を用いて実施例１に係る多チャネルエコー消去装置１００を説明する。多チャネルエコー消去装置１００は、Ｎ個のエコー消去部８１，…，８Ｎと、Ｎ個の残留エコー消去部６１，…，６Ｎを備える。
【００１７】
Ｍ個のスピーカ２１，…，２ＭとＮ個のマイクロホン３１，…，３Ｎが共通の音場に配置され、スピーカ２１，…，２ＭからＭチャネルの受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を再生した場合に、多チャネルエコー消去装置１００は、ｍ×ｎ本のエコー経路ｈｍｎ（ｋ）を介してマイクロホンに回り込む再生音（エコー）を消去する。但し、ｍ＝１，…，Ｍであり、ｎ＝１，…，Ｎであり、Ｍは２以上であり、Ｎは１以上である。多チャネルエコー消去装置１００は、受話側の全Ｍチャネルの受話端子１１〜１Ｍ、送話側の全Ｎチャネルの送話端子４１，…，４Ｎ及びマイクロホン３１，…，３Ｎが接続されており、受話信号ｘ１（ｋ），…，ｘＭ（ｋ）及び第１収音信号ｙ１（ｋ），…，ｙＮ（ｋ）を入力とし、送話信号ｖ１（ｋ），…，ｖＮ（ｋ）を送話端子４１，…，４Ｎに出力する。
【００１８】
図２のエコー消去部８１及び残留エコー消去部６１について説明する。なお、他のマイクロホンからの収音信号についても、エコー消去部８ｎ及び残留エコー消去部６ｎにおいて、同様の処理を行うことができる。よって、図２の構成を並列に並べるだけでよい。なお、以下の図において、ｙ１（ｋ）をｙ（ｋ）とし、ｖ１（ｋ）をｖ（ｋ）とし、ｈ１１（ｋ），…，ｈＭ１（ｋ）をｈ１（ｋ），…，ｈＭ（ｋ）として表す。
【００１９】
＜エコー消去部８１＞
エコー消去部８１は、エコー予測部８１、減算部８２及びエコー経路推定部８３を備える。
【００２０】
まず、スピーカ２ｍからマイクロホン３１までのエコー経路のインパルス応答をｈｍ（ｋ）、その長さをＬＥとすると、Ｍチャネルの受話信号と第１収音信号ｙ（ｋ）の間には次の関係がある。
【００２１】
【数１】
0005469564.tif 000002
【００２２】
各チャネルのインパルス応答と受話信号を
hm=[hm(0)…hm(LE-1)]T        (2)
xm=[xm(k)…xm(k-LE+1)]T        (3)
として、ベクトル化すると、Ｍチャネルの受話信号と第１収音信号の関係は次のように記述される。
【００２３】
y(k)=h1Tx1(k)+…+hMTxM(k)        (4)
但し、Ｔは転置を表す。
【００２４】
＜エコー予測部８１＞
エコー予測部８１は、適応フィルタによる疑似エコー経路に受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を入力して疑似エコー信号ｙ’（ｋ）を生成、出力する（ｓ８１）。エコー予測部８１は適応フィルタによって構成され、受話状態における減算部８２の誤差信号が最小となるように後述するエコー経路推定部８３で適応フィルタの特性が制御される。
【００２５】
例えば、各チャネルの適応フィルタのフィルタ係数を
h'm=[h'm(0)…h'm(LE-1)]T        (5)
とし、
y'(k)=h'1Tx1(k)+…+h'MTxM(k)         (6)
を生成する。エコー予測部８１は、生成した擬似エコー信号ｙ’（ｋ）を減算部８２と、残留エコー消去部６１内の周波数領域変換部６０８へ出力する。なお、例えば、適応フィルタのタップ長は１００〜２００ｍｓ程度に設定すればよい。
【００２６】
＜減算部８２＞
減算部８２は、第１収音信号ｙ（ｋ）と疑似エコー信号ｙ’（ｋ）を入力とし、第１収音信号ｙ（ｋ）から疑似エコー信号ｙ’（ｋ）を差し引き、誤差信号（以下「第２収音信号」という）ｕ（ｋ）を求め、出力する（ｓ８２）。
【００２７】
u(k)=y(k)-y'(k)         (7)
求めた第２収音信号ｕ（ｋ）をエコー経路推定部８３と残留エコー消去部６１内の周波数領域変換部６０２に出力する。
【００２８】
＜エコー経路推定部８３＞
エコー経路推定部は、第２収音信号ｕ（ｋ）と受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を入力とし、これらを用いて、適応フィルタのフィルタ係数ｈ’（ｋ）を更新し、出力する（ｓ８３）。適応フィルタの係数修正法としてNormalized Least Mean Squareアルゴリズム（NLMSアルゴリズム）を用いた場合を説明する。
【００２９】
h'm(k+1)=h'm(k)+μu(k)xm(k)         (8)
但し、μはステップサイズであり、
【００３０】
【数２】
0005469564.tif 000003
【００３１】
により決定される。なお、μ０は入力信号のパワーに基づいて制御され、安定した推定を行うために、予め０〜１の値に設定されるパラメータである。エコー経路推定部８３は、更新したフィルタ係数ｈ’（ｋ＋１）をコピーして、エコー予測部８１に出力する。
【００３２】
＜残留エコー消去部６１＞
残留エコー消去部６１は、Ｍ個の周波数領域変換部６０１１，…，６０１Ｍと、周波数領域変換部６０２と、入出力相関係数算出部６０３と、入出力伝達特性推定部６０４と、残留エコー予測部６０５と、減算部６０６と、時間領域変換部６０７と周波数領域変換部６０８を有する。
【００３３】
＜周波数領域変換部６０１１，…，６０１Ｍ、６０２、６０８＞
周波数領域変換部６０１１，…，６０１Ｍは、それぞれＭチャネルの受話信号ｘ１（ｋ），…，ｘＭ（ｋ）を入力とし、周波数領域の信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）に変換し、出力する（ｓ６０１）。但し、ｆは周波数番号を表し、ｊはフレーム番号を表す。
【００３４】
周波数領域変換部６０２は、減算部８２の出力信号である第２収音信号ｕ（ｋ）を入力とし、周波数領域の信号Ｕ（ｆ，ｊ）に変換し、出力する（ｓ６０２）。
【００３５】
周波数領域変換部６０８は、エコー予測部８１の出力信号である擬似エコー信号ｙ’（ｋ）を入力とし、周波数領域の信号に変換し、出力する（ｓ６０８）。なお、周波数領域の擬似エコー信号を便宜上、Ｘ０（ｆ，ｊ）と表記する。
【００３６】
各信号を１フレーム＝２Ｌサンプルとし、Ｌ／Ｄサンプル毎にブロック化し、Ｌ／Ｄサンプルずつずらして、フレームを作成する場合について説明する。但し、Ｌは自然数であり、ＤはＬを割り切る自然数であり、時刻ｋ＝ｊＬ／Ｄである。周波数領域への変換は例えば、ＦＦＴ（Fast Fourier transform）やＤＦＴ（discrete Fourier transform）により行い、計算を簡略化・高速化するために、Ｌを２のべき乗にとってもよい。例えば、Ｌ＝６４〜５１２、Ｄ＝２〜８等とする。フレーム長を１０ｍｓ〜２０ｍｓに対応するように設定すればよい。
【００３７】
＜入出力相関係数算出部６０３＞
入出力相関係数算出部６０３は、周波数領域の擬似エコー信号Ｘ０（ｆ，ｊ）とＭチャネルの各受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と第２収音信号Ｕ（ｆ，ｊ）を入力とし、これらの信号間のクロススペクトルと、擬似エコー信号及びＭチャネルの受話信号の各チャネルのパワースペクトルとを求め、出力する（ｓ６０３）。なお、各クロススペクトル及びパワースペクトルは、時刻ｋ＝ｊＬ／Ｄにおける値である。
【００３８】
例えば、入出力相関関数算出部６０３は、図４に示すように、パワースペクトル算出部６０３ａとクロススペクトル算出部６０３ｂとを備える。
【００３９】
パワースペクトル算出部６０３ａは、以下の式により、擬似エコー信号のパワースペクトルＰ００（ｆ，ｊ）及びＭチャネルの受話信号の第ｍチャネルの受話信号のパワースペクトルＰｍｍ（ｆ，ｊ）を求める。
【００４０】
【数３】
0005469564.tif 000004
【００４１】
但し、ｑ＝０，１，…，Ｍとし、Ａ＊はＡの複素共役を表し、Ｅ［Ａ］をＡの平均をとる関数を表す。
【００４２】
クロススペクトル算出部６０３ｂは、以下の式により、擬似エコー信号と第ｍチャネルの受話信号との間のクロススペクトルＰ０ｍ（ｆ，ｊ）と、第ｍ’チャネルの受話信号と第ｍチャネルの受話信号の間のクロススペクトルをＰｍ’ｍ（ｆ，ｊ）を求める。なお、ｍ’≠ｍとし、ｍ’＝１，…，Ｍとする。
【００４３】
【数４】
0005469564.tif 000005
【００４４】
但し、ｑ’≠ｑとし、ｑ’＝０，１，…，Ｍとする。
【００４５】
さらに、クロススペクトル算出部６０３ｂは、以下の式により、擬似エコー信号と第２収音信号との間のクロススペクトルＱ０（ｆ，ｊ）と、第ｍチャネルの受話信号と第２収音信号との間のクロススペクトルＱｍ（ｆ，ｊ）を求める。
【００４６】
【数５】
0005469564.tif 000006
【００４７】
なお、平均処理の一例としては、
【００４８】
【数６】
0005469564.tif 000007
【００４９】
のように、１フレーム前の処理結果と０〜１の値をとる平滑化定数βを用いる方法がある。また過去の数フレームに時定数を乗じて平均を求める方法等が考えられる。Ｑ（ｆ，ｊ）についても同様である。
【００５０】
なお、入出力相関係数算出部６０３は、パワースペクトルＰｑｑ（ｆ，ｊ）とクロススペクトルＰｑ’ｑ（ｆ，ｊ）からなる入力信号間の相関係数Ｐ（ｆ，ｊ）と、入出力信号間の相関係数Ｑ（ｆ，ｊ）を求めると言い換えることもできる。
【００５１】
【数７】
0005469564.tif 000008
【００５２】
＜入出力伝達特性推定部６０４＞
入出力伝達特性推定部６０４は、擬似エコー信号及びＭチャネルの各受話信号のパワースペクトルＰｑｑ（ｆ，ｊ）と、擬似エコー信号とＭチャネルの各受話信号と第２収音信号との間のクロススペクトルＰｑ’ｑ（ｆ，ｊ）とＱｑ（ｆ，ｊ）を用いて、周波数ごとに入出力伝達特性Ｇ（ｆ，ｊ）を推定し（ｓ６０４）、出力する。
【００５３】
例えば、入出力伝達特性推定部６０４は、入出力伝達特性Ｇ（ｆ，ｊ）を
【００５４】
【数８】
0005469564.tif 000009
【００５５】
により推定する。
【００５６】
なお上記パワースペクトルとクロススペクトルからなる行列について、逆行列計算を安定化するために、対角成分に微小定数を加えてもよい。
【００５７】
＜残留エコー予測部６０５＞
残留エコー予測部６０５は、周波数領域のＭチャネルの受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と擬似エコー信号Ｘ０（ｆ，ｊ）と推定した入出力伝達特性Ｇ（ｆ，ｊ）を入力とし、これらの値から第２収音信号に含まれる残留エコー成分Ｕ＾（ｆ，ｊ）を予測し（ｓ６０５）、出力する。例えば、残留エコー予測部６０５は、残留エコー成分を以下の式により、予測する。
【００５８】
【数９】
0005469564.tif 000010
【００５９】
＜減算部６０６及び時間領域変換部６０７＞
減算部６０６は、第２収音信号Ｕ（ｆ，ｊ）と予測した残留エコー成分Ｕ＾（ｆ，ｊ）を入力とし、周波数領域の第２収音信号Ｕ（ｆ，ｊ）から、予測した残留エコー成分Ｕ＾（ｆ，ｊ）を差し引き（ｓ６０６）、送話信号Ｖ（ｆ，ｊ）を求め、出力する。
【００６０】
V(f,j)=U(f,j)-U^(f,j)        (19)
時間領域変換部６０７は、減算部６０６で求めた送話信号Ｖ（ｆ，ｊ）を入力とし、これを時間領域の信号ｖ（ｋ）に変換し、送話信号として送話端子４１へ出力する（ｓ６０７）。なお、時間領域への変換は例えば、周波数領域変換部で用いた変換方法に対応するものであればよい。
【００６１】
＜効果＞
このような構成とすることによって、エコー消去部８ｎにより従来技術と同等のエコー消去量及び音声品質を保つことができ、さらに、擬似エコー信号とＭチャネルの受話信号の各チャネルのパワースペクトルと、擬似エコー信号とＭチャネルの受話信号の各チャネルと第２収音信号との間のクロススペクトルとから入出力伝達特性を推定し、Ｍチャネルの受話信号と擬似エコー信号と入出力伝達特性とから第２収音信号に含まれるエコー成分を予測するため、残留エコー消去部では、適応フィルタのフィルタ係数を更新する必要がない。そのため、エコー経路の変動に即座に対応し、従来の多チャネルエコー消去装置に比べ高速にエコーを予測することができ、エコー以外の信号による推定揺らぎを抑えることができる。また、周波数領域で伝達特性とエコーに関して振幅と位相を推定し、引き算によりエコーの消去を図るため、ダブルトーク時でも送話損失の歪みを小さくでき、チャネル数によらずエコーを消去することができる。
【００６２】
つまり、エコー消去部８ｎにおけるエコー経路推定に時間がかかる初期段階や状況が変化する等の場合に、高速な残留エコー消去部６ｎによるエコー消去処理を行うことで残留エコーを抑えることができる。また、エコー消去部におけるエコー経路推定が安定した場合には、エコー消去部８ｎによる性能によりさらに残留エコーを抑えることできる。そのため、エコー消去部及び残留エコー消去部を単独で使う場合に比べて、処理時間全体にわたり残留エコーを低減した通話が可能になる。
【００６３】
さらに、残留エコー消去部６ｎにおいて、その処理遅延量は周波数領域変換部６０１ｍ、６０２、６０８で設定されるＬ／Ｄにより決定される。予測性能を向上させるために、フレーム長を長くすると、その遅延量が大きくなる。一方、処理遅延を短くするためにフレーム長を（エコー予測部８１で用いる）適応フィルタのタップ長ＬＥより短くすると、残響成分のうちフレーム長よりも遅れて到達する残留エコー成分に対応できなくなる。そのために残留エコー消去性能が低下する。例えばフレーム長を１０ｍｓにとった場合、通常の会議室の残響時間は３００ｍｓ以上なので、エコー経路インパルス応答の１０ｍｓより後ろの部分（つまり、１０ｍｓ〜３００ｍｓ以上）に含まれる残留エコー成分に対応できないために、残留エコー消去性能は大幅に劣化する。
【００６４】
そこで、適応フィルタが生成する擬似エコー信号ｙ’（ｋ）には、フレーム長を超える残響成分を含むことに着目した。残留エコー予測部６０５において、擬似エコー信号ｙ’（ｋ）を用いて、残留エコーを推定することで、遅延量を増大させることなく、残留エコー消去性能を向上させることができる。これにより、残響が長い部屋でも残留エコー消去性能を確保することができる。
【００６５】
＜プログラム＞
上述した多チャネルエコー消去装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（実施例で図に示した機能構成をもつ装置）として機能させるためのプログラム、又はその処理手順（実施例で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
【００６６】
＜変形例＞
各残留エコー消去部内で使用される周波数領域のＭチャネルの受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）の値は、残留エコー消去部６１，…，６Ｎで同じため、Ｎ個の残留エコー消去部６１，…，６Ｎが、受話信号の周波数領域変換部の出力を共有してもよい。
【００６７】
全ての送話信号に対しエコー消去処理を行わなくとも、一部の送話信号に対してのみ、エコーを消去してもよい。
【００６８】
多チャネルエコー消去装置１００への入力は、受話端子１１，…，１Ｍから得られる信号に対し、相関変動処理等を行った受話信号であってもよい。
【００６９】
エコー経路推定部８３におけるフィルタ係数の更新方法は、学習同定法以外の従来技術（例えば、射影アルゴリズム、指数重み付けアルゴリズム、指数重み付け射影アルゴリズム等）を用いてもよい。
【実施例２】
【００７０】
実施例１の残留エコー消去部の演算量の大半は、相関係数の算出と伝達特性の算出が占めている。相関係数の算出はチャネル数の２乗に比例し、伝達特性の算出は逆行列演算を含むためにチャネル数の３乗に比例する。このため実施例１では、チャネル数が増加すると演算量が急激に増大する。そこで実施例２では、チャネル数が増大したときの演算量増大を抑えるために、その構成を簡素化する。
【００７１】
＜多チャネルエコー消去装置２００＞
図５及び図６を用いて実施例２に係る多チャネルエコー消去装置２００を説明する。なお、実施例１と異なる部分のみ説明する。多チャネルエコー消去装置２００は、Ｎ個のエコー消去部８１，…，８Ｎと、Ｎ個の残留エコー消去部２６１，…，２６Ｎを備える。
図５を用いて、実施例１と異なる残留エコー消去部２６１について説明する。
【００７２】
＜残留エコー消去部２６１＞
残留エコー消去部２６１は、周波数領域変換部６０２と、入出力相関係数算出部２６０３と、入出力伝達特性推定部２６０４と、残留エコー予測部２６０５と、減算部６０６と、時間領域変換部６０７と周波数領域変換部６０８を有する。残留エコー消去部２６１は、Ｍ個の周波数領域変換部６０１１，…，６０１Ｍを備えなくともよい。
【００７３】
＜入出力相関係数算出部２６０３＞
入出力相関係数算出部２６０３は、周波数領域の擬似エコー信号Ｘ０（ｆ，ｊ）と第２収音信号Ｕ（ｆ，ｊ）を入力とし、これらの信号間のクロススペクトルと、擬似エコー信号のパワースペクトルを求め、出力する（ｓ２６０３）。なお、各クロススペクトル及びパワースペクトルは、時刻ｋ＝ｊＬ／Ｄにおける値である。
【００７４】
例えば、入出力相関関数算出部２６０３は、図７に示すように、パワースペクトル算出部２６０３ａとクロススペクトル算出部２６０３ｂとを備える。
【００７５】
パワースペクトル算出部２６０３ａは、以下の式により、擬似エコー信号のパワースペクトルＰ００（ｆ，ｊ）を求める。
【００７６】
【数１０】
0005469564.tif 000011
【００７７】
クロススペクトル算出部２６０３ｂは、以下の式により、擬似エコー信号と第２収音信号との間のクロススペクトルＱ０（ｆ，ｊ）を求める。
【００７８】
【数１１】
0005469564.tif 000012
【００７９】
＜入出力伝達特性推定部２６０４＞
入出力伝達特性推定部２６０４は、擬似エコー信号のパワースペクトルＰ００（ｆ，ｊ）と、擬似エコー信号と第２収音信号との間のクロススペクトルＱ０（ｆ，ｊ）を用いて、周波数ごとに入出力伝達特性Ｇ０（ｆ，ｊ）を推定し（ｓ２６０４）、出力する。
【００８０】
例えば、入出力伝達特性推定部２６０４は、入出力伝達特性Ｇ０（ｆ，ｊ）を
【００８１】
【数１２】
0005469564.tif 000013
【００８２】
により推定する。
【００８３】
＜残留エコー予測部２６０５＞
残留エコー予測部２６０５は、擬似エコー信号Ｘ０（ｆ，ｊ）と推定した入出力伝達特性Ｇ０（ｆ，ｊ）を入力とし、これらの値から第２収音信号に含まれる残留エコー成分Ｕ＾（ｆ，ｊ）を予測し（ｓ２６０５）、出力する。例えば、残留エコー予測部２６０５は、残留エコー成分を以下の式により、予測する。
【００８４】
【数１３】
0005469564.tif 000014
【００８５】
＜効果＞
このような構成とすることで、残留エコー消去部において、擬似エコー信号のパワースペクトルと第２収音信号と擬似エコー信号との間のクロススペクトルを用いて入出力伝達特性を推定し、擬似エコー信号と入出力伝達特性から第２収音信号に含まれる残留エコー成分を予測するため、エコー経路の変動、ダブルトーク及び受話信号のチャネル間の相互相関に影響されずに、迅速にエコーを消去することができるという効果を奏する。
【００８６】
さらに、チャネル数が増大しても残留エコー消去部の演算量を増大しないという効果を奏する。つまり、残留エコー消去部への入力を１チャネル（擬似エコー信号用）としているため、チャネル数が増大しても残留エコー消去部の演算量は増大しない。よって、特に、チャネル数が多いときに有効な構成となる。
【実施例３】
【００８７】
＜多チャネルエコー消去装置３００＞
図８及び図９を用いて実施例３に係る多チャネルエコー消去装置３００を説明する。なお、実施例１と異なる部分のみ説明する。多チャネルエコー消去装置３００は、Ｎ個のエコー消去部８１，…，８Ｎと、Ｎ個の第１残留エコー消去部３６１，…，３６Ｎと、Ｎ個の第２残留エコー消去部３９１，…，３９Ｎを備える。
【００８８】
図８及び図９を用いて、実施例１と異なる第１残留エコー消去部３６１と第２残留エコー消去部３９１について説明する。
【００８９】
＜第１残留エコー消去部３６１＞
残留エコー消去部３６１は、Ｍ個の周波数領域変換部６０１１，…，６０１Ｍと、周波数領域変換部６０２と、入出力相関係数算出部３６０３と、入出力伝達特性推定部３６０４と、残留エコー予測部３６０５と、減算部３６０６を有する。
【００９０】
＜入出力相関係数算出部３６０３＞
入出力相関係数算出部３６０３は、周波数領域のＭチャネルの各受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と第２収音信号Ｕ（ｆ，ｊ）を入力とし、これらの信号間のクロススペクトルと、Ｍチャネルの受話信号の各チャネルのパワースペクトルとを求め、出力する（ｓ３６０３）。なお、各クロススペクトル及びパワースペクトルは、時刻ｋ＝ｊＬ／Ｄにおける値である。
【００９１】
例えば、入出力相関関数算出部３６０３は、図１０に示すように、パワースペクトル算出部３６０３ａとクロススペクトル算出部３６０３ｂとを備える。
【００９２】
パワースペクトル算出部３６０３ａは、以下の式により、Ｍチャネルの受話信号の第ｍチャネルの受話信号のパワースペクトルＰｍｍ（ｆ，ｊ）を求める。
【００９３】
【数１４】
0005469564.tif 000015
【００９４】
クロススペクトル算出部３６０３ｂは、以下の式により、第ｍ’チャネルの受話信号と第ｍチャネルの受話信号の間のクロススペクトルをＰｍ’ｍ（ｆ，ｊ）を求める。
【００９５】
【数１５】
0005469564.tif 000016
【００９６】
さらに、クロススペクトル算出部３６０３ｂは、以下の式により、第ｍチャネルの受話信号と第２収音信号との間のクロススペクトルＱｍ（ｆ，ｊ）を求める。
【００９７】
【数１６】
0005469564.tif 000017
【００９８】
なお、入出力相関係数算出部３６０３は、以下に示すパワースペクトルＰｍｍ（ｆ，ｊ）とクロススペクトルＰｍ’ｍ（ｆ，ｊ）からなる入力信号間の相関係数Ｐ（ｆ，ｊ）と、入出力信号間の相関係数Ｑ（ｆ，ｊ）を求めると言い換えることもできる。
【００９９】
【数１７】
0005469564.tif 000018
【０１００】
＜入出力伝達特性推定部３６０４＞
入出力伝達特性推定部３６０４は、Ｍチャネルの各受話信号のパワースペクトルＰｍｍ（ｆ，ｊ）と、第ｍ’チャネルの受話信号と第ｍチャネルの受話信号との間のクロススペクトルＰｍ’ｍ（ｆ，ｊ）と、第Ｍチャネルの各受話信号と第２収音信号との間のクロススペクトルとＱｍ（ｆ，ｊ）を用いて、周波数ごとに入出力伝達特性Ｇ（ｆ，ｊ）を推定し（ｓ３６０４）、出力する。
【０１０１】
例えば、入出力伝達特性推定部３６０４は、入出力伝達特性Ｇ（ｆ，ｊ）を
【０１０２】
【数１８】
0005469564.tif 000019
【０１０３】
により推定する。
【０１０４】
＜残留エコー予測部３６０５＞
残留エコー予測部３６０５は、周波数領域のＭチャネルの受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と推定した入出力伝達特性Ｇ（ｆ，ｊ）を入力とし、これらの値から第２収音信号に含まれる残留エコー成分Ｕ＾（ｆ，ｊ）を予測し（ｓ３６０５）、出力する。例えば、残留エコー予測部３６０５は、残留エコー成分を以下の式により、予測する。
【０１０５】
【数１９】
0005469564.tif 000020
【０１０６】
＜減算部３６０６＞
減算部３６０６は、第２収音信号Ｕ（ｆ，ｊ）と予測した残留エコー成分Ｕ＾（ｆ，ｊ）を入力とし、周波数領域の第２収音信号Ｕ（ｆ，ｊ）から、予測した残留エコー成分Ｕ＾（ｆ，ｊ）を差し引き（ｓ６０６）、第３収音信号Ｕ’（ｆ，ｊ）を求め、第２残留エコー消去部３９１へ出力する。
【０１０７】
U'(f,j)=U(f,j)-U^(f,j)        (38)
【０１０８】
＜第２残留エコー消去部３９１＞
図１１に示すように、第２残留エコー消去部３９１は、周波数領域変換部９０８と、第２入出力相関係数算出部９０３と、第２入出力伝達特性推定部９０４と第２残留エコー予測部９０５と減算部９０６とを備える。第２残留エコー消去部３９１は、第３収音信号Ｕ’（ｆ，ｊ）と擬似エコー信号ｙ’（ｋ）を入力とし、第３収音信号Ｕ’（ｆ，ｊ）からさらに残留エコー成分を除いた送話信号を生成し、送話端４１に出力する。以下、各部の処理例を示す。
【０１０９】
＜周波数領域変換部９０８＞
周波数領域変換部９０８は、エコー予測部８１の出力信号である擬似エコー信号ｙ’（ｋ）を入力とし、周波数領域の信号Ｘ０（ｆ，ｊ）に変換し、出力する（ｓ９０８）。
【０１１０】
＜第２入出力相関係数算出部９０３＞
第２入出力相関係数算出部９０３は、周波数領域の擬似エコー信号Ｘ０（ｆ，ｊ）と第３収音信号Ｕ’（ｆ，ｊ）を入力とし、これらの信号間のクロススペクトルと、擬似エコー信号のパワースペクトルを求め、出力する（ｓ９０３）。なお、各クロススペクトル及びパワースペクトルは、時刻ｋ＝ｊＬ／Ｄにおける値である。
【０１１１】
例えば、第２入出力相関関数算出部９０３は、図７に示すように、パワースペクトル算出部９０３ａとクロススペクトル算出部９０３ｂとを備える。
【０１１２】
パワースペクトル算出部９０３ａは、以下の式により、擬似エコー信号のパワースペクトルＰ００（ｆ，ｊ）を求める。
【０１１３】
【数２０】
0005469564.tif 000021
【０１１４】
クロススペクトル算出部９０３ｂは、以下の式により、擬似エコー信号と第３収音信号との間のクロススペクトルＱ０（ｆ，ｊ）を求める。
【０１１５】
【数２１】
0005469564.tif 000022
【０１１６】
＜第２入出力伝達特性推定部９０４＞
第２入出力伝達特性推定部９０４は、擬似エコー信号のパワースペクトルＰ００（ｆ，ｊ）と、擬似エコー信号と第３収音信号との間のクロススペクトルＱ０（ｆ，ｊ）を用いて、周波数ごとに第２入出力伝達特性Ｇ０（ｆ，ｊ）を推定し（ｓ９０４）、出力する。
【０１１７】
例えば、第２入出力伝達特性推定部９０４は、第２入出力伝達特性Ｇ０（ｆ，ｊ）を
【０１１８】
【数２２】
0005469564.tif 000023
【０１１９】
により推定する。
【０１２０】
＜第２残留エコー予測部９０５＞
第２残留エコー予測部９０５は、擬似エコー信号Ｘ０（ｆ，ｊ）と推定した第２入出力伝達特性Ｇ０（ｆ，ｊ）を入力とし、これらの値から第３収音信号に含まれる第２残留エコー成分Ｕ＾’（ｆ，ｊ）を予測し（ｓ９０５）、出力する。例えば、第２残留エコー予測部９０５は、第２残留エコー成分を以下の式により、予測する。
【０１２１】
【数２３】
0005469564.tif 000024
【０１２２】
＜減算部９０６＞
減算部９０６は、第３収音信号Ｕ’（ｆ，ｊ）と予測した第２残留エコー成分Ｕ＾’（ｆ，ｊ）を入力とし、周波数領域の第３収音信号Ｕ’（ｆ，ｊ）から、予測した残留エコー成分Ｕ＾’（ｆ，ｊ）を差し引き（ｓ９０６）、送話信号Ｖ（ｆ，ｊ）を求め、出力する。
【０１２３】
V(f,j)=U'(f,j)-U^'(f,j)        (45)
【０１２４】
＜効果＞
このような構成とすることによって、実施例１と同様の効果を得ることができる。さらに、以下で説明するように、その演算量を削減することができる。残留エコーに関する伝達特性を求めるために実施例１は式（１７）を用い、実施例３は式（３６）と式（４３）を用いる。実施例１の式（１７）では（Ｍ＋１）×（Ｍ＋１）の逆行列を求める必要があるが、実施例３の対応部分では、Ｍ×Ｍの逆行列及びスカラーの割算に置き換わっている。逆行列の演算は、行列サイズの３乗に比例するため、実施例３の残留エコーに関する伝達特性を求める演算量は、実施例１に対して（Ｍ／（Ｍ＋１））３倍に減少する。
【実施例４】
【０１２５】
＜多チャネルエコー消去装置４００＞
図２及び図３を用いて実施例４に係る多チャネルエコー消去装置４００を説明する。なお、実施例１と異なる部分のみ説明する。多チャネルエコー消去装置４００は、Ｎ個のエコー消去部８１，…，８Ｎと、Ｎ個の残留エコー消去部４６１，…，４６Ｎを備える。実施例１と異なる残留エコー消去部について、説明する。
【０１２６】
＜残留エコー消去部４６１＞
残留エコー消去部４６１は、Ｍ個の周波数領域変換部６０１１，…，６０１Ｍと、周波数領域変換部６０２と、入出力相関係数算出部６０３と、入出力伝達特性推定部６０４と、残留エコー予測部６０５と、減算部６０６と、時間領域変換部６０７と周波数領域変換部６０８とを有し、さらに、伝達特性調整部４６０４を有する。実施例１と異なる伝達特性調整部４６０４について説明する。
【０１２７】
＜伝達特性調整部４６０４＞
図１２に示すように伝達特性調整部４６０４は、大きさ算出部４６０４ａと、判定部４６０４ｂと、調整部４６０４ｃを備え、推定した入出力伝達特性Ｇ（ｆ，ｊ）の大きさが基準値よりも大きいとき、入出力伝達特性Ｇ（ｆ，ｊ）の大きさが基準値と一致するように調整する処理、いわゆるクリップ処理を行う。
【０１２８】
伝達特性調整部４６０４は、入出力伝達特性推定部６０４の出力である入出力伝達特性Ｇ（ｆ，ｊ）を入力とし、これを格納し、調整された入出力伝達特性Ｇ’（ｆ，ｊ）または入力値である入出力伝達特性Ｇ（ｆ，ｊ）をそのまま出力する。以下、各部の処理を説明する。
【０１２９】
大きさ算出部４６０４ａは、例えば、推定した入出力伝達特性Ｇ（ｆ，ｊ）の大きさとしてノルム｜Ｇ（ｆ，ｊ）｜を算出する。例えば、
【０１３０】
【数２４】
0005469564.tif 000025
【０１３１】
として求める。
【０１３２】
判定部４６０４ｂは、予め指定した基準値Ｃよりもノルム｜Ｇ（ｆ，ｊ）｜が大きいか否か判定する。ノルム｜Ｇ（ｆ，ｊ）｜が基準値Ｃよりも小さい場合には、入力値である入出力伝達特性Ｇ（ｆ，ｊ）をそのまま出力する。ノルムが基準値よりも大きい場合には、調整部４６０４ｃに対し、調整指示を送信する。基準値（クリップする値）Ｃは例えば、［１音響パスの想定される音響結合量］×［ｓｑｒｔ（音響パス数）］として設定する。また、例えば、１音響パスの想定される音響結合量の（１／３）〜（１／２）程度の値を基準値Ｃとして設定しても良い。
【０１３３】
調整部４６０４ｃは、調整指示を受け取ると、入出力伝達特性Ｇ（ｆ，ｊ）に基準値Ｃを乗じ、さらに、ノルム｜Ｇ（ｆ，ｊ）｜で割ることによって、入出力伝達特性Ｇ（ｆ，ｊ）を調整する（ｓ４６０４）。例えば、以下の式で表される。
【０１３４】
【数２５】
0005469564.tif 000026
【０１３５】
残留エコー予測部６０５は、推定した入出力伝達特性Ｇ（ｆ，ｊ）または調整した入出力伝達特性Ｇ’（ｆ，ｊ）と、周波数領域のＭチャネルの受話信号Ｘ１（ｆ，ｊ），…，ＸＭ（ｆ，ｊ）と擬似エコー信号Ｘ０（ｆ，ｊ）を入力とし、これらの値から第２収音信号に含まれる残留エコー成分Ｕ＾（ｆ，ｊ）を予測し（ｓ６０５）、出力する。
【０１３６】
＜効果＞
このような構成とすることで、実施例１の同様の効果に加え、以下の効果を得ることができる。
【０１３７】
このように閾値比較を行って入出力伝達特性を修正することで、送話と受話の相関により入出力伝達特性が過大評価されてしまうことを防止できる。通常、送話者の話す音声と受話信号の間には、相関がないが、処理単位のフレームを短くすると、送話者の話す音声と受話信号の間に偽りの相関が生じることがある。その場合、入出力伝達特性が過大に評価され、予測した残留エコー成分の値が必要以上に大きくなり、音声品質を劣化させてしまう可能性がある。本実施例では、その劣化を防止できる。
【０１３８】
＜変形例＞
実施例３の多チャネルエコー消去装置３００において、入出力伝達特性推定部３６０４の後段であって、残留エコー予測部３６０５の間に伝達特性調整部４６０４を設けてもよい。その場合も入出力伝達特性が過大評価されてしまうことを防止できる。
【０１３９】
また、入出力伝達特性の大きさを式（５１）以外の従来技術により求めてもよい。
【実施例５】
【０１４０】
＜多チャネルエコー消去装置５００＞
図５及び図６を用いて実施例５に係る多チャネルエコー消去装置５００を説明する。なお、実施例２と異なる部分のみ説明する。多チャネルエコー消去装置５００は、Ｎ個のエコー消去部８１，…，８Ｎと、Ｎ個の残留エコー消去部５６１，…，５６Ｎを備える。実施例２と異なる残留エコー消去部について、説明する。
【０１４１】
＜残留エコー消去部５６１＞
残留エコー消去部５６１は、周波数領域変換部６０２と、入出力相関係数算出部６０３と、入出力伝達特性推定部６０４と、残留エコー予測部６０５と、減算部６０６と、時間領域変換部６０７と周波数領域変換部６０８とを有し、さらに、伝達特性調整部５６０４を有する。実施例２と異なる伝達特性調整部５６０４について説明する。
【０１４２】
＜伝達特性調整部５６０４＞
図１２に示すように伝達特性調整部５６０４は、大きさ算出部５６０４ａと、判定部５６０４ｂと、調整部５６０４ｃを備え、推定した入出力伝達特性Ｇ０（ｆ，ｊ）の大きさが基準値よりも大きいとき、入出力伝達特性Ｇ０（ｆ，ｊ）の大きさが基準値と一致するように調整する処理、いわゆるクリップ処理を行う。
【０１４３】
伝達特性調整部５６０４は、入出力伝達特性推定部６０４の出力である入出力伝達特性Ｇ０（ｆ，ｊ）を入力とし、これを格納し、調整された入出力伝達特性Ｇ０’（ｆ，ｊ）または入力値である入出力伝達特性Ｇ０（ｆ，ｊ）をそのまま出力する。以下、各部の処理を説明する。
【０１４４】
大きさ算出部５６０４ａは、例えば、推定した入出力伝達特性Ｇ０（ｆ，ｊ）の大きさとしてノルム｜Ｇ０（ｆ，ｊ）｜を算出する。例えば、
【０１４５】
【数２６】
0005469564.tif 000027
【０１４６】
として求める。
【０１４７】
判定部５６０４ｂは、予め指定した基準値Ｃよりもノルム｜Ｇ０（ｆ，ｊ）｜が大きいか否か判定する。ノルム｜Ｇ０（ｆ，ｊ）｜が基準値Ｃよりも小さい場合には、入力値である入出力伝達特性Ｇ０（ｆ，ｊ）をそのまま出力する。ノルムが基準値よりも大きい場合には、調整部５６０４ｃに対し、調整指示を送信する。基準値（クリップする値）Ｃは例えば、［１音響パスの想定される音響結合量］×［ｓｑｒｔ（音響パス数）］として設定する。また、例えば、１音響パスの想定される音響結合量の（１／３）〜（１／２）程度の値を基準値Ｃとして設定しても良い。
【０１４８】
調整部５６０４ｃは、調整指示を受け取ると、入出力伝達特性Ｇ０（ｆ，ｊ）に基準値Ｃを乗じ、さらに、ノルム｜Ｇ０（ｆ，ｊ）｜で割ることによって、入出力伝達特性Ｇ０（ｆ，ｊ）を調整する（ｓ５６０４）。例えば、以下の式で表される。
【０１４９】
【数２７】
0005469564.tif 000028
【０１５０】
残留エコー予測部２６０５は、推定した入出力伝達特性Ｇ０（ｆ，ｊ）または調整した入出力伝達特性Ｇ０’（ｆ，ｊ）と、擬似エコー信号Ｘ０（ｆ，ｊ）を入力とし、これらの値から第２収音信号に含まれる残留エコー成分Ｕ＾（ｆ，ｊ）を予測し（ｓ２６０５）、出力する。
【０１５１】
＜効果＞
このような構成とすることで、実施例２の同様の効果に加え、送話と受話の相関により入出力伝達特性が過大評価されてしまうことを防止できる。そして、音声品質の劣化を防止できる。
【０１５２】
＜変形例＞
実施例３の多チャネルエコー消去装置３００において、第２入出力伝達特性推定部９０４の後段であって、第２残留エコー予測部９０５の間に伝達特性調整部５６０４を設けてもよい。その場合も入出力伝達特性が過大評価されてしまうことを防止できる。
【０１５３】
また、入出力伝達特性の大きさを式（６１）以外の従来技術により求めてもよい。
【符号の説明】
【０１５４】
１００、２００、３００、４００、５００  多チャネルエコー消去装置
６１、２６１、４６１、５６１  残留エコー消去部
３６１  第１残留エコー消去部
３９１  第２残留エコー消去部
９０３  第２入出力相関係数算出部
９０４  第２入出力伝達特性推定部
９０５  第２残留エコー予測部
６０１１，…，６０１Ｍ、６０２、６０８、９０８  周波数領域変換部
６０３、２６０３、３６０３  入出力相関係数算出部
６０４、２６０４、３６０４  入出力伝達特性推定部
４６０４、５６０４  伝達特性調整部
６０５、２６０５、３６０５  残留エコー予測部
６０６、９０６  減算部
６０７  時間領域変換部
８１，…，８Ｎ  エコー消去部
８１  エコー予測部
８２  減算部
８３  エコー経路推定部
【図１】
0005469564.tif 000039
【図２】
0005469564.tif 000040
【図３】
0005469564.tif 000041
【図４】
0005469564.tif 000042
【図５】
0005469564.tif 000043
【図６】
0005469564.tif 000044
【図７】
0005469564.tif 000045
【図８】
0005469564.tif 000046
【図９】
0005469564.tif 000047
【図１０】
0005469564.tif 000048
【図１１】
0005469564.tif 000049
【図１２】
0005469564.tif 000050