(57)【要約】【課題】適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減するエコー消去技術を提供する。【解決手段】エコー消去装置は、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成し、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求め、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出し、修正量を用いてフィルタ係数を更新し、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める。【選択図】図６
2014023110.tif 000002
【特許請求の範囲】
【請求項１】
Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去装置であって、
時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換部と、
周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換部と、
波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算部と、
波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換部と、
周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換部と、
前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算部と、
時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換部と、
周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換部と、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出部と、
前記修正量を用いて前記フィルタ係数を更新するフィルタ係数部と、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去部とを含む、
エコー消去装置。
【請求項２】
請求項１記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、前記受話信号のパワースペクトルと、前記受話信号と前記誤差信号との間のクロススペクトルとを算出する入出力相関係数算出部と、
前記パワースペクトルと前記クロススペクトルとを用いて、前記受話信号と前記誤差信号との入出力伝達特性を推定する入出力伝達特性推定部と、
波数領域の前記受話信号に前記入出力伝達特性の推定値を乗じて、前記残留エコーを推定する残留エコー推定部と、
波数領域の前記誤差信号と前記残留エコーの推定値との差分を前記送話信号として求める第二減算部とを含む、
エコー消去装置。
【請求項３】
請求項２記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
前記残留エコーの前記推定値に、前記入出力伝達特性の前記推定値の信頼区間の下端の値に基づく値を乗じることにより、前記残留エコーの前記推定値を補正する残留エコー補正部をさらに含み、
前記第二減算部は、波数領域の前記誤差信号と補正後の前記残留エコーの前記推定値との差分を前記送話信号として求める、
エコー消去装置。
【請求項４】
請求項３記載のエコー消去装置であって、
各スペクトル推定に使用するフレーム数をＴとし、Ｍ＝１とし、自由度ｎ１＝２Ｍ、ｎ２＝Ｔ−２ＭのＦ分布の１００α百分比点をＦ２Ｍ，Ｔ−２Ｍ，ａｌｐｈａとし、波数領域の前記誤差信号をＵ（Ｗ）ｆ（ｋ，ｉ）とし、波数領域の前記残留エコーの推定値をΔＹ（Ｗ）ｆ（ｋ，ｉ）とし、前記残留エコー補正部において、補正後の前記残留エコーの前記推定値ΔＹII（Ｗ）ｆ（ｋ，ｉ）を
【数１８】
2014023110.tif 000020
S(W)f(k,i)=U(W)f(k,i)-ΔY(W)f(k,i)
として求める、
エコー消去装置。
【請求項５】
請求項１記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
波数領域の前記受話信号と波数領域の前記エコーレプリカと波数領域の前記誤差信号とを用いて、線形和重みを算出する線形和重み算出部と、
波数領域の前記受話信号と波数領域の前記エコーレプリカとを前記線形和重みを用いて、重み付けし、その線形和を算出する線形和算出部と、
波数領域の前記誤差信号と前記線形和との差分を前記送話信号として求める第二減算部とを含む、
エコー消去装置。
【請求項６】
請求項１から請求項５の何れかに記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
前記周波数毎に波数の有効範囲を算出する波数限定部と、
前記有効範囲外の波数における波数領域の前記送話信号を０とする波数０詰め部とをさらに含み、
前記波数領域残留エコー推定消去部内の前記波数限定部及び前記波数０詰め部を除く各部において、前記有効範囲内で処理を行う、
エコー消去装置。
【請求項７】
Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去方法であって、
時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換ステップと、
周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換ステップと、
波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算ステップと、
波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換ステップと、
周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換ステップと、
前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算ステップと、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出ステップと、
前記修正量を用いて前記フィルタ係数を更新するフィルタ係数ステップと、
時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換ステップと、
周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換ステップと、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去ステップとを含む、
エコー消去方法。
【請求項８】
請求項１から請求項６記載のエコー消去装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネル拡声通話系において音響エコーを消去する技術に関する。
【背景技術】
【０００２】
より自然な通話環境を提供できるマルチチャネル拡声型の双方向通信会議システムの開発が、ＩＰ通信の高速化・大容量化を背景に、近年進展している。マルチチャネル再生技術は、ステレオ再生から５．１チャネル再生へとチャネル数拡大の方向に進んでいる。しかし、音が高い立体感を持って再生されるリスニングエリアが限られていて、スィートスポット化しており、その外では音の立体感が大幅に低減してしまう。そのため、参加者全員に等しく音の立体感を提供可能な、リスニングエリアの広いマルチチャネル再生技術が求められている。
【０００３】
このようなマルチチャネル再生技術として、近年Wave Field Synthesis（以下「ＷＦＳ」と略す）の研究が進められている（非特許文献１参照）。ＷＦＳは、ある地点での音波面を取得し、別の地点で再合成するために、数十以上のマイクロホン、数十以上のスピーカを必要とする。
【０００４】
ＷＦＳを双方向映像音声通信会議に適用しようとする場合、快適な通話環境を実現するためには、数十〜数百のスピーカから数十〜数百のマイクロホンに音響的に回り込む信号成分（以下「エコー」ともいう）をマイクロホンの収音信号から消去する必要がある。この処理を効率的に行う音響エコーキャンセラアルゴリズムとして、波数領域適応アルゴリズムが提案されている（非特許文献２参照）。この波数領域適応アルゴリズムは、適応フィルタのフィルタ係数を波数領域に持つアルゴリズムである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Berkhout, D de Vries, and P. Vogel, "Acoustic Control by wave field synthesis", Journal of Acoustic Society of America, 1993, vol.93, no.5, p.2764-2778
【非特許文献２】M. Schneider, W. Kellermann, "A Wave-domain model for acoustic MIMO systems with reduced complexity", 2012, 2011 Joint Workshop on Hands-free Speech Communication and Microphone arrays, pp.133-138
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献２は、そのシミュレーション結果の説明に記されているように、スピーカアレーから再生する波面の放射方向が変わったときに、エコー消去量が急激に劣化する。この状況は、双方向通信において遠隔地で話者が交代して、交代後の話者再生音声の放射方向が交代前と異なるケースに対応する。エコー消去量が劣化する理由は、再生波面の放射方向が変化するとエコー消去に波数ｋの異なる適応フィルタ係数が必要になるが、その適応フィルタ係数がほとんど未学習なためである。
【０００７】
快適な拡声通話を実現するには、適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減する必要がある。特にダブルトーク状態では、送話の品質に影響を与えることなく残留エコーを低減する必要がある。
【０００８】
本発明は、適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減するエコー消去技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の第一の態様によれば、エコー消去装置は、Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、スピーカから受話信号を再生した際にエコー経路を経てマイクロホンに回り込むエコーを消去する。エコー消去装置は、時間領域の受話信号を周波数領域の信号に変換する第一周波数領域変換部と、周波数領域の受話信号を波数領域の信号に変換する第一波数領域変換部と、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算部と、波数領域のエコーレプリカを周波数領域のエコーレプリカに変換する逆波数変換部と、周波数領域のエコーレプリカを時間領域のエコーレプリカに変換する時間領域変換部と、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求める第一減算部と、時間領域の誤差信号を周波数領域の信号に変換する第二周波数領域変換部と、周波数領域の誤差信号を波数領域の信号に変換する第二波数領域変換部と、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出する修正量算出部と、修正量を用いてフィルタ係数を更新するフィルタ係数部と、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去部とを含む。
【００１０】
上記の課題を解決するために、本発明の第二の態様によれば、エコー消去方法は、Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、スピーカから受話信号を再生した際にエコー経路を経てマイクロホンに回り込むエコーを消去する。エコー消去方法は、時間領域の受話信号を周波数領域の信号に変換する第一周波数領域変換ステップと、周波数領域の受話信号を波数領域の信号に変換する第一波数領域変換ステップと、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算ステップと、波数領域のエコーレプリカを周波数領域のエコーレプリカに変換する逆波数変換ステップと、周波数領域のエコーレプリカを時間領域のエコーレプリカに変換する時間領域変換ステップと、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求める第一減算ステップと、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出する修正量算出ステップと、修正量を用いてフィルタ係数を更新するフィルタ係数ステップと、時間領域の誤差信号を周波数領域の信号に変換する第二周波数領域変換ステップと、周波数領域の誤差信号を波数領域の信号に変換する第二波数領域変換ステップと、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去ステップとを含む。
【発明の効果】
【００１１】
本発明は、波数領域で受話信号と誤差信号とから残留エコーを推定し、誤差信号から残留エコーを差し引いて、適応フィルタによるエコー経路推定及び消去が十分でない状態で、会話状態によらず迅速に残留エコーを低減することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】マルチチャネル通信会議システムにおけるエコー消去装置の配置例を示す図。
【図２】第一実施形態に係るエコー消去装置の機能ブロック図。
【図３】第一実施形態に係るエコー消去装置の処理フローを示す図。
【図４】波数領域エコーレプリカ生成部の機能ブロック図。
【図５】誤差信号の合成の様子を示す図。
【図６】残留エコー消去部の機能ブロック図。
【図７】残留エコー消去部の処理フローを示す図。
【図８】第一実施形態に係る波数領域残留エコー推定消去部１２３の機能ブロック図。
【図９】第一実施形態に係る波数領域残留エコー推定消去部１２３の処理フローを示す図。
【図１０】第二変形例に係る波数領域残留エコー推定消去部１２３の機能ブロック図。
【図１１】第二変形例に係る波数領域残留エコー推定消去部１２３の処理フローを示す図。
【図１２】単一周波数波の平面波のサンプリングの様子を示す図。
【図１３】空間エリアシングが生じる様子及び生じない様子を示す図。
【図１４】第二実施形態に係る波数領域残留エコー推定消去部１２３の機能ブロック図。
【図１５】第二実施形態に係る波数領域残留エコー推定消去部１２３の処理フローを示す図。
【図１６】第一実施形態及び第二実施形態に係るエコー消去装置のシミュレーション結果を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「＾」は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１４】
＜第一実施形態＞
＜第一実施形態のポイント＞
第一実施形態では、受話信号から残留エコーへの伝達特性を高速に推定する手段と、波数領域において誤差信号から残留エコーを差し引く手段とを備える。伝達特性推定では、波数ごとに受話信号と誤差信号の相関を利用することで推定を高速化し、残留エコー以外の信号による推定揺らぎを抑える。
【００１５】
＜第一実施形態に係るエコー消去装置１００＞
図１はマルチチャネル通信会議システムにおけるエコー消去装置１００の配置例を、図２はエコー消去装置１００の機能ブロック図を、図３はその処理フローを示す。
【００１６】
エコー消去装置１００を含むマルチチャネル通信会議システムはＰチャネルの再生系とＰチャネルの収音系からなる。ただし、Ｐ≧２である。このマルチチャネル通信会議システムにおいて、Ｐ個のスピーカ２ｐとＰ個のマイクロホン３ｐとが共通の音場に配置される。Ｐチャネルの受話信号ｘ（ｐ，ｎ）は、スピーカ２ｐで音響信号として再生され、音響エコー経路を経てＰ個のマイクロホン３ｐにそれぞれ回り込む。この回り込む信号成分が前述のエコーである。ただし、ｐ＝１，２，…，Ｐであり、ｎは時刻を表すインデックスである。
【００１７】
エコー消去装置１００は、Ｐ個の受話端１ｐのそれぞれを介して受話信号ｘ（ｐ，ｎ）を受け取り、Ｐ個のマイクロホン３ｐのそれぞれで収音される収音信号ｙ（ｐ，ｎ）を受け取る。さらに、Ｐ個の収音信号ｙ（ｐ，ｎ）のそれぞれからエコーを消去して、送話信号ｖ（ｐ，ｎ）を生成し、送話端４ｐに出力する。
【００１８】
エコー消去装置１００は、周波数領域変換部１１と、波数変換部１２と、波数領域エコーレプリカ生成部２１と、逆波数変換部３１と、時間領域変換部３２と、Ｐ個の減算部３３ｐと、フレーム合成部３４と、誤差周波数領域変換部４１と、誤差波数変換部４２とを含む。なお、エコー消去装置１００は、既存技術（例えば非特許文献２参照）を用いて、波数領域適応アルゴリズムを実現する。
【００１９】
さらに、エコー消去装置１００は、既存技術には無い、波数領域で受話信号と誤差信号とから残留エコーを推定し、誤差信号から残留エコーを差し引く残留エコー消去部１２０を含む。以下、各部の詳細を説明する。
【００２０】
＜周波数領域変換部１１＞
周波数領域変換部１１は、Ｐチャネルの時間領域の受話信号ｘ（ｐ，ｎ）を受け取り、チャネルｐ毎に周波数領域の受話信号Ｘｆ（ｐ，ｉ）に変換し（ｓ１）、Ｐ×２Ｆ個の周波数領域の受話信号Ｘｆ（ｐ，ｉ）を波数変換部１２に出力する。ただし、ｉはフレーム番号を、２Ｆは１フレーム内に含まれるサンプル数を、ｆは周波数のインデックスを表し、ｆ＝０，１，…，２Ｆ−１である。信号のサンプリング周波数をｆＳとすると、Ｘｆ（ｐ，ｉ）はフレームｉにおけるチャネルｐの受話信号の周波数ｆＳｆ／２Ｆ［Ｈｚ］の成分を表す。なお、周波数領域変換の方法としては、高速フーリエ変換（Fast Fourier Transform；以下「ＦＦＴ」と略す）等が考えられる。
【００２１】
まず、周波数領域変換部１１は、受話信号ｘ（ｐ，ｎ）をＦ／Ｄ個受け取る毎に（言い換えると、ｎ＝ｉＦ／Ｄの関係になる毎に）、２Ｆ個の受話信号ｘ（ｐ，ｎ−２Ｆ＋１），ｘ（ｐ，ｎ−２Ｆ＋２），…，ｘ（ｐ，ｎ）を１フレーム分としてブロック化し、フレーム単位の受話信号ｘ（ｐ，ｉ）を得る。ただし、Ｆは自然数であり、ＤはＦを割り切る自然数である。例えば、
x(p,i)=[x(p,(iF/D)-2F+1),x(p,(iF/D)-2F+2),…,x(p,iF/D)]T    (1)
である。ただし、Ｔは転置を表す。以下、各信号を１フレーム＝２Ｆサンプル、シフト量Ｆ／Ｄサンプルでブロック化する。ＦＦＴ計算を簡略化・高速化するために、Ｆを２のべき乗にとることが多い。以下ではＤ≧２の場合を示す。
【００２２】
さらに、周波数領域変換部１１は、フレーム単位の受話信号ｘ（ｐ，ｉ）を、次式のように周波数領域の受話信号Ｘ（ｐ，ｉ）に変換する。
X(p,i)=FFT(x(p,i))=[X0(p,i) … Xf(p,i) … X2F-1(p,i)]    (2)
なお、受話信号Ｘ（ｐ，ｉ）を含め、周波数領域の各信号は短時間スペクトルにより表される。
【００２３】
＜波数変換部１２＞
波数変換部１２は、Ｐ×２Ｆ個の周波数領域の受話信号Ｘｆ（ｐ，ｉ）を受け取り、以下の式（３）や（４）により、周波数ｆ毎に波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）に変換し（ｓ３）、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）を波数領域エコーレプリカ生成部２１及び残留エコー消去部１２０に出力する。ただし、ｋは波数のインデックスであり、Ｋを自然数とし、チャネル数Ｐが偶数でＰ＝２Ｋのときｋ＝−Ｋ＋１，−Ｋ＋２，…，−１，０，１，…，Ｋであり、チャネル数Ｐが奇数でＰ＝２Ｋ＋１のときｋ＝−Ｋ，−Ｋ＋１，…，−１，０，１，…，Ｋである。
【００２４】
（１）チャネル数Ｐが偶数でＰ＝２Ｋのとき、
X(W)f(i)=FFT([Xf(1,i) Xf(2,i) … Xf(P,i)])
=[X(W)f(0,i) … X(W)f(k,i) … X(W)f(K,i) X(W)f(-K+1,i) … X(W)f(-1,i)] (3)
である。
【００２５】
（２）チャネル数Ｐが奇数でＰ＝２Ｋ＋１のとき、
X(W)f(i)=FFT([Xf(1,i) Xf(2,i) … Xf(P,i)])
=[X(W)f(0,i) … X(W)f(k,i) … X(W)f(K,i) X(W)f(-K,i) … X(W)f(-1,i)]  (4)
である。波数領域への変換は、２のべき乗の点数を持つＦＦＴで高速に行うため、以下、チャネル数Ｐが偶数の場合（Ｐ＝２Ｋ）について説明を進める。なお、受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）を含め、波数領域の各信号は短時間スペクトルにより表される。
【００２６】
＜波数領域エコーレプリカ生成部２１＞
波数領域エコーレプリカ生成部２１は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）とＰ×２Ｆ個の波数領域の誤差信号Ｅ（Ｗ）ｆ（ｋ，ｉ）（詳細は後述する）とを受け取り、これらの値を用いて、ｆ≦Ｆにおいて、Ｐ×（Ｆ＋１）個の波数領域のエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）を生成し、逆波数変換部３１に出力する。なお、エコーレプリカとは、収音信号に含まれるエコーを模したものであり、エコーの推定値である。
【００２７】
図４は波数領域エコーレプリカ生成部２１の機能ブロック図を示す。波数領域エコーレプリカ生成部２１は、修正量算出部２１１と、フィルタ係数部２１３と、乗算部２１５とを含む。
【００２８】
（乗算部２１５）
波数領域エコーレプリカ生成部２１の乗算部２１５は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）を受け取る。また、後述するフィルタ係数部２１３からＰ×（Ｆ＋１）×（２δ＋１）個の波数領域のフィルタ係数Ｈ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ）（ただしｆ≦Ｆ）を受け取る。ただし、ｄｋ＝−δ，−δ＋１，…，−１，０，１，…，δ−１，δである。δとして、非特許文献２では１もしくは２が推奨されている。乗算部２１５は、ｆ≦Ｆにおいて、次式のように、受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）にフィルタ係数Ｈ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ）を乗じて、波数領域のエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）を生成し（ｓ５）、逆波数変換部３１に出力する。
【００２９】
【数１】
2014023110.tif 000003
【００３０】
このように波数領域のエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）を生成することで、隣接する空間周波数成分を含むことができる。隣接する空間周波数成分を含む必要がない場合には、δ＝０として次式により、波数領域のエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）を生成してもよい。
Y^(W)f(k,i)=H(W)f(k,k,i)X(W)f(k,i)    (6)
なお、修正量算出部２１１及びフィルタ係数部２１３の処理については後述する。
【００３１】
＜逆波数変換部３１＞
逆波数変換部３１は、Ｐ×（Ｆ＋１）個の波数領域のエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）を受け取り（ただしｆ≦Ｆ）、次式のように周波数ｆ毎に周波数領域のエコーレプリカＹ＾ｆ（ｐ，ｉ）に変換する（ｓ９）。
[Y^f(1,i) Y^f(2,i) … Y^f(P,i)]
=IFFT([Y^(W)f(0,i)…Y^(W)f(k,i)…Y^(W)f(K,i) Y^(W)f(-K+1,i)…Y^(W)f(-1,i)]) (7)
なお、周波数ｆ＞Ｆについては、実数信号のＦＦＴ結果に関する対称性から、次式で周波数領域のエコーレプリカＹ＾ｆ（ｐ，ｉ）を求める。
Y^f(p,i)=conj(Y^2F-f(p,i))    (8)
ここで、ｃｏｎｊ（・）は、・の複素共役をとることを意味する。このようにして求めた合計Ｐ×２Ｆ個の周波数領域のエコーレプリカＹ＾ｆ（ｐ，ｉ）を時間領域変換部３２に出力する。なお、逆波数変換方法としては、波数変換部１２における波数領域変換方法に対応するものを用いればよい。
【００３２】
＜時間領域変換部３２＞
時間領域変換部３２は、Ｐ×２Ｆ個の周波数領域のエコーレプリカＹ＾ｆ（ｐ，ｉ）を受け取り、次式のように、チャネルｐ毎に周波数領域のエコーレプリカＹ＾ｆ（ｐ，ｉ）を逆ＦＦＴし、時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）（要素数はＦ個）に変換する（ｓ９）。
y^(p,i)=[IF 0F]IFFT([Y^0(p,i)…Y^f(p,i)…Y^2F-1(p,i)])    (9)
ここで０ＦはＦ×Ｆの零行列、ＩＦはＦ×Ｆの単位行列である。Ｐ個の時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）をそれぞれＰ個の減算部３３ｐに出力する。時間領域変換方法としては、周波数領域変換部１１における周波数領域変換方法に対応するものを用いればよい。
【００３３】
＜減算部３３ｐ＞
減算部３３ｐは、時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）とマイクロホン３ｐで収音される収音信号ｙ（ｐ，ｎ）とを受け取る。収音信号ｙ（ｐ，ｎ）を１フレーム＝Ｆサンプル、シフト量Ｆ／Ｄサンプルで
y(p,i)=[y(p,(iF/D)-F+1),x(p,(iF/D)-F+2),…,x(p,iF/D)]T
のようにブロック化し、収音信号ベクトルｙ（ｐ，ｉ）とする。減算部３３ｐは、次式のように時間領域の収音信号ベクトルｙ（ｐ，ｉ）から時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）を差し引き（ｓ１１）、時間領域の誤差信号ベクトルｅ（ｐ，ｉ）（要素数はＦ個）を求め、フレーム合成部３４及び誤差周波数領域変換部４１に出力する。
e(p,i)=y(p,i)-y^(p,i)    (10)
このような構成により、エコー消去装置１００は、エコー消去を図る。
【００３４】
＜フレーム合成部３４＞
フレーム合成部３４は、Ｐ個の時間領域の誤差信号ベクトルｅ（ｐ，ｉ）を受け取る。周波数領域変換部１１において受話信号ｘ（ｐ，ｎ）をＤ≧２でフレーム化した場合には、フレーム合成部３４は、フレームｉで求めた誤差信号ベクトルｅ（ｐ，ｉ）と一つ前のフレームｉ−１で求めた誤差信号ベクトルｅ（ｐ，ｉ−１）とに対して窓かけ処理を行った上で、合成し（ｓ１３）、合成後のＰ個の時間領域の誤差信号ベクトルｅ’（ｐ，ｉ）を残留エコー消去部１２０に出力する。
【００３５】
Ｄ＝２の場合、長さＦ／Ｄのハニング窓をＷＨとして、合成後の長さＦ／Ｄの誤差信号ベクトルｅ’（ｐ，ｉ）は次式で算出される。この合成の様子を図５に示す。
e'(p,i)=[0F/D IF/D]diag(WH)e(p,i-1)+[IF/D0F/D]diag(WH)e(p,i)    (11)
ただし、０Ｆ／Ｄは（Ｆ／Ｄ）×（Ｆ／Ｄ）のゼロ行列、ＩＦ／Ｄは（Ｆ／Ｄ）×（Ｆ／Ｄ）の単位行列、ｄｉａｇ（・）は・を対角成分とし、それ以外が零であるような行列である。
【００３６】
＜誤差周波数領域変換部４１＞
誤差周波数領域変換部４１は、Ｐ個の時間領域の誤差信号ベクトルｅ（ｐ，ｉ）を受け取り、次式のように、チャネルｐ毎に時間領域の誤差信号ベクトルｅ（ｐ，ｉ）に０詰めをしたものを周波数領域に変換し（ｓ１５）、Ｐ×２Ｆ個の周波数領域の誤差信号Ｅｆ（ｐ，ｉ）を誤差波数変換部４２に出力する。
【００３７】
【数２】
2014023110.tif 000004
【００３８】
＜誤差波数変換部４２＞
誤差波数変換部４２は、Ｐ×２Ｆ個の周波数領域の誤差信号Ｅｆ（ｐ，ｉ）を受け取り、次式により、周波数ｆ毎に波数領域の誤差信号Ｅ（Ｗ）ｆ（ｋ，ｉ）に変換し（ｓ１７）、Ｐ×２Ｆ個の波数領域の誤差信号Ｅ（Ｗ）ｆ（ｋ，ｉ）を波数領域エコーレプリカ生成部２１に出力する。
E(W)f(p,i)=FFT([Ef(1,i) … Ef(P,i)]
=[E(W)f(0,i) … E(W)f(k,i) … E(W)f(K,i) E(W)f(-K+1,i) … E(W)f(-1,i)] (13)
【００３９】
（修正量算出部２１１）
波数領域エコーレプリカ生成部２１内の修正量算出部２１１は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）とＰ×２Ｆ個の波数領域の誤差信号Ｅ（Ｗ）ｆ（ｋ，ｉ）とを受け取り（図２及び図４参照）、ｆ（ｆ≦Ｆ）において、−Ｋ＋１≦ｋ≦Ｋの範囲で、次式のように波数領域の適応フィルタのフィルタ係数の修正量ｄＨ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ）（ただし−δ≦ｄｋ≦δ）を算出し（ｓ１９）、Ｐ×（Ｆ＋１）×（２δ＋１）個の修正量ｄＨ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ）をフィルタ係数部２１３に出力する。
【００４０】
【数３】
2014023110.tif 000005
【００４１】
なお、ρは分母が０になることを防止するための微小な正定数であり、右辺分母中のＺ（Ｗ）ｆ（ｋ，ｉ）は修正量ｄＨ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ）を補正しており、
【００４２】
【数４】
2014023110.tif 000006
【００４３】
により計算される。Ｚ（Ｗ）ｆ（ｋ，ｉ）は受話信号Ｘ（Ｗ）ｆ（ｋ−δ，ｉ）〜Ｘ（Ｗ）ｆ（ｋ＋δ，ｉ）のパワーの総和であり、βはパワー計算で短時間平均をとるための平滑化定数であり、０〜１の値をとる。
【００４４】
（フィルタ係数部２１３）
波数領域エコーレプリカ生成部２１内のフィルタ係数部２１３は、Ｐ×（Ｆ＋１）×（２δ＋１）個の修正量ｄＨ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ）を受け取り（ただしｆ≦Ｆ）、次式でフィルタ係数Ｈ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ）を更新し（ｓ２１）、Ｐ×（Ｆ＋１）×（２δ＋１）個の更新後の波数領域のフィルタ係数Ｈ（Ｗ）ｆ（ｋ，ｋ＋ｄｋ，ｉ＋１）を乗算部２１５に出力する。
H(W)f(k,k+dk,i+1)=H(W)f(k,k+dk,i)+μdH(W)f(k,k+dk,i)    (16)
ただし、μは０〜１の値をとるステップサイズである。乗算部２１５における処理は前述の通りである。
【００４５】
＜残留エコー消去部１２０＞
残留エコー消去部１２０は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と、合成後のＰ個の時間領域の誤差信号ベクトルｅ’（ｐ，ｉ）とを受け取り、波数領域の誤差信号に含まれる残留エコーを推定し、消去し（ｓ２３）、Ｐ個の時間領域の送話信号ｖ（ｐ，ｎ）を出力する。
【００４６】
図６は残留エコー消去部１２０の機能ブロック図を、図７はその処理フローを示す。残留エコー消去部１２０は、周波数領域変換部１２１と、波数変換部１２２と、波数領域残留エコー推定消去部１２３と、逆波数変換部１２４と、時間領域変換部１２５と、フレーム合成部１２６とを含む。以下、処理の詳細を説明する。
【００４７】
（周波数領域変換部１２１）
周波数領域変換部１２１は、合成後のＰ個の時間領域の誤差信号ベクトルｅ’（ｐ，ｉ）（要素数はＦ／Ｄ個）を受け取り、次式のように、チャネルｐ毎にフレームｉにおける誤差信号ベクトルｅ’（ｐ，ｉ）と一つ前のフレームｉ−１における誤差信号ベクトルｅ’（ｐ，ｉ−１）とを用いて、周波数領域の誤差信号Ｕｆ（ｐ，ｉ）に変換し（ｓ２３１）、Ｐ×２Ｆ個の周波数領域の誤差信号Ｕｆ（ｐ，ｉ）を波数変換部１２２に出力する。例えば、周波数領域変換部１１と同様の方法により周波数領域に変換する。
U(p,i)=FFT([e'T(p,i-1),e'T(p,i)])=[U0(p,i) … Uf(p,i) … U2F-1(p,i)]    (17)
【００４８】
（波数変換部１２２）
波数変換部１２は、Ｐ×２Ｆ個の周波数領域の誤差信号Ｕｆ（ｐ，ｉ）を受け取り、次式により、周波数ｆ毎に波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）に変換し（ｓ２３２）、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）を波数領域残留エコー推定消去部１２３に出力する。
U(W)f(i)=FFT([Uf(1,i) Uf(2,i) … Uf(P,i)])
=[U(W)f(0,i) … U(W)f(k,i) … U(W)f(K,i) U(W)f(-K+1,i) … U(W)f(-1,i)] (18)
【００４９】
（波数領域残留エコー推定消去部１２３）
波数領域残留エコー推定消去部１２３は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）とを受け取り、これらの値を用いて、ｆ≦Ｆにおいて、誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）に含まれる残留エコーを推定し、消去し（ｓ２３３）、Ｐ×（Ｆ＋１）個の波数領域の送話信号Ｖ（Ｗ）ｆ（ｐ，ｉ）を求め、逆波数変換部１２４に出力する。以下、処理の詳細を説明する。
【００５０】
図８は波数領域残留エコー推定消去部１２３の機能ブロック図を、図９はその処理フローを示す。
【００５１】
波数領域残留エコー推定消去部１２３は、入出力相関係数算出部１２３１と、入出力伝達特性推定部１２３２と、残留エコー推定部１２３３と、残留エコー補正部１２３４と減算部１２３５とを含む。
【００５２】
((入出力相関係数算出部１２３１))
入出力相関係数算出部１２３１は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）とＰ×２Ｆ個の波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）とを受け取り、ｆ≦Ｆにおいて、波数領域の残留エコー信号を出力とする系の伝達特性を推定するために、時刻ｎ＝ｉＦ／Ｄにおける波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）とから
Pf(k,i)=E[X(W)*f(k,i)X(W)f(k,i)]
Qf(k,i)=E[X(W)*f(k,i)U(W)f(k,i)]    (19)
により、受話信号のパワースペクトルＰｆ（ｋ，ｉ）と、受話信号と誤差信号との間のクロススペクトルＱｆ（ｋ，ｉ）とを算出し（ｓ２３３１）、入出力伝達特性推定部１２３２に出力する。ただし、ｉはフレーム番号であり、時刻ｎとはｎ＝ｉＦ／Ｄの関係があり、＊は複素共役を、Ｅ［ ］は平均をとることを表す。平均処理の一例としては、
E[X(W)*f(k,i)X(W)f(k,i)]
=βE[X(W)*f(k,i-1)X(W)f(k,i-1)]+(1-β)X(W)*f(k,i)X(W)f(k,i)
のように、１フレーム前の処理結果と０〜１の値をとる平滑化定数βを用いる方法や過去の数〜数十フレームの統計的平均値として求める方法等が考えられる。
【００５３】
((入出力伝達特性推定部１２３２))
入出力伝達特性推定部１２３２は、Ｐ×（Ｆ＋１）個のパワースペクトルＰｆ（ｋ，ｉ）とＰ×（Ｆ＋１）個のクロススペクトルＱｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、パワースペクトルＰｆ（ｋ，ｉ）及びクロススペクトルＱｆ（ｋ，ｉ）から
【００５４】
【数５】
2014023110.tif 000007
【００５５】
により、受話信号と誤差信号との入出力伝達特性を推定し（ｓ２３３２）、推定値Ｇ’ｆ（ｋ，ｉ）を残留エコー推定部１２３３に出力する。
【００５６】
また、次式により推定値Ｇ’ｆ（ｋ，ｉ）を平滑化し、平滑化した推定値Ｇｆ（ｋ，ｉ）を残留エコー推定部１２３３に出力してもよい。
【００５７】
【数６】
2014023110.tif 000008
【００５８】
本実施形態では、平滑化した推定値Ｇｆ（ｋ，ｉ）を出力するものとする。ここで、βは、入出力伝達特性の推定値を平滑化するための定数であり、０〜１の間の値をとる。
【００５９】
((残留エコー推定部１２３３))
残留エコー推定部１２３３は、Ｐ×（Ｆ＋１）個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の推定値Ｇｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように、受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）に推定値Ｇｆ（ｋ，ｉ）を乗じて、残留エコーを推定し（ｓ２３３３）、推定値ΔＹ(Ｗ)ｆ（ｋ，ｉ）を残留エコー補正部１２３４に出力する。
ΔY(W)f(k,i)=Gf(k,i)X(W)f(k,i)    (21)
【００６０】
((残留エコー補正部１２３４))
残留エコー補正部１２３４は、Ｐ×（Ｆ＋１）個の推定値ΔＹ(Ｗ)ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の誤差信号Ｕ(Ｗ)ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式で補正し（ｓ２３３４）、補正後の残留エコーの推定値ΔＹII(Ｗ)ｆ（ｋ，ｉ）を減算部１２３５に出力する。
【００６１】
【数７】
2014023110.tif 000009
【００６２】
ただし、式中のＳ（Ｗ）ｆ（ｋ，ｉ）は、送話信号の推定値であり、次式により算出される。
S(W)f(k,i)=U(W)f(k,i)-ΔY(W)f(k,i)    (23)
また、Ｔは各スペクトルの推定の自由度の数であり、入出力相関係数算出部１２３１においてパワースペクトルＰｆ（ｋ，ｉ）及びクロススペクトルＱｆ（ｋ，ｉ）を算出するときのフレーム数（つまり、各スペクトル推定に使用するフレーム数）が、これにあたる。
Ｍは入力変数の数であり、式（２０）の場合にはＭ＝１になる。またＦ２Ｍ，Ｔ−２Ｍ，ａｌｐｈａは、自由度ｎ１＝２Ｍ、ｎ２＝Ｔ−２ＭのＦ分布の１００×ａｌｐｈａ百分比点である。
【００６３】
なお、Ｆ分布は、統計学で用いられる連続確率分布である。統計的仮説検定の一手法である分散分析において、観測データにおける変動を誤差変動と各要因の変動に分解し、各要因の効果・有意性を判定する際に使用される。
【００６４】
参考文献１によれば、Ｍ＝１のとき入出力伝達特性推定部１２３２において推定される入出力伝達特性の推定値Ｇｆ（ｋ，ｉ）の信頼区間は、真値からの比率で
【００６５】
【数８】
2014023110.tif 000010
【００６６】
の幅を持つ。
（参考文献１）Ｊ．Ｓ．ベンダット、Ａ．Ｇ．ピアソル、「ランダムデータの統計的処理」、培風館、１９７６年、ｐ．１９４〜１９７
【００６７】
短時間スペクトルに基づく入出力伝達特性推定部１２３２の推定では、本来よりも送話と残留エコーの相関性を高めに推定しやすく、伝達特性を高めに推定する傾向がある。このことに基づき、上記の補正は残留エコーの信頼区間の下端の値を残留エコーの補正値としている。
【００６８】
((減算部１２３５))
減算部１２３５は、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の補正後の残留エコーの推定値ΔＹII(Ｗ)ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように波数領域で誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）から残留エコーの推定値ΔＹII(Ｗ)ｆ（ｋ，ｉ）を差し引いて（ｓ２３３５）、差分を波数領域の送話信号Ｖ（Ｗ）ｆ（ｋ，ｉ）として求め、逆波数変換部１２４に出力する。
V(W)f(k,i)=U(W)f(k,i)-ΔYII(W)f(k,i)    (25)
【００６９】
（逆波数変換部１２４）
逆波数変換部１２４は、Ｐ×（Ｆ＋１）個の波数領域の送話信号Ｖ（Ｗ）ｆ（ｋ，ｉ）を受け取り（図６参照）、ｆ（ｆ≦Ｆ）において、次式のように周波数ｆ毎に周波数領域の送話信号Ｖｆ（ｐ，ｉ）に変換する（ｓ２３４）。
[Vf(1,i) Vf(2,i) … Vf(P,i)]
=IFFT([V(W)f(0,i)…V(W)f(k,i)…V(W)f(K,i) V(W)f(-K+1,i)…V(W)f(-1,i)])    (26)
なお、周波数ｆ＞Ｆについては、実数信号のＦＦＴ結果に関する対称性から、次式で周波数領域の送話信号Ｖｆ（ｐ，ｉ）を求める。
Vf(p,i)=conj(V2F-f(p,i))
このようにして求めた合計Ｐ×２Ｆ個の周波数領域の送話信号Ｖｆ（ｐ，ｉ）を時間領域変換部１２５に出力する。なお、逆波数変換方法としては、波数変換部１２２における波数領域変換方法に対応するものを用いればよい。
【００７０】
（時間領域変換部１２５）
時間領域変換部１２５は、Ｐ×２Ｆ個の周波数領域の送話信号Ｖｆ（ｐ，ｉ）を受け取り、次式のように、チャネルｐ毎に周波数領域の送話信号Ｖｆ（ｐ，ｉ）を逆ＦＦＴし、時間領域の送話信号ベクトルｖ（ｐ，ｉ）（要素数は２Ｆ個）に変換し（ｓ２３５）、フレーム合成部１２６に出力する。
v(p,i)=IFFT([V0(p,i)…Vf(p,i)…V2F-1(p,i)])    (27)
時間領域変換方法としては、周波数領域変換部１２１における周波数領域変換方法に対応するものを用いればよい。
【００７１】
（フレーム合成部１２６）
フレーム合成部１２６は、Ｐ個の時間領域の送話信号ベクトルｖ（ｐ，ｉ）を受け取る。周波数領域変換部１１において、受話信号ｘ（ｐ，ｎ）をＤ≧２でフレーム化した場合には、フレーム合成部１２６は、フレームｉで求めた送話信号ｖ（ｐ，ｉ）と一つ前のフレームｉ−１で求めた送話信号ｖ（ｐ，ｉ−１）とに対して窓かけ処理を行った上で、合成し（ｓ２３６）、合成後の送話信号ベクトルｖ’（ｐ，ｉ）（要素数はＦ／Ｄ個）の要素ｖ（ｐ，ｎ−Ｆ／Ｄ＋１），ｖ（ｐ，ｎ−Ｆ／Ｄ＋２），…，ｖ（ｐ，ｎ）を逐次、エコー消去装置１００の出力値として出力する。ただし、ｎ＝ｉＦ／Ｄの関係にある。なお、その処理内容は、フレーム合成部３４の処理と同等である。
【００７２】
＜効果＞
このような構成により、波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）とから波数領域で残留エコーを推定し、誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）から残留エコーの推定値ΔＹ(Ｗ)ｆ（ｋ，ｉ）を差し引く。これにより波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができるという効果を奏する。
【００７３】
＜第一変形例＞
第一実施形態と異なる部分についてのみ説明する。波数領域残留エコー推定消去部１２３の処理（ｓ２３３）において、残留エコーを補正しない構成としてもよい。この場合、波数領域残留エコー推定消去部１２３は、残留エコー補正部１２３４を含まず、減算部１２３５では、残留エコー推定部１２３３の出力値である残留エコーの推定値ΔＹ(Ｗ)ｆ（ｋ，ｉ）を補正せずにそのまま用いる。
【００７４】
このような構成により、第一実施形態と同様の効果を得ることができ、計算量を削減することができる。ただし、伝達特性を高めに推定する可能性がある。
【００７５】
＜第二変形例＞
第一実施形態または第一変形例と異なる部分についてのみ説明する。
【００７６】
波数領域残留エコー推定消去部１２３の処理内容が、第一実施形態または第一変形例とは異なる。
【００７７】
（波数領域残留エコー推定消去部１２３）
波数領域残留エコー推定消去部１２３は、波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と波数領域エコーレプリカ生成部２１で生成されたエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）の線形和として波数領域の残留エコーを推定する。
【００７８】
図１０は第二変形例に係る波数領域残留エコー推定消去部１２３の機能ブロック図を、図１１はその処理フローを示す。
【００７９】
波数領域残留エコー推定消去部１２３は、線形和重み算出部１２３６と、線形和算出部１２３７と、減算部１２３５とを含む。なお、図２及び図６において図示されていないが、波数領域エコーレプリカ生成部２１の出力値であるエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）が、残留エコー消去部１２０内の波数領域残留エコー推定消去部１２３に入力されるものとする。
【００８０】
((線形和重み算出部１２３６))
線形和重み算出部１２３６は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域のエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、以下のように相互スペクトルを係数とする式を解いて線形和重みｃ’ｆ，１（ｋ，ｉ）及びｃ’ｆ，２（ｋ，ｉ）を算出する（ｓ２３３６）。
【００８１】
【数９】
2014023110.tif 000011
【００８２】
線形和重み算出部１２３６は、式（２８）によって求めた線形和重みｃ’ｆ，１（ｋ，ｉ）及びｃ’ｆ，２（ｋ，ｉ）をそのまま線形和算出部１２３７に出力してもよいし、次式により平滑化した線形和重みｃｆ，１（ｋ，ｉ）及びｃｆ，２（ｋ，ｉ）を線形和算出部１２３７に出力してもよい。
【００８３】
【数１０】
2014023110.tif 000012
【００８４】
本変形例では、平滑化した線形和重みｃｆ，１（ｋ，ｉ）及びｃｆ，２（ｋ，ｉ）を出力するものとする。
【００８５】
((線形和算出部１２３７))
線形和算出部１２３７は、Ｐ×（Ｆ＋１）個の線形和重みｃｆ，１（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の線形和重みｃｆ，２（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域のエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）とを受け取り、次式のように、ｆ（ｆ≦Ｆ）において、受話信号Ｘ（Ｗ）ｆ（ｋ，ｉ）とエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）との線形和Ｖ＾（Ｗ）ｆ（ｋ，ｉ）を算出し（ｓ２３３７）、この線形和Ｖ＾（Ｗ）ｆ（ｋ，ｉ）を残留エコーの推定値ΔＹ（Ｗ）ｆ（ｋ，ｉ）として減算部１２３５に出力する。
V^(W)f(k,i)=X(W)f(k,i)cf,1(k,i)+Y^(W)f(k,i)cf,2(k,i)    (30)
【００８６】
（減算部１２３５）
減算部１２３５は、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の残留エコーの推定値ΔＹ(Ｗ)ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように波数領域で誤差信号Ｕ（Ｗ）ｆ（ｋ，ｉ）から波数領域の残留エコーの推定値ΔＹ(Ｗ)ｆ（ｋ，ｉ）を差し引いて（ｓ２２３５）、波数領域の送話信号Ｖ（Ｗ）ｆ（ｋ，ｉ）を求め、逆波数変換部１２４に出力する。
V(W)f(k,i)=U(W)f(k,i)-ΔY(W)f(k,i)
【００８７】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。本変形例では、第一実施形態に比べ計算量は増えるが、エコーレプリカを残留エコー推定に含めることで、フレーム長が部屋の残響時間と比較して大幅に短い場合でも、残留エコー消去性能の劣化を抑えることができる。
【００８８】
＜その他の変形例＞
波数領域においてエコーレプリカを求める方法については、上述の方法以外の既存技術を用いてもよい。また、既存技術を用いて、周波数領域や時間領域においてエコーレプリカを求めてもよい。ただし、時間領域の収音信号から時間領域のエコーレプリカを差し引く構成のほうが、エコー消去の精度が高いことが知られているため、仮に周波数領域においてエコーレプリカを求めた場合も、時間領域に変換した上で、時間領域の収音信号から差し引く構成とすることが望ましい。
【００８９】
第一実施形態では、チャネル数Ｐが偶数の場合について説明したが、奇数（Ｐ＝２Ｋ＋１）であってもよい。
【００９０】
＜第二実施形態＞
＜第二実施形態のポイント＞
第一実施形態と異なる部分についてのみ説明する。
【００９１】
本実施形態では、波を周波数−波数空間で見るとき、周波数が低いほど波の存在する範囲が狭いことを利用して、残留エコー消去処理の演算量を削減する。
【００９２】
参考文献２によれば、周波数−波数空間で見ると波の存在範囲は周波数に応じて限定される。
（参考文献２）T. Ajdler, L. Sbaiz, and M. Vetterli, "Dynamic measurement of room impulse responses using a moving microphone", The Journal of the Acoustical Society of America, 2007, vol. 122, issue 3, p. 1636-1645
【００９３】
図１２は、単一周波数波の平面波のサンプリングの様子を示す。マイクロホン素子列に角度αで入射する単一の周波数ｆ０の平面波を考える。マイクロホン列をｘ軸にとると、ｔを時刻としてｘ軸上での音圧の時間変動ｐ(ｘ,ｔ)は、
p(x,t)=ej(ω0t+φ0xcosα)    (31)
になる。ただし、上付き添え字中のω０及びφ０はそれぞれω０及びφ０を表し、ω０及びφ０はそれぞれ周波数ｆ０の角周波数及び波数を表し、音速をｖｅｌｏｃとして、φ０は
φ0=ω0/veloc    (32)
である。このｘ−ｔ軸上の音圧を周波数−波数領域に変換すると
【００９４】
【数１１】
2014023110.tif 000013
【００９５】
になる。時間−空間領域で単一の周波数の平面波は、周波数−波数領域では１点になる。
【００９６】
全周波数で同一の周波数成分を持ち、時間―空間で
【００９７】
【数１２】
2014023110.tif 000014
【００９８】
であらわされる平面波は、周波数−波数領域では、
【００９９】
【数１３】
2014023110.tif 000015
【０１００】
のように直線になる。入射の角度αは０〜１８０度の範囲をとるため、周波数−波数領域で見ると波の成分は、
【０１０１】
【数１４】
2014023110.tif 000016
【０１０２】
の範囲に存在する。
【０１０３】
実際のマイクロホン列によるサンプリングは離散的である。時間方向について、サンプリング周波数をｆｓ、フレーム長を２Ｆ、２Ｆ点−ＦＦＴを使用し、空間方向について、Ｐ個のマイクロホンは直線上に等間隔に配列されているものとし、マイクロホン間隔をｄ、マイクロホン数を２ＫとしてＫ点−ＦＦＴを使用する。このとき、周波数の範囲は０〜ｆｓ／２であり、波数ｋの範囲は−π／ｄ〜π／ｄである。
【０１０４】
なお、このサンプリングにおける最大の周波数ｆ＝ｆｓ／２の波について、波数はπｆｓ／ｖｅｌｏｃになる。マイクロホン間隔ｄが十分小さくπ／ｄがこの値より大きいとき空間エリアシングは生じない。しかしマイクロホン間隔ｄが相対的に長いために、π／ｄがこの値より小さい場合に空間エリアシングが生じる。この様子を図１３に示す。
【０１０５】
第一実施形態では、全周波数及び全波数で処理を行っている。しかし上記の知見によれば、周波数−波数領域において信号成分の存在範囲は、音波の周波数が低いほど狭まっている。この信号成分の存在しない範囲で信号処理を省くことができ、その処理削減の効果は周波数が低いほど大きなる。これが第二実施形態のポイントである。
【０１０６】
（波数領域残留エコー推定消去部１２３）
図１４は第二実施形態に係るエコー消去装置内の波数領域残留エコー推定消去部１２３の機能ブロック図を、図１５はその処理フローを示す。第二実施形態と第一実施形態との相違は、波数領域残留エコー推定消去部１２３の内部のみである。
【０１０７】
波数領域残留エコー推定消去部１２３は、入出力相関係数算出部１２３１と、入出力伝達特性推定部１２３２と、残留エコー推定部１２３３と、残留エコー補正部１２３４と減算部１２３５とを含み、さらに、波数限定部１２３８と波数０詰め部１２３９とを含む。
【０１０８】
はじめに、波数限定部１２３８において、周波数ｆから波数ｋの有効範囲を求める。波数限定部１２３８は、入出力相関係数算出部１２３１、入出力伝達特性推定部１２３２、残留エコー推定部１２３３、残留エコー補正部１２３４、減算部１２３５の処理をこの波数ｋの範囲内に限定する。波数０詰め部１２３９は未処理の範囲に０を設定する。
【０１０９】
上記処理のために、第一実施形態に加える変更の詳細を以下に示す。
【０１１０】
((波数限定部１２３８))
波数限定部１２３８は、ｆ（ｆ≦Ｆ）において、周波数ｆ毎に波数ｋの有効範囲を算出し（ｓ２３３８）、この有効範囲を波数領域残留エコー推定消去部１２３内の各部に出力する（ただし、図中各部への出力を省略する）。例えば、周波数ｆの一次関数で表す式（３７）により波数ｋの上限ｍａｘ＿ｋ（ｆ）を求める。
【０１１１】
【数１５】
2014023110.tif 000017
【０１１２】
ただし、ｆｔｈはマイクロホン間隔ｄでのサンプリングするときに空間エリアシングが生じない最大周波数であり、次式で定義される。
【０１１３】
【数１６】
2014023110.tif 000018
【０１１４】
なお、式（３６）（３７）は、波数ｋの範囲を周波数ｆの一次関数で表し、波数ｋの範囲の上限と下限は
【０１１５】
【数１７】
2014023110.tif 000019
【０１１６】
で与えられるものであることを表している。言い換えると、式（３７）は、音速ｖｅｌｏｃとマイクロホン間隔ｄとサンプリング周波数ｆｓとに基づき、周波数ｆに対する波数ｋの上限を求めている。
【０１１７】
波数領域残留エコー推定消去部１２３内の各部では、ｆ（ｆ≦Ｆ）において、波数限定部１２３８が周波数ｆについて求めた波数ｋの有効範囲
-max_k(f)≦k≦max_k(f)    (39)
で、各処理（ｓ２３３１〜ｓ２３３５）を行い、残留エコーの消去を図る。
【０１１８】
なお、波数ｋの有効範囲を算出する際に、周波数ｆの一次関数を用いることは、一例であり、高周波領域に比べ低周波領域では波数の範囲が狭くなるように波数ｋの有効範囲を限定するものであれば他の方法により、有効範囲を算出してもよい。
【０１１９】
また、波数限定部１２３８における処理は、エコー消去処理を開始時、または開始前に一度行い、各部に上限ｍａｘ＿ｋ（ｆ）を設定しておいてもよい。
【０１２０】
((波数０詰め部１２３９))
波数０詰め部１２３９は、減算部１２３５からＰ×（Ｆ＋１）個の波数領域の送話信号Ｖ（Ｗ）ｆ（ｋ，ｉ）を受け取り、ｆ（ｆ≦Ｆ）において、有効範囲外の波数、すなわちｋ＜−ｍａｘ＿ｋ（ｆ）及びｍａｘ＿ｋ（ｆ）＜ｋの範囲で、波数領域の送話信号Ｖ（Ｗ）ｆ（ｋ，ｉ）を０とし（ｓ２３３９）、逆波数変換部１２４に出力する。
【０１２１】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができ、さらに、計算量を減らすことができるという効果を奏する。
【０１２２】
なお、本実施形態と第一実施形態の第一変形例や第二変形例、その他の変形例とを組合せてもよい。
【０１２３】
＜その他の変形例＞
波数領域エコーレプリカ生成部２１内の修正量算出部２１１、フィルタ係数部２１３及び乗算部２１５において、波数限定部１２３８で算出した波数ｋの有効範囲内（−ｍａｘ＿ｋ（ｆ）≦ｋ≦ｍａｘ＿ｋ）においてのみ処理を行い、図示しない波数０詰め部において有効範囲外（ｋ＜−ｍａｘ＿ｋ（ｆ）及びｍａｘ＿ｋ（ｆ）＜ｋ）でエコーレプリカＹ＾（Ｗ）ｆ（ｋ，ｉ）を０とする構成としてもよい。このような構成とすることで、さらに、計算量を減らすことができる。
【０１２４】
＜シミュレーション結果＞
第一実施形態及び第二実施形態の効果を検証するために、シミュレーションを行った。残響時間１５０ｍｓの部屋で、直線状スピーカアレー（３２素子、間隔６ｃｍ）と直線状マイクロホンアレー（３２素子、間隔６ｃｍ）を５０ｃｍ離して平行に配置し（Ｐ＝３２）、スピーカ・マイクロホン間の全エコー経路インパルス応答を測定した。サンプリング周波数ｆｓを８ｋＨｚに設定し、フレーム長として２Ｆ＝１０２４を用いた。受話信号は、それぞれ異なる位置に配置した２音源が交互に白色雑音を再生する状況をシミュレートし、３２個のマイクロホンによる収音を模擬して生成した。
【０１２５】
図１６にシミュレーション結果を示す。図１６の左側は第一実施形態の構成による処理結果であり、３２チャネル中の第１、３、５、７、９チャネルについて、収音信号レベル（点線）、適応フィルタ後段の信号レベル（細線）及び残留エコー消去処理後段の信号レベル（太線）をプロットしている。同様に図１６の右側に第二実施形態の構成による処理結果をプロットしている。
【０１２６】
図１６左側のグラフより、第一実施形態の残留エコー消去方法は常時残留エコーを６ｄＢ消去している。また左側と右側のグラフがほとんど一致していることから、第二実施形態が第一実施形態とほぼ同等の残留エコー消去性能を保ったまま、演算量を削減可能なことが分かった。
【０１２７】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【０１２８】
＜プログラム及び記録媒体＞
上述したエコー消去装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（各種実施形態で図に示した機能構成をもつ装置）として機能させるためのプログラム、またはその処理手順（各実施形態で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
【符号の説明】
【０１２９】
１１   周波数領域変換部
１２   波数変換部
２１   波数領域エコーレプリカ生成部
３１   逆波数変換部
３２   時間領域変換部
３３ｐ 減算部
３４   フレーム合成部
４１   誤差周波数領域変換部
４２   誤差波数変換部
１００ エコー消去装置
１２０ 残留エコー消去部
１２１ 周波数領域変換部
１２２ 波数変換部
１２３ 波数領域残留エコー推定消去部
１２４ 逆波数変換部
１２５ 時間領域変換部
１２６ フレーム合成部
２１１ 修正量算出部
２１３ フィルタ係数部
２１５ 乗算部
１２３１      入出力相関係数算出部
１２３２      入出力伝達特性推定部
１２３３      残留エコー推定部
１２３４      残留エコー補正部
１２３５      減算部
１２３６      算出部
１２３７      線形和算出部
１２３８      波数限定部
１２３９      波数０詰め部
【図１】
2014023110.tif 000021
【図２】
2014023110.tif 000022
【図３】
2014023110.tif 000023
【図４】
2014023110.tif 000024
【図５】
2014023110.tif 000025
【図６】
2014023110.tif 000026
【図７】
2014023110.tif 000027
【図８】
2014023110.tif 000028
【図９】
2014023110.tif 000029
【図１０】
2014023110.tif 000030
【図１１】
2014023110.tif 000031
【図１２】
2014023110.tif 000032
【図１３】
2014023110.tif 000033
【図１４】
2014023110.tif 000034
【図１５】
2014023110.tif 000035
【図１６】
2014023110.tif 000036