(57)【要約】      （修正有）【課題】波面の進行方向毎に異なるゲインを適用する音声スイッチ装置、音声スイッチ方法、及びそのプログラムを提供する。【解決手段】音声スイッチ装置３００は、Ｐ個の第一マイクロホン１ｐを設置した第一空間の地点（ア）で取得した音波面を、Ｐ個の第二スピーカ２ｐを設置した第二空間の地点（イ）で再合成し、Ｐ個の第二マイクロホンを設置した第二空間で取得した音波面を、Ｐ個の第一スピーカを設置した第一空間で再合成するものとし、第二スピーカで再生される信号を再生信号とし、第二マイクロホン３ｐで収音される信号を収音信号とし、波数領域の再生信号と波数領域の収音信号とから、周波数と波数との組合せ毎に、波数領域の再生信号と波数領域の収音信号とに対する減衰ゲインを算出する減衰ゲイン算出部２３とを含む。【選択図】図７
2015019185.tif 000002
【特許請求の範囲】
【請求項１】
複数の第一マイクロホンを設置した第一空間で取得した音波面を、複数の第二スピーカを設置した第二空間で再合成し、複数の第二マイクロホンを設置した前記第二空間で取得した音波面を、複数の第一スピーカを設置した前記第一空間で再合成するものとし、前記第二スピーカで再生される信号を再生信号とし、前記第二マイクロホンで収音される信号を収音信号とし、
波数領域の再生信号と波数領域の収音信号とから、周波数と波数との組合せ毎に、前記波数領域の再生信号と前記波数領域の収音信号とに対する減衰ゲインを算出する減衰ゲイン算出部と、
前記波数領域の再生信号に前記減衰ゲインを適用する第一減衰ゲイン適用部と、
前記波数領域の収音信号に前記減衰ゲインを適用する第二減衰ゲイン適用部とを含む、
音声スイッチ装置。
【請求項２】
請求項１記載の音声スイッチ装置であって、
前記第一減衰ゲイン適用部は、前記第一空間で取得した音波面を、前記第二空間で再合成するためのフィルタリング処理を行う前の前記波数領域の再生信号に前記減衰ゲインを適用し、
前記第二減衰ゲイン適用部は、前記第二空間で取得した音波面を、前記第一空間で再合成するためのフィルタリング処理を行う前の前記波数領域の収音信号に前記減衰ゲインを適用する、
音声スイッチ装置。
【請求項３】
請求項１記載の音声スイッチ装置であって、
前記第一減衰ゲイン適用部は、前記第一空間で取得した音波面を、前記第二空間で再合成するためのフィルタリング処理を行った後の前記波数領域の再生信号に前記減衰ゲインを適用し、
前記第二減衰ゲイン適用部は、前記第二空間で取得した音波面を、前記第一空間で再合成するためのフィルタリング処理を行った後の前記波数領域の収音信号に前記減衰ゲインを適用する、
音声スイッチ装置。
【請求項４】
請求項１から請求項３の何れかに記載の音声スイッチ装置であって、
さらに、
波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する第一エコーレプリカ生成部と、
波数領域の第一エコーレプリカを時間領域の第一エコーレプリカに変換する第一時空間領域逆変換部と、
時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める第一エコーレプリカ減算部と、
波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する第二エコーレプリカ生成部と、
波数領域の第二エコーレプリカを時間領域の第二エコーレプリカに変換する第二時空間領域逆変換部と、
時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める第二エコーレプリカ減算部と、
時間領域の第一誤差信号を波数領域に変換する第二時空間領域変換部と、
波数領域の第一誤差信号と波数領域の再生信号とを用いて、前記第一エコーレプリカ生成部内のフィルタ係数を更新するエコー経路推定部と、
各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、前記第一エコーレプリカ生成部内のフィルタ係数を前記第二エコーレプリカ生成部に転送する転送判定部とを含む、
音声スイッチ装置。
【請求項５】
請求項４に記載の音声スイッチ装置であって、
さらに、
波数領域の前記再生信号と波数領域の前記第二誤差信号とを用いて、波数領域の前記第二誤差信号に含まれる残留エコーを推定し、消去する波数領域残留エコー推定消去部とを含む、
音声スイッチ装置。
【請求項６】
請求項１から請求項５の何れかに記載の音声スイッチ装置であって、
さらに、
周波数と波数との組合せ毎に、波数領域の収音信号のノイズレベルを推定するノイズレベル推定部と、
周波数と波数との組合せ毎に、波数領域の収音信号と、波数領域のノイズレベルの推定値との比に基づきノイズ抑圧ゲインを求め、波数領域の収音信号にノイズ抑圧ゲインを乗じ、波数領域のノイズ抑圧処理済みの収音信号を求めるノイズ抑圧ゲイン算出適用部とを含む、
音声スイッチ装置。
【請求項７】
複数の第一マイクロホンを設置した第一空間で取得した音波面を、複数の第二スピーカを設置した第二空間で再合成し、複数の第二マイクロホンを設置した前記第二空間で取得した音波面を、複数の第一スピーカを設置した前記第一空間で再合成するものとし、前記第二スピーカで再生される信号を再生信号とし、前記第二マイクロホンで収音される信号を収音信号とし、
波数領域の再生信号と波数領域の収音信号とから、周波数と波数との組合せ毎に、前記波数領域の再生信号と前記波数領域の収音信号とに対する減衰ゲインを算出する減衰ゲイン算出ステップと、
前記波数領域の再生信号に前記減衰ゲインを適用する第一減衰ゲイン適用ステップと、
前記波数領域の収音信号に前記減衰ゲインを適用する第二減衰ゲイン適用ステップとを含む、
音声スイッチ方法。
【請求項８】
請求項１から請求項６の何れかに記載の音声スイッチ装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネル双方向拡声通話等において通話を安定化するための音声スイッチ装置、音声スイッチ方法、及びそのプログラムに関する。
【背景技術】
【０００２】
音声会議装置やテレビ会議装置では、スピーカから再生した音がマイクロホンで収音されて生じる音響エコーを消去するために、音声スイッチ装置を内部に備えたエコーキャンセラを使用する。
【０００３】
拡声通話では、遠隔地からの音声をスピーカで再生し、こちらの音声をマイクロホンで収音して遠隔地に送る。このとき、スピーカで再生された音がマイクロホンで収音される。そのままではエコーとなって遠隔地に送られてしまうために、ハウリングが生じて、通話不能になる。ハウリングを防止するために、音声スイッチ装置を用いて、受話と送話の有無を判定し、受話がない場合には再生信号のゲインを下げ、送話がない場合には収音信号のゲインを下げる。
【０００４】
この音声スイッチ装置の動作を、モノラルチャネルの場合について図１を用いて説明する。音声スイッチ装置９は、受話端１を介して遠隔地から再生信号ｘ（ｎ）を受け取る。また、音声スイッチ装置９は、マイクロホン３で収音した収音信号ｙ（ｎ）を受け取る。減衰ゲイン算出部９５は、減衰前の（図１のＡ点での）再生信号ｘ（ｎ）と減衰前の（図１の点Ｃでの）収音信号ｙ（ｎ）の大きさから受話と送話のどちらが優勢かを判定する。なお、ｎは、時刻を表すインデックスである。受話が優勢と判定されたとき、送話側減衰部９４で収音信号ｙ（ｎ）を減衰させ、送話端４に出力する。一方、送話が優勢と判定されたとき受話側減衰部９３で再生信号ｘ（ｎ）を減衰させ、スピーカ２に出力する。
【０００５】
スピーカ２とマイクロホン３が一体型の音声会議装置では、スピーカ２とマイクロホン３との間の音響結合が既知であることを利用して、送受話判定の精度を上げることができる。具体的には、この音響結合量と減衰後の（図１の点Ｂでの）再生信号ｘ（ｎ）のレベルからエコーのレベルを推定し、推定値ｙ＾（ｎ）を収音信号ｙ（ｎ）のレベルから差し引くことで、より正確に送話のレベルを得ることができる。
【０００６】
さらに、マルチチャネル拡声通話における従来の音声スイッチ方法として、特許文献１が知られている。図２を用いてマルチチャネル拡声通話における従来の音声スイッチ方法を説明する。Ｐチャネル拡声通話系では、音声スイッチ装置８は、Ｐ個の送話音声パワー推定部８６ｐを含み、Ｐ個のスピーカ２ｐとＰ個のマイクロホン３ｐとからなる音響系をＰ個のＰ入力１出力系に分解する。ただし、ｐ＝１，２，…，Ｐである。そして、送話音声パワー推定部８６ｐ（図２ではｐ＝１について説明する。）は、Ｐ個のＴＦ変換部８６１ｐを含み、ＴＦ変換部８６１ｐは、時間領域の再生信号ｘ（ｐ，ｎ）を周波数領域に変換する。また、ＴＦ変換部８６２は、収音信号ｙ（ｎ）を周波数領域に変換する。エコー成分比率推定部８６３は、周波数領域の再生信号Ｘｆ（ｐ，ｉ）と収音信号Ｙｆ（ｐ，ｉ）とを用いて、収音信号について、エコー成分が占める比率γ２ｆ（ｐ，ｉ）を推定する。なお、ｆは周波数のインデックスを、ｉはフレームのインデックスを表す。送話パワー算出部８６４は、その比率γ２ｆ（ｐ，ｉ）からエコー以外の成分として送話パワーＰｆ（ｐ，ｉ）を算出する。
【０００７】
減衰ゲイン制御部８５では、Ｐチャネルの再生信号ｘ（ｐ，ｎ）とＰチャネルの送話パワーＰｆ（ｐ，ｉ）から、受話と送話のどちらが優勢かを判定し、判定結果に応じて受話側及び送話側のゲインを算出する。
【０００８】
この受話側及び送話側のゲインは、図３のように受話側と送話側とで変動しても、受話側の全チャネル、または、受話側の全チャネルに同じゲインを適用する。それはチャネルｐ毎に異なるゲインを適用すると、再生音像の位置が変わったり動いたりするためである。例えばＰ＝２チャネルのときに受話側でチャネルｐ毎に異なるゲインを適用すると、再生信号ｘ（ｐ，ｎ）のＬＲバランスが本来のＬＲバランスから変わってしまい、音像の再生位置が本来より右もしくは左に寄ってしまう。また再生中にＬＲバランスが変化した場合、再生音像の位置が動いてしまう。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−１５１０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
近年、マルチチャネル再生技術は、チャネル数拡大の方向へ、例えばステレオ再生から５．１チャネル再生へと進んでいる。さらに高い立体感で音が再生されるリスニングエリアを大幅に拡大する技術として、Wave Field Synthesis（以下「ＷＦＳ」ともいう）の研究が進められている。ＷＦＳでは、数十以上のマイクロホン、数十以上のスピーカを用いて、図４のようにある地点での音波面を取得し、別の地点で再合成する。このようなＷＦＳ収音再生技術として、波面再構成フィルタ１１が提案されている（参考文献１参照）。
（参考文献１）小山、「音場再現技術における数理問題」、日本音響学会誌、２０１２年、Ｖｏｌ．６８，Ｎｏ．１１，ｐｐ．５８４−５８９．
【００１１】
波面再構成フィルタ１１では、Ｐ個のマイクロホン１ｐで収音された時間領域の収音信号（以下、スピーカ２ｐで再生される信号という意味で「再生信号」という）ｘ（ｐ，ｎ）を、多ＣＨ短時間フーリエ変換部１１１及び空間フーリエ変換部１１２を介して、波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）に変換する。ただし、ｋは波数のインデックスを表す。Ｐ個のマイクロホン１ｐを設置した地点で取得した音波面を、Ｐ個のスピーカ２ｐを設置した地点で再合成するように、フィルタ１１３は、再生信号Ｘ_ｆ（ｋ，ｉ）をフィルタリングし、再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）を求める。ただし、下付き添え字Ｒは、音波面を再合成するためのフィルタリングした信号であることを示す。波数領域の再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）を、空間逆フーリエ変換部１１４及び多ＣＨ短時間逆フーリエ変換部１１５を介して、Ｐ個の時間領域の再生信号ｘＲ（ｐ，ｎ）に変換する。Ｐ個の時間領域の再生信号ｘＲ（ｐ，ｎ）がＰ個のスピーカで再生され、音波面が再合成される。
【００１２】
空間的な音情報の伝送は、数十個のマイクロホンとスピーカの配置を同一にし、マイクロホンで収音した信号をそのまま対応するスピーカから再生することでも、可能である。しかし、収音された音場（以下「収音音場」ともいう）と再生された音場（以下「再生音場」ともいう）との間の関係は、音波伝搬の物理式を満たさなくなる。参考文献２においてBerkhoutらは音波の物理式に従う収音再生を解析し、理想的なダイポール特性を持つマイクロホンと理想的なモノポール特性を持つスピーカを用いれば、収音音場と再生音場との間の関係が音波伝搬の物理式を満たすことを示した。
（参考文献２）A. J. Berkhout, D. de Vries, and P. Vogel, "Acoustic control by wave field synthesis", J. Acoust. Soc. Am, 1993, vol.93, pp.2764-2778
【００１３】
このマイクロホンによる収音は、「低域ほどゲインが小さい」という周波数特性を持ち、「脇から入射する音ほどゲインが小さい」という指向特性を持つ。
【００１４】
参考文献１の波面再構成フィルタを用いれば、理想的なダイポール特性を持つマイクロホンでなく、通常入手できるモノポール特性のマイクロホンとスピーカを用いても、音波伝搬の物理式を満たすように音場を収音し、再生することができる。
【００１５】
ＷＦＳの収音再生システムは、音空間全体の伝送を目的とするため、伝送する空間の幅、すなわち、マイクロホンアレー及びスピーカアレーの横幅は、例えば大型液晶テレビよりもずっと大きく、３ｍ以上に設定される。そのため各マイクロホンで収音される送話レベルの空間的なピーク位置は話者の位置に応じて変わり、話者から遠いマイクロホンほど送話レベルは減衰する。
【００１６】
ＷＦＳ収音再生を用いて双方向音声通信を行うことを考える。この場合、図４に示すように、スピーカ２ｐが配置される空間に、マイクロホン３ｐを配置し、マイクロホン１ｐが配置される空間にスピーカ４ｐを配置し、マイクロホン３ｐとスピーカ４ｐとの間に波面再構成フィルタ１２を設ける必要がある。波面再構成フィルタ１２は、波面再構成フィルタ１１と同様の構成であり、マイクロホン３ｐで収音された収音信号ｙ（ｐ，ｎ）を受け取り、フィルタリングして、収音信号ｙＲ（ｐ，ｎ）を出力する。
【００１７】
ここで、従来の音声スイッチ装置を適用することを考える。図５のように対地（双方向通話の通話先、言い換えると、スピーカ２ｐの再生信号の送信元）との間で話者位置が重ならず、図６のように空間的な送話の信号レベルと受話の信号レベルのピーク位置がずれている場合を考える。
【００１８】
受話の信号レベルと送話の信号レベルとが図６のような概形を持って拮抗している場合、受話と送話のどちらが優勢かを判定するのは困難になる。それでも判定結果に応じて送話もしくは受話の一方を減衰しようとすると、音声レベルの時間変動も影響して、判定結果及び減衰量がバタついてしまい（不安定になり）、音切れが生じやすくなる。また受話と送話の双方を減衰しようとすれば、受話側の全チャネルと送話側の全チャネルに減衰が入り続ける状態となり、どちらの音声も聞き取りが困難になってしまう。また再生信号と収音信号とは、波面再構成フィルタにより周波数特性が大きく異なるために直接比較しても望ましい判定結果を得られる保証はない。
【００１９】
本発明は、受話側の全チャネル、または、受話側の全チャネルに同じゲインを適用するのではなく、波面の進行方向毎に異なるゲインを適用する音声スイッチ装置、音声スイッチ方法、及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記の課題を解決するために、本発明の第一の態様によれば、音声スイッチ装置は、複数の第一マイクロホンを設置した第一空間で取得した音波面を、複数の第二スピーカを設置した第二空間で再合成し、複数の第二マイクロホンを設置した第二空間で取得した音波面を、複数の第一スピーカを設置した第一空間で再合成するものとし、第二スピーカで再生される信号を再生信号とし、第二マイクロホンで収音される信号を収音信号とし、波数領域の再生信号と波数領域の収音信号とから、周波数と波数との組合せ毎に、波数領域の再生信号と波数領域の収音信号とに対する減衰ゲインを算出する減衰ゲイン算出部と、波数領域の再生信号に減衰ゲインを適用する第一減衰ゲイン適用部と、波数領域の収音信号に減衰ゲインを適用する第二減衰ゲイン適用部とを含む。
【００２１】
上記の課題を解決するために、本発明の第二の態様によれば、音声スイッチ方法は、複数の第一マイクロホンを設置した第一空間で取得した音波面を、複数の第二スピーカを設置した第二空間で再合成し、複数の第二マイクロホンを設置した第二空間で取得した音波面を、複数の第一スピーカを設置した第一空間で再合成するものとし、第二スピーカで再生される信号を再生信号とし、第二マイクロホンで収音される信号を収音信号とし、波数領域の再生信号と波数領域の収音信号とから、周波数と波数との組合せ毎に、波数領域の再生信号と波数領域の収音信号とに対する減衰ゲインを算出する減衰ゲイン算出ステップと、波数領域の再生信号に減衰ゲインを適用する第一減衰ゲイン適用ステップと、波数領域の収音信号に減衰ゲインを適用する第二減衰ゲイン適用ステップとを含む。
【発明の効果】
【００２２】
本発明によれば、波面の進行方向毎に異なるゲインを適用できるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】モノラルチャネルの場合の音声スイッチ装置の動作を説明するための図。
【図２】マルチチャネル拡声通話における従来の音声スイッチ方法を説明するための図。
【図３】受話側及び送話側のゲインの変動を説明するための図。
【図４】ＷＦＳでは、ある地点での音波面を取得し、別の地点で再合成する方法を説明するための図。
【図５】対地との間で話者位置が重ならない様子を示す図。
【図６】空間的な送話の信号レベルと受話の信号レベルのピーク位置がずれている様子を示す図。
【図７】第一実施形態に係る音声スイッチ装置の機能ブロック図。
【図８】第一実施形態に係る音声スイッチ装置の処理フローを示す図。
【図９】飽和特性を持つ関数を説明するための図。
【図１０】送話優勢度から送話側の減衰ゲインを求めるための関数を説明するための図。
【図１１】第一実施形態に係る音声スイッチ装置の減衰ゲインの設定を説明するための図。
【図１２】第二実施形態に係る音声スイッチ装置の機能ブロック図。
【図１３】第二実施形態に係る音声スイッチ装置の処理フローを示す図。
【図１４】第三実施形態に係る音声スイッチ装置の機能ブロック図。
【図１５】第三実施形態に係る音声スイッチ装置の処理フローを示す図。
【図１６】第三実施形態に係るエコー消去部の機能ブロック図。
【図１７】第三実施形態に係るエコー消去部の処理フローを示す図。
【図１８】フィルタ係数の転送単位を説明するための図。
【図１９】第三実施形態に係る波数領域残留エコー推定消去部の機能ブロック図。
【図２０】第三実施形態に係る波数領域残留エコー推定消去部の処理フローを示す図。
【図２１】第三実施形態に係るノイズ抑圧部の機能ブロック図。
【図２２】第三実施形態に係るノイズ抑圧部の処理フローを示す図。
【図２３】第三実施形態に係るノイズ抑圧部の効果を説明するための図。
【図２４】単一周波数波の平面波のサンプリングの様子を示す図。
【図２５】空間エリアシングが生じる様子及び生じない様子を示す図。
【図２６】第三実施形態の第一変形例に係る音声スイッチ装置の機能ブロック図。
【図２７】第三実施形態の第一変形例に係る音声スイッチ装置の処理フローを示す図。
【図２８】第三実施形態の第四変形例に係る波数領域残留エコー推定消去部の機能ブロック図。
【図２９】第三実施形態の第四変形例に係る波数領域残留エコー推定消去部の処理フローを示す図。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、この明細書の表記においては、Ａ_は
【００２５】
【数１】
2015019185.tif 000003
【００２６】
を、Ａ^は
【００２７】
【数２】
2015019185.tif 000004
【００２８】
を、Ａ^_は
【００２９】
【数３】
2015019185.tif 000005
【００３０】
を表すものとする。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００３１】
＜本実施形態のポイント＞
本実施形態では、本来あるべき音像の位置と再生音像の位置とを保ちつつ、受話及び送話のゲインを従来よりも柔軟に適用できる方法を提案する。
【００３２】
そのために、本実施形態は多チャネルの受話信号及び送話信号を周波数毎に分解し、さらに波面の進行方向毎に分解する。そして進行方向毎に異なるゲインを適用する。これにより受話信号の波面が優勢な方向では送話信号を減衰させ、送話信号が優勢な方向では受話信号を減衰させることが可能となる。また、波面再構成フィルタの適用前の再生信号と収音信号とを比較して送受話状態を判定する。これにより、受話と送話とが混在する状況においても、受話と送話の両方をほぼ減衰させることなく通すことが可能となる。
【００３３】
＜第一実施形態に係る音声スイッチ装置３００＞
図７は本実施形態に係る音声スイッチ装置３００の機能ブロック図を、図８はその処理フローを示す。図７では、２地点（ア）と（イ）を、波面合成信号処理と音声スイッチ信号処理により双方向接続したときの処理構成を示す。なお、２地点（ア）と（イ）は、図７に示したものに限定されない。２地点（ア）と（イ）は、隣接していても互いに離れた位置にあってもよい。また、マイクロホン、スピーカの向きもどのようなものであってもよい。
【００３４】
音声スイッチ装置３００は、多ＣＨ短時間フーリエ変換部２１１及び２２１と、空間フーリエ変換部２１２及び２２２と、減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３と、波面再構成フィルタ２１３及び２２３と、空間逆フーリエ変換部２１４及び２２４と、多ＣＨ短時間逆フーリエ変換部２１５及び２２５とを含む。
【００３５】
地点（ア）のＰ個のマイクロホン１ｐで収音されたＰチャネルの収音信号（以下、地点（イ）から見て、スピーカ２ｐで再生される信号という意味で「再生信号」ともいう）ｘ（ｐ，ｎ）は、多ＣＨ短時間フーリエ変換部２１１で周波数領域に変換され（ｓ２１１）、周波数ｆ毎に空間フーリエ変換部２１２で波数領域に変換される（ｓ２１２）ことで方向（波面、波数）毎に分解される。周波数−波数空間で分割された波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）は、各周波数ｆの各波数ｋについて、減衰ゲイン適用部２１７で減衰される（ｓ２１７）。その後、波数領域の波面再構成フィルタ２１３によりフィルタ処理され（ｓ２１３）、空間逆フーリエ変換部２１４及び多ＣＨ短時間逆フーリエ変換部２１５を経て時間領域のＰチャネルの再生信号ｘＧＲ（ｐ，ｎ）に変換されて（ｓ２１４、ｓ２１５）、スピーカ２ｐから再生される。ただし、下付添え字ＧＲは、減衰のためのゲインを適用し、かつ、音波面を再合成するためのフィルタリングした信号であることを示す。
【００３６】
地点（イ）のＰ個のマイクロホン３ｐで収音されたＰチャネルの収音信号ｙ（ｐ，ｎ）は、多ＣＨ短時間フーリエ変換部２２１で周波数領域に変換され（ｓ２２１）、周波数ｆ毎に空間フーリエ変換部２２２で波数領域に変換される（ｓ２２２）ことで方向（波面、波数）毎に分解される。周波数−波数空間で分割された波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）は、各周波数ｆの各波数ｋについて、減衰ゲイン適用部２２７で減衰される（ｓ２２７）。その後、波数領域の波面再構成フィルタ２２３によりフィルタ処理され（ｓ２２３）、空間逆フーリエ変換部２２４及び多ＣＨ短時間逆フーリエ変換部２２５を経て時間領域のＰチャネルの収音信号ｙＧＲ（ｐ，ｎ）に変換されて（ｓ２２４、ｓ２２５）、地点（ア）のスピーカ４ｐから再生される。
【００３７】
減衰ゲイン適用部２１７及び２２７で適用されるゲインは、減衰ゲイン制御部２３で決定される（ｓ２３）。減衰ゲイン制御部２３では、各周波数ｆ、各波数ｋにおいて、減衰前の再生信号Ｘ_ｆ（ｋ，ｉ）と収音信号Ｙ_ｆ（ｋ，ｉ）とから、受話と送話のどちらが優勢かを判定する。なお、地点（イ）から見て、再生信号Ｘ_ｆ（ｋ，ｉ）が受話側の信号であり、収音信号Ｙ_ｆ（ｋ，ｉ）が送話側の信号である。受話が優勢と判定されたとき、送話側の減衰ゲイン適用部２２７で収音信号Ｙ_ｆ（ｋ，ｉ）を減衰させ、送話が優勢と判定されたとき受話側の減衰ゲイン適用部２１７で再生信号Ｙ_ｆ（ｋ，ｉ）を減衰させる。
【００３８】
各周波数ｆ、各波数ｋにおいて入力から出力までのゲイン（音響結合）が事前に分かっている場合には、再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）のレベル、すなわち、波面再構成フィルタ２１３の出力信号のレベルにこのゲインをかけてエコーレベルを推定し、推定値Ｙ^_ｆ（ｋ，ｉ）を収音信号Ｙ_ｆ（ｋ，ｉ）のレベルから差し引くことで、より正確に送話信号レベルを得ることができ、送話状態か受話状態かをより高い精度で判定できる。
【００３９】
以下、各部の詳細を説明する。
【００４０】
＜多ＣＨ短時間フーリエ変換部２１１及び２２１＞
多ＣＨ短時間フーリエ変換部２１１は、Ｐチャネルの時間領域の再生信号ｘ（ｐ，ｎ）を受け取り、チャネルｐ毎に周波数領域の再生信号Ｘ（ｐ，ｉ）に変換し（ｓ２１１）、空間フーリエ変換部２１２に出力する。ただし、ｉはフレーム番号を表す。なお、周波数領域変換の方法としては、高速フーリエ変換（Fast Fourier Transform；以下「ＦＦＴ」ともいう）等が考えられる。
【００４１】
まず、多ＣＨ短時間フーリエ変換部２１１は、再生信号ｘ（ｐ，ｎ）をＦ／Ｄ個受け取る毎に（言い換えると、ｎ＝ｉＦ／Ｄの関係になる毎に）、２Ｆ個の再生信号ｘ（ｐ，ｎ−２Ｆ＋１），ｘ（ｐ，ｎ−２Ｆ＋２），…，ｘ（ｐ，ｎ）を１フレーム分としてブロック化し、フレーム単位の再生信号ｘ（ｐ，ｉ）を得る。ただし、Ｆは自然数であり、ＤはＦを割り切る自然数である。例えば、
【００４２】
【数４】
2015019185.tif 000006
【００４３】
である。ただし、Ｔは転置を表す。以下、特に断りが無い限り、各信号を１フレーム＝２Ｆサンプル（フレーム長）、シフト量Ｆ／Ｄサンプル（シフト幅）でブロック化する。ＦＦＴ計算を簡略化・高速化するために、Ｆを２のべき乗にとることが多い。以下ではＤ≧２の場合を示す。
【００４４】
さらに、多ＣＨ短時間フーリエ変換部２１１は、フレーム単位の再生信号ｘ（ｐ，ｉ）を、次式のように周波数領域の再生信号Ｘ（ｐ，ｉ）に変換する。
【００４５】
【数５】
2015019185.tif 000007
【００４６】
なお、再生信号Ｘ（ｐ，ｉ）を含め、周波数領域の各信号は短時間スペクトルにより表される。なお、ｆは周波数のインデックスを表し、ｆ＝０，１，…，２Ｆ−１である。信号のサンプリング周波数をｆＳとすると、Ｘｆ（ｐ，ｉ）はフレームｉにおけるチャネルｐの再生信号の周波数ｆＳｆ／２Ｆ［Ｈｚ］の成分を表す。
【００４７】
同様に、多ＣＨ短時間フーリエ変換部２２１は、Ｐチャネルの時間領域の収音信号ｙ（ｐ，ｎ）を受け取り、チャネルｐ毎に周波数領域の再生信号Ｙ（ｐ，ｉ）に変換し（ｓ２２１）、空間フーリエ変換部２２２に出力する。
【００４８】
＜空間フーリエ変換部２１２及び２２２＞
空間フーリエ変換部２１２は、Ｐチャネルの周波数領域の再生信号Ｘ（ｐ，ｉ）＝［Ｘ０（ｐ，ｉ） … Ｘｆ（ｐ，ｉ） … Ｘ２F-1（ｐ，ｉ）］を受け取り、以下の式（３）や（４）により、周波数ｆ毎に波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）に変換し（ｓ２１２）、波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）を減衰ゲイン制御部２３及び減衰ゲイン適用部２１７に出力する。ただし、ここでは、ｆ＝０，１，…，Ｆについて、波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）に変換する。Ｆ＜ｆ≦２Ｆ−１については、後述する空間逆フーリエ変換部２１４において説明する。また、ｋは波数のインデックスであり、Ｋを自然数とし、チャネル数Ｐが偶数でＰ＝２Ｋのときｋ＝−Ｋ＋１，−Ｋ＋２，…，−１，０，１，…，Ｋであり、チャネル数Ｐが奇数でＰ＝２Ｋ＋１のときｋ＝−Ｋ，−Ｋ＋１，…，−１，０，１，…，Ｋである。
【００４９】
（１）チャネル数Ｐが偶数でＰ＝２Ｋのとき、
【００５０】
【数６】
2015019185.tif 000008
【００５１】
である。
（２）チャネル数Ｐが奇数でＰ＝２Ｋ＋１のとき、
【００５２】
【数７】
2015019185.tif 000009
【００５３】
である。波数領域への変換は、２のべき乗の点数を持つＦＦＴで高速に行うため、以下、チャネル数Ｐが偶数の場合（Ｐ＝２Ｋ）について説明を進める。なお、再生信号Ｘ_ｆ（ｋ，ｉ）を含め、波数領域の各信号は短時間スペクトルにより表される。この処理により、再生信号は、進行方向毎に分解される。以下の減衰ゲイン適用処理は、送話側の全チャネルまたは受話側の全チャネル毎ではなく、方向毎に行われる。
【００５４】
なお、空間フーリエ変換部２１２は、特定方向にビームを持つマイクロホンアレーをＰ個並べていると考えることもできる。そして、後述する空間逆フーリエ変換部２１４により、信号が元のＰチャネルの信号に戻ることから、このＰ個のマイクロホンアレーは逆変換を持つことが分かる。
【００５５】
同様に、空間フーリエ変換部２２２は、Ｐチャネルの周波数領域の収音信号Ｙ（ｐ，ｉ）＝［Ｙ０（ｐ，ｉ） … Ｙｆ（ｐ，ｉ） … Ｙ２F-1（ｐ，ｉ）］を受け取り、周波数ｆ毎に波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）に変換し（ｓ２２２）、波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）を減衰ゲイン制御部２３及び減衰ゲイン適用部２２７に出力する。
【００５６】
＜減衰ゲイン制御部２３＞
減衰ゲイン制御部２３は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）と収音信号Ｙ_ｆ（ｋ，ｉ）とを受け取り、波数領域の減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）及びＧ_Ｙ，ｆ（ｋ，ｉ）とを求め（ｓ２３）、それぞれ減衰ゲイン適用部２１７及び２２７に出力する。例えば、減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）及びＧ_Ｙ，ｆ（ｋ，ｉ）は、以下のようにして求める。
【００５７】
まず、波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）と収音信号Ｙ_ｆ（ｋ，ｉ）とをそれぞれ２乗して平滑化する、もしくは、絶対値をとって平滑化する等の処理により、各信号のレベルｌｅｖｅｌ（Ｘ_ｆ（ｋ，ｉ））及びｌｅｖｅｌ（Ｙ_ｆ（ｋ，ｉ））を求める。
【００５８】
次に、各信号のレベルから送話がどれくらい優勢か（送話優勢度）を求める。その方法としては、例えば、図９に示すような飽和特性を持つ関数を用い、送話と受話の比率（送話優勢度）ｌｅｖｅｌ（Ｙ_ｆ（ｋ，ｉ））／ｌｅｖｅｌ（Ｘ_ｆ（ｋ，ｉ））を０〜１にマッピングすることが考えられる。なおこのグラフの横軸はｄＢ単位になっている。また飽和点を決めるパラメータＲｔｈ［ｄＢ］としては、６〜２０［ｄＢ］を用いる。
【００５９】
さらに、例えば、図１０のような関数を用いて、送話優勢度から送話側の減衰ゲインＧ_Ｙ，ｆ（ｋ，ｉ）を求める。なお減衰ゲインの最小値−Ｌｓ［ｄＢ］としては、−３〜４０[dB]の値が考えられる。受話側の減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）は、あらかじめ設定した送話側＋受話側の減衰ゲインＧ_all，ｆ（ｋ，ｉ）を用いて、次式により求める。
【００６０】
【数８】
2015019185.tif 000010
【００６１】
このような構成により、図１１に示すように、送話側の全チャネルまたは受話側の全チャネル毎ではなく、各周波数ｆの各波数ｋについて、減衰ゲインを設定することができる。なお、図１１は、色の濃い部分ほど適用される減衰ゲインが小さいことを表す。
【００６２】
＜減衰ゲイン適用部２１７及び２２７＞
減衰ゲイン適用部２１７は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）と波数領域の減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）とを受け取り、各周波数ｆ（ただし、ｆ≦Ｆ）の各波数ｋ（−Ｋ＜ｋ≦Ｋ）において、次式のように、波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）に、減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）を適用し（乗じ）（ｓ２１７）、減衰ゲイン適用後の再生信号Ｘ_Ｇ，ｆ（ｋ，ｉ）を求め、波面再構成フィルタ２１３に出力する。
【００６３】
【数９】
2015019185.tif 000011
【００６４】
同様に、減衰ゲイン適用部２２７は、波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）と波数領域の減衰ゲインＧ_Ｙ，ｆ（ｋ，ｉ）とを受け取り、各周波数ｆ（ｆ≦Ｆ）において、波数領域（−Ｋ＜ｋ≦Ｋ）で収音信号Ｙ_ｆ（ｋ，ｉ）に、減衰ゲインＧ_Ｙ，ｆ（ｋ，ｉ）を適用し（乗じ）（ｓ２２７）、減衰ゲイン適用後の収音信号Ｙ_Ｇ，ｆ（ｋ，ｉ）を求め、波面再構成フィルタ２２３に出力する。
【００６５】
＜波面再構成フィルタ２１３及び２２３＞
波面再構成フィルタ２１３は、地点（ア）で取得した音波面を地点（イ）で再合成するように、複数のマイクロホン１ｐで収音した再生信号をフィルタリングし、複数のスピーカ２ｐで再生する複数の再生信号を求めるためのフィルタである。同様に、波面再構成フィルタ２２３は、地点（イ）で取得した音波面を地点（ア）で再合成するように、複数のマイクロホン３ｐで収音した収音信号をフィルタリングし、複数のスピーカ４ｐで再生する複数の収音信号を求めるためのフィルタである。
【００６６】
波面再構成フィルタ２１３は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_Ｇ，ｆ（ｋ，ｉ）を受け取り、各周波数ｆ（ただし、ｆ≦Ｆ）の各波数ｋ（−Ｋ＜ｋ≦Ｋ）において、次式のように、波数領域の再生信号Ｘ_Ｇ，ｆ（ｋ，ｉ）にフィルタ係数Ｒ_Ｘ，ｆ（ｋ）をかけることで、フィルタリングし（ｓ２１３）、フィルタリング後の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）を求め、空間逆フーリエ変換部２１４に出力する。
【００６７】
【数１０】
2015019185.tif 000012
【００６８】
同様に、波面再構成フィルタ２２３は、Ｐ×（Ｆ＋１）個の波数領域の収音信号Ｙ_Ｇ，ｆ（ｋ，ｉ）を受け取り、各周波数ｆ（ただし、ｆ≦Ｆ）の各波数ｋ（−Ｋ＜ｋ≦Ｋ）において、波数領域の収音信号Ｙ_Ｇ，ｆ（ｋ，ｉ）にフィルタ係数Ｒ_Ｙ，ｆ（ｋ）をかけることで、フィルタリングし（ｓ２２３）、フィルタリング後の収音信号Ｙ_ＧＲ，ｆ（ｋ，ｉ）を求め、空間逆フーリエ変換部２２４に出力する。
【００６９】
＜空間逆フーリエ変換部２１４及び２２４＞
空間逆フーリエ変換部２１４は、Ｐ×（Ｆ＋１）個の波数領域の減衰ゲイン適用処理及びフィルタリング処理済みの再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）を受け取り、周波数ｆ≦Ｆにおいて、次式のように周波数ｆ毎に周波数領域の再生信号ＸＧＲ，ｆ（ｐ，ｉ）に変換し（ｓ２１４）、出力する。
【００７０】
【数１１】
2015019185.tif 000013
【００７１】
なお、周波数Ｆ＜ｆ≦２Ｆ−１については、実数信号のＦＦＴ結果に関する対称性から、次式で周波数領域の再生信号ＸＧＲ，ｆ（ｐ，ｉ）を求める。
XGR,f(p,i)=conj(XGR,2F-f(p,i))
ただし、ｃｏｎｊ（Ａ）はＡ内のスカラーあるいはベクトル、行列の個々の要素に対して複素共役をとることを示す。なお、本実施形態では、周波数Ｆ＜ｆ≦２Ｆ−１について、減衰ゲイン適用部２１７等の処理を省略しているが、省略せずに全ての周波数０≦ｆ≦２Ｆ−１において処理を行ってもよい。
【００７２】
このようにして求めた合計Ｐ×２Ｆ個の周波数領域の再生信号ＸＧＲ，ｆ（ｐ，ｉ）を多ＣＨ短時間逆フーリエ変換部２１５に出力する。ただし、このとき、ｆ＝０，１，…，２Ｆ−１である。なお、逆波数変換方法としては、空間フーリエ変換部２１２における波数領域変換方法に対応するものを用いればよい。
【００７３】
同様に、空間逆フーリエ変換部２２４は、Ｐ×（Ｆ＋１）個の波数領域の減衰ゲイン適用処理及びフィルタリング処理済みの収音信号Ｙ_ＧＲ，ｆ（ｋ，ｉ）を受け取り、周波数ｆ≦Ｆにおいて、周波数ｆ毎に周波数領域の収音信号ＹＧＲ，ｆ（ｐ，ｉ）に変換し（ｓ２２４）、出力する。
【００７４】
＜多ＣＨ短時間逆フーリエ変換部２１５及び２２５＞
多ＣＨ短時間逆フーリエ変換部２１５は、Ｐ×２Ｆ個の周波数領域の再生信号ＸＧＲ，ｆ（ｐ，ｉ）を受け取り、次式のように、チャネルｐ毎に周波数領域の再生信号ＸＧＲ，ｆ（ｐ，ｉ）を逆ＦＦＴし、時間領域の再生信号ｘＧＲ（ｐ，ｉ）（ベクトルであり、要素数は２Ｆ個）に変換する（ｓ２１５）。
【００７５】
【数１２】
2015019185.tif 000014
【００７６】
時間領域変換方法としては、多ＣＨ短時間フーリエ変換部２１１における周波数領域変換方法に対応するものを用いればよい。
【００７７】
さらに、多ＣＨ短時間逆フーリエ変換部２１５は、時間領域の再生信号ｘ（ｐ，ｉ）を合成し、合成した信号を音声スイッチ装置３００の出力値として出力する。例えば、多ＣＨ短時間フーリエ変換部２１１において、再生信号ｘ（ｐ，ｎ）をＤ≧２でフレーム化した場合には、多ＣＨ短時間逆フーリエ変換部２１５は、フレームｉで求めた再生信号ｘＧＲ（ｐ，ｉ）と一つ前のフレームｉ−１で求めた再生信号ｘＧＲ（ｐ，ｉ−１）とに対して窓かけ処理を行った上で、合成し、合成後の再生信号ｘ’ＧＲ（ｐ，ｉ）（ベクトルであり、要素数はＦ／Ｄ個）の要素ｘＧＲ（ｐ，ｎ−Ｆ／Ｄ＋１），ｘＧＲ（ｐ，ｎ−Ｆ／Ｄ＋２），…，ｘＧＲ（ｐ，ｎ）を逐次、出力値として出力する。ただし、ｎ＝ｉＦ／Ｄの関係にある。
【００７８】
同様に、多ＣＨ短時間逆フーリエ変換部２２５は、Ｐ×２Ｆ個の周波数領域の収音信号ＹＧＲ，ｆ（ｐ，ｉ）を受け取り、チャネルｐ毎に周波数領域の収音信号ＹＧＲ，ｆ（ｐ，ｉ）を逆ＦＦＴし、時間領域の収音信号ｙＧＲ（ｐ，ｉ）（ベクトルであり、要素数は２Ｆ個）に変換する（ｓ２２５）。さらに、多ＣＨ短時間逆フーリエ変換部２２５は、時間領域の収音信号ｙ（ｐ，ｉ）を合成し、合成した信号ｙ’ＧＲ（ｐ，ｉ）の要素ｙＧＲ（ｐ，ｎ−Ｆ／Ｄ＋１），ｙＧＲ（ｐ，ｎ−Ｆ／Ｄ＋２），…，ｙＧＲ（ｐ，ｎ）を逐次、出力値として出力する。
【００７９】
＜効果＞
このような構成により、波面の進行方向毎に異なるゲインを適用できる。つまり、図１１のように周波数ｆ毎、波数ｋ毎に減衰ゲインをきめ細かく設定することができる。これにより再生信号の波面が優勢な方向で収音信号を減衰させ、収音信号が優勢な方向で再生信号を減衰させることが可能となり、送話と受話の混在するダブルトーク状況でも通話（受話と送話の両方）をほぼ減衰させることなく双方向に通すことが可能となる。
【００８０】
＜変形例＞
なお、ｓ２１２の周波数領域から波数領域への空間フーリエ変換について、式（３）では各周波数ｆにおけるＰチャネルの再生信号Ｘｆ（ｐ，ｉ）を対象としてＰ（＝２Ｋ）点フーリエ変換を用いている。この場合、空間フーリエ変換部２１２の入力から空間逆フーリエ変換部２１４の出力までは巡回畳み込みの処理と見ることができる。巡回畳み込みはＰチャネルの空間信号を周期信号として扱うために、その悪影響が空間信号の両端に現れやすい。これを避けるために、次式のようにＰチャネルの再生信号Ｘｆ（ｐ，ｉ）の両脇にＰ／２個ずつ０詰めをして、２Ｐ（＝４Ｋ）点フーリエ変換を適用してもよい。
【００８１】
【数１３】
2015019185.tif 000015
【００８２】
この場合、減衰ゲイン制御処理（ｓ２３）や減衰ゲイン適用処理（ｓ２１７）で処理対象となる波数ｋの範囲が、−Ｋ＋１≦ｋ≦Ｋから−２Ｋ＋１≦ｋ≦２Ｋへと倍になる。また空間逆フーリエ変換部２１４は、ｓ２１４の式（７）の代わりに次式を用い、２Ｐ（＝４Ｋ）点逆フーリエ変換を使用する。そして、その結果の中央部Ｐ点を抜き出して、チャネル毎に短時間逆フーリエ変換を適用すればよい。
【００８３】
【数１４】
2015019185.tif 000016
【００８４】
空間フーリエ変換部２２２と空間逆フーリエ変換部２２４についても、同様に２Ｐ（＝４Ｋ）点のフーリエ変換、逆フーリエ変換を用いることができる。
【００８５】
また、音声スイッチ装置３００は、少なくとも、減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３とを含めばよい。ただし、音声スイッチ装置３００は、送話側の全チャネルまたは受話側の全チャネル毎ではなく、方向毎に減衰ゲインを適用するため、ＷＦＳによる波面再構成フィルタ２１３及び２２３とともに利用するときにのみその効果を生じる。例えば、音声スイッチ装置３００は、多ＣＨ短時間フーリエ変換部２２１と、空間フーリエ変換部２２２と、減衰ゲイン適用部２１７及び２２７と、波面再構成フィルタ２１３と、減衰ゲイン制御部２３と、空間逆フーリエ変換部２１４と、多ＣＨ短時間逆フーリエ変換部２１５とを含み（図７の一点鎖線より右側の構成）、他の構成（多ＣＨ短時間フーリエ変換部２１１と、空間フーリエ変換部２１２と、波面再構成フィルタ２２３と、空間逆フーリエ変換部２２４と、多ＣＨ短時間逆フーリエ変換部２２５）については対地に設置された装置内に設ける構成としてもよい。このような構成により、収音再生＋音声スイッチを２地点に分割することができる。
【００８６】
また、本実施形態では、Ｐが偶数の場合について、説明しているが、Ｐが奇数（Ｐ＝２Ｋ＋１であってもよい。式（３）に代えて式（４）を用い、さらに、式（７）に代えて、次式を用いる。
【００８７】
【数１５】
2015019185.tif 000017
【００８８】
また、多ＣＨ短時間フーリエ変換部２１１及び２２１の処理と空間フーリエ変換部２１２及び２２２の処理とを同時に行ってもよい。同様に、空間逆フーリエ変換部２１４及び２２４の処理と多ＣＨ短時間逆フーリエ変換部２１５及び２２５の処理とを同時に行ってもよい。
【００８９】
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。図１２は第二実施形態に係る音声スイッチ装置の機能ブロック図を、図１３はその処理フローを示す。
【００９０】
第一実施形態とは、送受話判定の入力信号が異なる。第一実施形態は、波面再構成フィルタ２１３及び２２３のフィルタリング前の再生信号Ｘ_ｆ（ｋ，ｉ）と収音信号Ｙ_ｆ（ｋ，ｉ）とを比較して送受話判定を行った。第二実施形態では、フィルタリング後の再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）と収音信号Ｙ_Ｒ，ｆ（ｋ，ｉ）とを比較して送受話判定を行う。
【００９１】
＜波面再構成フィルタ２１３及び２２３＞
波面再構成フィルタ２１３は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）を受け取り、各周波数ｆ（ただし、ｆ≦Ｆ）の各波数ｋ（−Ｋ＜ｋ≦Ｋ）において、次式のように、波数領域の再生信号Ｘ_ｆ（ｋ，ｉ）にフィルタ係数Ｒ_Ｘ，ｆ（ｋ）をかけることで、フィルタリングし（ｓ２１３）、フィルタリング後の再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）を求め、減衰ゲイン適用部２１７に出力する。
【００９２】
【数１６】
2015019185.tif 000018
【００９３】
同様に、波面再構成フィルタ２２３は、Ｐ×（Ｆ＋１）個の波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）を受け取り、各周波数ｆ（ただし、ｆ≦Ｆ）の各波数ｋ（−Ｋ＜ｋ≦Ｋ）において、波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）にフィルタ係数Ｒ_Ｙ，ｆ（ｋ）をかけることで、フィルタリングし（ｓ２２３）、フィルタリング後の収音信号Ｙ_Ｒ，ｆ（ｋ，ｉ）を求め、減衰ゲイン適用部２２７に出力する。
【００９４】
＜減衰ゲイン制御部２３＞
減衰ゲイン制御部２３は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）と収音信号Ｙ_Ｒ，ｆ（ｋ，ｉ）とを受け取り、波数領域の減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）及びＧ_Ｙ，ｆ（ｋ，ｉ）とを求め（ｓ２３）、それぞれ減衰ゲイン適用部２１７及び２２７に出力する。再生信号Ｘ_ｆ（ｋ，ｉ）と収音信号Ｙ_ｆ（ｋ，ｉ）に代えて、再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）と収音信号Ｙ_Ｒ，ｆ（ｋ，ｉ）を用いて、第一実施形態と同様の方法により、波数領域の減衰ゲインを求める。
【００９５】
＜減衰ゲイン適用部２１７及び２２７＞
減衰ゲイン適用部２１７は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）と波数領域の減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）とを受け取り、各周波数ｆ（ただし、ｆ≦Ｆ）の各波数ｋ（−Ｋ＜ｋ≦Ｋ）において、次式のように、波数領域の再生信号Ｘ_Ｒ，ｆ（ｋ，ｉ）に、減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）を適用し（乗じ）（ｓ２１７）、再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）を求め、空間逆フーリエ変換部２１４に出力する。
【００９６】
【数１７】
2015019185.tif 000019
【００９７】
同様に、減衰ゲイン適用部２２７は、波数領域の収音信号Ｙ_Ｒ，ｆ（ｋ，ｉ）と波数領域の減衰ゲインＧ_Ｙ，ｆ（ｋ，ｉ）とを受け取り、各周波数ｆ（ｆ≦Ｆ）において、波数領域（−Ｋ＜ｋ≦Ｋ）で収音信号Ｙ_Ｒ，ｆ（ｋ，ｉ）に、減衰ゲインＧ_Ｙ，ｆ（ｋ，ｉ）を適用し（乗じ）（ｓ２２７）、減衰ゲイン適用後の収音信号Ｙ_ＧＲ，ｆ（ｋ，ｉ）を求め、空間逆フーリエ変換部２２４に出力する。
【００９８】
このような構成により、第一実施形態と同様の効果を得ることができる。
【００９９】
なお、第二実施形態と第一実施形態の変形例とを組み合わせてもよい。例えば、音声スイッチ装置３００は、少なくとも、減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３とを含めばよい。例えば、音声スイッチ装置３００は、多ＣＨ短時間フーリエ変換部２２１と、空間フーリエ変換部２２２と、減衰ゲイン適用部２１７及び２２７と、波面再構成フィルタ２２３と、減衰ゲイン制御部２３と、空間逆フーリエ変換部２１４と、多ＣＨ短時間逆フーリエ変換部２１５とを含み（図１２の一点鎖線より右側の構成）、他の構成（多ＣＨ短時間フーリエ変換部２１１と、空間フーリエ変換部２１２と、波面再構成フィルタ２１３と、空間逆フーリエ変換部２２４と、多ＣＨ短時間逆フーリエ変換部２２５）については対地に設置された装置内に設ける構成としてもよい。このような構成により、収音再生＋音声スイッチを２地点に分割することができる。
【０１００】
＜第三実施形態＞
第一実施形態と異なる部分を中心に説明する。
【０１０１】
図１４は音声スイッチ装置３００の機能ブロック図を、図１５はその処理フローを示す。
【０１０２】
音声スイッチ装置３００は、多ＣＨ短時間フーリエ変換部２１１及び２２１と、空間フーリエ変換部２１２及び２２２と、減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３と、波面再構成フィルタ２１３及び２２３と、空間逆フーリエ変換部２１４及び２２４と、多ＣＨ短時間逆フーリエ変換部２１５及び２２５とを含み、さらに、エコー消去部１００と、波数領域残留エコー推定消去部５２３と、ノイズ抑圧部２３０とを含む。
【０１０３】
＜エコー消去部１００＞
図１６はエコー消去部１００の機能ブロック図を、図１７はその処理フローを示す。
【０１０４】
エコー消去部１００は、Ｐチャネルの再生信号ｘＧＲ（ｐ，ｎ）及びＰチャネルの収音信号ｙ（ｐ，ｎ）を受け取り、Ｐチャネルの収音信号ｙ（ｐ，ｎ）からエコー成分を消去し（ｓ１００）、エコー成分消去後の収音信号ｙＤ（ｐ，ｎ）を出力する。なお、下付添え字Ｄは、エコー成分を消去した信号であることを示す。
【０１０５】
本実施形態に係るエコー消去部１００では、Ｐ入力Ｐ出力の系を波数領域の適応フィルタで処理する。
【０１０６】
エコー消去部１００は、時空間ＦＦＴ変換部１０、ＢＧ波数領域エコーレプリカ生成部２１、ＦＧ波数領域エコーレプリカ生成部２２、時空間逆ＦＦＴ変換部３１及び３２、Ｐ個の減算部４１ｐ、時空間ＦＦＴ変換部５１〜５３、エコー経路推定部７０、転送判定部６０、Ｐ個の減算部４２ｐ、Ｐ個のフレーム合成部８０ｐを含む。
【０１０７】
図１６に示すように転送判定部６０には時空間ＦＦＴ変換後のＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）、ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）が入力される。Ｐチャネルの再生信号ｘＧＲ（ｐ，ｎ）は、Ｐ個のスピーカ２ｐから再生され、Ｐ個のマイクロホン３ｐで収音される。同時に、Ｐチャネルの再生信号ｘＧＲ（ｐ，ｎ）は、時空間ＦＦＴ変換部１０において、波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）に変換される。ＦＧ波数領域エコーレプリカ生成部２２及びＢＧ波数領域エコーレプリカ生成部２１は、それぞれ波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）を受け取り、波数領域のＦＧエコーレプリカＹ^_ＦＧ，ｆ（ｋ，ｉ）及びＢＧエコーレプリカＹ^_ＢＧ，ｆ（ｋ，ｉ）を生成する。
【０１０８】
時空間逆ＦＦＴ変換部３２により時間領域に変換されたＦＧエコーレプリカｙ^ＦＧ（ｐ，ｉ）と収音信号ｙ（ｐ，ｎ）との差であるＦＧ誤差信号ｅＦＧ（ｐ，ｉ）が、フレーム合成部８０ｐでフレーム合成後に、エコー成分を消去した収音信号ｙＤ（ｐ，ｎ）として、多ＣＨ短時間フーリエ変換部２１１に出力される。
【０１０９】
時空間逆ＦＦＴ変換部３１により時間領域に戻したＢＧエコーレプリカｙ^_ＢＧ（ｐ，ｉ）と収音信号ｙ（ｐ，ｎ）との差であるＢＧ誤差信号ｅＢＧ（ｐ，ｉ）は、時空間ＦＦＴ変換部５１において、波数領域に変換され、エコー経路推定部７０に入力される。エコー経路推定部７０は、波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）とＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）とを用いて、波数領域のフィルタ係数Ｈ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）を求め、ＢＧ波数領域エコーレプリカ生成部２１に出力し、フィルタ係数を更新する。
【０１１０】
転送判定部６０は、波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）、収音信号Ｙ_ｆ（ｋ，ｉ）、ＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）及びＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）を比較し、適切と判定したときにＢＧ波数領域エコーレプリカ生成部２１のフィルタ係数Ｈ_ＢＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）をＦＧ波数領域エコーレプリカ生成部２２に転送するように、制御信号ｃ（ｉ）をＢＧ波数領域エコーレプリカ生成部２１に出力する。ただし、ｋ’、ｆ’は、それぞれ転送判定部６０で転送を指示された周波数及び波数のインデックスを表す。フィルタ係数の転送単位は、チャネル毎ではなく、図１８のように各周波数ｆにおける各波数ｋへと細分される。なお、図１８中、網掛け部分に対応するフィルタ係数Ｈ_ＢＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）を転送する。
【０１１１】
本発明のエコー消去部１００の詳細を下記に示す。
【０１１２】
＜時空間ＦＦＴ変換部１０及び５３＞
時空間ＦＦＴ変換部１０は、Ｐチャネルの時間領域の再生信号ｘＧＲ（ｐ，ｎ）を受け取り、波数領域に変換し（ｓ１）、波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）を出力する。例えば、多ＣＨ短時間フーリエ変換部２１１及び空間フーリエ変換部２１２と同様の方法により時間領域の再生信号ｘＧＲ（ｐ，ｎ）を波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）に変換する。
【０１１３】
時空間ＦＦＴ変換部５３も、同様に時間領域の収音信号ｙ（ｐ，ｉ）を波数領域に変換し（ｓ３５）、波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）を転送判定部６０に出力する。
【０１１４】
＜ＢＧ波数領域エコーレプリカ生成部２１＞
ＢＧ波数領域エコーレプリカ生成部２１は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と波数領域のフィルタ係数Ｈ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）（詳細は後述する）とを受け取り（ただし、ｆ≦Ｆ）、各周波数ｆの各波数ｋにおいて、次式のように、波数領域（−Ｋ＜ｋ≦Ｋ）で再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）にフィルタ係数Ｈ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）をかけて、波数領域のエコーレプリカをＹ^_ＢＧ，ｆ（ｋ，ｉ）を生成し（ｓ１２）、出力する。
【０１１５】
【数１８】
2015019185.tif 000020
【０１１６】
なお、次式のように、隣接する空間周波数成分を含めてもよい。
【０１１７】
【数１９】
2015019185.tif 000021
【０１１８】
なお、δとして、参考文献３では１もしくは２が推奨されている。
（参考文献３）
M. Schneider, W. Kellermann, "A Wave-domain model for acoustic MIMO systems with reduced complexity", 2011 Joint Workshop on Hands-free Speech Communication and Microphone arrays, 2012, pp. 133-138.
なお、δ＝０のとき、式（３１）となる。
【０１１９】
＜ＦＧ波数領域エコーレプリカ生成部２２＞
ＦＧ波数領域エコーレプリカ生成部２２は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と（ただし、ｆ≦Ｆ）、後述する転送判定部６０で転送を指示された波数領域のフィルタ係数Ｈ_ＢＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）とを受け取る。なお、フィルタ係数Ｈ_ＢＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）の個数は、転送を指示された個数によって変化し、フレームｉ毎に異なる。
【０１２０】
ＦＧ波数領域エコーレプリカ生成部２２は、一つ前のフレーム（ｉ−１）において、利用したフィルタ係数Ｈ_ＦＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ−１）のうち、転送判定部６０で転送を指示された周波数ｆ’、波数ｋ’に対応するフィルタ係数Ｈ_ＦＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ−１）をフィルタ係数Ｈ_ＢＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）に置き換え、フィルタ係数Ｈ_ＦＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）を更新する。
【０１２１】
ＦＧ波数領域エコーレプリカ生成部２２は、ＢＧ波数領域エコーレプリカ生成部２１と同様に、再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）にフィルタ係数Ｈ_ＦＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）をかけて、波数領域のエコーレプリカをＹ^_ＦＧ，ｆ（ｋ，ｉ）を生成し（ｓ２２）、出力する。
【０１２２】
＜時空間逆ＦＦＴ変換部３１及び３２＞
時空間逆ＦＦＴ変換部３１は、Ｐ×（Ｆ＋１）個の波数領域のエコーレプリカＹ^_ＢＧ，ｆ（ｋ，ｉ）を受け取り（ただしｆ≦Ｆ）、時間領域に変換し（ｓ１３）、時間領域のエコーレプリカｙ^ＢＧ（ｐ，ｉ）を出力する。例えば、空間逆フーリエ変換部２１４及び多ＣＨ短時間逆フーリエ変換部２１５と同様の方法により波数領域のエコーレプリカＹ^_ＢＧ，ｆ（ｋ，ｉ）を時間領域のエコーレプリカｙ^ＢＧ（ｐ，ｉ）に変換する。
【０１２３】
同様に、時空間逆ＦＦＴ変換部３２は、Ｐ×（Ｆ＋１）個の波数領域のエコーレプリカＹ^_ＦＧ，ｆ（ｋ，ｉ）を受け取り（ただしｆ≦Ｆ）、時間領域に変換し（ｓ２３）、時間領域のエコーレプリカｙ^ＦＧ（ｐ，ｉ）を出力する。
【０１２４】
なお、ｓ１の周波数領域から波数領域への空間フーリエ変換換について、式（３）では各周波数ｆにおけるＰチャネルの信号を対象としてＰ（＝２Ｋまたは２Ｋ＋１）点ＦＦＴを用いている。この場合、時空間ＦＦＴ変換部１０の入力から時空間逆ＦＦＴ変換部３１または３２の出力までは巡回畳み込みの処理と見ることができる。よって、第一実施形態の変形例で説明した場合と同様に、Ｐチャネルの空間信号を周期信号として扱う際に生じる悪影響を低減するために、２Ｐ点フーリエ変換を適用してもよい。
【０１２５】
＜減算部４１ｐ及び４２ｐ＞
減算部４１ｐは、時間領域のエコーレプリカｙ^ＢＧ（ｐ，ｉ）と時間領域の収音信号ｙ（ｐ，ｎ）とを受け取り、収音信号ｙ（ｐ，ｎ）からエコーレプリカｙ^ＢＧ（ｐ，ｉ）を減算し、ＢＧ誤差信号ｅＢＧ（ｐ，ｉ）を求め（ｓ１４）、時空間ＦＦＴ変換部５１に出力する。例えば、Ｆ個の収音信号ｙ（ｐ，ｎ−Ｆ＋１），ｙ（ｐ，ｎ−Ｆ＋２），…，ｙ（ｐ，ｎ）を蓄積し、収音信号ｙ（ｐ，ｉ）＝［ｙ（ｐ，ｎ−Ｆ＋１），ｙ（ｐ，ｎ−Ｆ＋２），…，ｙ（ｐ，ｎ）］とし、ＢＧ誤差信号ｅＢＧ（ｐ，ｉ）を次式により求める。
【０１２６】
【数２０】
2015019185.tif 000022
【０１２７】
同様に、減算部４２ｐは、収音信号ｙ（ｐ，ｎ）からエコーレプリカｙ^ＦＧ（ｐ，ｉ）を減算し、ＦＧ誤差信号ｅＦＧ（ｐ，ｉ）を求め（ｓ２４）、時空間ＦＦＴ変換部５２及びフレーム合成部８０ｐに出力する。
【０１２８】
＜時空間ＦＦＴ変換部５１及び５２＞
時空間ＦＦＴ変換部５１は、Ｐ個の時間領域のＢＧ誤差信号ｅＢＧ（ｐ，ｉ）を受け取り、波数領域に変換し（ｓ１５）、波数領域のＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）を転送判定部６０に出力する。
【０１２９】
例えば、まず、時空間ＦＦＴ変換部５１は、時間領域のＢＧ誤差信号ｅＢＧ（ｐ，ｉ）に０詰めをして、周波数領域に変換する。
【０１３０】
【数２１】
2015019185.tif 000023
【０１３１】
次に、時空間ＦＦＴ変換部５１は、周波数領域のＢＧ誤差信号ＥＢＧ（ｐ，ｉ）を波数領域に変換する。
【０１３２】
【数２２】
2015019185.tif 000024
【０１３３】
時空間ＦＦＴ変換部５２も、同様に時間領域のＢＧ誤差信号ｅＢＧ（ｐ，ｉ）を受け取り、波数領域に変換し（ｓ２５）、波数領域のＢＧ誤差信号ＥＢＧ，ｆ（ｋ，ｉ）を転送判定部６０に出力する。
【０１３４】
＜エコー経路推定部７０＞
エコー経路推定部７０は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と波数領域のＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）とを受け取り、この値を用いて、ＢＧ波数領域エコーレプリカ生成部２１内にある適応フィルタのフィルタ係数Ｈ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ＋１）を求め（ｓ４４）、ＢＧ波数領域エコーレプリカ生成部２１に出力する。
【０１３５】
まず、エコー経路推定部７０は、フィルタ係数Ｈ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）の修正量ｄＨ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）を求める。例えば、周波数ｆ（ｆ≦Ｆ＋１）、波数ｋ（−Ｋ＋１≦ｋ≦Ｋ）の修正量ｄＨ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）を次式により求める。
【０１３６】
【数２３】
2015019185.tif 000025
【０１３７】
ただし、−δ≦ｄｋ≦δである。右辺分母中のＺ_ｆ（ｋ，ｉ）は修正量ｄＨ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）を補正しており，次式により計算される値である。
【０１３８】
【数２４】
2015019185.tif 000026
【０１３９】
つまり、Ｚ_ｆ（ｋ，ｉ）は，周波数成分ごとの第ｋ−δ〜ｋ＋δの再生信号のパワーの総和である。また、式（３３）のρは、分母が０になることを防止するための微小な正定数である。式（３４）のβはパワー計算で短時間平均をとるための平滑化定数であり，０〜１の値をとる。
【０１４０】
次に、エコー経路推定部７０は、次式でＢＧ波数領域エコーレプリカ生成部２１内にある適応フィルタのフィルタ係数Ｈ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）を更新し、ＢＧ波数領域エコーレプリカ生成部２１に出力する。
【０１４１】
【数２５】
2015019185.tif 000027
【０１４２】
ただし、μは０〜１の値をとるステップサイズである。なお、エコー経路推定部７０では、修正量ｄＨ_ＢＧ，ｆ（ｋ，ｋ＋ｄｋ，ｉ）だけを計算し、更新処理（式（３５）の処理）はＢＧ波数領域エコーレプリカ生成部２１内で行ってもよい。
【０１４３】
＜転送判定部６０＞
転送判定部６０は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と波数領域のＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）と波数領域のＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）と波数領域の収音信号Ｙ_ｆ（ｋ，ｉ）とを受け取り、各周波数ｆの各波数ｋについて、ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）とＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）とを比較し、ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）のほうがＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）よりもエコーが消去されているか否かを判定する（ｓ４１）。例えば、周波数ｆ（ｆ≦Ｆ＋１）、波数ｋ（−Ｋ＋１≦ｋ≦Ｋ）において、「下記（Ａ）（Ｂ）（Ｃ）の条件を同時に満たすか」否かを判定する（ｓ４１）。
（Ａ）再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）が所定レベルＴ１より大きい、
（Ｂ）ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）が収音信号Ｙ_ｆ（ｋ，ｉ）＋所定レベルＴ２より小さい、
（Ｃ）ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）がＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）＋所定レベルＴ３より小さい、
この条件の一具体例としては、
【０１４４】
【数２６】
2015019185.tif 000028
【０１４５】
等が考えられる。ただしＥ[＊]は短時間平均をとることを意味する。
【０１４６】
（Ａ）〜（Ｃ）を満たす場合には、ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）のほうがＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）よりもエコーが消去されていると判定し、その際の周波数ｆ’及び波数ｋ’に対応するフィルタ係数Ｈ_ＢＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）（ただし、−δ≦ｄｋ≦δ）をＦＧ波数領域エコーレプリカ生成部２２に転送するように、制御信号ｃ（ｉ）をＢＧ波数領域エコーレプリカ生成部２１に出力する（ｓ４２）。
【０１４７】
なお、本実施形態の変形例として、信号の短時間平均Ｅ［＊］の代わりに、所定の時間ピーク値を保持するピークホールドＰｈ[＊]を用いてもよい。
【０１４８】
例えば、次式によりピークホールドを求める。
【０１４９】
【数２７】
2015019185.tif 000029
【０１５０】
ここで、βは減衰定数（０＜β＜１）であり、ｍａｘ［ａ，ｂ］はａとｂの大きい方の値を出力する関数である。ｍａｘは、β×Ｐｈ[Ｘ_ＧＲ，ｆ（ｋ，ｉ−１）]（一時点前のピーク値）と直近の値Ｘ_ＧＲ，ｆ（ｋ，ｉ）を比較する。直近の値Ｘ_ＧＲ，ｆ（ｋ，ｉ）が小さい場合、βで減衰したピーク値が出力される。減衰定数βの値が１に近いほどピークを保持する期間が長くなる。なお、上記では値の絶対値ノルムを使用しているが、２乗ノルムを使用してもよい。
【０１５１】
なお収音信号に小さくない外乱が含まれる場合、エコー経路推定部７０によるフィルタ更新でフィルタ係数が劣化してしまうことがある。劣化のためにＢＧ誤差信号がＦＧ誤差信号よりも明らかに大きい状況では、ＦＧ波数領域エコーレプリカ生成部２２からＢＧ波数領域エコーレプリカ生成部２１へフィルタ係数を転送してもよい。この状況は、「下記（Ａ）（Ｂ’）（Ｃ’）の条件を同時に満たすか」を判定することで検出できる。
（Ａ）再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）が所定レベルＴ１より大きい、
（Ｂ’）ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）が収音信号Ｙ_ｆ（ｋ，ｉ）＋所定レベルＴ１２より大きい、
（Ｃ’）ＢＧ誤差信号Ｅ_ＢＧ，ｆ（ｋ，ｉ）がＦＧ誤差信号Ｅ_ＦＧ，ｆ（ｋ，ｉ）＋所定レベルＴ１３より大きい、
この条件の一具体例としては、
【０１５２】
【数２８】
2015019185.tif 000030
【０１５３】
等が考えられる。
【０１５４】
（Ａ）、（Ｂ’），（Ｃ’）を満たす場合には、転送判定部６０は、外乱によりフィルタ係数が劣化していると判定し、その際の周波数ｆ’及び波数ｋ’に対応するフィルタ係数Ｈ_ＦＧ，ｆ’（ｋ’，ｋ’＋ｄｋ，ｉ）（ただし、−δ≦ｄｋ≦δ）をＢＧ波数領域エコーレプリカ生成部２１に転送するように、制御信号ｃ’（ｉ）をＦＧ波数領域エコーレプリカ生成部２２に出力する。
【０１５５】
＜フレーム合成部８０ｐ＞
フレーム合成部８０ｐは、時間領域のＦＧ誤差信号ｅＦＧ（ｐ，ｉ）を受け取り、そのＦＧ誤差信号ｅＦＧ（ｐ，ｉ）を合成し（ｓ４３）、合成した信号をエコー消去部１００の出力値として出力する。例えば、時空間ＦＦＴ変換部１０において、再生信号ｘＧＲ（ｐ，ｎ）をＤ≧２でフレーム化した場合には、フレーム合成部８０ｐは、フレームｉで求めたＦＧ誤差信号ｅＦＧ（ｐ，ｉ）と一つ前のフレームｉ−１で求めたＦＧ誤差信号ｅＦＧ（ｐ，ｉ−１）とに対して窓かけ処理を行った上で、合成し、合成後の収音信号ｙＤ（ｐ，ｉ）（要素数はＦ／Ｄ個）の要素ｙＤ（ｐ，ｎ−Ｆ／Ｄ＋１），ｙＤ（ｐ，ｎ−Ｆ／Ｄ＋２），…，ｙＤ（ｐ，ｎ）を逐次、出力値として出力する。ただし、ｎ＝ｉＦ／Ｄの関係にある。
【０１５６】
このような構成により、波数領域において、ＦＧ／ＢＧ方式を適用できる。波数領域においてＦＧ適応フィルタとＢＧ適応フィルタを備えるエコー消去法では、再生信号及び誤差信号を波数領域に変換し、波数領域において転送条件を判定する。これにより、波数領域の適応フィルタのように、フィルタ係数と送話チャネルの対応が１対１に対応しない場合でも、ＦＧ／ＢＧ方式を適用し、ダブルトーク状態に対して安定的にエコー消去を行うことが可能になる。
【０１５７】
なお、多ＣＨ短時間フーリエ変換部２２１及び空間フーリエ変換部２２２は、それぞれ、収音信号ｙ（ｐ，ｎ）及びＹ（ｐ，ｉ）に代えて、エコー成分を消去した収音信号ｙＤ（ｐ，ｎ）及びＹＤ（ｐ，ｉ）を受け取り、各処理行い（ｓ２２１、ｓ２２２）、収音信号ＹＤ（ｐ，ｉ）及びＹ_Ｄ，ｆ（ｋ，ｉ）を出力する。
【０１５８】
＜波数領域残留エコー推定消去部５２３＞
波数領域残留エコー推定消去部５２３は、Ｐ×２Ｆ個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）とを受け取り、これらの値を用いて、ｆ≦Ｆにおいて、収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）に含まれる残留エコーを推定し、消去し（ｓ５２３）、残留エコーを消去したＰ×（Ｆ＋１）個の波数領域の収音信号Ｙ_ＤＳ，ｆ（ｐ，ｉ）を求め、ノイズ抑圧部２３０に出力する。なお、下付添え字ＤＳは、エコー成分及び残留エコー成分を消去した信号であることを示す。以下、処理の詳細を説明する。
【０１５９】
図１９は波数領域残留エコー推定消去部５２３の機能ブロック図を、図２０はその処理フローを示す。
【０１６０】
波数領域残留エコー推定消去部５２３は、入出力相関係数算出部５２３１と、入出力伝達特性推定部５２３２と、残留エコー推定部５２３３と、残留エコー補正部５２３４と減算部５２３５とを含む。
【０１６１】
((入出力相関係数算出部５２３１))
入出力相関係数算出部５２３１は、Ｐ×２Ｆ個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）とＰ×２Ｆ個の波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）とを受け取り、ｆ≦Ｆにおいて、波数領域の残留エコー信号を出力とする系の伝達特性を推定するために、時刻ｎ＝ｉＦ／Ｄにおける波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）とから
Pf(k,i)=E[X_*f(k,i)X_GR,f(k,i)]
Qf(k,i)=E[X_*f(k,i)Y_D,f(k,i)]    (41)
により、再生信号のパワースペクトルＰｆ（ｋ，ｉ）と、再生信号と収音信号との間のクロススペクトルＱｆ（ｋ，ｉ）とを算出し（ｓ５２３１）、入出力伝達特性推定部５２３２に出力する。
【０１６２】
((入出力伝達特性推定部５２３２))
入出力伝達特性推定部５２３２は、Ｐ×（Ｆ＋１）個のパワースペクトルＰｆ（ｋ，ｉ）とＰ×（Ｆ＋１）個のクロススペクトルＱｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、パワースペクトルＰｆ（ｋ，ｉ）及びクロススペクトルＱｆ（ｋ，ｉ）から
【０１６３】
【数２９】
2015019185.tif 000031
【０１６４】
により、再生信号と収音信号との入出力伝達特性を推定し（ｓ５２３２）、推定値Ｇ’ｆ（ｋ，ｉ）を残留エコー推定部５２３３に出力する。
【０１６５】
また、次式により推定値Ｇ’ｆ（ｋ，ｉ）を平滑化し、平滑化した推定値Ｇｆ（ｋ，ｉ）を残留エコー推定部５２３３に出力してもよい。
【０１６６】
【数３０】
2015019185.tif 000032
【０１６７】
本実施形態では、平滑化した推定値Ｇｆ（ｋ，ｉ）を出力するものとする。ここで、βは、入出力伝達特性の推定値を平滑化するための定数であり、０〜１の間の値をとる。
【０１６８】
((残留エコー推定部５２３３))
残留エコー推定部５２３３は、Ｐ×（Ｆ＋１）個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の推定値Ｇｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように、再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）に推定値Ｇｆ（ｋ，ｉ）を乗じて、残留エコーを推定し（ｓ５２３３）、推定値ΔＹ_ｆ（ｋ，ｉ）を残留エコー補正部５２３４に出力する。
ΔY_f(k,i)=Gf(k,i)X_GR,f(k,i)    (43)
【０１６９】
((残留エコー補正部５２３４))
残留エコー補正部５２３４は、Ｐ×（Ｆ＋１）個の推定値ΔＹ_ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式で補正し（ｓ５２３４）、補正後の残留エコーの推定値ΔＹII_ｆ（ｋ，ｉ）を減算部５２３５に出力する。
【０１７０】
【数３１】
2015019185.tif 000033
【０１７１】
ただし、式中のＳ_ｆ（ｋ，ｉ）は、送話信号の推定値であり、次式により算出される。
S_f(k,i)=Y_D,f(k,i)-ΔY_f(k,i)    (45)
また、Ｔは各スペクトルの推定の自由度の数であり、入出力相関係数算出部５２３１においてパワースペクトルＰｆ（ｋ，ｉ）及びクロススペクトルＱｆ（ｋ，ｉ）を算出するときのフレーム数（つまり、各スペクトル推定に使用するフレーム数）が、これにあたる。
Ｍは入力変数の数であり、式（４２）の場合にはＭ＝１になる。またＦ２Ｍ，Ｔ−２Ｍ，ａｌｐｈａは、自由度ｎ１＝２Ｍ、ｎ２＝Ｔ−２ＭのＦ分布の１００×ａｌｐｈａ百分比点である。
【０１７２】
なお、Ｆ分布は、統計学で用いられる連続確率分布である。統計的仮説検定の一手法である分散分析において、観測データにおける変動を誤差変動と各要因の変動に分解し、各要因の効果・有意性を判定する際に使用される。
【０１７３】
参考文献４によれば、Ｍ＝１のとき入出力伝達特性推定部５２３２において推定される入出力伝達特性の推定値Ｇｆ（ｋ，ｉ）の信頼区間は、真値からの比率で
【０１７４】
【数３２】
2015019185.tif 000034
【０１７５】
の幅を持つ。
（参考文献４）Ｊ．Ｓ．ベンダット、Ａ．Ｇ．ピアソル、「ランダムデータの統計的処理」、培風館、１９７６年、ｐ．１９４〜１９７
【０１７６】
短時間スペクトルに基づく入出力伝達特性推定部５２３２の推定では、本来よりも送話と残留エコーの相関性を高めに推定しやすく、伝達特性を高めに推定する傾向がある。このことに基づき、上記の補正は残留エコーの信頼区間の下端の値を残留エコーの補正値としている。
【０１７７】
((減算部５２３５))
減算部５２３５は、Ｐ×２Ｆ個の波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の補正後の残留エコーの推定値ΔＹII_ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように波数領域で収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）から残留エコーの推定値ΔＹII_ｆ（ｋ，ｉ）を差し引いて（ｓ５２３５）、差分を、残留エコーを消去した波数領域の収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）として求め、ノイズ抑圧部２３０に出力する。
Y_DS,f(k,i)=Y_D,f(k,i)-ΔYII_f(k,i)    (47)
【０１７８】
このような構成により、波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）とから波数領域で残留エコーを推定し、収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）から残留エコーの推定値ΔＹ_ｆ（ｋ，ｉ）を差し引く。これにより、波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができるという効果を奏する。
【０１７９】
＜ノイズ抑圧部２３０＞
ノイズ抑圧部２３０は、Ｐ×（Ｆ＋１）個の波数領域の収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）を受け取り（ただし、ｆ≦Ｆ）、周波数−波数空間で分割された各収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）に対してノイズ抑圧処理を施し（ｓ２１５）、波数領域のノイズ抑圧処理済みの収音信号Ｙ_ＤＳＮ，ｆ（ｋ，ｉ）を減衰ゲイン適用部２２７に出力する。なお、下付添え字ＤＳＮは、エコー成分及び残留エコー成分を消去し、減衰ゲインを適用した信号であることを示す。図２１は、ノイズ抑圧部２３０の機能ブロック図を、図２２はその処理フローを示す。ノイズ抑圧部２３０は、ノイズレベル推定部２１５７及びノイズ抑圧ゲイン算出適用部２１５８を含む。
【０１８０】
（ノイズレベル推定部２１５７）
ノイズレベル推定部２１５７は、Ｐ×（Ｆ＋１）個の波数領域の収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）を受け取り、そのノイズレベルを推定し（ｓ２１５７）、その推定値Ｎ_ｆ（ｋ，ｉ）を出力する。その推定法としては参考文献５や参考文献６等に記載の方法を用いることができる。
（参考文献５）Rainer Martin, "Noise power spectral density estimation based on optimal smoothing and minimum statistics", IEEE Transactions on Speech and Audio Processing, 2001, Vol. 9, No. 5, pp. 504-512
（参考文献６）Mehrez Souden et al., "A new recursive approach for noise power spectral density tracking", 2012年, 日本音響学会秋季研究発表会講演論文集、pp.-741-742
【０１８１】
例えば、参考文献５をベースに以下の方法でノイズレベルを推定できる。周波数ｆ、波数ｋの成分の振幅を
【０１８２】
【数３３】
2015019185.tif 000035
【０１８３】
で求める。ただしαは０〜１の間の値をとる平滑化定数である。直近のＴｉ個のフレームの振幅、Ｌｅｖ（ｆ，ｋ，ｉ−Ｔｉ＋１）〜Ｌｅｖ（ｆ，ｋ，ｉ）を保持し、Ｔｉ個の振幅の最小値を求める。このＴｉ個の振幅の最小値をフレーム番号ｉにおける周波数ｆ、波数ｋでのノイズレベルの推定値Ｎ_ｆ（ｋ，ｉ）とする。
【０１８４】
（ノイズ抑圧ゲイン算出適用部２１５８）
ノイズ抑圧ゲイン算出適用部２１５８は、Ｐ個の波数領域の収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）とＰ個のノイズレベルの推定値Ｎ_ｆ（ｋ，ｉ）とを受け取り、これらの値からノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）を求める（ｓ２１５８Ａ）。例えば、ノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）として、波数領域の収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）の振幅｜Ｙ_ＤＳ，ｆ（ｋ，ｉ）｜とノイズレベルの推定値Ｎ_ｆ（ｋ，ｉ）とから、次式のように直接求められるレベル比を用いてもよい。
【０１８５】
【数３４】
2015019185.tif 000036
【０１８６】
また、例えば、参考文献７のようにこの比を平滑化してノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）としてもよい。
（参考文献７）特開２００５−３４８１７３号公報
【０１８７】
例えば、平滑化前のノイズ抑圧ゲインをＧ_ｆ’（ｋ，ｉ）とし、平滑化後のノイズ抑圧ゲインをＧ_ｆ（ｋ，ｉ）とすると、平滑化処理の１例は、以下の式で表すことができる。
Ｇ_ｆ（ｋ，ｉ）＝Σh,j ａ（ｈ）×Ｇ_ｊ’（ｋ，ｉ）／Σh ａ（ｈ）
この式は、インデックスｊで示されるｆ番目の周波数帯域に隣接する平滑化前のノイズ抑圧ゲインＧ_ｆ’（ｋ，ｉ）の平均値を求め、ｆ番目の周波数帯域のノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）とする平滑化処理を示す。和をとる際のｈとｊの総数は同数であり、またその総数は最も多くても周波数分析点数以下である。重み係数ａ（ｈ）は、平滑化前のノイズ抑圧ゲインをＧ_ｆ’（ｋ，ｉ）の断続性を緩和する。さらに、平滑化後のノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）の強調化を行ってもよい。強調化処理は平滑化後のノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）の値の大小によって、それぞれのゲイン係数を０もしくは１に近づける処理である。即ち、平滑化後のノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）が大きく１に近い場合は、より１に近づけて対象成分をより通し易くし、平滑化後のノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）が小さく０に近い場合は、より０に近づけて雑音成分をより大きく低減する様に平滑化後のノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）を強調する。この強調化処理の具体的な１例を以下に式で示す。
Ｇ_ｆ（ｋ，ｉ）がｔｈ１より大きい場合：
G_f(k,i)=th1×(G_f(k,i)/th1)v1
Ｇ_ｆ（ｋ，ｉ）がｔｈ２より小さい場合：
G_f(k,i)=1-(1-th2){(1-G_f(k,i))/(1-th2)}v2
ここで、ｖ１及びｖ２は１以上の整数とする。また、ｔｈ１とｔｈ２は、ｔｈ１≧ｔｈ２の関係を満たす０以上１以下の整数である。ノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）は０から１の範囲の値を持つので、ｔｈ１より大きい場合、より１に近づき、ｔｈ２より小さい場合、より０に近づく処理をこの式は実現する。
【０１８８】
さらに、ノイズ抑圧ゲイン算出適用部２１５８は、次式のように、波数領域の収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）にノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）を適用し（ノイズ抑圧ゲインＧ_ｆ（ｋ，ｉ）を乗じ）（ｓ２１５８Ｂ）、波数領域のノイズ抑圧処理済みの収音信号Ｙ_ＤＳＮ，ｆ（ｋ，ｉ）を求め、出力する。
【０１８９】
【数３５】
2015019185.tif 000037
【０１９０】
ノイズ抑圧部２３０の効果を図２３で説明する。単一話者のターゲット音声ｘを対象とし、同時に拡散性のノイズｎがマイクロホンにより収音されるケースを考える。波数領域のＰチャネルの再生信号Ｙ_ＤＳ，ｆ（ｐ，ｉ）は、方向毎に分解されている。変換後のターゲット音すなわち対象成分は特定の方向に集中して抽出される。拡散性ノイズは全方向の成分をもち、そのごく一部の特定方向に含まれる分が抽出される。したがって、この特定方向でＳＮ比が良好になり、抑圧処理の歪みは大幅に小さくなる。この信号処理は波数領域で行われているため、ノイズ抑圧後の波面進行方向は抑圧前と同じであり、空間バランスの点で抑圧処理の影響をほとんど受けない。一方、その他の方向ではノイズ成分が大半を占め、非定常の音声成分が少なくなるため、ノイズレベル推定の精度が相対的に高くなり、ノイズが良好に抑圧される。
【０１９１】
このような構成により生成した収音信号Ｙ_ＤＳＮ，ｆ（ｐ，ｉ）を、減衰ゲイン適用部２２７で減衰し、波面再構成フィルタ２２３でフィルタリングし、減衰ゲイン適用後、かつ、フィルタリング後の収音信号Ｙ_ＤＳＮＧＲ，ｆ（ｐ，ｉ）を対地のスピーカで再生することで、ノイズを抑圧しつつ、所望の音場を再現することができる。
【０１９２】
減衰ゲイン制御部２３は、収音信号Ｙ_ｆ（ｋ，ｉ）に代えて収音信号Ｙ_ＤＳＮ，ｆ（ｐ，ｉ）を受け取り、波数領域の減衰ゲインＧ_Ｘ，ｆ（ｋ，ｉ）及びＧ_Ｙ，ｆ（ｋ，ｉ）とを求め（ｓ２３）、それぞれ減衰ゲイン適用部２１７及び２２７に出力する。
【０１９３】
減衰ゲイン適用部２２７は、収音信号Ｙ_ｆ（ｋ，ｉ）に代えて、収音信号Ｙ_ＤＳＮ，ｆ（ｐ，ｉ）を受け取り、減衰ゲインＧ_Ｙ，ｆ（ｋ，ｉ）を適用し（ｓ２２７）、減衰ゲイン適用後の収音信号Ｙ_ＤＳＮＧ，ｆ（ｋ，ｉ）を求め、波面再構成フィルタ２２３に出力する。
【０１９４】
波面再構成フィルタ２２３は、収音信号Ｙ_Ｇ，ｆ（ｋ，ｉ）に代えて収音信号Ｙ_ＤＳＮＧ，ｆ（ｋ，ｉ）を受け取り、フィルタ係数Ｒ_Ｙ，ｆ（ｋ）をかけることで、フィルタリングし（ｓ２２３）、フィルタリング後の収音信号Ｙ_ＤＳＮＧＲ，ｆ（ｋ，ｉ）を求め、空間逆フーリエ変換部２２４に出力する。
【０１９５】
空間逆フーリエ変換部２２４は、収音信号Ｙ_ＧＲ，ｆ（ｋ，ｉ）に代えて収音信号Ｙ_ＤＳＮＧＲ，ｆ（ｋ，ｉ）を受け取り、周波数領域の収音信号ＹＤＳＮＧＲ，ｆ（ｐ，ｉ）に変換し（ｓ２２４）、出力する。
【０１９６】
多ＣＨ短時間逆フーリエ変換部２２５は、収音信号ＹＧＲ，ｆ（ｐ，ｉ）に代えて、ＹＤＳＮＧＲ，ｆ（ｐ，ｉ）を受け取り、逆ＦＦＴし、時間領域の収音信号ｙＤＳＮＧＲ（ｐ，ｉ）に変換する（ｓ２２５）。さらに、多ＣＨ短時間逆フーリエ変換部２２５は、時間領域の収音信号ｙＤＳＮＧＲ（ｐ，ｉ）を合成し、合成した信号の要素を逐次、出力値として出力する。
【０１９７】
＜効果＞
このような構成により、第一実施形態の効果に加え、（１）、ダブルトーク状態に対して安定的にエコー消去を行うことが可能になり、（２）これにより、波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができ、（３）ノイズを抑圧しつつ、所望の音場を再現することができる。
【０１９８】
なお、音声スイッチ装置３００に入力される収音信号Ｙ_ｆ（ｋ，ｉ）についても同様に、エコー消去処理（ｓ１００）、残留エコー消去処理（ｓ５２３）、ノイズ抑圧処理（ｓ２１５）を行ったほうが、送話状態か受話状態かをより高い精度で判定できる。
【０１９９】
また、音声スイッチ装置３００は、前述の通り、少なくとも、減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３とを含めばよく、他の処理は別装置に再生信号、または、収音信号を他の装置に伝送して他の装置内で行ってもよい。
【０２００】
さらに、波数領域残留エコー推定消去部５２３は、エコー消去部１００とともに用いてもよいし、単独で用いてもよい。エコー消去部１００及びノイズ抑圧部２３０はそれぞれ単独で用いることができる。また、各部の処理の順番は異なってもよい。例えば、第二実施形態で説明したように先に波面再構成用のフィルタリング処理を行い、その後に、ノイズ抑圧を行い、減衰ゲイン制御処理、減衰ゲイン適用処理を行ってもよい。ただし、再生信号Ｘ_ｆ（ｋ，ｉ）についても同様に、処理したものを用いることで、送話状態か受話状態かをより高い精度で判定できる。要は、同じ処理（エコー消去処理（ｓ１００）、残留エコー消去処理（ｓ５２３）、ノイズ抑圧処理（ｓ２１５）、波面再構成用のフィルタリング処理（ｓ２１３、ｓ２２３））を行った再生信号と収音信号を用いて判定することで、その精度を向上させることができる。
【０２０１】
＜第一変形例＞
第三実施形態と異なる部分を中心に説明する。
【０２０２】
本変形例では、波を周波数−波数空間で見るとき、周波数が低いほど波の存在する範囲が狭いことを利用して、ノイズ抑圧処理の演算量を削減する。
【０２０３】
参考文献８によれば、周波数−波数空間で見ると波の存在範囲は周波数に応じて限定される。
（参考文献８）T. Ajdler, L. Sbaiz, and M. Vetterli, "Dynamic measurement of room impulse responses using a moving microphone", The Journal of the Acoustical Society of America, 2007, vol. 122, issue 3, p. 1636-1645
【０２０４】
図２４は、単一周波数波の平面波のサンプリングの様子を示す。マイクロホン素子列に角度αで入射する単一の周波数ｆ０の平面波を考える。マイクロホン列をｘ軸にとると、ｔを時刻としてｘ軸上での音圧の時間変動ｐ(ｘ,ｔ)は、
p(x,t)=ej(ω0t+φ0xcosα)    (71)
になる。ただし、上付き添え字中のω０及びφ０はそれぞれω０及びφ０を表し、ω０及びφ０はそれぞれ周波数ｆ０の角周波数及び波数を表し、音速をｖｅｌｏｃとして、φ０は
φ0=ω0/veloc    (72)
である。このｘ−ｔ軸上の音圧を周波数−波数領域に変換すると
【０２０５】
【数３６】
2015019185.tif 000038
【０２０６】
になる。時間−空間領域で単一の周波数の平面波は、周波数−波数領域では１点になる。
【０２０７】
全周波数で同一の周波数成分を持ち、時間―空間で
【０２０８】
【数３７】
2015019185.tif 000039
【０２０９】
であらわされる平面波は、周波数−波数領域では、
【０２１０】
【数３８】
2015019185.tif 000040
【０２１１】
のように直線になる。入射の角度αは０〜１８０度の範囲をとるため、周波数−波数領域で見ると波の成分は、
【０２１２】
【数３９】
2015019185.tif 000041
【０２１３】
の範囲に存在する。
【０２１４】
実際のマイクロホン列によるサンプリングは離散的である。時間方向について、サンプリング周波数をｆｓ、フレーム長を２Ｆ、２Ｆ点−ＦＦＴを使用し、空間方向について、Ｐ個のマイクロホンは直線上に等間隔に配列されているものとし、マイクロホン間隔をｄ、マイクロホン数を２ＫとしてＫ点−ＦＦＴを使用する。このとき、周波数の範囲は０〜ｆｓ／２であり、波数ｋの範囲は−π／ｄ〜π／ｄである。
【０２１５】
なお、このサンプリングにおける最大の周波数ｆ＝ｆｓ／２の波について、波数はπｆｓ／ｖｅｌｏｃになる。マイクロホン間隔ｄが十分小さくπ／ｄがこの値より大きいとき空間エリアシングは生じない。しかしマイクロホン間隔ｄが相対的に長いために、π／ｄがこの値より小さい場合に空間エリアシングが生じる。この様子を図２５に示す。
【０２１６】
第三実施形態では、全周波数及び全波数で処理を行っている。しかし上記の知見によれば、周波数−波数領域において信号成分の存在範囲は、音波の周波数が低いほど狭まっている。この信号成分の存在しない範囲で信号処理を省くことができ、その処理削減の効果は周波数が低いほど大きい。これが本変形例のポイントである。
【０２１７】
＜第一変形例に係る音声スイッチ装置３００＞
図２６は第一変形例に係る音声スイッチ装置３００の機能ブロック図を、図２７はその処理フローを示す。音声スイッチ装置３００は、多ＣＨ短時間フーリエ変換部２１１及び２２１と、空間フーリエ変換部２１２及び２２２と、減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３と、波面再構成フィルタ２１３及び２２３と、空間逆フーリエ変換部２１４及び２２４と、多ＣＨ短時間逆フーリエ変換部２１５及び２２５と、エコー消去部１００と、波数領域残留エコー推定消去部５２３と、ノイズ抑圧部２３０とを含み、さらに、波数限定部２１８と波数０詰め部２１９及び２２９とを含む。
【０２１８】
はじめに、波数限定部２１８において、周波数ｆから波数ｋの有効範囲を求める。波数限定部２１８は、減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３と、波面再構成フィルタ２１３及び２２３と、エコー消去部１００と、波数領域残留エコー推定消去部５２３と、ノイズ抑圧部２３０の処理をこの波数ｋの範囲内に限定する。波数０詰め部２１９及び２２９は未処理の範囲に０を設定する。
【０２１９】
上記処理のために、第一変形例に加える変更の詳細を以下に示す。
【０２２０】
(波数限定部２１８)
波数限定部２１８は、周波数ｆ≦Ｆにおいて、周波数ｆ毎に波数ｋの有効範囲を算出し（ｓ２１８）、この有効範囲を減衰ゲイン適用部２１７及び２２７と、減衰ゲイン制御部２３と、波面再構成フィルタ２１３及び２２３と、エコー消去部１００と、波数領域残留エコー推定消去部５２３と、ノイズ抑圧部２３０に出力する（ただし、図中各部への出力を省略する）。例えば、周波数ｆの一次関数で表す式（７７）により波数ｋの上限ｍａｘ＿ｋ（ｆ）を求める。
【０２２１】
【数４０】
2015019185.tif 000042
【０２２２】
ただし、ｃｅｉｌ（Ａ）は、Ａを整数へ切り上げる関数である。また、ｆｔｈはマイクロホン間隔ｄでのサンプリングするときに空間エリアシングが生じない最大周波数であり、次式で定義される。
【０２２３】
【数４１】
2015019185.tif 000043
【０２２４】
なお、式（７６）（７７）は、波数ｋの範囲を周波数ｆの一次関数で表し、波数ｋの範囲の上限と下限は
【０２２５】
【数４２】
2015019185.tif 000044
【０２２６】
で与えられるものであることを表している。言い換えると、式（７７）は、音速ｖｅｌｏｃとマイクロホン間隔ｄとサンプリング周波数ｆｓとに基づき、周波数ｆに対する波数ｋの上限を求めている。
【０２２７】
各部では、周波数ｆ≦Ｆにおいて、波数限定部２１８が周波数ｆについて求めた波数ｋの有効範囲
-max_k(f)≦k≦max_k(f)    (79)
で、各処理を行う。
【０２２８】
なお、波数ｋの有効範囲を算出する際に、周波数ｆの一次関数を用いることは、一例であり、高周波領域に比べ低周波領域では波数の範囲が狭くなるように波数ｋの有効範囲を限定するものであれば他の方法により、有効範囲を算出してもよい。
【０２２９】
また、波数限定部２１８における処理は、ノイズ抑圧処理を開始時、または開始前に一度行い、各部に上限ｍａｘ＿ｋ（ｆ）を設定しておいてもよい。
【０２３０】
(波数０詰め部２１９及び２２９)
波数０詰め部２１９は、波面再構成フィルタ２１３から（Ｐ−２・ｍａｘ＿ｋ（ｆ））個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）を受け取り（ただし、周波数ｆ≦Ｆ、−ｍａｘ＿ｋ（ｆ）≦ｋ≦ｍａｘ＿ｋ（ｆ））、有効範囲外の波数、すなわちｋ＜−ｍａｘ＿ｋ（ｆ）及びｍａｘ＿ｋ（ｆ）＜ｋの範囲で、波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）を０とし（ｓ２１９）、空間逆フーリエ変換部２１４に出力する。
【０２３１】
同様に、波数０詰め部２２９は、波面再構成フィルタ２２３から波数領域の収音信号Ｙ_ＧＲ，ｆ（ｋ，ｉ）を受け取り、有効範囲外の波数の範囲で、波数領域の収音信号Ｙ_ＧＲ，ｆ（ｋ，ｉ）を０とし（ｓ２２９）、空間逆フーリエ変換部２２４に出力する。
【０２３２】
＜効果＞
このような構成により、第三実施形態と同様の効果を得ることができ、さらに、計算量を減らすことができるという効果を奏する。
【０２３３】
さらに、波数限定部及び波数０詰め部をエコー消去部１００内に設けてもよい。この場合、波数領域の処理（つまり、ＢＧ波数領域エコーレプリカ生成部２１、ＦＧ波数領域エコーレプリカ生成部２２、エコー経路推定部７０、転送判定部６０におけるそれぞれの処理ｓ１２、ｓ２２、ｓ４４、ｓ４１、ｓ４２）を有効範囲内に限定することができ、計算量を減らすことができる。
【０２３４】
なお、本変形例と、第一実施形態や第二実施形態、それらの変形例とを組合せてもよい。
【０２３５】
＜第二変形例＞
第三実施形態の転送判定部６０において、転送条件としてさらに収音信号Ｙｆ（ｋ，ｉ）とエコーレプリカＹ^_ｆ（ｋ，ｉ）の類似性を判定する条件を追加する。それは、
（Ｄ）エコーレプリカの大きさが収音信号の大きさと比較して、小さくない、
（Ｅ）所定期間のエコーレプリカと収音信号のコヒーレンスが高い、
の２条件からなる。
【０２３６】
この条件の一例としては、
【０２３７】
【数４３】
2015019185.tif 000045
【０２３８】
【数４４】
2015019185.tif 000046
【０２３９】
が考えられる。なおpar1の推奨値は0.5程度、par2の推奨値は0.5程度である。
【０２４０】
この２条件は収音信号Ｙｆ（ｋ，ｉ）とエコーレプリカＹ^_ｆ（ｋ，ｉ）の相互相関の強さを評価し、転送を相互相関が強いタイミングに限定する効果を持つ。そのため、ノイズや送話の影響が小さくないタイミングでの転送を効果的に防止でき、転送判定をより頑健にすることができる。
【０２４１】
＜第三変形例＞
第三実施形態と異なる部分についてのみ説明する。波数領域残留エコー推定消去部５２３の処理（ｓ５２３）において、残留エコーを補正しない構成としてもよい。この場合、波数領域残留エコー推定消去部５２３は、残留エコー補正部５２３４を含まず、減算部５２３５では、残留エコー推定部５２３３の出力値である残留エコーの推定値ΔＹ_ｆ（ｋ，ｉ）を補正せずにそのまま用いる。
【０２４２】
このような構成により、第三実施形態と同様の効果を得ることができ、計算量を削減することができる。ただし、伝達特性を高めに推定する可能性がある。
【０２４３】
＜第四変形例＞
第三実施形態またはその第三変形例と異なる部分についてのみ説明する。
【０２４４】
波数領域残留エコー推定消去部５２３の処理内容が、第三実施形態またはその第三変形例とは異なる。
【０２４５】
＜波数領域残留エコー推定消去部５２３＞
波数領域残留エコー推定消去部５２３は、波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）とＦＧ波数領域エコーレプリカ生成部２２で生成されたエコーレプリカＹ＾_ＦＧ，ｆ（ｋ，ｉ）の線形和として波数領域の残留エコーを推定する。
【０２４６】
図２８は第四変形例に係る波数領域残留エコー推定消去部５２３の機能ブロック図を、図２９はその処理フローを示す。
【０２４７】
波数領域残留エコー推定消去部５２３は、線形和重み算出部５２３６と、線形和算出部５２３７と、減算部５２３５とを含む。なお、図示されていないが、ＦＧ波数領域エコーレプリカ生成部２２の出力値であるエコーレプリカＹ＾_ＦＧ，ｆ（ｋ，ｉ）が、波数領域残留エコー推定消去部５２３に入力されるものとする。
【０２４８】
((線形和重み算出部５２３６))
線形和重み算出部５２３６は、Ｐ×２Ｆ個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域のエコーレプリカＹ＾_ＦＧ，ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、以下のように相互スペクトルを係数とする式を解いて線形和重みｃ’ｆ，１（ｋ，ｉ）及びｃ’ｆ，２（ｋ，ｉ）を算出する（ｓ５２３６）。
【０２４９】
【数４５】
2015019185.tif 000047
【０２５０】
線形和重み算出部５２３６は、式（８１）によって求めた線形和重みｃ’ｆ，１（ｋ，ｉ）及びｃ’ｆ，２（ｋ，ｉ）をそのまま線形和算出部５２３７に出力してもよいし、次式により平滑化した線形和重みｃｆ，１（ｋ，ｉ）及びｃｆ，２（ｋ，ｉ）を線形和算出部５２３７に出力してもよい。
【０２５１】
【数４６】
2015019185.tif 000048
【０２５２】
本変形例では、平滑化した線形和重みｃｆ，１（ｋ，ｉ）及びｃｆ，２（ｋ，ｉ）を出力するものとする。
【０２５３】
((線形和算出部５２３７))
線形和算出部５２３７は、Ｐ×（Ｆ＋１）個の線形和重みｃｆ，１（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の線形和重みｃｆ，２（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域のエコーレプリカＹ＾_ＦＧ，ｆ（ｋ，ｉ）とを受け取り、次式のように、ｆ（ｆ≦Ｆ）において、再生信号Ｘ_ＧＲ，ｆ（ｋ，ｉ）とエコーレプリカＹ＾_ＦＧ，ｆ（ｋ，ｉ）との線形和Ｚ＾_ｆ（ｋ，ｉ）を算出し（ｓ５２３７）、この線形和Ｚ＾_ｆ（ｋ，ｉ）を残留エコーの推定値ΔＹ_ｆ（ｋ，ｉ）として減算部５２３５に出力する。
Ｚ^_f(k,i)=X_GR,f(k,i)cf,1(k,i)+Y^_FG,f(k,i)cf,2(k,i)    (83)
【０２５４】
（減算部５２３５）
減算部５２３５は、Ｐ×２Ｆ個の波数領域の収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の残留エコーの推定値ΔＹ_ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように波数領域で収音信号Ｙ_Ｄ，ｆ（ｋ，ｉ）から波数領域の残留エコーの推定値ΔＹ_ｆ（ｋ，ｉ）を差し引いて（ｓ５２３５）、残留エコーを消去した波数領域の収音信号Ｙ_ＤＳ，ｆ（ｋ，ｉ）を求め、出力する。
Y_DS,f(k,i)=Y_D,f(k,i)-ΔY_f(k,i)
【０２５５】
＜効果＞
このような構成により、第三実施形態と同様の効果を得ることができる。本変形例では、第三実施形態に比べ計算量は増えるが、エコーレプリカを残留エコー推定に含めることで、フレーム長が部屋の残響時間と比較して大幅に短い場合でも、残留エコー消去性能の劣化を抑えることができる。
【０２５６】
なお、第三実施形態またはその変形例と、第一〜第二実施形態またはその変形例とを組み合わせてもよい。
【０２５７】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の実施形態またはその変形例では、全周波数帯域において処理を行っているが、所望の音声処理性能を実現するために、各部、各装置において、対象とする周波数帯域を変更してもよい。例えば、エコー消去部１００の処理は、計算量が大きいが、得られるエコー消去効果も大きい。一方、波数領域残留エコー推定消去部５２３の処理は、エコー消去部１００と比べると計算量は小さいが、エコーを消去した場合と比べて、音声の明瞭性はそれほど変わらない。音声スイッチ装置３００は、さらに計算量が小さいが、音声の明瞭性はそれほど変わらない。そのため、エコー消去部１００の処理対象とする周波数帯域を３００〜３４００Ｈｚ程度に限定し、波数領域残留エコー推定消去部５２３の処理対象とする周波数帯域を３００〜７５００Ｈｚ程度に限定し、音声スイッチ装置３００の処理対象とする周波数帯域を３００〜２２０５０Ｈｚ程度にする。このような構成とすることで、聴覚上大きな影響を与える周波数帯域においては十分にエコーを消去しつつ、広帯域においてエコーを低減し、全帯域において減衰ゲインを適用することができ、計算量を抑えつつ、音声の明瞭性を効率よく向上させることができる。
【０２５８】
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【０２５９】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０２６０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０２６１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【０２６２】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０２６３】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2015019185.tif 000049
【図２】
2015019185.tif 000050
【図３】
2015019185.tif 000051
【図４】
2015019185.tif 000052
【図５】
2015019185.tif 000053
【図６】
2015019185.tif 000054
【図７】
2015019185.tif 000055
【図８】
2015019185.tif 000056
【図９】
2015019185.tif 000057
【図１０】
2015019185.tif 000058
【図１２】
2015019185.tif 000059
【図１３】
2015019185.tif 000060
【図１４】
2015019185.tif 000061
【図１５】
2015019185.tif 000062
【図１６】
2015019185.tif 000063
【図１７】
2015019185.tif 000064
【図１９】
2015019185.tif 000065
【図２０】
2015019185.tif 000066
【図２１】
2015019185.tif 000067
【図２２】
2015019185.tif 000068
【図２３】
2015019185.tif 000069
【図２４】
2015019185.tif 000070
【図２５】
2015019185.tif 000071
【図２６】
2015019185.tif 000072
【図２７】
2015019185.tif 000073
【図２８】
2015019185.tif 000074
【図２９】
2015019185.tif 000075
【図１１】
2015019185.tif 000076
【図１８】
2015019185.tif 000077