(57)【特許請求の範囲】
【請求項１】
受話信号がスピーカから出力されてマイクロホンに回り込んだ信号成分であるエコー成分をマイクロホン受音信号から消去するエコー消去装置であり、
複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する周波数領域変換手段と、
上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得るエコー推定手段と、
上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算するエコー抑圧ゲイン計算手段と、
上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧するゲイン乗算部と、
上記ゲイン乗算部による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する逆周波数領域変換部、
とを含み、
上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置される
ことを特徴とするエコー消去装置。
【請求項２】
請求項１記載のエコー消去装置において、
上記周波数領域変換手段は、上記メインマイクロホン受音信号と上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換する複数の周波数領域変換部を含んでおり、
上記エコー推定部は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する複数の結合量推定部と、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る複数のエコーレベル推定部と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成するエコーレベル統合部とを含むことを特徴とするエコー消去装置。
【請求項３】
請求項１記載のエコー消去装置において、
上記周波数領域変換手段は、上記受話信号と、上記メインマイクロホン受音信号と、少なくとも１つの上記サブマイクロホン受音信号をそれぞれ周波数領域受話信号と、上記周波数領域メインマイクロホン受音信号と、上記周波数領域サブマイクロホン受音信号とに変換する複数の周波数領域変換部を含んでおり、
上記エコー推定部は、上記周波数領域メインマイクロホン受音信号のレベルと、上記周波数領域受話信号と上記周波数領域受音信号のそれぞれのレベルとのレベル比を結合量として計算する複数の結合量推定部と、上記周波数領域受話信号と少なくとも１つの上記周波数領域サブマイクロホン受音信号に対しそれぞれ対応する結合量を乗算して複数のエコーレベルを得る複数のエコーレベル推定部と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成するエコーレベル統合部とを含むことを特徴とするエコー消去装置。
【請求項４】
請求項３記載のエコー消去装置において、
上記複数の周波数領域変換部は、上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ複数の周波数領域サブマイクロホン受音信号に変換する複数の周波数領域変換部を含んでおり、
上記複数の結合量推定部は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する複数の結合量推定部を含んでおり、上記複数のエコーレベル推定部は上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る複数のエコーレベル推定部を含んでおり、上記エコーレベル統合部はすべての上記エコーレベルの最大値又は平均値を上記推定エコーレベルとして生成するようにされていることを特徴とするエコー消去装置。
【請求項５】
請求項１乃至４のいずれか記載のエコー消去装置において、上記エコー推定手段は、上記受話信号のレベルに基づいて受話の有無を検出する受話検出手段と、受話が検出された区間は上記推定エコーレベルを上記エコー抑圧ゲイン計算部へ与え、検出されない区間は上記推定エコーレベルを上記エコー抑圧ゲイン計算部へ与えないようにするスイッチ手段とを含むことを特徴とするエコー消去装置。
【請求項６】
請求項１又は３記載のエコー消去装置において、更にメインビームフォーマとサブビームフォーマとが設けられており、
上記メインビームフォーマは、上記複数マイクロホン受音信号をそれぞれフィルタ処理する複数の第１フィルタと、上記複数の第１フィルタの出力を加算して加算結果を上記メインマイクロホン受音信号として出力する第１加算部とを含み、
上記サブビームフォーマは、上記複数マイクロホン受音信号をそれぞれフィルタ処理する複数の第２フィルタと、上記複数の第２フィルタの出力を加算して加算結果を上記サブマイクロホン受音信号として出力する第２加算部とを含み、
上記複数の第１フィルタの係数は上記スピーカ方向の受音信号成分を抑圧するよう設定されており、上記複数の第２フィルタの係数は送話音源方向の受音信号成分を抑圧するように設定されていることを特徴とするエコー消去装置。
【請求項７】
受話信号がスピーカから出力されてマイクロホンに回り込んだ信号成分であるエコー成分をマイクロホン受音信号から消去するエコー消去方法であり、
(a) 複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する過程と、
(b) 上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得る過程と、
(c) 上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算する過程と、
(d) 上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧する過程と、
(e) 上記過程(d) による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する過程、
とを含み、
上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置されている
ことを特徴とするエコー消去方法。
【請求項８】
請求項７記載のエコー消去方法において、
上記過程(a) は、上記メインマイクロホン受音信号と上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換する過程を含んでおり、
上記過程(b) は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する過程と、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る過程と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成する過程とを含むことを特徴とするエコー消去方法。
【請求項９】
請求項７記載のエコー消去方法において、
上記過程(a) は、上記受話信号と、上記メインマイクロホン受音信号と、少なくとも１つの上記サブマイクロホン受音信号をそれぞれ周波数領域受話信号と、上記周波数領域メインマイクロホン受音信号と、上記周波数領域サブマイクロホン受音信号とに変換する過程を含んでおり、
上記過程(b) は、上記周波数領域メインマイクロホン受音信号のレベルと、上記周波数領域受話信号と上記周波数領域受音信号のそれぞれのレベルとのレベル比を結合量として計算する過程と、上記周波数領域受話信号と少なくとも１つの上記周波数領域サブマイクロホン受音信号に対しそれぞれ対応する結合量を乗算して複数のエコーレベルを得る過程と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成する過程とを含むことを特徴とするエコー消去方法。
【請求項１０】
請求項９記載のエコー消去方法において、
上記過程(a) は、上記メインマイクロホン受音信号と上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換する過程を含んでおり、
上記過程(b) は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する過程と、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る過程と、全ての上記エコーレベルの最大値又は平均値を上記推定エコーレベルとして生成する過程とを含むことを特徴とするエコー消去方法。
【請求項１１】
請求項７乃至１０のいずれか記載のエコー消去方法において、上記過程(b) は、上記受話信号のレベルに基づいて受話の有無を検出する過程と、受話が検出された区間は上記推定エコーレベルを使って上記過程(c)によるゲインの計算を実行させ、検出されない区間は上記ゲインの計算を禁止する切替過程とを含むことを特徴とするエコー消去方法。
【請求項１２】
請求項７又は１０記載のエコー消去方法において、更に、
(f) 上記複数のマイクロホン受音信号をそれぞれ第１のフィルタ処理し、上記第１フィルタ処理の結果を加算して加算結果を上記メインマイクロホン受音信号として得る過程と、
(g)上記複数のマイクロホン受音信号をそれぞれ第２のフィルタ処理し、上記第２フィルタ処理の結果を加算して加算結果を上記サブマイクロホン受音信号として得る過程、
とを含み、第１フィルタ処理の係数は上記スピーカ方向の受音信号成分を抑圧するよう設定されており、上記第２フィルタ処理の係数は送話音源方向の受音信号成分を抑圧するように設定されていることを特徴とするエコー消去方法。
【請求項１３】
コンピュータを請求項１乃至６のいずれか記載のエコー消去装置として機能させるためのプログラム。
【請求項１４】
コンピュータを請求項１乃至６のいずれか記載のエコー消去装置として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、TV会議や音声会議などハンズフリー通信のエコー消去方法および装置に関する。
【背景技術】
【０００２】
従来技術のエコー消去装置について説明する。
図９は特許文献１で開示された従来技術のエコー消去装置の構成図である。従来技術のエコー消去装置１０は、周波数領域変換部１１と、結合量推定部１２と、エコーレベル推定部１３と、エコー抑圧ゲイン計算部１４と、周波数領域変換部１５と、ゲイン乗算部１６と、逆周波数領域変換部１７とにより構成されている。
【０００３】
このエコー消去装置は、スピーカとマイクロホンを用いた拡声通話においてマイクロホン受音信号に混入するスピーカ音である音響エコーを消去する。エコー消去装置１０の入力信号は、通話相手から受信して自地点のスピーカ３１から受話音声として出力する信号である受話信号x(t)と、自地点のマイクロホン３２で受音した信号であるマイクロホン受音信号y(t)であり、出力信号は、通話相手への送信信号である送話信号e(t)である。この装置１０は、マイクロホン受音信号y(t)に含まれる音響エコーの周波数スペクトルを推定してマイクロホン受音信号中の音響エコーを抑圧するゲインを求め、周波数領域に変換されたマイクロホン受音信号に音響エコーを抑圧するゲインを乗算することにより、マイクロホン受音信号に含まれる音響エコーを消去する。
【０００４】
以下に、従来のエコー消去装置の動作について図１０を参照して説明する。
図１０は、図９におけるエコー消去装置１０と、スピーカ３１と、マイクロホン３２間の各信号の関係を等価モデルで表している。受話信号x(t)、マイクロホン受音信号y(t)、送話信号e(t)をそれぞれ短時間フレームで周波数領域に変換した信号を、X(ω,n)、Y(ω,n)、E(ω,n)と表す。ただし、離散化されたｔは時刻、ωは離散化された周波数、ｎはフレーム番号を表す。ここで、周波数領域への変換手順について受話信号x(t)の周波数領域変換を例に図１１を用いて詳細に説明する。受話信号x(t)のうち0〜(N−1)番目までのＮ個のサンプルの信号に対し、窓関数を乗算してからフーリエ変換して、フレーム#0の周波数領域信号X(ω,0)を求める。次に、ＴサンプルシフトしたT〜(N−1＋T)番目までのＮ個のサンプルの信号に対し、同様に、窓関数を乗算してからフーリエ変換して、フレーム#1の周波数領域信号X(ω,1)を得る。この手順をＴサンプルずつシフトしながら繰り返し、各フレームにおける周波数領域信号X(ω,n)(n=0, 1, …)を求める。
【０００５】
次に、図９においてスピーカ３１からマイクロホン３２までの音の伝達経路３３の伝達特性は線形であり、その空間応答（インパルス応答）をr(t)、伝達関数（インパルス応答を周波数領域変換したもの）をR(ω)で表す。一般にスピーカ特性は、振幅の大きな信号の入力に対して、出力が頭打ちになるような非線形の応答特性をもっているので、図１０においてスピーカ３１の特性は線形応答部31Aと非線形応答部31Bに分けて考え、その線形応答部31Aのインパルス応答をg(t)、伝達関数をG(ω)とし、非線形応答部31Bの時間領域での特性を関数ｆ、周波数領域での特性をＦとして表す。これら線形応答部31Aと非線形応答部31Bの出力は加算部31Cで加算されてスピーカ３１の出力となる。また、近端話者４０の音声をs(t)、短時間フレームで周波数領域に変換した近端話者音声をS(ω,n)とし、近端話者４０からマイクロホン３２までの伝達経路３４のインパルス応答をc(t)、伝達関数をC(ω)で表す。
【０００６】
これらから、マイクロホン受音信号y(t)は次式(1)で表される。
y(t)＝g(t)*r(t)*x(t)＋r(t)*f(x(t))＋c(t)*s(t)                    (1)
ただし、＊は畳み込み演算を表す。これを周波数領域で表現すれば、式(2)となる。
Y(ω,n)＝G(ω)R(ω)X(ω,n)＋R(ω)F(X(ω,n))＋C(ω)S(ω,n)        (2)
更に、パワースペクトルで表現すれば、式(3)となる。
|Y(ω,n)|2＝|G(ω)R(ω)|2|X(ω,n)|2＋|R(ω)|2|F(X(ω,n))|2＋|C(ω)|2|S(ω,n)|2
(3)
ただし|・|は、絶対値を表す。なお、式(3)における右辺の第１項と第２項がそれぞれスピーカ３１からマイクロホン３２に至る線形音響エコー成分及び非線形音響エコー成分に相当する。
【０００７】
ここで、エコー消去装置に求められるのは、マイクロホン受音信号のパワースペクトル|Y(ω)|2に含まれる音響エコー成分を抑圧するゲインを求め、そのゲインをマイクロホン受音信号の周波数領域信号Y(ω)に乗算して、音響エコー成分を抑圧することである。即ち、マイクロホン受音信号y(t)のパワースペクトルに|Y(ω)|2に、ゲインのパワースペクトルH(ω,n)2を乗算した結果が、話者音声s(t)のマイクロホン３２への入力成分のパワースペクトル|C(ω)|2|S(ω,n)|2と等しくなることが理想である。これを式で表せば式(4)となる。
H(ω,n)2|Y(ω,n)|2＝|C(ω)|2|S(ω,n)|2                          (4)
式(4)をゲインH(ω,n)について解けば、式(5)となる。
H(ω,n)＝SQRT(|C(ω)|2|S(ω,n)|2／|Y(ω,n)|2)                  (5)
ただし、SQRT(・)は、平方根をとることを意味する。
【０００８】
ここで、|C(ω)|2|S(ω,n)|2は、実際には観測不可能であるので、式(3)を変形して式(5)に代入すれば、次式(6)のようになる。
【数１】
0004700673.tif 000002
しかし、図９に示す従来のエコー消去装置では、スピーカの非線形成分（即ち歪成分）である|F(X(ω,n))|2は観測不可能であるので、従来のエコー消去装置のエコー抑圧ゲイン計算部１４で計算されるゲイン値Hconv(ω,n)は、スピーカの歪成分を無視した次式(7)
【数２】
0004700673.tif 000003
により求めていた。このため、従来のエコー消去装置では、スピーカの歪成分の抑圧はできない。ここで、|G’(ω)R’(ω)|は、スピーカ３１からマイクロホン３２までの伝達関数の推定スペクトルであり推定結合量と呼ぶ。
【０００９】
ここまでで、従来のエコー消去装置で計算されるゲイン値を導出した。以下に、具体的な処理内容について図９を参照して述べる。
周波数領域変換部１１は、受話信号x(t)を図１１で説明したと同様の処理により周波数領域の信号X(ω,n)に変換する。周波数領域変換部１５は、マイクロホン受音信号y(t)を周波数領域の信号Y(ω,n)に変換する。変換方法は周波数領域変換部１１と同様である。
【００１０】
結合量推定部１２は、周波数領域変換部１１の出力X(ω,n)と、周波数領域変換部１５の出力Y(ω,n)から、スピーカ３１とマイクロホン３２間の結合量の推定値|G’(ω)R’(ω)|を求める。結合量はスピーカ３１とマイクロホン３２間の伝達関数の振幅であり、周波数領域のスピーカ出力信号X(ω,n)と周波数領域のマイクロホン受音信号Y(ω,n)の絶対値の比で求められる。また、結合量の精度を向上するために時間平滑化が行われる。即ち、推定結合量|G’(ω)R’(ω)|は式(8)により求めることができる。
|G’(ω)R’(ω)|＝Avg{|Y(ω,n)|／|X(ω,n)|}                      (8)
ただし、Avg(・)はωの各値での平均値を取ることを表す。
【００１１】
エコーレベル推定部１３は、周波数領域変換部１１の出力X(ω,n)と、結合量推定部１２の出力である推定結合量|G’(ω)R’(ω)|から、推定エコーレベル|Z(ω,n)|を求める。推定エコーレベルは、次式(9)
|Z(ω,n)|＝|G’(ω)R’(ω)||X(ω,n)|                              (9)
で示すように受話信号と結合量を乗算して求められる。
【００１２】
エコー抑圧ゲイン計算部１４は、エコーレベル推定部１３の出力|Z(ω,n)|と、周波数領域変換部１５の出力Y(ω,n)から、エコーを抑圧するゲインHconv(ω,n)を求める。ゲインを求めるための式は、すでに式(7)として導出しているので、これに、式(9)を代入して得られる次式(10)により計算される。
Hconv(ω,n)＝SQRT{(|Y(ω,n)|2−|Z(ω,n)|2)/|Y(ω,n)|2}            (10)
【００１３】
ゲイン乗算部１６は、エコー抑圧ゲイン計算部１４で求められたゲインHconv(ω,n)を、周波数領域変換部１５の出力Y(ω,n)に乗算し、送話信号の周波数領域信号E(ω,n)を求める。これを式で表せば式(11)となる。
E(ω,n)＝Hconv(ω,n)Y(ω,n)                                      (11)
【００１４】
逆周波数領域変換部１７は、ゲイン乗算部１６の出力信号E(ω,n)を、逆周波数領域変換して、このエコー消去装置１０の出力である送話信号e(t)を出力する。逆周波数領域変換の詳細な手順を図１２を用いて説明する。ゲイン乗算部１６の出力信号E(ω,n)をＮサンプルのフレーム毎に逆フーリエ変換してから窓関数を乗算する。次に、それら窓関数を乗算して得られたそれぞれＮサンプルの信号をＴサンプルずつずらして加算することで、出力信号e(t)を求め、出力する。
【００１５】
以上示した方法により、従来技術のエコー消去装置はエコー成分を消去する。しかし、従来のエコー消去装置では、スピーカの歪が大きい場合、その歪成分（非線形成分）は消去されない。これは、エコーを抑圧するゲインを求める式を導出する際に、式(6)における観測不可能なスピーカの歪成分|R(ω)|2|F(ω,n))|2を無視したためである。
【特許文献１】特開2005-250266
【発明の開示】
【発明が解決しようとする課題】
【００１６】
従来のエコー消去装置において消去可能なエコーは、線形のエコー経路を通ってマイクロホンに到達したエコー成分のみで、非線形のエコー成分は消去できない。従って、非線形性が強いスピーカ等を用いた場合、十分なエコー抑圧性能が得られないという問題が生じる。
【００１７】
本発明が解決しようとする課題は、非線形性が強いスピーカ等を用いた場合でも、高いエコー消去性能を実現するエコー消去方法及び装置を提供することである。
【課題を解決するための手段】
【００１８】
この発明によれば、受話信号がスピーカから出力されてマイクロホンに回り込んだ信号成分であるエコー成分をマイクロホン受音信号から消去するエコー消去装置は、
複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する周波数領域変換手段と、
上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得るエコー推定手段と、
上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、    上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算するエコー抑圧ゲイン計算手段と、
上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧するゲイン乗算部と、
上記ゲイン乗算部による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する逆周波数領域変換部、
とを含み、
上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置される
ように構成される。
【００１９】
この発明によれば、受話信号がスピーカから出力されてマイクロホンに回り込んだ信号
成分であるエコー成分をマイクロホン受音信号から消去するエコー消去方法は、
(a) 複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する過程と、
(b) 上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得る過程と、
(c) 上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算する過程と、
(d) 上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧する過程と、
(e) 上記過程(d) による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する過程、
とを含み、
上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置される。
【発明の効果】
【００２０】
本発明によれば、線形な音響エコーと、スピーカの歪特性により発生する非線形な音響エコーの両方を抑圧し、高いエコー消去性能を実現できる。更に、近端話者音声の劣化が小さく高品質な収音が実現できる。
【発明を実施するための最良の形態】
【００２１】
実施例１
図１は、本発明の第１の実施例であるエコー消去装置のブロック図である。図９における対応するものに同様の参照符号をつけて示してある。
本実施例のエコー消去装置は、図９の従来構成におけるマイクロホン３２と周波数領域変換部１５に対応するものをメインマイクロホン３２1及び周波数領域変換部１５１とすると、サブマイクロホン３２2〜３２M（Ｍは２以上の整数）とそれに対応する周波数領域変換部１５2〜１５Mと、結合量推定部２１2〜２１Mと、エコーレベル推定部２２2〜２２Mが追加され、図９における受話信号x(t)に対する周波数領域変換部１１、結合量推定部１２、エコーレベル推定部１３が省略されている。更に、２２2〜２２Mの出力を統合するエコーレベル統合部２３が設けられ、その出力がエコー抑圧ゲイン計算部１４に与えられるように構成されている。結合量推定部２１２〜２１Ｍと、エコーレベル推定部２２２〜２２Ｍと、エコーレベル統合部２３はエコー推定部２０を構成している。ただし、後述の説明から明らかなように、エコーレベル統合部２３は使用するマイクロホンの数が３個以上の場合に必要であり、２個の場合は必要でない。
【００２２】
図２は本実施例のエコー消去装置100の入出力信号を説明する図である。本実施例のエコー消去装置100の入力信号は、通話相手から通信網５０を通して与えられた受話信号x(t)に応じて自地点のスピーカ３１から出力された受話音声と、近端話者４０の送話音声とを自地点の２以上のマイクロホン３２1〜３２Mで受音した信号である２チャネル以上のマイクロホン受音信号y1(t)〜yM(t)であり、出力信号は、通話相手への送信信号である送話信号e(t)である。ただし、図２は２つのマイクロホン３２1,３２2を使用する場合を示している。各マイクロホン受音信号ym(t)（m=1, 2）は、近端話者４０から経路３４ｍを通ってマイクロホン３２ｍに入力される送話音声に加えて、スピーカ３１の出力音が経路３３mを通ってマイクロホン３２mに回り込んだ信号である音響エコー成分が含まれる。エコー消去装置100はこの音響エコー成分を消去し、会話をしやすくする。また、エコー消去装置100の各入力信号は、AD変換により、アナログ信号から離散時間の信号に変換され、各出力信号は、離散時間信号からDA変換によりアナログ信号に変換されているものとする。
【００２３】
図３は図１におけるエコー消去装置100と、スピーカ３１と、マイクロホン３２1〜３２M間の信号の関係を等価的に表している。ただし、図３ではM=2の場合を示している。受話信号をx(t)、２以上のマイクロホン３２1〜３２Mで受音したＭチャネルのマイクロホン受音信号をy1(t),…,yM(t)、送話信号をe(t)と表す。これらの信号をそれぞれフレームごとに周波数領域に変換した信号をそれぞれX(ω,n)、Y1(ω,n),…,YM(ω,n)、E(ω,n)と表す。周波数領域への変換方法については、従来のエコー消去装置と同様であり、図１１で説明した手順により周波数領域への変換が行われる。ただし、ｔは離散時刻、ωは離散周波数、ｎはフレーム番号を表す。
【００２４】
次に、スピーカ３１から各マイクロホン３２1〜３２Mまでの音の伝達経路３３1〜３３Mの伝達特性は線形であり、そのインパルス応答をr1(t),…,rM(t)、伝達関数（インパルス応答を周波数領域に変換したもの）をR1(ω),…,RM(ω)で表す。
【００２５】
スピーカ３１は、振幅の大きな信号の入力に対して、出力が頭打ちになるような非線形の特性をもっているので、図１０の場合と同様に線形応答特性を有する線形応答部３１Ａと非線形応答特性を有する非線形応答部３１Ｂに分けて考え、その線形応答部３１Ａのインパルス応答をg(t)、伝達関数をG(ω)とし、非線形応答部３１Ｂの時間領域での特性を関数ｆとし、周波数領域での特性をＦで表す。近端話者４０の発話音声をs(t)、その周波数領域信号をS(ω,n)とし、近端話者４０から各マイクロホン３２1〜３２Mまでの伝達経路３４1〜３４Mのインパルス応答をc1(t),…,cM(t)、伝達関数をC1(ω),…,CM(ω)で表す。
【００２６】
これらから、マイクロホン受音信号ym(t)は次式(12)で表すことができる。ただし、ｍ(m=1, …, M)はマイクロホン番号を表す。
ym(t)＝g(t)*rm(t)*x(t)＋rm(t)*f(x(t))＋cm(t)*s(t)                (12)
ここで、＊は畳み込み演算を表す。周波数領域変換後の各マイクロホン受音信号Ym(ω)は次式(13)で表される。
Ym(ω,n)＝G(ω)Rm(ω)X(ω,n)＋Rm(ω)F(X(ω,n))＋Cm(ω)S(ω,n)   (13)
【００２７】
更に、マイクロホン受音信号のパワースペクトル|Ym(ω)|2は次式(14)で表される。
|Ym(ω,n)|2＝|G(ω)Rm(ω)|2|X(ω,n)|2＋|Rm(ω)|2|F(X(ω,n))|2
＋|Cm(ω)|2|S(ω,n)|2                               (14)
ただし|・|は、絶対値を表す。また、右辺第1項目の成分を線形エコー成分、右辺第２項目の成分を非線形エコー成分と呼ぶ。
【００２８】
ここで、エコー消去装置に求められるのは、メインマイクロホン受音信号y1(t)のパワースペクトル|Y1(ω)|2に含まれる音響エコー成分を抑圧するゲインを求め、そのゲインをメインマイクロホン受音信号y1(t)の周波数領域信号Y1(ω)に乗算して、音響エコー成分を抑圧することである。即ち、メインマイクロホン受音信号y1(t)のパワースペクトル|Y1(ω)|2に、ゲインのパワースペクトルH(ω,n)2を乗算したときに、話者音声の、メインマイクロホン３２1への入力音声成分のパワースペクトル|Cm(ω)|2|S(ω,n)|2となることが理想である。これを式で表せば式(15)となる。
H(ω,n)2|Y1(ω,n)|2＝|C1(ω)|2|S(ω,n)|2                        (15)
式(15)をゲインH(ω,n)について解けば、式(16)となる。
H(ω,n)＝SQRT{|C1(ω)|2|S(ω,n)|2/|Y1(ω,n)|2}                  (16)
ただし、SQRT(・)は、平方根をとることを意味する。ここで、|C1(ω)|2|S(ω,n)|2は、実際には観測不可能であるので、式(14)を変形して式(16)に代入すれば、次式(17)が得られる。
【数３】
0004700673.tif 000004
【００２９】
式(17)で表されるゲインを求めるには、線形エコー成分と非線形エコー成分を加算して得られるエコー信号成分のパワースペクトル(|G(ω)R1(ω)|2|X(ω,n)|2＋|R1(ω)|2|F(X(ω,n))|2)を推定する必要がある。サブマイクロホン受音信号ym(t)のパワースペクトル|Ym(ω,n)|2、m=2,…,M、に結合量推定部１２ｍで得たサブマイクロホン３２ｍとメインマイクロホン３２１間の結合量の推定値|R’1(ω)|/|R’m(ω)|のパワースペクトル|R’1(ω)|2/|R’m(ω)|2をエコーレベル推定部１３ｍで乗算すれば、式(14)を使って次式(18)
|Ym(ω,n)|2|R’1(ω)|2/|R’m(ω)|2
＝|G(ω)|2|R’1(ω)|2(|Rm(ω)|2/|R’m(ω)|2)|X(ω,n)|2
＋|R’1(ω)|2(|Rm(ω)|2/|R’m(ω)|2)|F(X(ω,n))|2
＋(|R’1(ω)|2/|R’m(ω)|2)|Cm(ω)|2|S(ω,n)|2
≒|G(ω)|2|R’1(ω)|2|X(ω,n)|2＋|R’1(ω)|2|F(X(ω,n))|2
＋(|R’1(ω)|2/|R’m(ω)|2)|Cm(ω)|2|S(ω,n)|2            (18)
が得られる。ただし、|Rm(ω)|2/|R’m(ω)|2=1としている。(|R’1(ω)|2/|R’m(ω)|2)|Cm(ω)|2が十分小さければ、式(18)から推定線形エコー成分と推定非線形エコー成分の和である推定エコー信号のパワースペクトルが次式(19)
|Zm(ω,n)|2＝|Ym(ω,n)|2|R’1(ω)|2/|R’m(ω)|2
≒|G(ω)R’1(ω)|2|X(ω,n)|2＋|R’1(ω)|2|F(X(ω,n))|2      (19)
のように表されることがわかる。この(|R’1(ω)|2/|R’m(ω)|2)|Cm(ω)|2が十分小さくなる条件が成立するためには、マイクロホンとスピーカの配置に工夫が必要であり、これについては後述する。
【００３０】
図１の構成において、サブマイクロホンの数は１つ（即ちM=2）でもよいが、近似の精度を高めるため、サブマイクロホンの数を２以上とし、後述するようにメインマイクロホン３２１と各サブマイクロホン３２ｍ間の結合量|R’1(ω)|/|R’m(ω)|の推定値から求めたZm(ω,n)、m=2,…, M、を統合して推定エコーレベルZ(ω,n)を決めている。
【００３１】
次に、サブマイクロホンの受音信号|Y2(ω)|〜|YM(ω)|にそれぞれ推定結合量|R’(ω)|/|R’2(ω)|〜|R’(ω)|/|R’M(ω)|を乗算して求めた推定エコーレベルZ2(ω,n)〜ZM(ω,n)を統合して得た統合推定エコーレベルにより、式(17)中の線形エコー成分と非線形エコー成分のパワースペクトルの和|G(ω)R1(ω)|2|X(ω,n)|2＋|R1(ω)|2|F(X(ω,n))|2を推定する。推定エコーレベルの統合方法としては、得られた推定エコーレベルZ2(ω,n)〜ZM(ω,n)の各ωの値における最大値を取る方法や、平均を取る方法がある。
【００３２】
統合後の推定エコーレベルをZ(ω,n)と表すと、本実施例で計算されるエコー抑圧ゲインは次式(20)
Hprop(ω,n)＝SQRT{(|Y(ω,n)|2−|Z(ω,n)|2)/|Y(ω,n)|2}            (20)
で表される。ここで、本実施例の推定エコーレベルZ(ω,n)には、線形エコーと非線形エコーの両方の成分が含まれているので、その両方を抑圧することができる。
【００３３】
以上までで、本実施例におけるエコーを抑圧するためのゲインHprop(ω,n)を求める式の導出を行った。なお、式(20)では信号のパワーレベルに基づいてゲインの計算を行っているが、次式(20’)のように信号の振幅レベルに基づいてゲインを計算してもよい。
Hprop(ω,n)＝(|Y(ω,n)|−|Z(ω,n)|)/|Y(ω,n)|                (20’)
この式(20’)によれば、ゲインの精度は悪くなるが、演算量が少なくなる利点がある。後述の他の実施例においても同様であり、ゲインを計算する場合、扱う信号のレベルはパワーレベルでも振幅レベルでもよい。
【００３４】
以下に、図１における各部の具体的な動作について説明する。
メインマイクロホン受音信号に対する周波数領域変換部１５１とサブマイクロホン受音信号に対する周波数領域変換部１５２〜１５Ｍは、マイクロホン受音信号y1(t)〜yM(t)を周波数領域の信号Y1(ω,n)〜YM(ω,n)に変換する。変換方法は図１１で説明した受話信号x(t)に対する周波数領域変換方法と同様である。
【００３５】
サブマイクロホン受音信号y2(t)〜yM(t)ごとに設けられた結合量推定部１２２〜１２Ｍ  は、各サブマイクロホン受音信号y2(t)〜yM(t)とメインマイクロホン受音信号y1(t)間の結合量を推定する。結合量はスピーカとマイクロホン間の伝達関数の振幅であり、スピーカ出力信号とマイクロホン受音信号の周波数領域における絶対値の比で求められる。また、結合量の精度を向上するために時間平滑化が行われる。例えば推定結合量|G’(ω)R’1(ω)|は式(21)により求められる。
|G’(ω)R’1(ω)|＝Avg{|Y1(ω,n)|/|X(ω,n)|}                  (21)
ただし、Avg(・)はωの各値での平均値を取ることを表す。
【００３６】
次に、サブマイクロホン受音信号ym(t)に対する結合量推定部１２ｍ(m=2, …, M)は、サブマイクロホン受音信号ym(t)に対する周波数領域変換部１５ｍの出力Ym(ω,n)と、メインマイクロホン受音信号y1(t)に対する周波数領域変換部１５１の出力Y1(ω,n)から、メインマイクロホン３２１とサブマイクロホン３２ｍ間の結合量の推定値|R’1(ω)|/|R’m(ω)|を求める。受話信号x(t)に対する結合量推定部１２と同様にして、結合量|R’1(ω)|/|R’m(ω)|は式(22)により推定される。
|R’1(ω)|/|R’m(ω)|＝Avg{|Y1(ω,n)|/|Ym(ω,n)|}              (22)
ただし、Avg(・)はωの各値での平均値を取ることを表す。
【００３７】
サブマイクロホン受音信号ym(t)、m=2, …, M、に対するエコーレベル推定部１３ｍは、サブマイクロホン受音信号ym(t)に対するの周波数領域変換部１５ｍの出力Ym(ω,n)、m＝2,…,Mと、結合量推定部１２ｍの出力|R’1(ω)|/|R’m(ω)|から、推定エコーレベル|Zm(ω,n)|、m＝2,…,Mを求める。この推定エコーレベルは、次式(23)に示すようにサブマイクロホン受音信号と結合量を乗算して求められる。
|Zm(ω,n)|＝(|R’1(ω)|/|R’m(ω)|)|Ym(ω,n)|                  (23)
【００３８】
エコーレベル統合部１８は、各エコーレベル推定部１３２〜１３Ｍの出力|Zm(ω,n)|、m＝2,…,Mを、１つのエコーレベル|Z(ω,n)|に統合する。統合は最大値を取る方法、または平均値を取る方法により行われる。最大値を取る方法では、次式(24)により統合エコーレベル|Z(ω,n)|が求められ、平均値を取る方法では、次式(25)により統合エコーレベル|Z(ω,n)|が求められる。
|Z(ω,n)|＝Maxm(|Zm(ω,n)|)                                    (24)
|Z(ω,n)|＝Avem(|Zm(ω,n)|)                                    (25)
ただし、Maxm(・)はωの各値においてｍを変化させて最大値を取ることを意味し、Avem(・)はωの各値においてｍを変化させて平均値を取ることを意味する。
【００３９】
エコー抑圧ゲイン計算部１４は、エコーレベル統合部１８の出力|Z(ω,n)|と、メインマイクロホン受音信号y1(t)に対する周波数領域変換部１５１の出力Y1(ω,n)から、エコーを抑圧するゲインHprop(ω,n)を求める。ゲインは、メインマイクロホン受音信号y1(t)のパワースペクトル|Y1(ω,n)|2から、統合したエコーレベルのパワースペクトル|Z(ω,n)|2を減算して得た推定送話音声レベルを、メインマイクロホン受音信号y1(t)のパワースペクトル|Y1(ω,n)|2で割って求められる。これを式で表せば、次式(26)となる。
Hconv(ω,n)＝SQRT{(|Y1(ω,n)|2−|Z(ω,n)|2)/|Y1(ω,n)|2}        (26)
【００４０】
ゲイン乗算部１６は、エコー抑圧ゲイン計算部１４で求められたゲインHprop(ω,n)を、メインマイクロホン受音信号y1(t)に対する周波数領域変換部１５１の出力Y1(ω,n)に乗算することにより、送話信号e(t)の周波数領域信号E(ω,n)を得る。これを式で表せば式(27)となる。
E(ω,n)＝Hprop(ω,n)Y1(ω,n)                                  (27)
【００４１】
逆周波数領域変換部１７は、ゲイン乗算部１６の出力信号E(ω,n)を、図１２で説明したと同様の処理により逆周波数領域変換して、本実施例のエコー消去装置100の出力である送話信号e(t)を出力する。
【００４２】
次に、マイクロホンとスピーカの配置について述べる。
サブマイクロホン受音信号ym(t)(m=2, …, M)から求められる推定エコーレベル|Zm(ω,n)|には、式(18)で示したように、近端話者音声の成分|S(ω,n)|も混合している。推定エコーレベルに近端話者音声の成分が含まれると、近端話者音声までも抑圧してしまうゲインが決まってしまうため、送話音声が劣化する。これを防ぐには、式(18)中の(|R’1(ω)|2/|R’m(ω)|2)|Cm(ω)|2を小さくする必要がある。そのためには、スピーカ３１からサブマイクロホン３２ｍまでの伝達関数の振幅|R’m(ω)|、m＝2,…,Mが大きく、スピーカ３１からメインマイクロホン３２１までの伝達関数の振幅|R’1(ω)|が小さく、近端話者からサブマイクロホン３２ｍまでの伝達関数の振幅|Cm(ω)|、m＝2,…,Mが小さくなればよい。このひとつの方法として、マイクロホンの配置に工夫をすることが考えられる。例えば図４に示すように、単一指向性マイクロホンを２つ使い、メインマイクロホン３２１は、感度の高い方向を近端話者４０に向け、感度の低い方向をスピーカ３１に向ける。また、サブマイクロホン３２２は、逆に感度の高い方向をスピーカ３１に向け、感度の低い方向を近端話者４０に向ける。このような配置とすることで、|Cm(ω)|、m＝2,…,Mの振幅が小さくなり、更に、|R’1(ω)|の振幅が小さくなり、|R’m(ω)|、m＝2,…,Mの振幅が大きくなる。この工夫により、近端話者音声の劣化を小さくすることができる。
【００４３】
以上示した説明したように、この発明では、エコー推定部２０によりメインマイクロホン受音信号とサブマイクロホン受音信号間の結合量に基づいてエコーレベルを推定している。式(18)で示したように推定エコーレベルには線形エコー成分と非線形エコー成分が含まれており、従って、そのような推定エコーレベルから求めたエコー抑圧ゲインをメインマイクロホン受音信号に乗算することにより、メインマイクロホン受音信号に含まれる線形エコー成分と非線形エコー成分の両方を抑圧することができる。
【００４４】
本実施例のエコー消去装置100は、スピーカの歪が大きい場合でも、その歪成分に起因する非線形エコーと線形のエコー成分の両方を抑圧し、快適なハンズフリー通話を実現することができる。
【００４５】
図１の実施例において、Ｍは２以上の整数であるが、Ｍ＝２の場合は当然エコーレベル統合部２３は不要であり、エコーレベル推定部２２Ｍの出力推定エコーレベルZM(ω,n)は直接エコー抑圧ゲイン計算部１４に与えられる。
実施例２
【００４６】
図５はこの発明による第２実施例のエコー消去装置を示すブロック図である。
この実施例は、図１の実施例に対し、図９で説明した従来のエコー推定方法を組み合わせることにより、よりエコー推定精度をより高めることを意図しており、図１の構成に、図９と同様に受話信号x(t)に対する周波数領域変換部１１と、結合量推定部１２と、エコーレベル推定部１３を追加したものである。エコー推定部２０はこれら結合量推定部１２とエコーレベル推定部１３を含んでおり、エコーレベル統合部２３はエコーレベル推定部１３，２２２〜２２Ｍで求めた推定エコーレベルZ1(ω,n), Z2(ω,n)〜ZM(ω,n)を統合して推定エコーレベルZ(ω,n)を生成する。
【００４７】
式(6), (7)で説明したと同様に、式(17)中の線形エコー成分|G(ω)R1(ω)|2|X(ω,n)|2はスピーカとマイクロホン間の結合量の推定値|G’(ω)R’1(ω)|を次式(28)のように受話信号|X(ω,n)|に乗算して得られる推定エコーレベル
|Z1(ω,n)|＝|G’(ω)R’1(ω)||X(ω,n)|                      (28)
から推定することができる。
【００４８】
受話信号x(t)に対する周波数領域変換部１１は、受話信号x(t)を図１１で説明した処理により周波数領域の信号X(ω,n)に変換する。受話信号x(t)に対する結合量推定部１２は、受話信号x(t)に対する周波数領域変換部１１の出力X(ω,n)と、メインマイクロホン受音信号y1(t)に対する周波数領域変換部１５１の出力Y1(ω,n)から、スピーカ３１とメインマイクロホン３２１間の結合量の推定値|G’(ω)R’1(ω)|を次式(29)により求める。
|G’(ω)R’1(ω)|＝Avg{|Y1(ω,n)|/|X(ω,n)|}              (29)
【００４９】
受話信号のエコーレベル推定部１３は、受話信号x(t)に対する周波数領域変換部１１の出力X(ω,n)と、結合量推定部１２の出力|G’(ω)R’1(ω)|から、推定エコーレベル|Z1(ω)|を次式(29)により求める。
|Z1(ω,n)|＝Avg{|Y1(ω,n)|/|X(ω,n)|}|X(ω,n)|                  (30)
【００５０】
エコーレベル統合部２３は、エコーレベル推定部１３，２２２〜２２Ｍで得られた推定エコーレベル|Z1(ω,n)|〜|ZM(ω,n)|を統合して推定エコーレベルZ(ω,n)を出力する。統合方法としては、例えば第１実施例で説明したと同様に、各ωの値での最大値、又は平均値を取ればよい。その他の部分の構成及び動作は図１の実施例と同様なので説明を省略する。
実施例３
【００５１】
図６は、この発明による第３の実施例のエコー消去装置を示すブロック図である。本実施例のエコー消去装置100は、図５の実施例におけるエコー推定部２０内に、受話検出部２４とスイッチ部２５を追加した構成である。
【００５２】
受話検出部２４は、受話信号x(t)に対する周波数領域変換部１１の出力X(ω,n)のレベルを観測し、受話が存在する区間を検出する。検出は、例えば、予め設定した固定閾値と、受話信号X(ω,n)のレベルを比較し、受話信号のレベルが大きい場合に受話として検出する。あるいは、受話信号と背景ノイズのレベル比を固定閾値と比較して検出してもよい。スイッチ部２５は、エコーレベル統合部２３とエコー抑圧ゲイン計算部１４の間に挿入されており、受話検出部２４で受話が検出されたときにONとなり、受話が検出されないときにOFFとなり、エコーレベル統合部２３の出力信号をON/OFFする。スイッチ部２５がOFFの時には、スピーカ３１から受話音が出力されていない（従ってエコーは生じていない）。この時、エコー抑圧ゲイン計算部１４は、推定エコーレベルが与えられないので、ゲイン＝１（又は固定値）をゲイン乗算部１６に与える。従って、エコーを含まない受音信号|Y1(ω)|はそのまま逆周波数領域変換部１７に与えられる。
【００５３】
これらの処理により、近端話者の発話が有り、受話が無い区間では、スイッチがOFFとなっているので、エコーレベル統合部２３の出力が遮断され、サブマイクロホン受音信号y2(t)〜yM(t)に混合する近端話者音声成分の影響による送話音声の劣化がなくなる。また、受話が有る場合は、スイッチがONとなるので、図５の実施例と同様の性能でエコーを抑圧することができる。これら以外の部分に関しては図５の実施例と同様であるので説明を省略する。なお、図６では、受話検出部２４は周波数領域受話信号|X(ω)|から受話の検出を行う場合を示したが、破線で示すように時間領域の受話信号x(t)のレベルから受話を検出してもよい。
【００５４】
この第３実施例は、図５の実施例に受話検出部２４とスイッチ２５を設ける例として説明したが、このような受話検出部２４とスイッチ２５の構成を図１の実施例に同様に設けてもよい。図１又は図５に設ける場合のいずれにおいても、サブマイクロホンは１個でもよい。この第３実施例によれば、第１又は第２の実施例の効果に加えて、近端話者の音声のみが存在する区間において、近端話者音声の劣化をなくすことができる。
実施例４
【００５５】
図７は、本発明による第４の実施例のエコー消去装置を示すブロック図である。
本実施例のエコー消去装置100は、図５の実施例に、Ｍチャネルの固定フィルタと加算器で構成されるメインビームフォーマ２６とサブビームフォーマ２７を追加した構成である。この実施例では、Ｍ個のマイクロホン３２１〜３２Ｍに対し、メイン、サブの区別を付けず、Ｍ個のマイクロホンの出力がメインビームフォーマ２６とサブビームフォーマ２７の両方に与えられる。メインビームフォーマ２６はＭ個の固定フィルタ部26F1〜26FMと加算部26Aを有し、近端話者の方向に感度が高くなるよう固定フィルタ部26F1〜26FMの係数が設定される。メインビームフォーマ２６の出力は前述の各実施例におけるメインマイクロホン受音信号として使用される。サブビームフォーマ２７もＭ個の固定フィルタ部27F1〜27FMと加算部27Aを有し、スピーカ３１の方向に感度が高くなるよう固定フィルタ部27F1〜27FMの係数が設定される。サブビームフォーマ２７の出力は前述の各実施例におけるサブマイクロホン受音信号として使用される。
【００５６】
メインビームフォーマ２６の固定フィルタ部26F1〜26FMはＭチャネルのマイクロホン受音信号y1(t)〜yM(t)を、それぞれ予め設定されたフィルタ係数でフィルタリングし、加算部26Aは固定フィルタ部26F1〜26FMの出力を加算する。加算結果はメインマイクロホン受音信号としてメインビームフォーマ２６から出力され、周波数領域変換部１５１に与えられる。サブビームフォーマ２７の固定フィルタ部27F1〜27FMもＭチャネルのマイクロホン受音信号y1(t)〜yM(t)を、それぞれ予め設定されたフィルタ係数でフィルタリングし、加算部27Aは固定フィルタ部27F1〜27FMの出力を加算する。加算結果はサブマイクロホン受音信号としてサブビームフォーマ２７から出力され、周波数領域変換部１５２に与えられる。他の部分の構成及び動作は図５の実施例と同様であり、説明を省略する。
【００５７】
図１の実施例では、図４を参照した説明において、メインマイクロホン３２１は感度の高い方向を近端話者４０に向け感度の低い方向をスピーカ３１に向け、サブマイクロホン３２２〜３２Ｍは感度の高い方向をスピーカ３１に向け感度の低い方向を近端話者４０に向けることで、近端話者音声の劣化成分を小さくすることができることを述べた。図７の実施例では、メインビームフォーマ２６とサブビームフォーマ２７を使って、近端話者音声の劣化成分を小さくする。メインビームフォーマ２６は近端話者方向に感度を高くし、スピーカに対する感度を低くする。サブビームフォーマ２７はスピーカ３１に対する感度を高くし、近端話者に対する感度を低くする。ビームフォーマ２６，２７を使うことで、任意の方向に対して指向性が高い部分と低い部分を作ることができ、様々なスピーカとマイクロホンの配置に適用することができる。
【００５８】
メインビームフォーマ２６及びサブビームフォーマ２７の固定フィルタ係数の設計は、例えば以下のようにして行われる。Ｍ個のマイクロホンがあり、近端話者からｍ番目マイクロホンまでの伝達関数をCm(ω)、スピーカからｍ番目マイクロホンまでの伝達関数をRm(ω)とする。ただし、ωは周波数を表す。メインビームフォーマ２６の第ｍチャネルの固定フィルタ26Fmの係数をPm(ω)とする。このときメインビームフォーマ２６に要求されるのは、近端話者の音声を収音し、スピーカ３１の音を抑圧することであり、これらの条件を式で表せば、式(31)と式(32)となる。
【数４】
0004700673.tif 000005
ただし、D(ω)は、目標とする周波数応答であり、例えば、振幅値が固定値で、位相が直線位相（時間領域における固定遅延）となっているような応答を設定する。
【００５９】
次に、サブビームフォーマ２７の第ｍチャネルの固定フィルタ27Fmの係数をQm(ω)とする。このときサブビームフォーマ２７に要求されるのは、近端話者の音声を抑圧し、受話スピーカ音を収音することである。これらの条件を式で表せば、式(33)と式(34)となる。
【数５】
0004700673.tif 000006
ただし、K(ω)は、目標とする周波数応答であり、例えば、振幅値が固定値で、位相が直線位相（時間領域における固定遅延）となっているような応答を設定する。
【００６０】
以上のように、固定フィルタ係数を設定すれば、任意のマイクロホンとスピーカの配置において、メインビームフォーマ２６では近端話者方向に感度を高くし、スピーカ３１に対する感度を低くし、サブビームフォーマ２７ではスピーカ３１に対する感度を高くし、近端話者に対する感度を低くすることが実現し、近端話者音声の劣化を防止することが可能である。
【００６１】
図７の実施例においても、図１の実施例と同様に受話信号x(t)に対する周波数領域変換部１１と結合量推定部１２とエコーレベル推定部１３とを使用せず、従ってエコーレベル統合部２３も使用せず、サブマイクロホン受音信号に対するエコーレベル推定部２２２の出力をそのままエコー抑圧ゲイン計算部１４に与えてもよい。また、図７中に破線で示すように、図６の実施例と同様に受話検出部２４とスイッチ部２５を設け、受話の検出期間のみ推定エコーレベルをエコー抑圧ゲイン計算部１４に与えるようにしてもよい。
以上示したように、本実施例によれば、本発明の第１の実施例または第２の実施例の効果に加えて、任意のスピーカ、マイクロホンの配置において、近端話者音声の劣化を防止することが可能である。
【００６２】
以上説明したこの発明によるエコー消去装置の各実施例において、ディジタル信号として入力される受話信号及び受音信号に対するエコー抑圧のための処理を全てディジタル処理で実現することができ、また、それらの処理を実行するプログラムをコンピュータで実行することにより、エコー消去装置を実施させることができる。
【００６３】
図８は図１の第１実施例に対応するこの発明によるエコー消去方法の基本的な処理手順を示す。
ステップＳ１：メインマイクロホン受音信号及びサブマイクロホン受音信号を周波数領域信号に変換する。
ステップＳ２：周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号間のレベル比を結合量として求め、周波数領域サブマイクロホン受音信号に乗算して推定エコーレベルを得る。
ステップＳ３：周波数領域メインマイクロホン受音信号のレベルと推定エコーレベルとの差と、周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして求める。
ステップＳ４：周波数領域メインマイクロホン受音信号にゲインを乗算してエコー成分を抑圧する。
ステップＳ５：エコー成分が抑圧された周波数領域メインマイクロホン受音信号を逆周波数領域変換して時間領域の送話信号として出力する。
【００６４】
あるいは、上記ステップＳ１で上記メインマイクロホン受音信号と複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換し、
ステップＳ２で、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算し、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得て、上記複数のエコーレベルを統合して上記推定エコーレベルを生成するようにしてもよい。
【００６５】
図５の第２実施例の場合、上記ステップＳ１において、上記受話信号と、上記メインマイクロホン受音信号と、少なくとも１つの上記サブマイクロホン受音信号をそれぞれ周波数領域受話信号と、上記周波数領域メインマイクロホン受音信号と、上記周波数領域サブマイクロホン受音信号とに変換し、
上記ステップＳ２において、上記周波数領域メインマイクロホン受音信号のレベルと、上記周波数領域受話信号と少なくとも１つの上記周波数領域受音信号のそれぞれのレベルとのレベル比を結合量として計算し、上記周波数領域受話信号と少なくとも１つの上記周波数領域サブマイクロホン受音信号に対しそれぞれ対応する結合量を乗算して複数のエコーレベルを得て、上記複数のエコーレベルを統合して上記推定エコーレベルを生成する。
【００６６】
図６の第３実施例の場合、上記ステップＳ２において、上記受話信号のレベルに基づいて受話の有無を検出し、受話が検出された区間は上記推定エコーレベルを上記エコー抑圧ゲイン計算部へ与え、検出されない区間は禁止する。
【００６７】
図７の第４実施例の場合、図８に示してないが、ステップＳ１とＳ２の間に、更に、上記複数のマイクロホン受音信号をそれぞれ第１のフィルタ処理し、上記第１フィルタ処理の結果を加算して加算結果を上記メインマイクロホン受音信号として得るステップと、  上記複数のマイクロホン受音信号をそれぞれ第２のフィルタ処理し、上記第２フィルタ処理の結果を加算して加算結果を上記サブマイクロホン受音信号として得るステップとが挿入される。
【００６８】
以上説明したように、本発明の第１〜４の実施例によれば、線形な音響エコーと、スピーカの歪特性により発生する非線形な音響エコーの両方を抑圧し、高いエコー抑圧性能を実現できる。更に、近端話者音声の劣化が小さく高品質な収音が実現できる。本発明の第２の実施例に拠れば、エコー抑圧性能を更に改善することができる。更に本発明の第３の実施例によれば、近端話者の音声のみが存在する区間において、近端話者音声の劣化をなくすことができる。更に本発明の第４の実施例によれば、任意のスピーカ、マイクロホン配置において近端話者音声の劣化を防止することが可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施例であるエコー消去装置を示すブロック図である。
【図２】本発明のエコー消去装置の使い方を示す図である。
【図３】本発明のエコー消去装置の信号の流れを示す図である。
【図４】本発明において近端話者音声の劣化を抑えるためのスピーカ、マイクロホンの配置を示す図である。
【図５】本発明の第２の実施例であるエコー消去装置を示すブロック図である。
【図６】本発明の第３の実施例であるエコー消去装置を示すブロック図である。
【図７】本発明の第４の実施例であるエコー消去装置を示すブロック図である。
【図８】本発明のエコー消去方法の処理手順を示すフローチャートである。
【図９】従来のエコー消去装置を示すブロック図である。
【図１０】従来のエコー消去装置の信号の流れを示す図である。
【図１１】周波数領域変換部の変換手順を説明する図である。
【図１２】逆周波数領域変換部の変換手順を説明する図である。
【図１】
0004700673.tif 000007
【図２】
0004700673.tif 000008
【図３】
0004700673.tif 000009
【図４】
0004700673.tif 000010
【図５】
0004700673.tif 000011
【図６】
0004700673.tif 000012
【図７】
0004700673.tif 000013
【図８】
0004700673.tif 000014
【図９】
0004700673.tif 000015
【図１０】
0004700673.tif 000016
【図１１】
0004700673.tif 000017
【図１２】
0004700673.tif 000018