(57)【要約】【課題】処理量を抑えつつ、通話状態に応じた適切なエコー抑圧を行う。【解決手段】受信信号のパワースペクトルとエコー信号のパワースペクトルとの比である音響結合量を推定するとともに該音響結合量を用いて収音信号からエコー信号の少なくとも一部を取り除いた第１のエコー抑圧信号を生成する第１のエコー抑圧処理部と、受信信号のパワーおよび第１のエコー抑圧信号のパワーを用いて通話状態を判定する通話状態判定部と、上記通話状態判定部が受信のみの状態と判定したときの上記音響結合量を保存する音響結合量保存処理部と、上記通話状態判定部が受信および送信の状態と判定したときに、音響結合量保存処理部に保存された音響結合量を用いて収音信号からエコー信号の少なくとも一部を取り除いた第２のエコー抑圧信号を生成する第２のエコー抑圧処理部とを備える。【選択図】図１
2015216492.tif 000002
【特許請求の範囲】
【請求項１】
通信路からの受信信号に応じて発音する発音装置および収音装置とともに用いられ、収音装置を介して得られる収音信号に、短時間スペクトル振幅推定に基づく処理を施すことによって通信路への送信を行うための信号を生成するエコー抑圧装置であって、
受信信号のパワースペクトルおよび収音信号のパワースペクトルに基づいて受信信号のパワースペクトルとエコー信号のパワースペクトルとの比である音響結合量を推定するとともに該音響結合量を用いて収音信号からエコー信号の少なくとも一部を取り除いた第１のエコー抑圧信号を生成する第１のエコー抑圧処理部と、
受信信号のパワーおよび第１のエコー抑圧信号のパワーを用いて通話状態を判定する通話状態判定部と、
上記通話状態判定部が受信のみの状態と判定したときの上記音響結合量を保存する音響結合量保存処理部と、
上記通話状態判定部が受信および送信の状態と判定したときに、音響結合量保存処理部に保存された音響結合量を用いて収音信号からエコー信号の少なくとも一部を取り除いた第２のエコー抑圧信号を生成する第２のエコー抑圧処理部とを備えることを特徴とするエコー抑圧装置。
【請求項２】
上記通話状態判定部は、受信信号のパワーと第１閾値との比較、および第１のエコー抑圧信号のパワーと第２閾値との比較とを行い、通話状態を判定することを特徴とする請求項１記載のエコー抑圧装置。
【請求項３】
前記通話状態判定部は、さらに、第１または第２のエコー抑圧処理部で推定されるエコー信号のパワースペクトルから得られるエコー信号のパワーと第３閾値との比較を行い、通話状態を判定することを特徴とする請求項２記載のエコー抑圧装置。
【請求項４】
上記通話状態判定部が受信のみの状態または受信も送信もない状態と判定したときには、第１のエコー抑圧信号を出力し、上記通話状態判定部が受信および送信の状態と判定したときには第２のエコー抑圧信号を出力する出力処理部を備えることを特徴とする請求項１記載のエコー抑圧装置。
【請求項５】
上記通話状態判定部が受信のみの状態または受信も送信もない状態と判定したときには、出力をゼロとし、上記通話状態判定部が受信および送信の状態と判定したときには第２のエコー抑圧信号を出力する出力処理部を備えることを特徴とする請求項１記載のエコー抑圧装置。
【請求項６】
上記通話状態判定部が送信のみの状態と判定したときに、上記出力処理部は第１のエコー抑圧信号を出力することを特徴とする請求項４または５記載のエコー抑圧装置。
【請求項７】
上記第３閾値と比較するエコー信号のパワーに係る受信信号の受信タイミングが、第１閾値と比較する受信信号のパワーに係る受信信号の受信タイミングよりも前に設定されていることを特徴とする請求項３記載のエコー抑圧装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信システム等で生じる音響エコーの抑圧に関する。
【背景技術】
【０００２】
テレビ会議システムは、複数の遠隔地間において、双方向の画像データや音声データをやり取りできるようにすることで、距離を超えたコミュニケーションを可能とするものであり、例えば、遠隔教育・医療・会議などに利用される。
【０００３】
テレビ会議システムにおいては、一般的に音響エコーが生じる。すなわち、スピーカとマイクロフォンが同じ空間にある場合に、スピーカから出力される音声をマイクロフォンが収音することによって、スピーカ−マイクロフォン間でループが形成され、音響エコーが発生する。音響エコーは、通信音声の品質（例えば、音声の明瞭度）を劣化させ、良好な音声通信を阻害する。
【０００４】
音響エコーを抑圧する手法としては、適応フィルタを用いる手法や、短時間スペクトル振幅（ＳＴＳＡ：Short-Time Spectral Amplitude）推定に基づく手法（非特許文献１及び特許文献１参照）を挙げることができる。
【０００５】
非特許文献１に開示された手法は、遠隔地からの受信信号のパワースペクトルに対するマイクロフォンの収音信号のパワースペクトルの比を利用して音響エコー成分を抑圧するためのゲイン係数を算出するものであり、適応フィルタを用いる手法と比べて、演算量が少ないという利点がある。
【０００６】
以下、非特許文献１に記載されている手法について説明する。なお、以下Ａ１〜Ａ４８および［式１］〜［式８］については図１３〜図１６のとおり定義されるものとする。
【０００７】
離散時間をＡ１、周波数分析区間（処理セグメント）のインデックスをＡ２とする。周波数スペクトルのインデックスをＡ３とし、これに対応する角周波数をＡ４とする。送話信号をＡ５、送話信号の処理セグメントＡ２での短時間スペクトルをＡ６、送話信号の処理セグメントＡ２でのパワースペクトルをＡ７とする。受信信号（遠隔地から受信した音声）をＡ８、受信信号の処理セグメントＡ２での短時間スペクトルをＡ９、受信信号の処理セグメントＡ２でのパワースペクトルをＡ１０とする。音響エコー信号をＡ１１、音響エコー信号の処理セグメントＡ２での短時間スペクトルをＡ１２、音響エコー信号の処理セグメントＡ２でのパワースペクトルをＡ１３とする。収音信号（マイクロフォンで収音した音声）をＡ１４、収音信号の処理セグメントＡ２での短時間スペクトルをＡ１５、収音信号の処理セグメントＡ２での短時間スペクトルの振幅成分をＡ１６、収音信号の処理セグメントＡ２でのパワースペクトルをＡ１７とする。音響経路における処理セグメントＡ２での音響結合量（音響エコー信号のパワースペクトルと、受信信号のパワースペクトルの比）をＡ１８とする。
【０００８】
非特許文献１に記載されている手法は、収音信号の短時間スペクトルの振幅成分Ａ１６にエコー抑圧ゲインＡ２０を乗じてエコーを抑圧する手法である。エコー抑圧後の出力信号の短時間スペクトルＡ２１の振幅成分Ａ２２は［式１］で示すように算出される。
【０００９】
音響エコー成分を抑圧するためのゲイン値Ａ２０は、音響エコー信号Ａ１１と送話信号Ａ５が無相関であると仮定し、ウィーナーフィルタ法を用いることで、［式２］のように導出される。
【００１０】
ここで、送話信号のパワースペクトルＡ７の期待値はＡ２６、音響エコー信号のパワースペクトルＡ１３の期待値はＡ２７、音響エコーパワースペクトルの推定値はＡ３０である。
【００１１】
音響エコー信号のパワースペクトルの推定値Ａ３０は、受信信号のパワースペクトルＡ１０と、音響結合量の推定値Ａ３３と、前処理セグメントにおける音響エコーパワーの推定値Ａ３４と、を用いて、［式３］に示すように算出される。
【００１２】
ここで、第２項のβは、エコーの残響成分の影響を加味するために設定される忘却係数である。
【００１３】
音響経路における音響結合量の推定値Ａ３３は、受信信号のパワースペクトルＡ１０と収音信号のパワースペクトルＡ１７の比をもとに算出する。具体的には、処理セグメントＡ２で仮の音響結合量推定値Ａ３８を[式４]により算出し、その前のセグメントＡ３９で求めた仮の音響結合量推定値Ａ４０の大小比較を行い、より小さい値を保持して音響結合量の推定値Ａ３３とする（［式５］）。
【００１４】
ここで、min（）は、最小値を選択する関数である。
【００１５】
また、非特許文献１とは別のＳＴＳＡ推定に基づく手法として、特許文献１にて開示されている手法がある。特許文献１おいて記載されている手法は、非特許文献１と同様に、受信信号（スピーカから出力する信号）のパワースペクトルと収音信号のパワースペクトルを利用し、音響エコー成分を抑圧するためのゲイン係数を算出する手法であるが、[式４]〜[式５]の代わりに、[式６]〜[式８]により音響経路における音響結合量の推定値Ａ３３を算出する手法である。
【００１６】
ここで、［式６］の左辺Ａ４３は、受信信号の短時間スペクトルＡ９と収音信号の短時間スペクトルＡ１５のクロススペクトル期待値であり、［式７］の左辺Ａ４６は、受信信号のパワースペクトルＡ１０の期待値である。Ａ４３内に用いられているＡ４８は、Ａ９の共役複素数である。Ｌ１及びＬ２は、計算に用いる周波数インデックスの範囲を示し、Ｍ１及びＭ２は、計算に用いる処理セグメントの範囲を示している。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】日本国公開特許公報「特開２００８−５４２６９号（２００８年３月６日公開）」
【非特許文献】
【００１８】
【非特許文献１】阪内澄宇、羽田陽一、片岡章俊著「ＳＴＳＡ推定に基づくエコー抑圧処理のゲイン強調化方式」信学論（Ａ）,１vol.J88-A,no.6,Jun.2005,p695-703
【発明の概要】
【発明が解決しようとする課題】
【００１９】
前述のとおり、音響結合量は、音響エコー信号のパワースペクトルと、受信信号のパワースペクトルの比である。
【００２０】
非特許文献１に記載されている、受信信号のパワースペクトルに対する、収音信号のパワースペクトルの比から音響結合量を求める方法（［式４］）は、受信信号のみがある状態（「シングルトーク受話」状態）で、音響経路における音響結合量Ａ１８を精度よく推定する方法である。この状態以外の、送話信号も受信信号もない状態（「発話なし」状態）と、送話信号のみがある状態（「シングルトーク送話」状態）と、送話信号と受信信号の両方がある状態（「ダブルトーク」状態）では音響結合量は精度よく推定できない。
【００２１】
この問題に対し、「発話なし」状態では、収音信号の短時間スペクトルの振幅成分Ａ１６ が非常に小さい値であるため、［式１］で計算されるエコー抑圧後の信号Ａ２１ も非常に小さい値となり、遠隔地に送信する信号は非常に小さい音声となるため、悪影響はない。
【００２２】
また、「シングルトーク送話」状態では、音響結合量の推定値が非常に大きな値となるため、この場合は、ゲイン値を１とするなどして、対応することができる。
【００２３】
しかしながら、「ダブルトーク」状態では、マイクロフォンの収音信号に送話信号と音響エコー信号とが含まれるため、[式４]により算出される仮の音響結合量は、音響エコー信号に送話信号が加算された信号と、受信信号と、の信号スペクトル間の比となる。すなわち、送話信号によって、音響結合量の推定に誤差が発生する。この誤差により、[式３]で推定される音響エコーパワーＡ３０と、[式２]で推定されるエコー抑圧ゲインＡ２０と、に推定誤差が発生する。エコー抑圧ゲインＡ２０の推定誤差により、エコー抑圧ゲインＡ２０が大きくなりすぎると送話信号まで過剰に抑圧され送話信号が歪み、エコー抑圧ゲインＡ２０が小さすぎるとエコー成分が十分に抑圧されない、という問題が発生する。
【００２４】
特許文献１の手法では、「ダブルトーク」状態での音響結合量の推定精度が向上するが、[式６]および[式７]の演算量が多いため、非特許文献１の手法と比べて演算量が非常に大きくなり、ＳＴＳＡ推定に基づく手法が適応フィルタによる手法と比べて演算量が小さくなる、という利点が失われてしまうことが問題となる。
【００２５】
本発明は、以上の課題に鑑みてなされたものであり、処理量を抑えつつ、通話状態に応じた適切なエコー抑圧を行うことを目的とする。
【課題を解決するための手段】
【００２６】
本エコー抑圧装置は、通信路からの受信信号に応じて発音する発音装置および収音装置とともに用いられ、収音装置を介して得られる収音信号に、短時間スペクトル振幅推定に基づいた処理を施すことによって通信路への送信を行うための信号を生成するエコー抑圧装置であって、受信信号のパワースペクトルおよび収音信号のパワースペクトルに基づいて受信信号のパワースペクトルとエコー信号のパワースペクトルとの比である音響結合量を推定するとともに該音響結合量を用いて収音信号からエコー信号の少なくとも一部を取り除いた第１のエコー抑圧信号を生成する第１のエコー抑圧処理部と、受信信号のパワーおよび第１のエコー抑圧信号のパワーを用いて通話状態を判定する通話状態判定部と、上記通話状態判定部が受信のみの状態と判定したときの上記音響結合量を保存する音響結合量保存処理部と、上記通話状態判定部が受信および送信の状態と判定したときに、音響結合量保存処理部に保存された音響結合量を用いて収音信号からエコー信号の少なくとも一部を取り除いた第２のエコー抑圧信号を生成する第２のエコー抑圧処理部とを備えることを特徴とする。
【００２７】
上記構成によれば、受信および送信の状態（ダブルトーク状態）において、このダブルトーク状態において第１のエコー抑圧処理部で得られる音響結合量ではなく、例えば、直近の受信のみの状態（シングルトーク受話状態）で得られた音響結合量（保存された上記音響結合量）を用いて第２のエコー抑圧信号を生成することができる。これにより、処理量を抑えつつ、通話状態に応じた適切なエコー抑圧を行うことできる。
【００２８】
本エコー抑圧装置においては、上記通話状態判定部は、受信信号のパワーと第１閾値との比較、および第１のエコー抑圧信号のパワーと第２閾値との比較とを行い、通話状態を判定する構成とすることもできる。
【００２９】
このように、通話状態の判定に第１および第２閾値を用いることで、効率よく適切な判定が可能となる。
【００３０】
本エコー抑圧装置においては、前記通話状態判定部は、さらに、第１または第２のエコー抑圧処理部で推定されるエコー信号のパワースペクトルから得られるエコー信号のパワーと第３閾値との比較を行い、通話状態を判定する構成とすることもできる。
【００３１】
このように、通話状態の判定に、第１または第２のエコー抑圧処理部で推定されるエコー信号のパワースペクトルから得られるエコー信号のパワーを用いることで、エコー信号が大きい場合であっても適切な判定が可能となる。
【００３２】
なお、上記の場合では、上記第３閾値と比較するエコー信号のパワーに係る受信信号の受信タイミングが、第１閾値と比較する受信信号のパワーに係る受信信号の受信タイミングよりも前に設定されている構成とすることもできる。
【００３３】
本エコー抑圧装置においては、上記通話状態判定部が受信のみの状態または受信も送信もない状態と判定したときには、第１のエコー抑圧信号を出力し、上記通話状態判定部が受信および送信の状態と判定したときには第２のエコー抑圧信号を出力する出力処理部を備える構成とすることもできる。
【００３４】
このように、通話状態に応じて出力を切り替えることで、通話状態に応じた適切なエコー抑圧を行うことできる。
【００３５】
本エコー抑圧装置においては、上記通話状態判定部が受信のみの状態または受信も送信もない状態と判定したときには、出力をゼロとし、上記通話状態判定部が受信および送信の状態と判定したときには第２のエコー抑圧信号を出力する出力処理部を備える構成とすることもできる。
【００３６】
このように、通話状態に応じて出力を切り替え、所定の状態では出力をゼロとすることで、通話状態に応じたより適切なエコー抑圧を行うことできる。
【００３７】
本エコー抑圧装置においては、上記通話状態判定部が送信のみの状態と判定したときに、上記出力処理部は第１のエコー抑圧信号を出力する構成とすることができる。
【発明の効果】
【００３８】
本発明によれば、処理量を抑えつつ、通話状態に応じた適切なエコー抑圧を行うことができる。
【図面の簡単な説明】
【００３９】
【図１】実施の形態１のエコー抑圧装置の基本的な構成例を示すブロック図である。
【図２】図１の第１のエコー抑圧処理部を具体的に示すブロック図である。
【図３】図１の第２のエコー抑圧処理部を具体的に示すブロック図である。
【図４】図１のエコー抑圧装置の基本的な処理を示すフローチャートである。
【図５】図１の第１のエコー抑圧処理部の基本的な処理を示すフローチャートである。
【図６】図１の第２のエコー抑圧処理部の基本的な処理を示すフローチャートである。
【図７】図１の通話状態判定部の基本的な処理を示すフローチャートである。
【図８】実施の形態２のエコー抑圧装置の基本的な構成例を示すブロック図である。
【図９】図８の通話状態判定部の基本的な処理を示すフローチャートである。
【図１０】実施の形態３のエコー抑圧装置の基本的な構成例を示すブロック図である。
【図１１】実施の形態に用いられる各符号や数式の定義を示す図である。
【図１２】実施の形態に用いられる各符号や数式の定義を示す図である。
【図１３】背景技術の説明に用いられる各符号や数式の定義を示す図である。
【図１４】背景技術の説明に用いられる各符号や数式の定義を示す図である。
【図１５】背景技術の説明に用いられる各符号や数式の定義を示す図である。
【図１６】背景技術の説明に用いられる各符号や数式の定義を示す図である。
【発明を実施するための形態】
【００４０】
本発明に係る実施の形態を、図１〜図１２に基づいて説明すれば以下のとおりである。なお、以下、Ｂ１〜Ｂ４７・Ｄ７〜Ｄ１７・Ｆ４〜Ｆ２７および［式３］〜［式５］については図１１〜図１２のとおり定義されるものとする。
【００４１】
〔実施の形態１〕
図１は実施の形態１に係るエコー抑圧装置の構成を示す模式図である。図１に示すように、エコー抑圧装置１００は、通信路から受信した音声信号（受信信号）Ｂ１を再生するためのスピーカ１２０（発音装置）、送話信号Ｂ２を取得するためのマイクロフォン１３０（収音装置）、および通信路に組み合わされて使用される。なお、スピーカ１２０で再生され、マイクロフォン１３０によって収音される音声信号（エコー信号）をＢ１０とする。エコー抑圧装置１００は、受信信号Ｂ１を受信信号スペクトルＢ３に変換するための受信信号ＤＦＴ（Discrete Fourier Transform）部１４０と、収音信号Ｂ４を収音信号スペクトルＢ５に変換するための収音信号ＤＦＴ（Discrete Fourier Transform）部１５０と、出力信号Ｂ６を通信路に送信するための時間領域データＢ７に変換するための送信信号ＩＤＦＴ（Inverse Discrete Fourier Transform）部１６０とを備える。
【００４２】
エコー抑圧装置１００は、さらに、受信信号のパワースペクトルＢ８を算出するための受信信号パワースペクトル計算部１７０と、収音信号のパワースペクトルＢ９を算出するための収音信号パワースペクトル計算部１８０と、受信信号パワースペクトルＢ８と収音信号パワースペクトルＢ９を用いて収音信号に収音されたエコーを抑圧する第１のエコー抑圧処理部１９０と、受信信号のパワーＢ１２を算出するための受信信号パワー計算部１１０と、第１のエコー抑圧処理部から出力される音声信号のパワーＢ１３を算出するためのエコー抑圧部出力信号パワー計算部１１１と、受信信号のパワーＢ１２と第１のエコー抑圧処理部から出力される音声信号のパワーＢ１３とから、通話状態（「発話なし」状態、「シングルトーク受話」状態、「シングルトーク送話」状態、「ダブルトーク」状態）を判定する通話状態判定部１１２と、判定された通話状態に応じた処理を行う後段処理部１１３とを備える。
【００４３】
後段処理部１１３は、通話状態判定部１１２の判定Ｃに応じて、第１のエコー抑圧処理部１９０から出力された信号Ｂ１６、あるいは第２のエコー抑圧処理部１１６から出力された信号Ｂ３６を、送信信号ＩＤＦＴ部１６０への出力信号（周波数領域データ信号）Ｂ６とする出力処理部１１４と、通話状態判定部１１２が「シングルトーク受話」状態と判定したときに、第１のエコー抑圧処理部から出力される音響結合量Ｂ１７をＢ１８として保存する音響結合量保存処理部１１５と、通話状態判定部１１２が「ダブルトーク受話」状態と判定したときに、音響結合量保存部に保存されている音響結合量Ｂ１８と受信信号パワースペクトルＢ８と収音信号パワースペクトルＢ９とを用いて収音信号に収音されたエコーを抑圧する第２のエコー抑圧処理部１１６とを備える。
【００４４】
図２に、第１のエコー抑圧処理部の基本的な構成の一例を示す。第１のエコー抑圧処理部１９０は、受信信号パワースペクトルＢ８と収音信号パワースペクトルＢ９に基づき、音響結合量Ｂ１７を推定する音響結合量推定部２１０と、音響結合量Ｂ１７と受信信号パワースペクトルＢ８に基づき、エコー信号のパワースペクトルＢ４７を推定する第１のエコー信号パワースペクトル推定部２２０と、エコー信号パワースペクトルＢ４７と収音信号パワースペクトルＢ９に基づき、エコー抑圧ゲイン５０を算出する第１のエコー抑圧ゲイン計算部２３０と、エコー抑圧ゲイン５０と収音信号スペクトルＢ５とから、収音信号中のエコーを抑圧した信号Ｂ１６を生成する第１のエコー抑圧ゲイン乗算部２４０とを備える。
【００４５】
図３に音響結合量保存処理部と第２のエコー抑圧処理部の基本的な構成の一例を示す。
【００４６】
音響結合量保存処理部１１５は、第１の音響結合量推定部２１０で推定された音響結合量Ｂ１７をＢ１８として保存する音響結合量保存部３１０を備える。
【００４７】
第２のエコー抑圧処理部１１６は、音響結合量保存部３１０に保存されている音響結合量Ｂ１８を読み込む音響結合量読み込み部３２０と、読み込んだ音響結合量Ｂ１８と受信信号パワースペクトルＢ８に基づき、エコー信号のパワースペクトルＤ４を推定する第２のエコー信号パワースペクトル推定部３３０と、第２のエコー信号パワースペクトル推定部３３０で推定されたエコー信号パワースペクトルＤ４と収音信号パワースペクトルＢ９に基づき、エコー抑圧ゲインＤ７を算出する第２のエコー抑圧ゲイン計算部３４０と、エコー抑圧ゲインＤ７と収音信号スペクトルＢ５とから、収音信号中のエコーを抑圧した信号Ｂ３６を生成する第２のエコー抑圧ゲイン乗算部３５０とを備える。
【００４８】
次に、処理の流れについて、図４〜図６を用いて説明する。
【００４９】
図４はエコー抑圧処理全体の流れを示している。まずステップＳ４１において、受信信号パワースペクトル計算部１７０は、受信信号のＤＦＴの結果からそのパワースペクトルＢ２０を算出し、収音信号パワースペクトル計算部１８０は、収音信号のＤＦＴの結果からそのパワースペクトルＢ２１を算出し、第１のエコー抑圧処理部１９０に送る。
【００５０】
次にステップＳ４２において、第１のエコー抑圧処理部１９０は、受信信号パワースペクトルＢ２０と収音信号パワースペクトルＢ２１とを用いて、ＳＴＳＡ推定に基づくエコー抑圧処理を実施する。エコー抑圧処理の詳細は後述する。
【００５１】
次にステップＳ４３において、受信信号パワー計算部１１０は、受信信号のパワースペクトルから受信信号のパワーＢ１２を算出し、エコー抑圧処理部出力信号パワー計算部１１１は、第１のエコー抑圧処理部の出力信号Ｂ１６から第１のエコー抑圧処理部の出力信号のパワーＢ１３を算出する。
【００５２】
次にステップＳ４４において、通話状態判定部１１２は、受信信号のパワーＢ１２と第１のエコー抑圧処理部の出力信号のパワーＢ１３とを用いて、通話状態（「発話なし」状態、「シングルトーク受話」状態、「シングルトーク送話」状態、「ダブルトーク」状態）を判定し、判定結果を後段処理部１１３に送信する。判定の方法については後述する。
【００５３】
ステップＳ４４で判定された通話状態が「シングルトーク受話」状態の場合、ステップＳ４５に進む。ステップＳ４５において、音響結合量保存処理部１１５は、第１のエコー抑圧処理部１９０内の音響結合量推定部２１０で推定された音響結合量Ｂ１７をＢ１８として保存する。
【００５４】
次にステップＳ４６において、出力処理部１１４は、第１のエコー抑圧処理部１９０の出力信号Ｂ１６を後段処理部１１３の出力信号Ｂ６とする。
【００５５】
ステップＳ４４で判定された通話状態が「シングルトーク送話」状態の場合、ステップＳ４７に進む。ステップＳ４７において、出力処理部１１４は、第１のエコー抑圧処理部１９０の出力信号Ｂ１６を後段処理部１１３の出力信号Ｂ６とする。
【００５６】
ステップＳ４４で判定された通話状態が「ダブルトーク」状態の場合、ステップＳ４８に進む。ステップＳ４８において、第２のエコー抑圧処理部１１６は受信信号パワースペクトルＢ８と収音信号パワースペクトルＢ９と音響結合量保存処理部１１５に保存されている音響結合量Ｂ１８とを用いて、ＳＴＳＡ推定に基づくエコー抑圧処理を実施し、Ｂ３６を出力する。エコー抑圧処理については後述する。
【００５７】
次にステップＳ４９で、出力処理部１１４は、第２のエコー抑圧処理部１１６の出力信号Ｂ３６を後段処理部１１３の出力信号Ｂ６とする。
【００５８】
ステップＳ４４で判定された通話状態が上記３状態以外の場合、ステップＳ５０に進む。この状態は、送話信号と受信信号の両方がない「発話なし」状態である。ステップＳ５０において、出力処理部１１４は、第１のエコー抑圧処理部１９０の出力信号Ｂ１６を後段処理部１１３の出力信号Ｂ６とする。
【００５９】
最後に、ステップＳ５１において、送信信号ＩＤＦＴ部１６０は、出力処理部１１４から出力された信号Ｂ６をＩＤＦＴによって時間領域データ信号Ｂ７に変換し、通信路へ送る。
【００６０】
図５は第１のエコー抑圧処理部の流れを示している。
【００６１】
まずステップＳ１５１において、音響結合量推定部２１０は、受信信号パワースペクトルＢ８と収音信号パワースペクトルＢ９とを用いて、音響結合量Ｂ１７を推定する。推定方法は、たとえば、図１２の［式４］および［式５］による。
【００６２】
次にステップＳ１５２において、第１のエコー信号パワースペクトル推定部２２０は、音響結合量Ｂ１７と収音信号のパワースペクトルＢ９を用いて、収音信号に含まれるエコーのパワースペクトルＢ４７を推定する。推定手段は、例えば、図１２の［式３］による。
【００６３】
次にステップＳ１５３において、第１のエコー抑圧ゲイン計算部２３０は、第１のエコー信号パワースペクトル推定部２２０で推定されたエコーパワースペクトルＢ４７および収音信号のパワースペクトルＢ９を用いて、収音信号中のエコーを抑圧するためのエコー抑圧ゲインＢ５０を算出する。
【００６４】
最後にステップＳ１５４において、第１のエコー抑圧ゲイン乗算部２４０は、エコー抑圧ゲインＢ５０を収音信号スペクトルＢ５に乗ずることによって収音信号中のエコーを抑圧した信号（第１のエコー抑圧信号）Ｂ１６を生成する。
【００６５】
図６は第２のエコー抑圧処理部の流れを示している。
【００６６】
まずステップＳ１６１において、音響結合量読込部３２０は、音響結合量保存部３１０に保存されている、直近の「シングルトーク受話」状態で推定された音響結合量Ｂ１８を読み込む。
【００６７】
次にステップＳ１６２において、第２のエコー信号パワースペクトル推定部３３０は、音響結合量Ｂ１８と収音信号のパワースペクトルＢ９を用いて、収音信号に含まれるエコーのパワースペクトルＤ４を推定する。推定方法は、例えば、図１２の［式３］による。
【００６８】
次にステップＳ１６３において、第２のエコー抑圧ゲイン計算部３４０は、第２のエコー信号パワースペクトル推定部３３０で推定されたエコーパワースペクトルＤ４および収音信号のパワースペクトルＢ９を用いて、収音信号中のエコーを抑圧するためのエコー抑圧ゲインＤ７を算出する。
【００６９】
最後にステップＳ１６４において、第２のエコー抑圧ゲイン乗算部３５０は、エコー抑圧ゲインＤ７を収音信号スペクトルＢ５に乗ずることによって収音信号中のエコーを抑圧した信号（第２のエコー抑圧信号）Ｂ３６を生成する。
【００７０】
ここで、音響結合量Ｂ１８は、「ダブルトーク」状態で推定されたものではなく、直近の「シングルトーク受話」状態で推定・保存された音響結合量であるため、実際の音響結合量に近い値である。そのため、「ダブルトーク」状態においてもエコー信号のパワースペクトルを精度よく推定することができる。
【００７１】
図７は通話状態判定部における、通話状態の判定方法を示している。
【００７２】
まず、ステップＳ７１において、受信信号のパワーＢ１２を閾値Ｄ１３により判定し、閾値を下回る場合には受信信号がない状態、閾値を上回る場合には受信信号がある状態とみなす。
【００７３】
ステップＳ７１にて、受信信号のパワーＢ１２が閾値Ｄ１３を下回り、受信信号がないとみなした場合、ステップＳ７２にて、第１のエコー抑圧処理後信号のパワーＢ１３を閾値Ｄ１７により判定し、閾値を下回る場合には送話信号がないとみなし、ステップＳ７３にて、通話状態Ｃに「発話なし」状態を示す値を格納する。一方、閾値を上回る場合には、送話信号があるとみなし、ステップＳ７４にて、通話状態Ｃに「シングルトーク送話」状態を示す値を格納する。
【００７４】
ステップＳ７１にて、受信信号のパワーＢ１２が閾値Ｄ１３を上回り、受信信号があるとみなした場合、ステップＳ７５にて、第１のエコー抑圧処理後信号のパワーＢ１３を閾値Ｄ１７により判定し、閾値を下回る場合には送話信号がないとみなし、ステップＳ７６にて、通話状態Ｃに「シングルトーク受話」状態を示す値を格納する。一方、閾値を上回る場合には、送話信号があるとみなし、ステップＳ７７にて、通話状態Ｃに「ダブルトーク」状態を示す値を格納する。
【００７５】
ここで、上記閾値Ｄ１３およびＤ１７は、無音と判断できるパワーＰ０［ｄＢ］に設定する。
【００７６】
以上の構成によって、「発話なし」状態、「シングルトーク受話」状態、「シングルトーク送話」状態では、従来通りのエコー抑圧処理を実施し、「ダブルトーク」状態では「シングルトーク受話」状態で推定した音響結合量を用いて再度エコー抑圧処理を実施することで、演算量の増加を従来の２倍程度に抑えつつ、通話状態に関わらず適切にエコー成分を抑圧できるようにしたエコー抑圧装置を提供することができる。
【００７７】
〔実施の形態２〕
受信信号のパワーの大きさにかかわらず、エコー信号のパワーが大きい場合には、収音信号には音響エコー信号と送話信号の双方の信号が含まれるため、受信信号がある状態と同等に扱うべきである。これは例えば、受信信号がない状態で、残響音が大きな音として残っている場合である。
【００７８】
そこで、第２の実施の形態において、受信信号のパワーと第１のエコー抑圧処理部の出力信号のパワーと推定エコー信号のパワーを用いて通話状態の判定を行う方法について、図８と図９を用いて説明する。
【００７９】
図８のエコー抑圧装置においては、第１の実施の形態のエコー抑圧処理部出力信号パワー計算部１１１の代わりに、エコー抑圧処理部出力信号パワー計算部８１０が用いられ、通話状態判定部１１２の代わりに、通話状態判定部８５０が用いられている。
【００８０】
エコー抑圧処理部出力信号パワー計算部８１０は、第１のエコー抑圧処理部１９０から出力される信号Ｂ１６のパワーＤ１３を計算するエコー抑圧後信号パワー計算部８２０と、第１のエコー信号パワースペクトル推定部２２０で推定された推定エコー信号パワースペクトルＢ４７から、エコー信号のパワーＦ４を算出し、通話状態判定部８５０に出力する第１の推定エコーパワー計算部８３０と、第２のエコー信号パワースペクトル推定部３３０で推定された推定エコー信号パワースペクトルＤ４から、エコー信号のパワーＦ６を算出し、通話状態判定部８５０に出力する第２の推定エコーパワー計算部８４０と、を備える。
【００８１】
通話状態判定部８５０は、第１の推定エコーパワー計算部８３０から出力されたエコー信号のパワーＦ４と、第２の推定エコーパワー計算部８４０から出力されたエコー信号のパワーＦ６と、から、通話状態に応じて保存するエコーパワーを選択し、Ｆ９として保存する推定エコーパワー保存部８６０と、受信信号のパワーＢ１２と、第１のエコー抑圧処理後信号のパワーＢ１３と、前処理セグメントで保存された推定エコー信号のパワーＦ１２と、から通話状態（「発話なし」状態、「シングルトーク受話」状態、「シングルトーク送話」状態、「ダブルトーク」状態）を判定する通話状態判定処理部８７０とにより構成されている。それ以外の構成については、実施の形態１と同様である。
【００８２】
以下に、それぞれの処理部における動作を説明する。第１の推定エコーパワー計算部８３０は、第１のエコー信号パワースペクトル推定部２２０で推定されたエコー信号のパワースペクトルＢ４７から、エコー信号のパワーＦ４を算出し、通話状態判定部８５０に出力する。通話状態判定処理部８７０は、受信信号のパワーＢ１２と第１のエコー抑圧処理後信号のパワーＢ１３と前処理セグメントで保存された推定エコー信号のパワーＦ１２を用いて通話状態を判定する。判定の方法は後述する。通話状態判定部８５０で通話状態が「ダブルトーク」状態と判定された場合、第２の推定エコーパワー推定部８４０は、第２のエコー信号パワースペクトル推定部３３０で推定されたエコー信号のパワースペクトルＤ４から、エコー信号のパワーＦ６を算出し、通話状態判定部８５０に出力する。通話状態判定部８５０は、通話状態を「発話なし」状態、「シングルトーク受話」状態、「シングルトーク送話」状態と判定した場合は、第１の推定エコーパワー計算部８３０から出力されたエコー信号のパワーＦ４を推定エコー信号パワー保存部８６０にＦ９として保存する。また、通話状態を「ダブルトーク」状態と判定した場合は、第２の推定エコーパワー計算部８４０から出力されたエコー信号のパワーＦ６を推定エコー信号パワー保存部８６０にＦ９として保存する。
【００８３】
図９は通話状態判定部８５０における、通話状態の判定方法を示している。
【００８４】
まず、ステップＳ９１において、受信信号のパワーＢ１２を閾値Ｄ１３により、推定エコー信号のパワーＦ１２を閾値Ｆ２７により判定し、両方のパワーが閾値を下回る場合には受信信号がない状態、閾値を上回る場合には受信信号がある状態とみなす。
【００８５】
ステップＳ９１にて、受信信号のパワーＢ１２と推定エコー信号のパワーＦ１２が閾値を下回り、受信信号がないとみなした場合、ステップＳ９２にて、第１のエコー抑圧処理後信号のパワーＢ１３を閾値Ｄ１７により判定し、閾値を下回る場合には送話信号がないとみなし、ステップＳ９３にて、通話状態Ｃに「発話なし」状態を示す値を格納する。一方、閾値を上回る場合には、送話信号があるとみなし、ステップＳ９４にて、通話状態Ｃに「シングルトーク送話」状態を格納する。
【００８６】
ステップＳ９１にて、受信信号のパワーＢ１２と推定エコー信号のパワーＦ１２のどちらか（または両方）が閾値を上回り、受信信号があるとみなした場合、ステップＳ９５にて、第１のエコー抑圧処理後信号のパワーＢ１３を閾値Ｄ１７により判定し、閾値を下回る場合には送話信号がないとみなし、ステップＳ９６にて、通話状態Ｃに「シングルトーク受話」状態を示す値を格納する。一方、閾値を上回る場合には、送話信号があるとみなし、ステップＳ９７にて、通話状態Ｃに「ダブルトーク」状態を示す値を格納する。
【００８７】
ここで、上記閾値Ｆ２７は、忘却係数βを含めて設定する。忘却係数βは、次の処理セグメント（時間Ｔ０）までのパワーの減衰率を示すものである。また、音速とスピーカー・マイク間距離から、マイクに収音されるまでの時間（Ｔ１）が求められる。このとき、ある処理セグメントで収音された音響エコーのパワーは、次の処理セグメントで収音される際には、βT1/T0倍に減衰し、βT1/T0×音響エコーのパワーＦ１２となるため、これが無音か否かを判定する。よって、音響エコーのパワーＦ１２の判定閾値Ｆ２７は、無音と判断できるパワーをＰ０［ｄＢ］としたとき、Ｐ０をβT1/T0で除した値Ｐ０/βT1/T0とする。
【００８８】
以上の構成によって、受信信号のパワーが小さく、エコー信号のパワーが大きい場合であっても、通話状態を精度よく判定し、通話状態に関わらず適切にエコー成分を抑圧できるようにしたエコー抑圧装置を提供することができる。
【００８９】
〔実施の形態３〕
通話状態判定部で「発話なし」状態、又は「シングルトーク受話」状態と判定した場合は、送話信号がないと判定したことと同等であり、収音されている信号は雑音やエコー信号であり、不要な情報である。
【００９０】
そこで、第３の実施の形態において、通話状態が「発話なし」状態又は「シングルトーク受話」状態と判定された場合には、遠隔地へ送信する信号をゼロとする方法について、図１０を用いて説明する。
【００９１】
図１０のエコー抑圧装置においては、第１の実施の形態の後段処理部１１３の代わりに、後段処理部１０１が用いられている。後段処理部１０１は、出力処理部１１４の代わりに、エコー抑圧信号処理部１０２が用いられている。それ以外の構成については、実施の形態１と同様である。
【００９２】
それぞれの処理部における動作を説明する。通話状態判定部１１２は、処理セグメントでの通話状態を判定する。判定方法は、実施の形態１・２のどちらの方法でもよい。
【００９３】
通話状態判定部１１２で判定された通話状態が「シングルトーク受話」状態の場合、音響結合量保存処理部１１５は、第１のエコー抑圧処理部１９０で推定された音響結合量Ｂ１７をＢ１８として保存する。次に、エコー抑圧信号処理部１０２は、後段処理部１０１の出力信号Ｂ６をゼロとする。
【００９４】
通話状態判定部１１２で判定された通話状態が「シングルトーク送話」状態の場合、出力処理部１１４は、第１のエコー抑圧処理部１９０の出力信号Ｂ１６を後段処理部１０１の出力信号Ｂ６とする。
【００９５】
通話状態判定部１１２で判定された通話状態が「ダブルトーク」状態の場合、第２のエコー抑圧処理部１１５は受信信号パワースペクトルＢ８と収音信号パワースペクトルＢ９と音響結合量保存処理部１１５に保存されている音響結合量Ｂ１８とを用いて、ＳＴＳＡ推定に基づくエコー抑圧処理を実施し、Ｂ３６を出力する。後段処理部１０１は、第２のエコー抑圧処理部の出力信号Ｂ３６を後段処理部１０１の出力信号Ｂ６とする。
【００９６】
通話状態判定部１１２で判定された通話状態が上記３状態以外の場合、送話信号と受信信号の両方がない「発話なし」状態とみなし、エコー抑圧信号処理部１０２は、後段処理部１０１の出力信号Ｂ６をゼロとする。
【００９７】
以上の構成によって、「発話なし」状態、又は「シングルトーク受話」状態と判定した場合は、遠隔地に送信される信号がゼロとなるため、上記状態において、遠隔地に雑音やエコー信号が送信されないエコー抑圧装置を提供することができる。
【００９８】
〔ソフトウェアによる実現例〕
エコー抑圧装置の各部は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００９９】
後者の場合、エコー抑圧装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、各部の機能が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１００】
本発明の第１の技術手段は、受信信号のパワースペクトルと、収音信号のパワースペクトルと、から、音響エコー信号のパワースペクトルと、受信信号のパワースペクトル、の比（以下、「音響結合量」という）を推定し、前記受信信号のパワースペクトルに、前記音響結合量を乗じてエコー信号のパワースペクトルを推定し、前記収音信号のパワースペクトルと、前記エコー信号のパワースペクトルと、からエコー抑圧ゲインを計算し、収音信号の短時間スペクトルに、前記エコー抑圧ゲインを乗じてエコー信号成分を取り除いた信号の短時間スペクトルを出力する、短時間スペクトル振幅推定に基づくエコー抑圧装置であって、前記受信信号のパワースペクトルと、前記収音信号のパワースペクトルと、を用いて、短時間スペクトル振幅推定に基づくエコー抑圧処理を行う第１のエコー抑圧処理部と、前記受信信号のパワースペクトルから、前記受信信号のパワーを計算する受信信号パワー計算部と、前記第１のエコー抑圧処理部から出力された信号から、前記第１のエコー抑圧処理部からの出力信号のパワーを計算するエコー抑圧処理部出力信号パワー計算部と、前記受信信号パワー計算部から出力されたパワーと、前記エコー抑圧処理部出力信号パワー計算部からの出力されたパワーと、から、通話状態を判定する通話状態判定部と、前記第１のエコー抑圧処理部から出力された信号と、前記収音信号のパワースペクトルと、前記通話状態判定部で判定された通話状態を入力とし、前記通話状態に応じた処理を行う後段処理部と、を有し、前記後段処理部は、前記通話状態判定部で、受信信号のみがある状態、又は、送話信号と受信信号の両方がない状態、又は、送話信号のみがある状態、と判定した場合には、前記第１のエコー抑圧処理部から出力された信号を操作し、この出力信号を後段処理部の出力信号とするエコー抑圧後信号処理部と、前記通話状態判定部で、受信信号のみがある状態と判定した場合には、前記第１のエコー抑圧処理部で推定した音響結合量を保存する音響結合量保存処理部と、前記通話状態判定部で、送話信号と受信信号の両方がある状態と判定した場合には、前記保存されている音響結合量と、前記受信信号のパワースペクトルと、前記収音信号のパワースペクトルと、を用いて短時間スペクトル振幅推定に基づくエコー抑圧処理を行い、この出力信号を後段処理部の出力信号とする第２のエコー抑圧処理部と、を具備する、ことを特徴とするものである。
【０１０１】
第２の技術手段は、第１の技術手段であって、前記通話状態判定部は、前記受信信号パワー計算部から出力された受信信号のパワーと、前記エコー抑圧処理部出力信号パワー計算部から出力された第１のエコー抑圧処理部の出力信号のパワーと、を閾値によって判定し、通話状態を判定することを特徴とするものである。
【０１０２】
第３の技術手段は、第１の技術手段であって、前記通話状態判定部は、前記受信信号パワー計算部から出力された受信信号のパワーと、前記エコー抑圧処理部出力信号パワー計算部から出力された第１のエコー抑圧処理部の出力信号のパワーと、前記第１のエコー抑圧処理部、または、前記第２のエコー抑圧処理部で推定したエコー信号のパワーと、を閾値によって判定し、通話状態を判定することを特徴とするものである。
【０１０３】
第４の技術手段は、第１の技術手段であって、前記後段処理部は、前記通話状態判定部で、受信信号のみがある状態、または、送話信号と受信信号の両方がない状態と判定した場合には、前記エコー抑圧後信号処理部にて、前記第１のエコー抑圧処理部から出力された音声信号を前記後段処理部の出力信号とすることを特徴とするものである。
【０１０４】
第５の技術手段は、第１の技術手段であって、前記後段処理部は、前記通話状態判定部で、受信信号のみがある状態、または、送話信号と受信信号の両方がない状態と判定した場合には、前記エコー抑圧後信号処理部にて、前記後段処理部の出力信号をゼロとすることを特徴とするものである。
【産業上の利用可能性】
【０１０５】
本発明は、例えば、ＴＶ会議システムに好適である。
【符号の説明】
【０１０６】
１９０    第１のエコー抑圧処理部
１１６    第２のエコー抑圧処理部
１１２    通話状態判定部
１１５    音響結合量保存処理部
１１４    出力処理部
１２０    スピーカ（発音装置）
１３０    マイクロフォン（収音装置）
【図１】
2015216492.tif 000003
【図２】
2015216492.tif 000004
【図３】
2015216492.tif 000005
【図４】
2015216492.tif 000006
【図５】
2015216492.tif 000007
【図６】
2015216492.tif 000008
【図７】
2015216492.tif 000009
【図８】
2015216492.tif 000010
【図９】
2015216492.tif 000011
【図１０】
2015216492.tif 000012
【図１１】
2015216492.tif 000013
【図１２】
2015216492.tif 000014
【図１３】
2015216492.tif 000015
【図１４】
2015216492.tif 000016
【図１５】
2015216492.tif 000017
【図１６】
2015216492.tif 000018