(57)【要約】 【課題】  従来の音響エコーキャンセラの適応法は、適応精度が低く、十分に音響エコーを抑圧するフィルタを生成することができなかった。【解決手段】  本発明では、複数のマイクロホン素子を有するマイクロホンアレイを用いて、マイク間位相差から、スピーカ音のみ存在する帯域を判定し、その帯域についてのみ適応することで、音響エコーの抑圧性能の高いフィルタを生成する手段を有する。【選択図】  図２
2008141718.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力するマイクロホンと、
上記マイクロホンからの信号をデジタル変換するＡＤ変換器と、
上記ＡＤ変換器からのデジタル信号を処理し音響エコー成分を抑圧する情報処理装置と、
上記情報処理装置からの信号をネットワークに送出する出力インターフェースと、
上記ネットワークからの信号を受信する入力インターフェースと、
上記入力インターフェースからの信号をアナログ変換するＤＡ変換器と、
上記ＤＡ変換器からの信号を音声として出力するスピーカと備え、
上記マイクロホンは、複数のマイクロホン素子を有するマイクロホンアレイであり、
上記ＡＤ変換器は、上記マイクロホン素子ごとに信号をデジタル変換する複数のＡＤ変換器であり、
上記情報処理装置は、上記デジタル信号を帯域分割する帯域分割部と、上記複数のＡＤ変換機からの信号に基づいて上記複数のマイクロホン素子に入力される音声間の位相差を計算する位相差計算部と、上記位相差計算部が出力する位相差からマイクロホンアレイに入力された音声がスピーカからの音声であるかどうかを判定する周波数振り分け部とを有し、
上記帯域分割部は、上記マイクロホン素子ごとにデジタル変換されたデジタル信号をそれぞれ帯域分割し、
上記位相差計算部は、上記分割した各帯域毎上記複数のマイクロホン素子に入力される音声間の位相差を計算し、
上記周波数振り分け部は、該位相差計算部が出力する各帯域毎の位相差から、該帯域分割信号が、スピーカ出力信号であるか話者信号であるかを判定し、
上記音響エコーキャンセラ適応部は、上記周波数振り分け部でスピーカ出力信号であると判定された帯域についてのみ、前記マイクロホン素子の信号からスピーカの音声の混入分を抑圧するために用いる適応フィルタの適応化をい、
上記音響エコーキャンセラ部は、上記適応フィルタを用いて、各マイクロホン素子の信号から音響エコー成分を除去する音響エコーキャンセラシステム。
【請求項２】
前記周波数振り分け部で、スピーカ出力信号であるかどうかを判定するために、予め前記スピーカから前記マイクロホンアレイまで音が伝わる音の伝達関数を測定し、測定した伝達関数から前記スピーカから音が出力される際の、前記マイクロホンアレイの各帯域毎の位相差を算出し、外部記憶装置に該帯域毎の位相差を記憶し、記憶済みの位相差と帯域分割信号の各帯域毎のマイクロホン素子間の位相差が予め定める閾値以下の場合、該帯域分割信号をスピーカー出力信号であると判定することを特徴とする周波数振り分け部を有する請求項１記載の音響エコーキャンセラシステム。
【請求項３】
予めスピーカーの個数とマイクロホンアレイに対する相対的な物理位置をユーザーが指定することを特徴とするユーザーインターフェースを有し、該ユーザーインターフェースで指定されたスピーカーの個数と物理位置から、スピーカから音が出力される際の、マイクロホンアレイの各帯域毎の位相差を計算するエコー位相差計算処理部を有し、外部記憶装置に該帯域毎の位相差を記憶し、記憶済みの位相差と帯域分割信号の各帯域毎のマイクロホン素子間の位相差が予め定める閾値以下の場合、該帯域分割信号をスピーカー出力信号であると判定することを特徴とする周波数振り分け部を有する請求項１記載の音響エコーキャンセラシステム。
【請求項４】
各マイクロホンアレイの位相差を用いて、帯域に渡る音源方向のヒストグラムを算出し、そのヒストグラムから音源方向を推定する音源定位部を有し、該音源定位部が算出する音源方向から到来したと推定される信号の大きさを算出し、算出した信号の大きさがスピーカ出力信号であると判定された帯域分割信号の大きさもしくは、音響エコーキャンセラ後の帯域分割信号でのスピーカ出力信号であると判定された帯域分割信号の大きさ、と比較して、予め定める大きさ以下である場合、該帯域分割信号の大きさを全て0とすることを特徴とする請求項１記載の音響エコーキャンセラシステム。
【請求項５】
更に、
音源方向を推定する手段と、
スピーカ方向を特定する手段と、
音源方向とスピーカ方向と比較する手段とを備え、
音源方向がスピーカ方向に相当するとみなす場合、その音源を音響エコー成分であるとみなし、エコーキャンセラ適応することを特徴とする請求項１記載の音響エコーキャンセラシステム。
【請求項６】
更に、
変換した周波数領域の信号に音響エコーフィルタを掛けて、擬似エコーを算出する手段と、
周波数毎に算出した擬似エコーと入力信号との類似度を算出する手段とを備え、
類似度が予め定める閾値より大きい場合、エコーキャンセラを適応することを特徴とする請求項１記載の音響エコーキャンセラシステム。
【請求項７】
更に、
変換した周波数領域の信号に音響エコーフィルタを掛けて、擬似エコーを算出する手段と、
周波数毎に算出した擬似エコーと入力信号との類似度を算出する手段と、
全周波数の類似度を加算する手段とを備え、
加算した類似度が予め定める閾値より大きい場合、エコーキャンセラを適応することを特徴とする請求項１記載の音響エコーキャンセラシステム。
【請求項８】
更に、
音源方向を推定する手段と、
スピーカー方向を特定する手段と、
音源方向とスピーカ方向と比較する手段と、
音源方向がスピーカ方向に相当するとみなす場合、その音源を音響エコー成分であると判定する手段と、
スピーカ方向とみなされた音源を周波数方向に加算してパワースペクトルを得る手段とを備え、
全周波数で加算したパワースペクトルが予め定める閾値より大きい場合、エコーキャンセラを適応することを特徴とする請求項１記載の音響エコーキャンセラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
スピーカとマイクロホンを有する電話会議システムもしくはテレビ会議システム向けの音響エコーキャンセル技術に属する。
【背景技術】
【０００２】
スピーカとマイクロホンを双方に有し、ネットワークで接続して離れたところの人と音声で会話することができる電話会議システムもしくはテレビ会議システムがある。このシステムでは、スピーカから出力する音声がマイクロホンに混入するという問題があった。そこで、従来より音響エコーキャンセラ技術を使って、マイクロホンに混入したスピーカ出力音声（音響エコー）を除去することが行われてきた。会議室の音響環境が不変であれば、最初に、１度だけ空間の音の伝わり方（インパルス応答）を学習し、そのインパルス応答を使って音響エコーを完全に除去することが可能である。しかし、会議参加者が席を移動したりすると、音響エコーの音響経路が変動するため、学習したインパルス応答と実際のインパルス応答がアンマッチとなり、音響エコーを完全に除去することができなくなる。最悪の場合、残留エコーが回りまわって、音量が次第に大きくなり、ハウリングという現象を起こし、会話することが全く困難な状態となる。
【０００３】
そこで、インパルス応答を逐次学習し、音響経路の変動に追随することで、常に音響エコーを完全に消すことを目的とした方法が提案されている（例えば、非特許文献１）。
【０００４】
また、マイクロホンアレイを使って、音響エコーを消去する方法が提案されている（例えば、特許文献１）。従来技術では、エコーキャンセラの性能が十分でないため、同時に近端話者と遠端話者が話す場合には、音量の小さい話者の声を完全にシャットアウトし、片側通話の状態にして、ハウリングを防ぐことが行われている。しかし、片側通話では、会話がしにくいという問題がある。
【０００５】
【特許文献１】特開２００５−１３６７０１号
【非特許文献１】Peter Heitkamper, “An Adaptation Control for Acoustic Echo  Ｃａｎｃｅｌｌｅｒｓ，”  ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Letters, Vol.4, No.6, 1997/6.
【非特許文献２】R. O. Schmidt, “Multiple Emitter Location and Signal Parameter Estimation, ” IEEE Trans. Antennas and Propagation, vol.34, no.3, pp.276-280, 1986.
【非特許文献３】戸上真人, 天野明雄, 新庄広, 鴨志田亮太, 玉本淳一, 柄川索, “人間共生ロボット“EMIEW”の聴覚機能, ” 第22回AIチャレンジ研究会, pp. 59-64, 2005
【発明の開示】
【発明が解決しようとする課題】
【０００６】
インパルス応答を逐次学習し、音響経路の変動に追随する従来手法では、スピーカのみから音が出ている場合は、逐次学習可能であるが、スピーカから音が出るとともに、会議室内の話者が発話した場合、学習不可能となり、最悪の場合、インパルス応答の学習に失敗し、音響エコーを全く除去できなくなる。そこで、スピーカのみから音が出ているか会議室内の話者が発話しているかを見極める（ダブルトーク検出）ことが必要となる。
【課題を解決するための手段】
【０００７】
本発明では、スピーカからの音が支配的な状況を検出して、エコーキャンセラの適応制御を行う。そのための構成例としては、複数のマイクロホン素子を有するマイクロホンアレイを用いることで、音源の到来方向を推定可能とする。より好ましい態様では、複数のマイクロホン素子に入力される音声の位相差を検出して、スピーカからの音が支配的な状況を判定することができる。判定は、あらかじめ格納された閾値との比較で行うことができる。されに好ましい態様では、音源の到来方向がスピーカー方向の帯域分割信号のみを抽出し、その帯域分割信号で音響エコーキャンセラの適応を行う音響エコーキャンセラ適応部を有する。
【０００８】
音響エコーキャンセラは、スピーカからの音を擬似的に作成し、入力音声から差し引くことで、エコーをキャンセルすることができる。
【０００９】
本発明の構成の典型的な例としては、音声を入力するマイクロホンと、マイクロホンからの信号をデジタル変換するＡＤ変換器と、ＡＤ変換器からのデジタル信号を処理し音響エコー成分を抑圧する情報処理装置と、情報処理装置からの信号をネットワークに送出する出力インターフェースと、ネットワークからの信号を受信する入力インターフェースと、入力インターフェースからの信号をアナログ変換するＤＡ変換器と、ＤＡ変換器からの信号を音声として出力するスピーカとを有する会議システムであって、情報処理装置は、マイクロホンに入力される音声の状態に基づいて、情報処理装置の最適化タイミングを制御する。ＡＤ変換器とＤＡ変換器は一体であっても良い。
【００１０】
好ましくは、マイクロホンに入力される音声が、主にスピーカ方向からとなるタイミングで情報処理装置の最適化を行う。判定はたとえば適当な閾値を設定することで可能となる。
【００１１】
さらに好ましくは、情報処理装置は、適応フィルタと、適応フィルタの最適化を行う音響エコーキャンセラ適応部と、適応フィルタを用いて、デジタル信号からスピーカの音声の混入分である音響エコー成分を抑圧する音響エコーキャンセル部とを備える。
【００１２】
さらに好ましくは、マイクロホンは複数のマイクロホン素子を有するマイクロホンアレイであり、ＡＤ変換器はマイクロホン素子ごとに信号をデジタル変換する複数のＡＤ変換器であり、情報処理装置は、複数のＡＤ変換機からの信号に基づいて、複数のマイクロホン素子に入力される音声間の位相差を計算する位相差計算部を有し、位相差計算部が出力する位相差から、マイクロホンアレイに入力された音声がスピーカからの音声であるかどうかを判定する周波数振り分け部を有する。
【００１３】
さらに好ましくは、情報処理装置は、デジタル信号を帯域分割する帯域分割部を有し、帯域分割部で、マイクロホン素子ごとにデジタル変換されたデジタル信号をそれぞれ帯域分割し、位相差計算部は分割した各帯域毎複数のマイクロホン素子に入力される音声間の位相差を計算し、周波数振り分け部は、位相差計算部が出力する各帯域毎の位相差から、帯域分割信号が、スピーカ出力信号であるか話者信号であるかを判定し、音響エコーキャンセラ適応部は、周波数振り分け部でスピーカ出力信号であると判定された帯域についてのみ、マイクロホン素子の信号からスピーカの音声の混入分を抑圧するために用いる適応フィルタの適応化をおこない、音響エコーキャンセラ部は、適応フィルタを用いて、各マイクロホン素子の信号から音響エコー成分を除去する。帯域分割部では、たとえば、２０Ｈｚから１６ｋＨｚまでの周波数を、２０Ｈｚごとに分割する。このように、周波数帯域ごとに制御を行うことで、高精度のエコーキャンセルが可能となる。
【００１４】
さらに好ましくは、周波数振り分け部で、スピーカ出力信号であるかどうかを判定するために、予めスピーカからマイクロホンアレイまで音が伝わる音の伝達関数を測定し、測定した伝達関数からスピーカから音が出力される際の、マイクロホンアレイの各帯域毎の位相差を算出し、外部記憶装置に帯域毎の位相差を記憶し、記憶済みの位相差と帯域分割信号の各帯域毎のマイクロホン素子間の位相差が予め定める閾値以下の場合、帯域分割信号をスピーカー出力信号であると判定する。
【００１５】
さらに好ましくは、予めスピーカーの個数とマイクロホンアレイに対する相対的な物理位置をユーザーが指定することを特徴とするユーザーインターフェースを有し、ユーザーインターフェースで指定されたスピーカーの個数と物理位置から、スピーカから音が出力される際の、マイクロホンアレイの各帯域毎の位相差を計算するエコー位相差計算処理部を有し、外部記憶装置に該帯域毎の位相差を記憶し、記憶済みの位相差と帯域分割信号の各帯域毎のマイクロホン素子間の位相差が予め定める閾値以下の場合、帯域分割信号をスピーカー出力信号であると判定する。
【００１６】
さらに好ましくは、各マイクロホンアレイの位相差を用いて、帯域に渡る音源方向のヒストグラムを算出し、そのヒストグラムから音源方向を推定する音源定位部を有し、音源定位部が算出する音源方向から到来したと推定される信号の大きさを算出し、算出した信号の大きさがスピーカ出力信号であると判定された帯域分割信号の大きさもしくは、音響エコーキャンセラ後の帯域分割信号でのスピーカ出力信号であると判定された帯域分割信号の大きさ、と比較して、予め定める大きさ以下である場合、帯域分割信号の大きさを小さくするか、全て0とする。
【発明の効果】
【００１７】
会議室の状況に応じて、動的にエコーキャンセラーの制御を行うことができる。
【実施例１】
【００１８】
以下、本発明の具体的な形態を図を用いて説明する。本発明は例えば、ＩＰネットワーク回線を用いた、電話会議システムであり、ネットワークで接続された２つ（以上）のサイトの双方が、マイクロホンアレイと、スピーカなどからなる電話会議設備を用いて交信し、両方のサイトにいる話者間の会話を実現する。以下このサイトの双方を近端、遠端と称する。
【００１９】
図１は、サイトの近端、遠端にそれぞれ配置される本発明のハードウェアの構成を示した図である。少なくとも２つ以上のマイクロホン素子からなるマイクロホンアレイ１、マイクロホンアレイから入力されるアナログの音圧値をデジタルデータに変換するA/D変換装置及びデジタルデータをアナログデータに変換するD/A変換装置２、変換装置２の出力を処理する中央演算装置３、例えば揮発性のメモリ４、ネットワークに接続し、遠端との間でデータを送受信するためのハブ５、D/A変換されたアナログデータをスピーカーを通し音圧に変換するスピーカ６、例えば不揮発性の外部記憶媒体７からなっている。
【００２０】
マイクロホンアレイ１で収録した多チャンネルの音圧値は、AD/DA変換装置２に送られて、多チャンネルのデジタルデータに変換される。変換されたデジタルデータは、CPU３を経由し、メモリ４に蓄積される。
【００２１】
ハブ５を介して送られてきた遠端側の音声は、CPU３を経由し、AD/DA変換装置２に送られて、スピーカー６から出力される。スピーカー６から出力される遠端側の音声は、近端側の話者音声とともに、マイクロホンアレイ１で収録する音声に混入する。したがって、メモリ４に蓄積されたデジタル音圧データにも、スピーカーから出力される遠端側の音声が混入することになる。CPU3では、メモリ４に蓄積されたデジタル音圧データから、混入した遠端側の音声を抑圧するエコーキャンセル処理を行い、近端側の話者音声のみ、ハブ５を介して遠端側に送信する。エコーキャンセル処理は、外部記憶媒体７に予め記憶しているスピーカーからマイクロホンアレイまでの音の伝わり方に関するデータや、スピーカーの個数、スピーカーの位置などの情報を利用し、遠端側の音声を抑圧する。
【００２２】
図２は、本発明のソフトウェア構成を示した図であり、アナログデータをデジタルデータに変換するA/D変換部８以外は、ＣＰＵ３でデジタル的に実行される。ＣＰＵの処理能力が十分であれば、最も便利な方式である。あるいは、これと等価なハードウエア構成とし、デジタルまたはアナログ処理としてもよい。
【００２３】
主な機能ブロックは、デジタルデータを帯域分割されたデータに変換する帯域分割部９、帯域分割信号の各マイクチャンネル間の位相差を計算する位相差計算部１０、位相差計算部が計算する位相差から、帯域分割信号の各帯域毎に、音響エコーが支配的か話者音声が支配的かを判定する周波数振り分け部１１、音響エコーキャンセル用の適応フィルタを適応する音響エコーキャンセラ適応部１２、スピーカ参照信号から、マイクロホンアレイに伝わる音響エコーを擬似生成する擬似エコー生成部１３、適応フィルタを使い、入力信号から音響エコーを抑圧する音響エコーキャンセル部１４などからなる。マイクロホンアレイ１で収録した多チャンネルのアナログ音圧データは、A/D変換部８で、多チャンネルのデジタルデータx(t)に変換される。変換された多チャンネルのデジタルデータは、帯域分割部９に送られ、多チャンネルの帯域分割データx(f:τ)に変換される。ここで、マイクロホンアレイは複数のマイクロホン素子を備えるので、A/D変換部８、帯域分割部９はマイクロホン素子の数だけ並列に配置すればよい。
【００２４】
帯域分割には、短時間フーリエ変換やウェーブレット変換、バンドバスフィルタなどを用いる。帯域分割部では、たとえば、２０Ｈｚから２０ｋＨｚまでの周波数を、２０Ｈｚごとに分割する。τは短時間周波数解析を行う際のフレームインデックスである。帯域分割されたデータは、位相差計算部１０に送られる。位相差計算部１０では、各マイクチャンネル毎の位相差を〔数１〕で算出する。
【００２５】
【数１】
2008141718.tif 000003
xi(f,τ)はiチャンネルのf番目の帯域分割データである。同様にxj(f,τ)はjチャンネルのf番目の帯域分割データである。δi,j(f,τ)はiチャンネルとjチャンネルのf番目の帯域に関する位相差である。算出した各マイクチャンネル毎の位相差は周波数振り分け部１１に送られる。周波数振り分け部１１では、予め設定するスピーカーからマイクロホンアレイまでのエコー成分の位相差Spi,j(f)と、各マイクチャンネル毎の位相差から〔数２〕で定義されるei,j(f,τ)を算出し、インデックスi,jに関するei,j(f,τ)の総和が予め設定する閾値以下であれば、f番目の帯域はエコーが支配的な帯域であると判定し、インデックスi,jに関するei,j(f,τ)の総和が予め設定する閾値以上であれば、近端側の音声であると判定する。
【００２６】
【数２】
2008141718.tif 000004
エコーであると判定された周波数成分は、音響エコーキャンセラ適応部１２に送られる。音響エコーキャンセラ適応部１２は、分割された周波数帯ごとに、適応フィルタの設定条件を格納している。音響エコーキャンセラ適応部１２では、周波数振り分け部１１がエコーであると判定した周波数帯について、擬似エコー生成部１３が出力する擬似エコー成分Echo i(f,τ)を用いて、〔数３〕で適応フィルタhi,τ(f,T)の適応を行う。
【００２７】
【数３】
2008141718.tif 000005
Echo i (f,τ)はiチャンネル目のマイクの擬似エコー成分である。hi,τ(f,T)はiチャンネル目のマイクの適応フィルタのｆ番目の帯域のTタップ目のフィルタであり、τ−１フレームまでの信号で適応済みのフィルタである。Lは適応フィルタのタップ長である。適応は、このように周波数毎に行ってもよいし、時間τにおいて、スピーカー方向であると判定された帯域数が予め定める閾値以上である場合、その時間τの周波数成分全てにおいて〔数３〕で適応を行っても良い。また周波数毎の音源定位は、MUSIC法や（非特許文献２  参照）修正遅延和アレイ法（非特許文献３  参照）に基づいて行っても良い。擬似エコー生成部１３では、〔数４〕で定義される擬似エコー成分e^(f,τ)を生成する。
【００２８】
【数４】
2008141718.tif 000006
d(f,τ)はスピーカーに出力する原信号の帯域分割信号である。さらに、擬似エコー生成部１３では、擬似エコーから、エコー位相差DBを〔数５〕で更新する。
【００２９】
【数５】
2008141718.tif 000007
適応フィルタのマイク間位相差をエコー位相差DBに記憶する。音響エコーキャンセル部１４では、音響エコーキャンセラ適応部１２で適応した適応フィルタを使い、音響エコー抑圧後の音声デジタルデータx^i(f,τ)を〔数６〕で生成し、出力する。
【００３０】
【数６】
2008141718.tif 000008
以上のように、本実施例では、複数のマイクロホン素子を有するマイクロホンアレイを用いて、マイク間位相差から、スピーカ音が支配的な帯域を判定し、その帯域についてのみ適応制御することで、音響エコーの抑圧性能の高いフィルタを生成することができる。また、ダブルトーク検出が可能となるため、スピーカのみから音が出ている時に音響エコーキャンセラの適応を行うことが可能となる。したがって、音響経路の変動に常に追随できるとともに、スピーカから音が出ている時には会議室内の話者が発話した場合にインパルス応答の学習を一時停止するため、インパルス応答の学習に失敗することが少なくなる。
【００３１】
図３は、スピーカーの個数や、スピーカー位置を指定するGUIの情報を用いて、エコー位相差DBの初期値を設定するシステムのブロック図である。テレビ会議に用いるスピーカ個数と物理位置を指定するスピーカ個数・位置設定GUI１５、設定されたスピーカ個数・位置から、音響エコーの位相差を計算するエコー位相差計算処理部１６の各機能ブロックおよびデータベースからなり、ＣＰＵおよび記憶手段で実現される。
【００３２】
スピーカー個数・位置設定GUI１５では、スピーカーの個数とマイクロホンアレイ１に対するスピーカーの位置を設定する。スピーカー個数・位置設定GUI１５では、マイクロホンアレイ１に対するスピーカー方向を設定することが必須となるが、スピーカー個数・位置設定GUIで設定されたスピーカーの個数と位置情報は、エコー位相差計算処理部１６に送られる。エコー位相差計算処理部１６では、スピーカー個数及ぶ位置から、FarFieldの仮定に基づき、音響エコーのiチャンネルとjチャンネル目のマイク間位相差Spi,j(f)を推定する。推定したエコー位相差は、エコー位相差DBに保存される。
【００３３】
図４は、本発明の適応アルゴリズム及び音源方向を用いて、エコーキャンセラを使うかボイススイッチを使うかを切り替えることで、エコーキャンセラの性能の限界を超えている大規模会議室であっても、ハウリングを起こすことが無いテレビ会議システムを実現することが可能となる。音声エコーキャンセル部１４に加え、話者音のパワーを推定する音源定位部１７、音響エコーの大きさと話者音のパワーの大きさから、VoiceSwitchを使用するかどうかを判定するVoiceSwitch判定部１８、音響エコー抑圧後の信号を出力する出力信号生成部１９を備える。
【００３４】
A/D変換部, 帯域分割部 位相差計算部, 周波数振り分け部, 音響エコーキャンセラ適応部, 擬似エコー生成部, 音響エコーキャンセル部については、図２と同様の処理である。音源定位部１７では、周波数振り分け部１１でエコー成分とみなされなかった周波数成分の位相差のヒストグラムを計算する。計算した位相差ヒストグラムのピークから、音源方向を同定する。同定する音源方向数は予め定めるか、または、ヒストグラムのピークであって、頻度がある閾値以上の場合、音源方向とみなす、というようにする。同定した音源方向について、全てのパワーを加算したものを近端話者パワーと定義する。音源定位部１７は、近端話者パワーを出力する。VoiceSwitch判定部１８では、周波数振り分け部で音響エコーが支配的であると判定された周波数について、音響エコーキャンセル後のパワーの総和を音響エコーパワーとして算出する。算出した音響エコーパワーと近端話者パワーとの比が、予め定める閾値以上であれば、そのフレームは、音響エコーが主であり、発話者はいないと判断し、VoiceSwitchを使用すると判定する。また、予め定める閾値以下であれば、そのフレームに、発話者がいると判断し、VoiceSwitchを使用しないと判定する。出力信号生成部１９では、VoiceSwitchを使用すると判定した場合、全ての値を0に設定した信号を生成し、出力する。VoiceSwitchを使用しないと判定した場合、音響エコーキャンセラ部が出力する音響エコーキャンセル後の信号を出力する。音響エコーキャンセル後の信号に残留エコーが多い場合、VoiceSwitch判定部１８は、VoiceSwitchを使用すると判断し、残留エコーを含む信号を送信しないことになる。残留エコーを含む信号を送信すると、システムが閉ループとなり、残留エコーによりハウリングを起こす可能性がある。そこで、残留エコーを防ぐためにVoiceSwitchを使い、エコーがループしないようにすることが望まれるが、常にVoiceSwitchを使うと、近端話者と遠端話者が同時に会話できなくなってしまう。そこで、本発明のVoiceSwitch判定部１８では、残留エコーが存在するフレームのみ、VoiceSwitchを使うため、残留エコーが生じない時は、近端話者と遠端話者が同時に会話可能である。また残留エコーが生じる時は、VoiceSwitchに切り替えるため、ハウリングを起こす可能性を劇的に減らすことが可能となる。本実施例は、VoiceSwitch判定部１８の判定に用いる音響エコーパワーを、音響エコーキャンセル後の信号から求めたが、音響エコーキャンセル前の信号のパワーから音響エコーパワーを計算しても良い。
【００３５】
また全周波数の残留エコーと、全周波数の近端話者パワーとを比較し、VoiceSwitchの使用判定をするが、いくつかの周波数ビンを含むサブバンドごとに、残留エコーと近端話者パワーとを比較し、各サブバンドごとに、VoiceSwitchを使うかどうか切り替えても良い。この場合、各サブバンドごとに、VoiceSwitchを使うと判定されたサブバンドは、出力信号生成部１９で、値０で置換されたものを出力する。VoiceSwitchを使わないと判定されたサブバンドは、出力信号生成部１９で、音響エコーキャンセル後の信号を出力する。
【００３６】
図５にテレビ会議システムに本発明を適用した際の、システム全体図を示す。このシステムでは、計算器101上で、位相差計算部10で計算した位相差や音源方向の情報を用いて、音響エコーキャンセラの適応を制御することを特徴とするテレビ会議システムである。
【００３７】
図５は、1拠点のシステム構成を示している。テレビ会議システム100は、音響信号処理または画像処理、通信処理を計算機101で行う。計算機101にはA/DD/A装置102がつながっており、マイクロホンアレイ105で収録した音声信号は、A/DD/A装置102によってデジタルの音声信号に変換され計算機101に送られる。マイクロホンアレイ105は、複数のマイク素子を有する。
【００３８】
計算機101では、デジタルの音声信号に対して音響信号処理を施し、処理後の音声信号はハブ103を介して、ネットワーク上に送られる。ここで、計算機101は、図1に示されるCPU3、メモリ4及び
外部記憶媒体７を備えている。
【００３９】
外部記憶媒体７は、計算機101の内部にあっても良いし、計算機101の外部にあっても良い。そして、計算機101内のCPU3では、図２に示されるような、帯域分割部9、位相差計算部10、周波数振り分け部11、音響エコーキャンセラ適応部12、擬似エコー生成部13、音響エコーキャンセラ部14や、または後述する図9に示されるように、音声送信部201、音響エコーキャンセラ適応部204、音響エコーキャンセラ部205、音声収録部203、音声受信部207、音声再生部208を有し、これらにより音響エコーキャンセラが実現されている。
【００４０】
ハブ103を介して、テレビ会議システム100に送られてきた他拠点の画像信号は画像表示装置104に送られ、画面に表示される。ハブ103を介して送られてきた他拠点の音声信号は、スピーカ106より出力される。
【００４１】
マイクロホンアレイ105で受音される音声内には、スピーカ106からマイクロホンアレイ105まで伝わる音響エコーが含まれており、除去することが必要となる。デジタルケーブル110及びデジタルケーブル113は、USBケーブルなどを用いる。
【００４２】
図6に、スピーカからマイク素子まで音が伝わる際の音響エコーモデル及び適応フィルタを用いた音響エコーキャンセラによる、従来技術の音響エコー抑圧処理の構成を示す。
【００４３】
信号は全てz変換を施して表記する。受話信号d(z)は、スピーカより放出されマイク素子に部屋のインパルス応答H(z)が畳み込まれた形で到来する。インパルス応答H(z)は、スピーカからマイクまでの直接音及び壁や床、天井などからの反射（音響エコー）を含んでいる。
【００４４】
マイク素子には、音響エコーの他、話者音声N(z)が混合する。マイク素子信号X(z)をそのまま送話すると、送話音声に音響エコーが含まれることになり、信号がループし、最悪の場合ハウリングを起こし、通話不能となる。そのため、送話音声から音響エコーのみを抑圧する必要がある。
【００４５】
適応フィルタW(z)は適応的に部屋のインパルス応答H(z)を学習したフィルタであり、受話信号にW(z)をかけることで、擬似的な音響エコーを作ることができる。適応フィルタＷ（ｚ）の適応は、例えばＮＬＭＳ法などを用いて行う。ＮＬＭＳ法では、Ｗ（ｚ）＝Ｗ（ｚ）＋２μX(z)N’(z)*/|X(z)|^2というように、適応フィルタを更新する。
【００４６】
W(z)=H(z)となるケースでは、マイク信号から擬似音響エコーを差し引くことで、話者音声N(z)のみを抽出することができる。
【００４７】
N(z)=0の場合、W(z)=H(z)のケースでは、送話音声は0となる。つまり、前述のＮＬＭＳ法の更新式では、W(z)は送話音声が0となるように適応的に変更される。
【００４８】
しかし、N(z)が0ではない場合、W(z)は送話音声が0となるように適応的に変更されることで、逆にW(z)は適応に失敗する。そのため、N(z)が0ではない場合は、適応しないように制御することが必要となる。
【００４９】
図7に、N(z)が0でない場合には適応しないように制御する機能を備えたダブルトーク検出器を有する、本発明を適用したシステムを示す。このダブルトーク検出器は、N(z)が0であるかどうか判定し、N(z)が0に近い時のみ、適応フィルタを適応する。
【００５０】
本発明を適用したこのシステムでは、マイクロホンアレイが受音したダブルトーク検出部702が位相差計算部701で得た音源の到来方向に関する情報を利用して判定を行う点が、特徴的である。
【００５１】
Ｎ（ｚ）が０でない場合に、音響エコーキャンセラを更新すると、適応に失敗し、フィルタが発散する危険性があることから、その危険性を回避するために、ダブルトーク検出器は必須となる。
【００５２】
図8は、2拠点のテレビ会議システムにおける音声ストリームの流れ及び３拠点以上の会議システムにおける音声ストリームの流れを示している。ここで、位相差計算部は、サーバーにあっても良いし、各拠点ごとのＣＰＵに存在しても良い。
【００５３】
２拠点の場合は、拠点Aのテレビ会議システムから音響エコーキャンセル後の送話信号が拠点Bのテレビ会議システムにネットワークを介して送られ、拠点Bで再生される。拠点Bの音声は拠点Aに送られて、再生される。
【００５４】
また３拠点以上の場合は、サーバやＣＰＵに一旦データが集められ、それぞれの拠点に再分配されて、再生される。
【００５５】
図9に、本発明を適用された際のテレビ会議システムのブロック構成を示す。ネットワークを介して伝わる受話音声は音声受信部207受信される。受信された受話音声は音声再生部208に送られる。音声再生部208ではスピーカで受話音声を再生する。
【００５６】
受話音声は音響エコーキャンセラ部205に送られる。音声収録部203では、マイクロホンアレイの音声信号を収録する。収録した音声信号は音響エコーキャンセラ部205に送られる。
【００５７】
音響エコーキャンセラ部205は、音響エコーキャンセルフィルタDB211に蓄えてある音響エコーキャンセルフィルタと受話音声から擬似エコーを生成して、マイクロホンアレイの音声信号から擬似エコーを差し引く。差し引いた結果、残った誤差信号は音響エコーキャンセラ適応部204に送られる。
【００５８】
音響エコーキャンセラ適応部204では、誤差信号を0にするように音響エコーキャンセラを適応する。適応した結果を音響エコーキャンセルフィルタDB211に保存する。音響エコーキャンセル部205で出力する誤差信号は音声送信部201に送られる。
【００５９】
音声送信部201では誤差信号を他拠点に送信する。画像撮影部210ではカメラで画像を撮影する。撮影画像を画像送信部202に送り、他拠点に送信する。
【００６０】
画像受信部209は他拠点から送られてきた画像を受信する。受信した画像は画像表示部206に送る。画像表示部206では送られてきた画像を画面に表示する。
【００６１】
図10に、テレビ会議システムの処理フローを示す。音響エコーキャンセラ適応処理S1では、スピーカより学習信号を鳴らし、音響エコーキャンセラの適応を行う。学習信号は白色雑音が望ましい。学習信号長は、数秒〜数十秒以上であることが望まれる。学習長が短い場合、音響エコーキャンセラは十分に部屋のインパルス応答を学習できない虞がある。このように、学習信号長を数秒〜数十秒以上とすることで、インパルス応答を十分に学習することが可能となる。
【００６２】
学習終了後、他拠点から接続要求が出ているかどうかの判定S2を行う。他拠点から接続要求が出ている場合、他拠点と接続S4を行う。
【００６３】
他拠点より接続要求が出ていなければ、自拠点から接続要求が出たかS3判定する。自拠点からの接続要求は、ユーザーがＧＵＩを通じて出す。
【００６４】
自拠点から接続要求が出ていれば、他拠点と接続S4を行う。自拠点から接続要求が出ていなければ、他拠点と接続をせず、他拠点から接続要求が出たかS2の判定に戻る。
【００６５】
つまり、テレビ会議システムは、自拠点か他拠点かいずれかから接続要求が出るまで、待機することになる。
【００６６】
他拠点と接続S4後、スピーカから再生S6、画像表示S7、音声収録S8、エコーキャンセルS9、音声送信S10を接続が切れるまで繰り返し行う。
【００６７】
スピーカから再生S6では他拠点から送られてくる受話音声を再生する。
【００６８】
画像表示S7では、他拠点から送られてくる画像をモニタ上に表示する。
【００６９】
音声収録S8では、自拠点のマイクロホンアレイの音声を収録する。
【００７０】
エコーキャンセルS9では、収録したマイクロホンアレイの音声から音響エコー成分を抑圧する。
【００７１】
音声送信S10では、音響エコー成分抑圧後の音声信号を送信する。接続が切れたかS11の判定で、もし切れたと判定された場合は、他拠点から接続S13を行い、テレビ会議システムを終了する。
【００７２】
接続が切れていないと判定された場合は、自拠点のユーザーからＧＵＩを通して切断要求があるかS12判定し、切断要求があれば、他拠点から切断S13し、テレビ会議システムを終了する。
【００７３】
図11に、本発明の主たる要素であるダブルトーク処理の基盤概念であるスパース性を示している。
【００７４】
本発明では、マイクロホンアレイからの音声信号及び擬似エコー生成に用いる受話信号は、全て短時間フーリエ変換やウェーブレット変換もしくはサブバンド処理を施されて、周波数領域信号に変換される。短時間フーリエ変換時のフレームサイズは、約50msに相当するポイント数であることが望まれる。
【００７５】
例えば、サンプリングレート32kHzではフレームサイズは2048ポイントが望ましいことになる。音声は数十ｍｓ程度は定常であり、かつこのようなフレームサイズに設定することで、周波数領域で、最もスパース性が成立していると仮定でき、音響エコーキャンセラの適応処理を高精度に動作させることが可能となる。
【００７６】
また短時間フーリエ変換は、ハミング窓やハニング窓、またはブラックマン窓などをかけた後、行うことが望ましい。短時間フーリエ変換は、信号が分析長周期で繰り返させると仮定する。窓関数を掛けない場合、両端の値に差が生じ、短時間フーリエ変換後に、存在しない周波数が観測されてしまう。このように窓関数をかけることで、存在しない周波数成分が観測されにくくなり、周波数解析精度を向上させることが可能となる。
【００７７】
フレームシフトはフレームサイズの1/4もしくは1/8程度が望ましく、フレームシフトを細かくするほど、出力音声の音質が向上する。しかしフレームシフトを細かくするほど、処理量が大きくなるため、搭載する計算機の処理速度でリアルタイム処理可能な範囲でフレームシフトを細かくする必要がある。
【００７８】
図11では横軸を時間(フレーム番号）、縦軸を周波数（周波数ビン番号）に設定した格子を示している。
【００７９】
本発明のダブルトーク処理では各時間-周波数成分毎に、その成分が音響エコー成分か非音響エコー成分かを判定し、音響エコー成分であると判定された時間-周波数についてのみ音響エコーキャンセラの適応処理を行う。
【００８０】
音声は時間-周波数領域で見ると、スパースな信号であり、複数の音声が同じ時間-周波数上で混合することは稀であることが知られている。
【００８１】
テレビ会議システムのように受話信号、送話信号の双方が音声信号である場合、スパース性から時間-周波数毎に音響エコー成分か非音響エコー成分かに振り分けることで、音響エコー成分だけを高精度に抽出することが可能となる。
【００８２】
図12では、本発明を適用した音響エコーキャンセラの基本構成を示している。
【００８３】
まず、複数のマイクロホン素子を有するマイクロホンアレイから計算機101に入力された音声信号に対して、帯域分割部が周波数分解S101を行い、収録音声を周波数領域の信号に変換する。
【００８４】
次に、位相差計算部が、収録音声の素子間位相差を計算する。
【００８５】
次に、周波数振り分け部が、位相差計算部が出力する各帯域の位相差から、帯域分割信号がどの音声であるかを判定する。すなわち、スピーカ出力信号であるか話者信号であるかを判定する。
【００８６】
そして、音響エコーキャンセラ部が、帯域分割信号に含まれる音声を除去するS102。
【００８７】
S102では、Ｗ（ｚ）を参照信号ｄ（ｚ）に掛け合わせて、擬似エコーＷ（ｚ）ｄ（ｚ）を生成する。マイク入力信号ｘ（ｘ）からＷ（ｚ）ｄ（ｚ）を差し引くことで、マイク入力信号から音響エコーを消去することができる。
【００８８】
音響エコーキャンセラ適応部は、帯域分割信号のうち、スピーカ出力信号である成分が多い場合、ダブルトーク状態であると判定S103し、音響エコーキャンセラの適応処理S104を行なう。
【００８９】
音響エコーキャンセラの適応処理は、ＮＬＭＳ法などで音響エコーキャンセラのフィルタＷ（ｚ）を更新する。ＮＬＭＳ法では、Ｗ（ｚ）＝Ｗ（ｚ）＋２μX(z)N’(z)*/|X(z)|^2というように更新する。
【００９０】
ダブルトーク状態であれば、エコーキャンセラ適応S103を行わず、音響エコーキャンセラ処理を終了する。
【００９１】
図13では、音源方向情報を用いて、スピーカ方向から到来する時間-周波数成分だけを音響エコーとみなし、適応する処理の処理フローを示している。
【００９２】
周波数分解S201では、収録音声を時間-周波数領域信号に変換する。
【００９３】
音源定位Ｓ２０２では、修正遅延和アレイ法に基づいて、音源方向推定を行う。本発明で音源方向推定に用いる修正遅延和アレイ法は、時間-周波数毎にその成分がどの方向から到来しているかを判定する。
【００９４】
図１１に示したとおり、音声は、時間-周波数毎に見るとスパースな信号であるため、時間-周波数ごとに音響エコーが主な成分と、非音響エコーが主な成分とに分かれると仮定できる。したがって、時間-周波数毎に推定した音源定位結果より、スピーカ方向から到来している時間-周波数成分を選択すれば、その成分は音響エコーが主な成分であると考えることができる。
【００９５】
修正遅延和アレイ法では、音源方向θのステアリングベクトルAθ(f）を用いて、音源定位を行う。マイク数をMとした時、Aθ(f）はM次元の複素ベクトルとなる。
【００９６】
ここでｆは周波数ビン番号をあらわす。入力信号の時間-周波数表現をX(f,τ)と記載する。τは短時間フーリエ変換のフレーム番号である。X(f,τ)はM次元の複素ベクトルであり、各マイク素子のフレームτ、周波数ｆの成分を要素に持つベクトルである。
【００９７】
修正遅延和アレイ法では、|Aθ(f）*X(f,τ)|が最大となる仮想音源方向θをフレームτ、周波数fの音源方向と推定する。
【００９８】
スピーカ方向特定S203では、仮想音源方向θ毎に音源方向がθであると推定された周波数fの数もしくは、log|Aθ(f）*X(f,τ)|を積み上げて、ヒストグラムを作る。そして予め定めるスピーカー方向の範囲（例えば-30°〜30°までといったように定める）内でのヒストグラムのピークを算出し、その方向をスピーカー方向θspとする。
【００９９】
音源方向がスピーカ方向かS204の判定では周波数fの推定音源方向θ'が|θ'-θsp|<βを満たす場合、その周波数fをスピーカ方向から到来した周波数成分とみなす。そして、音響エコー成分であるとみなし、エコーキャンセラ適応S205を行う。
【０１００】
全周波数にて、S204及びS205を行った後、音響エコーキャンセラの適応処理を終了する。
【０１０１】
さて、次に、図14では、擬似エコーから算出できる音源方向に類似した情報を用いた音響エコーキャンセラ適応処理を示す。
【０１０２】
周波数分解S301を行い、収録音声を周波数領域の信号に変換する。
【０１０３】
変換した周波数領域の信号に音響エコーフィルタを掛けて、擬似エコーを算出S302する。
【０１０４】
各周波数f毎に算出した擬似エコーと入力信号との類似度を算出S303する。類似度算出処理では、擬似エコーE(f,τ)を用いる。E(f,τ)はM次元の複素ベクトル、各マイク素子のフレームτ,周波数ｆの擬似エコー成分を要素に持つ。E(f,τ)の0番目の要素をE0(f,τ)と記載する。E'(f,τ)=E(f,τ)/E0(f,τ)と定義する。さらに。E''(f,τ)=E'(f,τ)/|E'(f,τ)|とする。類似度を|E''(f,τ)*X(f,τ)|/|X(f,τ)|とする。
【０１０５】
この類似度は音響エコー成分と入力信号の音源方向の類似度を見ており、入力信号中に音響エコー成分しか含まれていない場合は、類似度が1となる。類似度に周波数毎に異なる閾値α(f)を掛け合わせた値を最終的な類似度とする。α(f)=1/Σ|E''(f,τ)*Aθ(f)|とする。
【０１０６】
類似度が予め定める閾値thを上回った場合(S304)エコーキャンセラの適応S305を行い、下回った場合は、エコーキャンセラの適応S305を行わない。
【０１０７】
S303〜S305を全周波数毎に行った後、音響エコーキャンセラの適応処理を終了する。
【０１０８】
図15では、擬似エコーから算出できる音源方向に類似した情報を用いた音響エコーキャンセラ適応処理を示す。本処理では、音響エコーキャンセラを適応するかどうかは、フレーム内の全周波数成分について同一である。
【０１０９】
周波数分解S401を行い、収録音声を周波数領域の信号に変換する。変換した周波数領域の信号に音響エコーフィルタを掛けて、擬似エコーを算出S402する。
【０１１０】
各周波数f毎に算出した擬似エコーと入力信号との類似度を算出S403する。
【０１１１】
類似度算出処理では、擬似エコーE(f,τ)を用いる。E(f,τ)はM次元の複素ベクトル、各マイク素子のフレームτ,周波数ｆの擬似エコー成分を要素に持つ。E(f,τ)の0番目の要素をE0(f,τ)と記載する。E'(f,τ)=E(f,τ)/E0(f,τ)と定義する。さらに。E''(f,τ)=E'(f,τ)/|E'(f,τ)|とする。類似度を|E''(f,τ)*X(f,τ)|/|X(f,τ)|とする。
【０１１２】
この類似度は音響エコー成分と入力信号の音源方向の類似度を見ており、入力信号中に音響エコー成分しか含まれていない場合は、類似度が1となる。類似度に周波数毎に異なる閾値α(f)を掛け合わせた値を最終的な類似度とする。α(f)=1/Σ|E''(f,τ)*Aθ(f)|とする。類似度の計算を全周波数毎に行う。そして全周波数の類似度を加算S404する。
【０１１３】
加算した類似度が予め定める閾値thを上回った場合(S405)全周波数成分に対して、エコーキャンセラの適応S406を行い、下回った場合は、エコーキャンセラの適応S406を行わずに、音響エコーキャンセラ適応処理を終了する。また適応を行う場合は、エコーキャンセラ適応S406後、音響エコーキャンセラ適応処理を終了する。
【０１１４】
図16では、音源方向情報を用いて、スピーカ方向から到来する時間-周波数成分だけを音響エコーとみなし、適応する処理の処理フローを示している。
【０１１５】
本処理では音響エコーキャンセラを適応するかどうかは、フレーム内の全周波数成分について同一である。
【０１１６】
周波数分解S501では、収録音声を時間-周波数領域信号に変換する。音源定位Ｓ502では、修正遅延和アレイ法に基づいて、音源方向推定を行う。
【０１１７】
修正遅延和アレイ法では、音源方向θのステアリングベクトルAθ(f）を用いて、音源定位を行う。マイク数をMとした時、Aθ(f）はM次元の複素ベクトルとなる。
【０１１８】
ここでｆは周波数ビン番号をあらわす。入力信号の時間-周波数表現をX(f,τ)と記載する。τは短時間フーリエ変換のフレーム番号である。X(f,τ)はM次元の複素ベクトルであり、各マイク素子のフレームτ、周波数ｆの成分を要素に持つベクトルである。
【０１１９】
修正遅延和アレイ法では、|Aθ(f）*X(f,τ)|が最大となる仮想音源方向θをフレームτ、周波数fの音源方向と推定する。
【０１２０】
スピーカ方向特定S503では、仮想音源方向θ毎に音源方向がθであると推定された周波数fの数もしくは、log|Aθ(f）*X(f,τ)|を積み上げて、ヒストグラムを作る。そして予め定めるスピーカー方向の範囲（例えば-30°〜30°までといったように定める）内でのヒストグラムのピークを算出し、その方向をスピーカー方向θspとする。
【０１２１】
音源方向がスピーカ方向かS504の判定では周波数fの推定音源方向θ'が|θ'-θsp|<βを満たす場合、その周波数fをスピーカ方向から到来した周波数成分とみなす。そして、スピーカ方向とみなされた周波数fの数または、log|Aθ(f）*X(f,τ)|を積み上げて、周波数方向に加算したパワースペクトルを得る。全周波数で加算したパワースペクトルが予め定める以上であるかどうかS506の判定を行い、閾値以上であれば、全周波数成分についてエコーキャンセラ適応S507を行い、処理を終了する。
【０１２２】
図17は本音響エコーキャンセラの適応処理の効果を示した図である。自拠点の話者が発話中の音声（ダブルトーク音声）で適応したエコーキャンセルフィルタを用いて、音響エコーのみが存在する入力信号内の音響エコーを抑圧した結果である。
【０１２３】
この場合、全ての入力信号が抑圧されて、無音になることが望まれる。本発明による適応制御を行った場合の結果を上段に示す。
【０１２４】
適応制御を行わない場合の結果を下段に示す。結果は時間-周波数毎のパワーが大きい程、明るく小さいほど暗くなるような図で示している。横軸が時間で、縦軸が周波数である。適応制御を行う場合のほうが、特に高い周波数で音響エコー抑圧後の信号パワーが小さく、音響エコー抑圧性能が高いことが分かる。
【０１２５】
本発明を用いたテレビ会議システムでは、他拠点と接続する前に自拠点のスピーカより白色信号などを鳴らして音響エコーキャンセラを適応化しておくといった構成をとってもよい。
【０１２６】
図18に、予め音響エコーキャンセラを適応化する場合の処理フローを示す。
【０１２７】
他拠点接続前に自拠点のスピーカがなっている間の全フレームのデータを用いた音響エコーキャンセラの適応処理S601を行う。
【０１２８】
これは本発明のダブルトーク検出を行わずに無条件に音響エコーキャンセラの適応処理を行うことに相当する。
【０１２９】
そして他拠点接続待機S602を行い、他拠点から接続要求がくるか自拠点のユーザーが他拠点への接続要求を出すまで待機する。
【０１３０】
他拠点と接続後は、本発明のダブルトーク検出処理による適応制御付き音響エコーキャンセラ適応処理S603を繰り返し行う。そして、テレビ会議システムの切断後、終了する。
【０１３１】
図19では、VoiceSwitchによる非線形処理の制御を入力信号と擬似エコーの類似度を用いて行う処理のフローを示す。
【０１３２】
周波数分解S701を行い、収録音声を周波数領域の信号に変換する。
【０１３３】
変換した周波数領域の信号に音響エコーフィルタを掛けて、擬似エコーを算出S702する。
【０１３４】
各周波数f毎に算出した擬似エコーと入力信号との類似度を算出S703する。
【０１３５】
類似度算出処理では、擬似エコーE(f,τ)を用いる。E(f,τ)はM次元の複素ベクトル、各マイク素子のフレームτ,周波数ｆの擬似エコー成分を要素に持つ。E(f,τ)の0番目の要素をE0(f,τ)と記載する。E'(f,τ)=E(f,τ)/E0(f,τ)と定義する。さらに。E''(f,τ)=E'(f,τ)/|E'(f,τ)|とする。類似度を|E''(f,τ)*X(f,τ)|/|X(f,τ)|とする。この類似度は音響エコー成分と入力信号の音源方向の類似度を見ており、入力信号中に音響エコー成分しか含まれていない場合は、類似度が1となる。類似度に周波数毎に異なる閾値α(f)を掛け合わせた値を最終的な類似度とする。α(f)=1/Σ|E''(f,τ)*Aθ(f)|とする。
【０１３６】
類似度が予め定める閾値thを上回った場合(S704)かつ入力信号のパワーが閾値以上の場合、送話音声内の該当周波数成分を0とする。それ以外の場合は、エコーキャンセル後の信号を送話音声内の該当周波数成分として、処理を終了する。
【０１３７】
図20では、VoiceSwitchによる非線形処理の制御を入力信号と擬似エコーの類似度を用いて行う処理のフローを示す。VoiceSwitchを用いるかどうかの判定は全周波数で共通である。
【０１３８】
周波数分解S801を行い、収録音声を周波数領域の信号に変換する。変換した周波数領域の信号に音響エコーフィルタを掛けて、擬似エコーを算出S802する。各周波数f毎に算出した擬似エコーと入力信号との類似度を算出S803する。
【０１３９】
類似度算出処理では、擬似エコーE(f,τ)を用いる。E(f,τ)はM次元の複素ベクトル、各マイク素子のフレームτ,周波数ｆの擬似エコー成分を要素に持つ。E(f,τ)の0番目の要素をE0(f,τ)と記載する。E'(f,τ)=E(f,τ)/E0(f,τ)と定義する。さらに。E''(f,τ)=E'(f,τ)/|E'(f,τ)|とする。類似度を|E''(f,τ)*X(f,τ)|/|X(f,τ)|とする。この類似度は音響エコー成分と入力信号の音源方向の類似度を見ており、入力信号中に音響エコー成分しか含まれていない場合は、類似度が1となる。類似度に周波数毎に異なる閾値α(f)を掛け合わせた値を最終的な類似度とする。α(f)=1/Σ|E''(f,τ)*Aθ(f)|とする。類似度を全周波数で加算する。
【０１４０】
そして、加算後の類似度が予め定める閾値thを上回った場合(S805)かつ入力信号のパワーが閾値以上の場合、送話音声信号を0とする。それ以外の場合は、エコーキャンセル後の信号を送話音声として、処理を終了する。
【０１４１】
図21では、音響エコーキャンセル後の残留エコーの非線形抑圧係数の制御を入力信号と擬似エコーの類似度を用いて行う処理のフローを示す。
【０１４２】
周波数分解S901を行い、収録音声を周波数領域の信号に変換する。
【０１４３】
変換した周波数領域の信号に音響エコーフィルタを掛けて、擬似エコーを算出S902する。
【０１４４】
各周波数f毎に算出した擬似エコーと入力信号との類似度を算出S903する。
【０１４５】
類似度算出処理では、擬似エコーE(f,τ)を用いる。E(f,τ)はM次元の複素ベクトル、各マイク素子のフレームτ,周波数ｆの擬似エコー成分を要素に持つ。E(f,τ)の0番目の要素をE0(f,τ)と記載する。E'(f,τ)=E(f,τ)/E0(f,τ)と定義する。さらに。E''(f,τ)=E'(f,τ)/|E'(f,τ)|とする。類似度を|E''(f,τ)*X(f,τ)|/|X(f,τ)|とする。この類似度は音響エコー成分と入力信号の音源方向の類似度を見ており、入力信号中に音響エコー成分しか含まれていない場合は、類似度が1となる。類似度に周波数毎に異なる閾値α(f)を掛け合わせた値を最終的な類似度とする。α(f)=1/Σ|E''(f,τ)*Aθ(f)|とする。
【０１４６】
類似度が予め定める閾値thを上回った場合(S904)かつ入力信号のパワーが閾値以上の場合、非線形抑圧係数αを予め定める値α0とする。それ以外の場合は、非線形抑圧係数αをα1とする。α0>α1として、予め定めておく。
【０１４７】
音響エコーキャンセルS907後の信号をn'(f,τ)とし、擬似エコー成分をe(f,τ)とする。
非線形抑圧処理S908では、n''(f,τ)=Floor(|n'(f,τ)|-|e(f,τ)|)arg(n'(f,τ))として、n''(f,τ)を出力する。ここで、Floor(x)はxが0以上の場合、xを返し、xが0以下の場合、0を返す関数である。arg(x)はxの位相成分を返す関数である。全周波数で非線形抑圧処理を行った後、処理を終了する。
【産業上の利用可能性】
【０１４８】
以上のように、本発明によれば、音響エコーの制御を電話会議システムもしくはテレビ会議システム等で実現することが可能となり、ダブルトーク状態での音響エコーキャンセル技術に適用することができる。
【図面の簡単な説明】
【０１４９】
【図１】本発明のハードウェア構成を示した図。
【図２】本発明のソフトウェアのブロック図。
【図３】本発明のGUIによるスピーカー個数・位置指定のブロック図。
【図４】本発明の音源定位によるVoiceSwitch切り替え処理のブロック図。
【図５】本発明をテレビ会議システムに適用した装置全体図。
【図６】従来技術の音響エコーキャンセラを説明した図。
【図７】ダブルトーク検出処理を用いた音響エコーキャンセラを説明した図。
【図８】２拠点テレビ会議の構成を示した図。
【図９】本発明を適用したテレビ会議システムのブロック図。
【図１０】本発明を適用したテレビ会議システムの処理フロー図。
【図１１】本発明における音響エコー成分特定法を説明した図。
【図１２】本発明のエコーキャンセラとダブルトーク判定及びエコーキャンセラ適応処理の処理フロー図。
【図１３】音源方向を利用した周波数毎のエコーキャンセラ適応制御フロー図。
【図１４】音源方向に類似した情報を利用した周波数毎のエコーキャンセラ適応制御フロー図。
【図１５】音源方向に類似した情報を利用した全周波数成分のエコーキャンセラ適応制御フロー図。
【図１６】音源方向を利用した周波数毎のエコーキャンセラ適応制御フロー図。
【図１７】本発明の効果を示した図。
【図１８】テレビ会議開始前に適応処理を行う場合の処理フロー図。
【図１９】音源方向に類似した情報を利用した周波数毎のVoiceSwitch制御フロー図。
【図２０】音源方向に類似した情報を利用した全周波数のVoiceSwitch制御フロー図。
【図２１】音源方向に類似した情報を利用した周波数毎の非線形音響エコー抑圧処理の抑圧係数制御フロー図。
【符号の説明】
【０１５０】
1…マイクロホンアレイ、２…A/D変換装置及びD/A変換装置、３…中央演算装置、４…メモリ、５…ハブ、６…スピーカ、７…外部記憶媒体、８…A/D変換部、９…帯域分割部、１０…位相差計算部、１１…周波数振り分け部、１２…音響エコーキャンセラ適応部、１３…擬似エコー生成部、１４…音響エコーキャンセル部、１５…スピーカ個数・位置設定GUI、１６…エコー位相差計算処理部、１７…音源定位部、１８…VoiceSwitch判定部、１９…出力信号生成部、
１００・・・テレビ会議システム、１０１・・・計算機、１０２・・・A/DD/A装置、１０３・・・ハブ、１０４・・・画像表示装置、１０５・・・マイクロホンアレイ、１０６・・・スピーカ、１０７・・・カメラ、１０８・・・オーディオケーブル、１０９・・・オーディオケーブル、１１０・・・デジタルケーブル、１１１・・・モニタケーブル、１１２・・・ＬＡＮケーブル、１１３・・・デジタルケーブル、２０１音声送信部、２０２・・・画像送信部、２０３・・・音声収録部、２０４・・・音響エコーキャンセラ適応部、２０５・・・音響エコーキャンセラ部、２０６・・・画像表示部、２０７・・・音声受信部、２０８・・・音声再生部、２０９・・・画像受信部、２１０・・・画像撮影部、２１１・・・音響エコーキャンセラフィルタＤＢ、７０１・・・位相差計算部、７０２・・・ダブルトーク検出部、Ｓ１・・・音響エコーキャンセラ適応処理、Ｓ２・・・他拠点から接続要求が出たかの判定、Ｓ３・・・自拠点から接続要求が出たかの判定、Ｓ４・・・他拠点と接続、Ｓ６・・・スピーカから再生処理、Ｓ７・・・画像表示、Ｓ８・・・音声収録、Ｓ９・・・エコーキャンセル、Ｓ１０・・・音声送信、Ｓ１１・・・接続が切れたかの判定、Ｓ１２・・・自拠点からの切断要求があるかの判定、Ｓ１３・・・他拠点から切断、Ｓ１０１・・・周波数分解、Ｓ１０２・・・エコーキャンセラ実行、Ｓ１０３・・・ダブルトーク状態であるかの判定、Ｓ１０４・・・エコーキャンセラ適応、Ｓ２０１・・・周波数分解、Ｓ２０２・・・音源定位、Ｓ２０３・・・スピーカー方向特定、Ｓ２０４・・・音源方向がスピーカー方向かどうかの判定、Ｓ２０５・・・エコーキャンセラ適応、Ｓ３０１・・・周波数分解、Ｓ３０２・・・擬似エコー算出、Ｓ３０３・・・入力信号との類似度算出、Ｓ３０４・・・類似度が閾値以上かの判定、Ｓ３０５・・・エコーキャンセラ適応、Ｓ４０１・・・周波数分解、Ｓ４０２・・・擬似エコー算出、Ｓ４０３・・・入力信号との類似度算出、Ｓ４０４・・・類似度加算処理、Ｓ４０５・・・加算後の類似度が閾値以上かの判定、Ｓ４０６・・・全周波数エコーキャンセラ適応、Ｓ５０１・・・周波数分解、Ｓ５０２・・・音源定位、Ｓ５０３・・・スピーカー方向特定、Ｓ５０４・・・音源方向がスピーカー方向かどうかの判定、Ｓ５０５・・・パワースペクトル加算処理、Ｓ５０６・・・スピーカ方向スペクトルが閾値以上かの判定、Ｓ５０７・・・エコーキャンセラ適応、Ｓ６０１・・・全フレーム適応処理、Ｓ６０２・・・他拠点接続待機、Ｓ６０３・・・適応制御付き音響エコーキャンセラ適応処理、Ｓ７０１・・・周波数分解、Ｓ７０２・・・擬似エコー算出、Ｓ７０３・・・入力信号との類似度算出、Ｓ７０４・・・類似度が閾値以上かの判定、Ｓ７０５・・・パワーが閾値以上かの判定、Ｓ７０６・・・ＶｏｉｃｅＳｗｉｔｃｈ判定、Ｓ８０１・・・周波数分解、Ｓ８０２・・・擬似エコー算出、Ｓ８０３・・・入力信号との類似度算出、Ｓ８０４・・・類似度加算処理、Ｓ８０５・・・加算後類似度が閾値以上かの判定、Ｓ８０６・・・入力パワーが閾値以上かの判定、Ｓ８０７・・・全帯域ＶｏｉｃｅＳｗｉｔｃｈ判定、Ｓ９０１・・・周波数分解、Ｓ９０２・・・擬似エコー算出、Ｓ９０３・・・入力信号との類似度算出、Ｓ９０４・・・類似度が閾値以上かの判定、Ｓ９０５・・・パワーが閾値以上かの判定、Ｓ９０６・・・非線形抑圧係数調整、Ｓ９０７・・・音響エコーキャンセラ、Ｓ９０８・・・非線形抑圧。
【図１】
2008141718.tif 000009
【図２】
2008141718.tif 000010
【図３】
2008141718.tif 000011
【図４】
2008141718.tif 000012
【図５】
2008141718.tif 000013
【図６】
2008141718.tif 000014
【図７】
2008141718.tif 000015
【図８】
2008141718.tif 000016
【図９】
2008141718.tif 000017
【図１０】
2008141718.tif 000018
【図１１】
2008141718.tif 000019
【図１２】
2008141718.tif 000020
【図１３】
2008141718.tif 000021
【図１４】
2008141718.tif 000022
【図１５】
2008141718.tif 000023
【図１６】
2008141718.tif 000024
【図１８】
2008141718.tif 000025
【図１９】
2008141718.tif 000026
【図２０】
2008141718.tif 000027
【図２１】
2008141718.tif 000028
【図１７】
2008141718.tif 000029