(57)【要約】従来の音響エコーキャンセラでは，A/D変換機とD/A変換機の間でサンプリングレートがずれていることに起因する時間に比例した時間ずれが起こる場合に、高精度にエコー成分を除去することが困難であった。  本発明では，時間に比例して起こる時間ずれの比例係数を推定する時間ずれ係数推定部を有し，更に本推定部が出力する時間ずれ係数を使用して音響エコー成分を除去することを特徴とする音響エコーキャンセラにより，時間に比例した時間ずれが起こる場合でも，高精度に音響エコー成分を除去できる。
2014115290.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力するマイクロホンと、
前記マイクロホンからの信号をデジタル変換するＡＤ変換器と、
前記ＡＤ変換器からのデジタル信号を処理し音響エコー成分を抑圧する情報処理装置と、
前記情報処理装置からの信号をネットワークに送出する出力インターフェースと、
前記ネットワークからの信号を受信する入力インターフェースと、
前記入力インターフェースからの信号をアナログ変換するＤＡ変換器と、
前記ＤＡ変換器からの信号を音声として出力するスピーカと、備えた音声システムであって、
前記情報処理装置は、
前記A/D変換機と前記D/A変換機との間の時間に比例した時間ずれ係数を推定するフィルタ学習部と、
前記推定した時間に比例した時間ずれ係数を用いて、前記ＡＤ変換器で得られたデジタル音声波形から音響エコー成分を除去する音響エコーキャンセラ部と、を備えることを特徴とする音声システム。
【請求項２】
前記フィルタ学習部は、
前記ネットワークから入力されるデジタル音声波形と、前記ＡＤ変換器で得られたデジタル音声波形と、に基づいて前記時間に比例した時間ずれ係数を推定することを特徴とする請求項１に記載の音声システム。
【請求項３】
前記音響エコーキャンセラ部は、前記ネットワークから入力されるデジタル音声波形を前記推定した時間に比例した時間ずれ係数を用いて補正し、
前記フィルタ学習部は、補正したデジタル音声波形を用いて音響エコーキャンセラフィルタを更新し、
前記音響エコーキャンセラ部は、更新した音響エコーキャンセラフィルタを前記補正したデジタル音声波形に重畳して音響エコーレプリカを作成し，作成した前記音響エコーレプリカを前記ＡＤ変換器で得られたデジタル音声波形から引き算することで音響エコー成分を除去することを特徴とする請求項２に記載の音声システム。
【請求項４】
前記情報処理装置は、
A/D変換機を識別する識別子、D/A変換機を識別する識別子、該A/D変換機のサンプリングレート、及び、該D/A変換機のサンプリングレートの組み合わせに対応した時間に比例した時間ずれ係数を保持するデータベースを備え、
接続されるA/D変換機またはD/A変換機が変更されたことを検出すると、前記データベースを参照して、接続されるA/D変換機、D/A変換機、及び、該A/D変換機と該D/A変換機のサンプリングレートに対応する時間に比例した時間ずれ係数を取得し、取得した時間に比例した時間ずれ係数を用いて前記ＡＤ変換器で得られたデジタル音声波形から音響エコー成分を除去することを特徴とする請求項３に記載の音声システム。
【請求項５】
音響エコー成分を除去する方法であって、
マイクロホンで音声を受信するステップと、
前記マイクロホンからの信号をＡＤ変換器でデジタル変換するステップと、
ネットワークからの信号を受信するステップと、
前記ネットワークから受信した信号をＤＡ変換器でアナログ変換するステップと、
前記ＤＡ変換器からの信号を音声としてスピーカから出力するステップと、
前記A/D変換機と前記D/A変換機との間の時間に比例した時間ずれ係数を推定するステップと、
前記推定した時間に比例した時間ずれ係数を用いて、前記ＡＤ変換器で得られたデジタル音声波形から音響エコー成分を除去するステップと、
前記音響エコー成分を抑圧したデジタル信号をネットワークに送出するステップと、を含む音響エコー成分を除去する方法。
【請求項６】
前記A/D変換機と前記D/A変換機との間の時間に比例した時間ずれ係数を推定するステップは。
前記ネットワークから入力されるデジタル音声波形と、前記ＡＤ変換器で得られたデジタル音声波形と、に基づいて前記時間に比例した時間ずれ係数を推定することを特徴とする請求項５に記載の音響エコー成分を除去する方法。
【請求項７】
前記ネットワークから入力されるデジタル音声波形を前記推定した時間に比例した時間ずれ係数を用いて補正するステップと、
前記補正したデジタル音声波形を用いて音響エコーキャンセラフィルタを更新するステップと、
前記更新した音響エコーキャンセラフィルタを前記補正したデジタル音声波形に重畳して音響エコーレプリカを作成し，作成した前記音響エコーレプリカを前記ＡＤ変換器で得られたデジタル音声波形から引き算することで音響エコー成分を除去するステップと、を含むことを特徴とする請求項６に記載の音響エコー成分を除去する方法。
【請求項８】
A/D変換機を識別する識別子、D/A変換機を識別する識別子、該A/D変換機のサンプリングレート、及び、該D/A変換機のサンプリングレートの組み合わせに対応した時間に比例した時間ずれ係数を保持するデータベースを備え、
接続されるA/D変換機またはD/A変換機が変更されたことを検出するステップと、
前記データベースを参照して、接続されるA/D変換機、D/A変換機、及び、該A/D変換機と該D/A変換機のサンプリングレートに対応する時間に比例した時間ずれ係数を取得するステップと、
取得した時間に比例した時間ずれ係数を用いて前記ＡＤ変換器で得られたデジタル音声波形から音響エコー成分を除去するステップと、を含むことを特徴とする請求項７に記載の音響エコー成分を除去する方法。
【請求項９】
マイクロホンからの音声信号をＡＤ変換器でデジタル変換したデジタル音声波形を取り込む音声取り込み部と、
ＤＡ変換器で変換してスピーカで再生するためのスピーカ再生用のデジタル音声信号を受信する音声受信部と、
前記A/D変換機と前記D/A変換機との間の時間に比例した時間ずれ係数を推定するフィルタ学習部と、
前記推定した時間に比例した時間ずれ係数を用いて、前記ＡＤ変換器で得られたデジタル音声波形から音響エコー成分を除去する音響エコーキャンセラ部と、
前記ＡＤ変換器で得られたデジタル音声波形から音響エコー成分を除去したデジタル音声波形を出力する音声送信部と、を備えることを特徴とする音響エコーキャンセラ。
【請求項１０】
前記フィルタ学習部は、
前記音声受信部で受信するデジタル音声波形と、前記ＡＤ変換器で得られたデジタル音声波形と、に基づいて前記時間に比例した時間ずれ係数を推定することを特徴とする請求項９に記載の音響エコーキャンセラ。
【請求項１１】
前記音響エコーキャンセラ部は、前記音声受信部で受信するデジタル音声波形を前記推定した時間に比例した時間ずれ係数を用いて補正し、
前記フィルタ学習部は、補正したデジタル音声波形を用いて音響エコーキャンセラフィルタを更新し、
前記音響エコーキャンセラ部は、更新した音響エコーキャンセラフィルタを前記補正したデジタル音声波形に重畳して音響エコーレプリカを作成し，作成した前記音響エコーレプリカを前記ＡＤ変換器で得られたデジタル音声波形から引き算することで音響エコー成分を除去することを特徴とする請求項１０に記載の音響エコーキャンセラ。
【請求項１２】
A/D変換機を識別する識別子、D/A変換機を識別する識別子、該A/D変換機のサンプリングレート、及び、該D/A変換機のサンプリングレートの組み合わせに対応した時間に比例した時間ずれ係数を保持するデータベースを備え、
接続されるA/D変換機またはD/A変換機が変更されたことを検出すると、前記データベースを参照して、接続されるA/D変換機、D/A変換機、及び、該A/D変換機と該D/A変換機のサンプリングレートに対応する時間に比例した時間ずれ係数を取得し、取得した時間に比例した時間ずれ係数を用いて前記ＡＤ変換器で得られたデジタル音声波形から音響エコー成分を除去することを特徴とする請求項１１に記載の音響エコーキャンセラ。
【発明の詳細な説明】
【技術分野】
【０００１】
A/D変換機でデジタル変換した後の信号から，D/A変換機で出力した信号成分が，何らかの要因によりA/D変換機でデジタル変換した後の信号に混入するような信号処理系において，該混入成分を除去する信号処理除去装置，もしくは音響エコーキャンセラ技術に属する。
【背景技術】
【０００２】
D/A変換機及びスピーカ経由で空間に放射した音がマイクロホン及びA/D変換機経由で得られるデジタル信号に混入する音響エコー成分を除去する音響エコーキャンセラが広く用いられてきている。一般的な音響エコーキャンセラは，A/D変換機とD/A変換機に同一のクロックが供給されていることを前提としている。D/A変換機を通して空中に放射する音の原信号をd(t)と記載する。ここで，tは時間インデックスとする。更にA/D変換機を通して得られる音をx(t)と記載する。ここで，x(t)は，一般に，x(t)=h*d(t)+s(t)と記述することができる。ここで，s(t)は環境内にいる話者や雑音からなる信号とする。*は畳み込み混合を表す演算子とする。hは，スピーカから出た音がマイクロホンで受音されるまでに環境内の壁や床などを伝わる伝達関数とする。一般にhは環境に依存するため事前に知ることはできない。一方，d(t)は、D/A変換機に出す前にシステムが保持している信号であり，既知であると考えることができる。【０００３】
遠隔会議システムでは，x(t)の中に含まれるs(t)を抽出し，s(t)を接続先に転送し，接続先のスピーカより放射することで相手に環境内の話者の声を届けることができる。したがってs(t)を如何にx(t)から抽出するかがポイントとなるが，hがもし分かっていれば，s(t)はx(t)からh*d(t)を引き算により抽出することができる。【０００４】
音響エコーキャンセラは、x(t)とd(t)から何らかの方法でhを推定し，得られたhを使ってs(t)を推定する構成を取る。hの推定法としては，e(t)=x(t)-h*d(t)で定義されるe(t)の分散値の期待値E[e(t)*e(t)]ができる限り小さくなるように推定する最小二乗法に基づくLMS(Least Mean Square)法などが一般に使われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１４９７６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の音響エコーキャンセラでは，A/D変換機とD/A変換機において，信号が同じタイミングでサンプリングされている環境で動作することを前提に設計されている。したがって，A/D変換機とD/A変換機のサンプリングのタイミングがずれる場合には，音響エコーキャンセラの音響エコー成分除去性能が低下することが問題となっていた。A/D変換機とD/A変換機のサンプリングのタイミングのずれとして，例えばテレビ内蔵のD/A変換機とスピーカとを接続しているような場合においては，遠隔会議システムにおいて，スピーカ再生用の信号を出力した後，該信号が数百ms遅れで出力されることがよく起こる。このような時間タイミングがスピーカで遅れる場合には，遅れ時間分のオフセットを加味した音響エコーキャンセラにより，遅れの影響無く音響エコー成分が除去できる構成が示されている（例えば，特許文献１参照）。【０００７】
しかし，D/A変換機とA/D変換機が同じクロックで駆動されていない場合においては，D/A変換機とA/D変換機の間の時間ずれは時間毎に変化することになる。例えば，D/A変換機とA/D変換機のサンプリングレートが同じ8kHzに設定されている場合であっても，同じクロックを供給されていない限り，同じサンプリングレートとなることは非常にまれである。通常、一方がサンプリングレート8000Hzである場合でも，他方がサンプリングレート8001Hzといったように微小にサンプリングレートがずれることになる。【０００８】
一方，サンプリングレートは，クロックを生成するデバイス（例えば水晶など）に固有であると考えられるため， D/A変換機とA/D変換機毎に，時間毎に一定のレートとなると考えられる。したがって，D/A変換機とA/D変換機は時間に比例して時間がずれることになると考えられる。【０００９】
図４にA/D変換機で収録した音とD/A変換機で収録した音との間の相関係数を時間毎に算出した時の値を示す。横軸は時間軸であり，縦軸はD/A変換機とA/D変換機との間の時間ずれを示している。時間に比例してD/A変換機とA/D変換機との間の時間ずれが大きくなっている様子が見て取れる。よって、特許文献１では、このような時間に比例したD/A変換機とA/D変換機毎の間の時間ずれにより、音響エコー成分を精度よく除去することが出来ない。【００１０】
本発明は、時間に比例したD/A変換機とA/D変換機毎の間の時間ずれがある場合における音響エコー成分の除去を課題とする。【００１１】
従来のLMSアルゴリズムなどの適応フィルタに基づく適応型の音響エコーキャンセラでは，D/A変換後の信号がA/D変換機に届くまでの伝達関数を適応的に推定することができる。理論上は、時間に比例する時間ずれは，この伝達関数に含まれると考えられるが，一般に時間に比例する時間ずれは数秒の間に数サンプルもずれるような非常に早いずれであるため，一般の適応型フィルタでは追従が追いつかない（図４参照）。
【課題を解決するための手段】
【００１２】
本発明では，時間に比例して起こる時間ずれに限定し，時間ずれの時間比例係数を推定することを特徴とする時間ずれ係数推定部と適応型フィルタによる音響エコーキャンセラとを併用する。 
【発明の効果】
【００１３】
本発明により広い部屋同士をつなぐビデオ会議システムにおいて，音響エコーの影響が少ないクリアな音声で快適な音声通話が可能となる。また、一般の適応型フィルタを用いた音響エコーキャンセラだけを用いた場合では，理論的に追従ができないような速い時間比例型の時間ずれが起こる場合でも，高精度に追従することを可能とする。
【図面の簡単な説明】
【００１４】
【図１】本発明を実施するための最良の形態
【図２】遠隔会議システムにおいて各拠点の会議システムを接続する構成の例
【図３】中央演算装置１０２内で実行する音響処理のブロック構成
【図４】A/D変換機とD/A変換機の間の時間ずれの一例を示した図
【図５】音響処理３０１の具体的なブロック構成
【図６】フィルタ学習部５０５の時間領域処理における処理フロー一例
【図７】フィルタ学習部５０５の周波数領域処理における処理フロー一例
【図８】音響処理３０１の処理フロー一例
【図９】遠隔会議システムにおけるA/D変換機とD/A変換機の接続構成が変化した際に，時間に比例した時間ずれの比例係数を再学習するような構成の一例
【図１０】A/D変換機とD/A変換機の種類ごとに時間ずれの比例係数を情報として格納する際のテーブル構造
【図１１】D/A変換機付きのスピーカとA/D変換機つきのマイクロホンを用いた遠隔会議システムのシステム構成
【発明を実施するための形態】
【００１５】
本発明は，例えば、広い部屋で使われる遠隔会議システムなどで使用されることを想定している。遠隔会議において，本発明を実施するための一例を図１に示す。
【００１６】
図１は，遠隔会議の各拠点毎に設置された会議システムのハードウェア構成の一例を示している。
【００１７】
各拠点毎の会議システム１００では，各会議室の中の音声波形をマイクロホン１０５で集音する。マイクロホン１０５は，単一のマイクロホンで無くとも，例えば複数のマイクロホン素子からなったマイクロホンアレイであっても良い。
【００１８】
集音したアナログの音声波形は，A/D変換機１０４でアナログ信号からデジタル信号に変換される。変換されたデジタル音声波形は，中央演算装置１０２で残響除去処理を施された後，ＨＵＢ１０８を介してパケットに変換されネットワークに放出される。
【００１９】
中央演算装置１０２では，不揮発性メモリ１０１に記憶されているプログラム，及びプログラムで用いるパラメータを読み込み，該プログラムを実行する。また，プログラム実行時に用いるワークメモリは，揮発性メモリ１０３上に確保され，音響処理に必要な各種パラメータの記憶領域が定義される。
【００２０】
中央演算装置１０２では，遠隔会議における，他拠点（遠端）の音声波形を，ネットワーク越しに，HUB１０８から受け取る。受け取った遠端音声波形（デジタル音声波形）は，中央演算装置１０２経由で，Ｄ／Ａ変換機１０６に送られて，デジタル信号からアナログ信号に変換された後，変換されたアナログの音声波形は、スピーカ１０７から放出される。スピーカ１０７は単一のスピーカ素子で無くとも，例えば複数のスピーカ素子からなるものであっても良い。また，各拠点毎の映像情報は，一般的なカメラ１０９で撮像されＨＵＢ１０８を経由して他拠点に送信される。他拠点の映像情報は，ネットワーク経由でＨＵＢ１０８に送られ，更に中央演算装置１０２を経由して，各拠点毎に設置されたディスプレイ１１０上で表示される。カメラ１０９を複数台設置したり，ディスプレイ１１０を複数台設置するような構成を、取っても良い。
【００２１】
また，遠隔会議システムの接続や切断をコントロールするユーザーインターフェース１１１を保持する。ユーザーインターフェース１１１は，マウスやキーボード、もしくは赤外線のリモコンなど，当業者が一般的に用いるものを想定する。
【００２２】
図２に，遠隔会議システムにおいて各拠点の会議システムを接続する構成の例を示している。拠点数をＮとしＮ個の各拠点毎会議システム（１００−１，１００−２，・・・１００−Ｎ）は，ネットワークでつながれており，音声や映像の流れを制御するＭＣＵ２０２と接続され，各拠点毎の音声や映像の流れが制御される。ＭＣＵは，当業者であれば，既知のシステムであるため，説明は割愛する。
【００２３】
図３は，中央演算装置１０２内で実行する音響処理プログラムのブロック構成を示している。マイクロホン１０５からＡ／Ｄ変換機１０４経由で得られたデジタル音声波形は，音響処理３０１で処理される。音響処理３０１は、デジタル音声波形から、音響エコー成分を除去し，各会議室の近端音声発話をピックアップし出力する。この際，音響エコー成分とは，スピーカ１０７から出力された音声波形が各拠点の壁や天井などで反射した後，マイクロホン１０５に混入する成分を指す。音響処理３０１では音響エコー成分を除去するためにＨＵＢ１０８経由で得られる遠端音声波形を用いる。遠隔会議制御処理３０２は，遠隔会議の開始や終了，また接続先の選択といった遠隔会議システムの制御に関する処理を行うブロックである。遠隔会議制御処理３０２は，当業者であれば，容易に類推可能な遠隔会議用の制御処理であるため，詳細構成の説明は割愛する。
【００２４】
図５に音響処理３０１の詳細なブロック構成を示す。
【００２５】
音声取り込み部５０１は，各時間のマイクロホン入力信号x(t)を取り込む。ここで，tはA/D変換のサンプル番号とする。また音声受信部５０２は，遠隔会議システムが接続されている接続先から送信されてくるスピーカ再生用の信号d(t)をHUB１０８から受け取る。スピーカ再生用の信号d(t)はD/A変換機１０４を経由してスピーカ１０７から放射される。
【００２６】
バッファリング部５０３は，音声取り込み部５０１で取り込んだマイクロホン入力信号x(t)と音声受信部５０２で取り込んだスピーカ再生用の信号d(t)を一定量，揮発性メモリ１０３か，不揮発性メモリ１０１内に貯めておく。
【００２７】
短時間フーリエ変換５０４では，バッファリング部５０３がバッファリングしたマイクロホン入力信号x(t)，及びスピーカ再生用の信号d(t)に対して，に対して、短時間フーリエ変換を施し，時間周波数領域信号を得る。ここで，得られる時間周波数領域信号をx(f,τ)及びd(f,τ)と表記する。ここで，x(f,τ)はマイクロホン入力信号x(t)の短時間フーリエ変換後の信号であり，d(f,τ)はスピーカ再生用の信号d(t) の短時間フーリエ変換後の信号である。ここで，fは周波数インデックス，τは短時間フーリエ変換のフレームインデックスとする。
【００２８】
フィルタ学習部５０５は、時間周波数領域信号かまたは時間領域信号から、音響エコー除去用のフィルタhと，D/A変換機とA/D変換機との間の時間に比例した時間ずれの比例係数aとを学習する。ここで，音響エコー除去用のフィルタhとD/A変換機とA/D変換機との間の時間に比例した時間ずれの比例係数 aの学習方法は，時間領域信号から学習する場合と，時間周波数領域信号から学習するかで異なる。学習した音響エコー除去用のフィルタhとD/A変換機とA/D変換機との間の時間に比例した時間ずれの比例係数aは，揮発性メモリ１０３か不揮発性メモリ１０１上に確保するフィルタDB５０６に保存される。
【００２９】
音響エコーキャンセラ部５０７は，フィルタ学習部５０５で学習した音響エコー除去用のフィルタhと時間に比例した時間ずれの比例係数aを用いてマイクロホン入力信号x(t)中に含まれるスピーカからの放射成分を除去し，近端音声を抽出する。音響エコーキャンセラ部５０７においても，時間領域信号から音響エコー成分を除去するか，時間周波数領域信号から音響エコー成分を除去するかで処理が分かれる。いずれの場合においても，音響エコーキャンセラ部５０７は，スピーカ再生用の信号d(t)もしくはd(f,τ)に対して音響エコー除去用のフィルタhを畳込むことで、マイクロホン入力信号x(t)内の音響エコー成分の推定値e(t)もしくはe(f,τ)を推定し，これをマイクロホン入力信号x(t)もしくはx(f,τ)から引き算することで，音響エコー成分を除去する。
【００３０】
逆フーリエ変換５０８では，音響エコーキャンセラ部において音響エコー成分を除去した後の時間周波数領域信号を、時間領域信号に変換する。音声送信部５０９では，音響エコー成分除去後の時間領域信号を接続先に送信する。
【００３１】
図６は，フィルタ学習部５０５において，時間領域信号から音響エコー除去用のフィルタhとD/A変換機とA/D変換機との間の時間に比例した時間ずれの比例係数aを学習する際の処理フローを示した図である。本フィルタ部は，時間領域信号を１サンプル得る毎に動作させるような構成を取っても良いし，複数サンプル得る毎に動作させるような構成を取っても良い。本構成は，従来の音響エコーキャンセラの適応フィルタの一種であるＬＭＳ（Least Mean Square）アルゴリズムや，ＲＬＳ（Recursive Least Square）アルゴリズムの拡張構成となっている。
【００３２】
まず，ＬＭＳアルゴリズムやＲＬＳアルゴリズムと同様に，フィルタ学習部５０５は、フィルタを時間毎に変化させていく際の変化率である更新レートαと，音響エコー除去用フィルタhのフィルタ長Ｌを定める。また，比例係数aを探索的に最適化する際の探索範囲の最小値と最大値をそれぞれamin, amaxとして定める。また比例係数aを探索する際の刻み幅をdaとする（６０１）。本処理フローでは，比例係数aを最小値aminから最大値amaxまで変化させた時の最も良い値を選択する。探索に用いる仮の比例係数aをa2とする。仮の比例係数a2をaminとして設定する（６０２）。
【００３３】
次に，参照信号（スピーカ再生信号）d(t)を時間比例係数a2分だけ時間に比例して変化させる。つまり，dd(t)=d(t-a2t)となるような信号dd(t)を生成する。ここで，dd(t)は，元のd(t)にsync関数を掛けたり，サンプリングレート変換を行うことで生成できる（６０３）。これは当業者であればよく知られて方法であるため，詳細な説明は割愛する。
【００３４】
次に，求めたdd(t)を用いて，フィルタの最小二乗解と誤差を算出する。フィルタhtempは，数1に示すような重み付き最小二乗法により求める。当業者であれば，本重み付き最小二乗解は容易に算出可能である。またその時の誤差を数2で示すerrとする。
【００３５】
【数１】
2014115290.tif 000003
【００３６】
【数２】
2014115290.tif 000004
【００３７】
比例係数a2が最小値aminの場合には誤差errをmin_errとし，音響エコー除去用フィルタhをhtempとする。それ以外の場合には，誤差errがmin_errよりも小さかった場合に，音響エコー除去用フィルタhをhtempとし，誤差errをmin_errとする（６０５，６０６）。次に，比例係数a2に刻み幅daを加える（６０７）。比例係数a2が最大値amaxよりも大きい場合には，フィルタ推定処理を終了する（６０９）。逆に小さい場合には，６０３の前に戻る（６０８）。以上により、フィルタ学習部５０５は，時間領域信号から音響エコー除去用のフィルタhとD/A変換機とA/D変換機との間の時間に比例した時間ずれの比例係数aとを学習する。
【００３８】
図７は、フィルタ学習部５０５において，時間周波数領域の信号から時間に比例した時間ずれの比例係数a及び音響エコー除去用フィルタhを求める処理フローを示した図である。時間領域の場合と同様に，フィルタを時間毎に変化させていく際の変化率である更新レートαと，フィルタ長Ｌ，短時間フーリエ変換のフレーム幅Ｌｆ，フレームシフトＬｓを定める（７０１）。次に短時間フーリエ変換により時間周波数領域のマイクロホン入力信号x(f,τ)と，参照信号d(f,τ)を算出する（７０２）。次に，比例係数aに暫定的な値を入れる（例えば，0など）（７０３）。算出した時間周波数領域のマイクロホン入力信号x(f,τ)と，参照信号d(f,τ)を用いてフィルタの最小二乗解を数３で求める（７０４）。
【００３９】
【数３】
2014115290.tif 000005
【００４０】
ここで、t[τ]は，フレームτの開始サンプルに相当する時間インデックスと定義する。次に，音響エコー成分の推定値e(f,τ)を数４で定義する。
【００４１】
【数４】
2014115290.tif 000006
【００４２】
次に，数５でe(f,τ)とx(f,τ)の正規化した位相差を算出する（７０５）。
【００４３】
【数５】
2014115290.tif 000007
【００４４】
ここで，Hは共役転置を取るための演算子であり，argは複素数の位相差を算出するための演算子とする。C(f,τ)より数６で時間に比例した時間ずれの比例係数aの推定値であるa^を求め，a^をaに代入する（７０６）。
【００４５】
【数６】
2014115290.tif 000008
【００４６】
７０６の処理を所定回数行っていれば，求めたhtemp(f)を音響エコーキャンセラ用のフィルタhとして，フィルタ推定を終了する（７０８）。それ以外の場合，７０４に戻る（７０７）。以上により、フィルタ学習部５０５は，時間周波数領域の信号から時間に比例した時間ずれの比例係数a及び音響エコー除去用フィルタhを求める。
【００４７】
図８に，本発明において，時間に比例した時間ずれ比例係数を遠隔会議システムの立ち上げ時に学習する場合の遠隔会議システムの動作フローチャートを示す。A/D変換機１０４及びD/A変換機１０６はサンプリングをまず開始する（８０１）。次に，中央演算装置１０２は、前述した時間領域もしくは，時間周波数領域におけるフィルタ学習により，時間に比例した時間ずれ比例係数aを算出する（８０２）。算出した比例係数aはフィルタDBに格納される。時間に比例した時間ずれ比例係数aの算出にあたってD/A変換機から音を出す必要があるが，これは必ずしも遠隔地の音である必要はなく，遠隔会議システム内に予め用意してある音を再生するような構成をとっても良い。そして，遠隔地と接続し遠隔会議を開始する（８０３）。８０２において音響処理３０１のフィルタ学習部５０５が時間に比例した時間ずれ比例係数aを算出すると、遠隔会議制御処理３０２は、遠隔会議開始制御を開始する。
【００４８】
遠隔会議中は，遠隔地から送られてきたスピーカ再生用信号d(t)（参照信号）を受信（８０４），及び、マイクロホン入力信号x(t)を受信（８０５）するたびに，音響処理３０１の音響エコーキャンセラ部５０７は、まず、受信した参照信号d(t)を予めステップ８０２で算出した時間に比例した時間ずれ係数aを用いてd(t-at)のように補正する（８０６）。参照信号d(t)の補正は，sync関数を波形に重畳したり，サンプリングレート変換など，当業者であれば，よく知られた方法により行う。補正後の参照信号をdd(t)=d(t-at)と記載する。また，時間周波数領域における音響エコーキャンセラ用フィルタを用いる場合は，dd(t)を時間周波数領域信号dd(f，τ)に変換する。
【００４９】
次に，フィルタ学習部５０５は、参照信号としてdの代わりにddを用いて，ＬＭＳやＲＬＳなどの方法で，逐次音響エコーキャンセラフィルタhを更新する。音響エコーキャンセラフィルタhの更新は，時間領域かまたは時間周波数領域で行う（８０７）。
【００５０】
次に，音響エコーキャンセラ部５０７は、求めたフィルタhを参照信号dd(t)に重畳し，音響エコーレプリカを作成し，作成した音響エコーレプリカをマイクロホン入力信号x(t)から引き算することにより，音響エコー成分が除去された信号を得る。時間周波数領域における音響エコーキャンセラの場合は、逆フーリエ変換５０８において、逆フーリエ変換により時間領域のエコー成分除去後の信号を得る（８０８）。
【００５１】
そして，音声送信部５０８は、音響エコー成分除去後の信号をＨＵＢを介して，接続先に送信する（８０９）。ユーザーインターフェースを介したユーザー制御により遠隔会議システムが終了される場合は，遠隔会議制御処理３０２は、処理を終了し，それ以外の場合は，参照信号受信（８０４）に戻る。
【００５２】
図９は，遠隔会議システムで用いるマイクロホンまたはスピーカが切り替わる場合に，接続構成毎の時間に比例した時間ずれ係数を再設定するように，本発明を使用する際のフローチャートである。
【００５３】
A/D変換機１０４及びD/A変換機１０６はサンプリングをまず開始する（９０１）。次に，フィルタ学習部５０５は、前述した時間領域もしくは，時間周波数領域におけるフィルタ学習により，時間に比例した時間ずれ係数aを算出する（９０２）。このaは，初期値として用いる。そして，遠隔地と接続し遠隔会議を開始する（９０３）。次に，フィルタ学習部５０５は、A/D変換機１０４及びD/A変換機１０６の接続が変化したかどうかを判定する。変化している場合は，aの再設定(９０５)に移る。
【００５４】
ここで，接続されているA/D変換機１０４、D/A変換機１０６及びそれらのサンプリングレート毎にそれに対応した時間に比例した時間ずれ比例係数aをフィルタDB上に，図１０に示すようなデータ構造で，有しておくものとする。
【００５５】
ここで，切り替わった後のA/D変換機とD/A変換機の構成が図１０のテーブル上に存在する場合，フィルタ学習部５０５は、図１０のテーブルを参照し，接続されているA/D変換機１０４及びD/A変換機１０６及びそれらのサンプリングレートに対応する時間に比例した時間ずれ比例係数aを新しい時間に比例した時間ずれ比例係数aとして用いる。図１０のテーブル上に対応するA/D変換機、D/A変換機、及びそれらのサンプリングレートが無い場合は，フィルタ学習部５０５は、前述した時間領域もしくは時間周波数領域におけるフィルタ学習によりaを求める。A/D変換機とD/A変換機の接続関係が変化していない場合は，通常の遠隔会議の音声通信状態に移る。
【００５６】
遠隔会議中は，遠隔地から送られてきたスピーカ再生用信号（参照信号）の受信と（９０６），マイク入力信号の取得（９０７）を行うたびに，音響エコーキャンセラ部は、まず参照信号補正（９０８）にて、得られた参照信号を予め算出した時間に比例した時間ずれ係数aを用いてd(t-at)のように補正する。補正は，sync関数を波形に重畳したり，サンプリングレート変換など，当業者であれば，よく知られた方法により行う。補正後の信号をdd(t)=d(t-at)と記載する。また，時間周波数領域における音響エコーキャンセラ用フィルタを用いる場合は，dd(t)を時間周波数領域信号dd(f，τ)に変換する。
【００５７】
次に，フィルタ学習部は、参照信号としてdの代わりにddを用いて，ＬＭＳやＲＬＳなどの方法で，逐次音響エコーキャンセラフィルタhを更新する。更新は，時間領域かまたは時間周波数領域で行う（９０９）。次に音響エコーキャンセラ部は、求めたフィルタhを参照信号に重畳し，音響エコーレプリカを作成し，作成した音響エコーレプリカをマイク入力信号から引き算することにより，音響エコー成分が除去された信号を得る。時間周波数領域における音響エコーキャンセラの場合は逆フーリエ変換により時間領域の音響エコー成分除去後の信号を得る（９１０）。
【００５８】
そして，音声送信部５０９は、音響エコー成分除去後の信号をＨＵＢを介して，接続先に送信する（９１１）。ユーザーインターフェースを介したユーザー制御により遠隔会議システムが終了される場合は，処理を終了し，それ以外の場合は，接続切り替え判定（８０４）に戻る。
【００５９】
図１１に，D/A変換機付きのスピーカとA/D変換機つきのマイクロホンを用いた遠隔会議システムの実施例を示す。D/A変換機能が内在されたD/A変換機能付きスピーカ1101と，A/D変換機能付き無線マイクロホン1102には，アナログ信号ではなく，デジタル信号が入力もしくは出力される。したがってこれらは異なるクロックでサンプリングされることとなる。
【００６０】
音声受信部１１０６は，接続先の遠隔会議システムから送信された音声信号をＨＵＢ１０８経由で受け取る。受け取った音声信号は，スピーカ再生１１０５により，D/A変換機能が内在されたD/A変換機能付きスピーカ1101に送られて再生される。無線受信機１１０３は，A/D変換機能付き無線マイクロホン1102で収録したマイク入力信号を受信する。音響エコーキャンセラ１１０４は，マイク入力信号中に含まれる，D/A変換機能が内在されたD/A変換機能付きスピーカ1101から再生した音声の音響エコー成分を除去する。除去は，本発明の第一の実施例で示した構成により，時間に比例した時間ずれを補正すると共に行う。音声送信部１１０７は，音響エコーキャンセラ後の信号をＨＵＢ１０８経由で遠隔地に送信する。音響エコーキャンセラ１１０４は，音響処理３０１と同様の処理を行うものとする。
【符号の説明】
【００６１】
100…拠点毎会議システム、101…不揮発性メモリ、102…中央演算装置、103…揮発性メモリ、104…A/D変換機、105…マイクロホン、106…D/A変換機、107…スピーカ、108…ＨＵＢ、109…カメラ、110…ディスプレイ、110…ユーザーインターフェース、201…ＭＣＵ、301…音響処理、302…遠隔会議制御処理、501…音声取り込み部、502…音声受信部、503…バッファリング、504…短時間フーリエ変換、505…フィルタ学習部、506…フィルタDB、507…音響エコーキャンセラ、508…短時間フーリエ変換、509…音声送信部、1101…D/A変換機能付きスピーカ、1102…A/D変換機能付き無線マイクロホン、1103…無線受信機、 1104…音響エコーキャンセラ、 1105…スピーカ再生、1106…音声受信部、1107…音声送信部
【図１】
2014115290.tif 000009
【図２】
2014115290.tif 000010
【図３】
2014115290.tif 000011
【図４】
2014115290.tif 000012
【図５】
2014115290.tif 000013
【図６】
2014115290.tif 000014
【図７】
2014115290.tif 000015
【図８】
2014115290.tif 000016
【図９】
2014115290.tif 000017
【図１０】
2014115290.tif 000018
【図１１】
2014115290.tif 000019
【国際調査報告】
2014115290.tif 000020
2014115290.tif 000021