(57)【要約】  【課題】  スピーカの数やマイクロフォンの数が増大した場合であっても装置規模の拡大や処理量の増大を抑制することが可能なエコーキャンセル装置、プログラム、および通話端末を提供すること。  【解決手段】  Ｒチャネル用およびＬチャネル用のマイクの出力信号からマイク出力和信号およびマイク出力差信号を生成する加算器１０１及び減算器１０２と、マイク出力和信号からＲチャネル用のスピーカで再生される音声によるエコー成分およびＬチャネル用のスピーカで再生される音声によるエコー成分を除去生成するエコーキャンセラＲ１０３およびエコーキャンセラＬ１０４と、受信側で再生されるＲチャネルの音声とＬチャネルの音声とに分離するＬＲ分離部１０５とを備えた構成を有している。【選択図】  図１
2005033580.tif 000002
【特許請求の範囲】
【請求項１】
第１のチャネル用のマイクからの出力信号と第２のチャネル用のマイクからの出力信号とを加算してマイク出力和信号を生成する加算器と、前記第１のチャネル用のマイクからの出力信号と前記第２のチャネル用のマイクからの出力信号とのマイク出力差信号を生成する減算器と、前記マイク出力和信号から前記第１のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分部分除去和信号を生成する第１のエコーキャンセラと、前記エコー成分部分除去和信号から前記第２のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分全除去和信号を生成する第２のエコーキャンセラと、前記エコー成分全除去和信号と前記マイク出力差信号とに基づいて送信用第１のチャネルの音声信号と送信用第２のチャネルの音声信号とに分離する分離部とを備えたことを特徴とするエコーキャンセル装置。
【請求項２】
コンピュータに、第１のチャネル用のマイクからの出力信号と第２のチャネル用のマイクからの出力信号とを加算してマイク出力和信号を生成する加算ステップと、前記第１のチャネル用のマイクからの出力信号と前記第２のチャネル用のマイクからの出力信号とのマイク出力差信号を生成する減算ステップと、前記マイク出力和信号から前記第１のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分部分除去和信号を生成する第１のエコーキャンセルステップと、前記エコー成分部分除去和信号から前記第２のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分全除去和信号を生成する第２のエコーキャンセルステップと、前記エコー成分全除去和信号と前記マイク出力差信号とに基づいて送信用第１のチャネルの音声信号と送信用第２のチャネルの音声信号とに分離する分離ステップとを実行させることを特徴とするエコーキャンセルプログラム。
【請求項３】
外部の装置と通信して第１のチャネルの音声データおよび第２のチャネルの音声データを含むデータを受信し、または送信するデータ送受信部と、前記第１のチャネルの音声データおよび前記第２のチャネルの音声データを復号化して、それぞれ前記第１のチャネル用のスピーカで再生される前記第１のチャネルの音声信号および前記第２のチャネル用のスピーカで再生される前記第２のチャネルの音声信号を生成する復号化部と、前記第１のチャネルのマイクからの出力信号と第２のチャネル用のマイクからの出力信号とを加算してマイク出力和信号を生成する加算器と、前記第１のチャネル用のマイクからの出力信号と前記第２のチャネル用のマイクからの出力信号とのマイク出力差信号を生成する減算器と、前記マイク出力和信号から前記第１のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分部分除去和信号を生成する第１のエコーキャンセラと、前記エコー成分部分除去和信号から前記第２のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分全除去和信号を生成する第２のエコーキャンセラと、前記エコー成分全除去和信号と前記マイク出力差信号とに基づいて送信用第１のチャネルの音声信号と送信用第２のチャネルの音声信号とに分離する分離部と、前記分離部で分離された、前記送信用第１のチャネルの音声信号と前記送信用第２のチャネルの音声信号とを符号化する符号化部とを備えたことを特徴とする通話端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビ電話、テレビ会議システム等のマルチメディア端末の音声系に適用されるエコーキャンセル装置、プログラム、および通話端末に関する。
【背景技術】
【０００２】
テレビ電話、テレビ会議システム等のマルチメディア端末の音声系においては、通話品質の向上やスムーズな通話を実現することが要請されている。かかる要請を実現するためには、スピーカから発せられた音声がマイクロフォンに回り込むことにより発生するエコー感やハウリングを抑圧するエコーキャンセラ（Ｅｃｈｏ  Ｃａｎｃｅｌｌｅｒ、ＥＣ）の採用等が有効である。
【０００３】
ステレオ音声系のシステムに上記のＥＣ技術を適用した例を図４に示す（特許文献１参照。）。図４において、右チャネルスピーカ１Ｒに入力される信号は、エコーキャンセラＥＣＲＲおよびエコーキャンセラＥＣＲＬにも入力され、左チャネルスピーカ１Ｌに入力される信号は、エコーキャンセラＥＣＬＲおよびエコーキャンセラＥＣＬＬにも入力される。
【０００４】
エコーキャンセラＥＣＲＲの出力とエコーキャンセラＥＣＬＲの出力とが加算器３ａによって加算されてＲ加算信号が生成され、右チャネルマイク２Ｒの出力信号からＲ加算信号が減算器４ａによって差し引かれ、右チャネルの音声信号からエコー成分が除去される。同様にして、エコーキャンセラＥＣＬＬの出力とエコーキャンセラＥＣＲＬの出力とが加算器３ａによって加算されてＬ加算信号が生成され、左チャネルマイク２Ｌの出力信号からＬ加算信号が減算器４ｂによって差し引かれ、左チャネルの音声信号からエコー成分が除去される。
【０００５】
【特許文献１】特開平７−２４０７２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、このような従来のエコーキャンセル技術では、スピーカとマイクロフォンとの反響路の数、すなわちスピーカの数とマイクロフォンの数をかけた数だけエコーキャンセラが必要となり、装置の規模が大きくなると共に処理量が増大するという問題があった。
【０００７】
本発明はこのような問題を解決するためになされたもので、スピーカの数やマイクロフォンの数が増大した場合であっても装置規模の拡大や処理量の増大を従来の技術に比して抑制することが可能なエコーキャンセル装置、プログラム、および通話端末を提供するものである。
【課題を解決するための手段】
【０００８】
本発明のエコーキャンセル装置は、第１のチャネル用のマイクからの出力信号と第２のチャネル用のマイクからの出力信号とを加算してマイク出力和信号を生成する加算器と、前記第１のチャネル用のマイクからの出力信号と前記第２のチャネル用のマイクからの出力信号とのマイク出力差信号を生成する減算器と、前記マイク出力和信号から前記第１のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分部分除去和信号を生成する第１のエコーキャンセラと、前記エコー成分部分除去和信号から前記第２のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分全除去和信号を生成する第２のエコーキャンセラと、前記エコー成分全除去和信号と前記マイク出力差信号とに基づいて送信用第１のチャネルの音声信号と送信用第２のチャネルの音声信号とに分離する分離部とを備えた構成を有している。
【０００９】
この構成により、マイク出力和信号からエコー成分を除去し、除去後の信号とマイク出力差信号とに基づいてチャンネル毎の信号に分離するため、スピーカの数やマイクロフォンの数が増大した場合であっても装置規模の拡大や処理量の増大を従来の技術に比して抑制することが可能なエコーキャンセル装置を実現することができる。
【００１０】
また、本発明のエコーキャンセルプログラムは、コンピュータに、第１のチャネル用のマイクからの出力信号と第２のチャネル用のマイクからの出力信号とを加算してマイク出力和信号を生成する加算ステップと、前記第１のチャネル用のマイクからの出力信号と前記第２のチャネル用のマイクからの出力信号とのマイク出力差信号を生成する減算ステップと、前記マイク出力和信号から前記第１のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分部分除去和信号を生成する第１のエコーキャンセルステップと、前記エコー成分部分除去和信号から前記第２のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分全除去和信号を生成する第２のエコーキャンセルステップと、前記エコー成分全除去和信号と前記マイク出力差信号とに基づいて送信用第１のチャネルの音声信号と送信用第２のチャネルの音声信号とに分離する分離ステップとを実行させる構成を有している。
【００１１】
この構成により、マイク出力和信号からエコー成分を除去し、除去後の信号とマイク出力差信号とに基づいてチャンネル毎の信号に分離するため、スピーカの数やマイクロフォンの数が増大した場合であっても装置規模の拡大や処理量の増大を従来の技術に比して抑制することが可能なエコーキャンセルプログラムを実現することができる。
【００１２】
また、本発明の通話端末は、外部の装置と通信して第１のチャネルの音声データおよび第２のチャネルの音声データを含むデータを受信し、または送信するデータ送受信部と、前記第１のチャネルの音声データおよび前記第２のチャネルの音声データを復号化して、それぞれ前記第１のチャネル用のスピーカで再生される前記第１のチャネルの音声信号および前記第２のチャネル用のスピーカで再生される前記第２のチャネルの音声信号を生成する復号化部と、前記第１のチャネルのマイクからの出力信号と第２のチャネル用のマイクからの出力信号とを加算してマイク出力和信号を生成する加算器と、前記第１のチャネル用のマイクからの出力信号と前記第２のチャネル用のマイクからの出力信号とのマイク出力差信号を生成する減算器と、前記マイク出力和信号から前記第１のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分部分除去和信号を生成する第１のエコーキャンセラと、前記エコー成分部分除去和信号から前記第２のチャネル用のスピーカで再生される音声によるエコー成分を除去してエコー成分全除去和信号を生成する第２のエコーキャンセラと、前記エコー成分全除去和信号と前記マイク出力差信号とに基づいて送信用第１のチャネルの音声信号と送信用第２のチャネルの音声信号とに分離する分離部と、前記分離部で分離された、前記送信用第１のチャネルの音声信号と前記送信用第２のチャネルの音声信号とを符号化する符号化部とを備えた構成を有している。
【００１３】
この構成により、マイク出力和信号からエコー成分を除去し、除去後の信号とマイク出力差信号とに基づいてチャンネル毎の信号に分離するため、スピーカの数やマイクロフォンの数が増大した場合であっても装置規模の拡大や処理量の増大を従来の技術に比して抑制することが可能な通話端末を実現することができる。
【発明の効果】
【００１４】
以上説明したように、本発明は、スピーカの数やマイクロフォンの数が増大した場合であっても装置規模の拡大や処理量の増大を従来の技術に比して抑制することが可能なエコーキャンセル装置、プログラム、および通話端末を実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を用いて説明する。
図１は、本発明の実施の形態に係るエコーキャンセル装置、およびエコーキャンセル装置を備えた通話端末を含むシステムのブロック構成を示す図である。図１において、通話端末２００は、エコーキャンセル装置１００、２チャネルの音声データの双方向全２重通信を行うデータ送受信部１１１、受信した各チャネルの音声データの復号化を行う復号化部１１２、およびエコーキャンセル装置１００からの出力信号を符号化する符号化部１１３を含むように構成される。
【００１６】
図１において、データ送受信部１１１が受信した２チャネルの音声データは、それぞれ復号化部１１２によって復号化されて音声信号が生成され、エコーキャンセル装置１００に入力される。以下では、上記の２つのチャネルが「Ｒチャネル」と「Ｌチャネル」からなるものとする。復号化部１１２から出力された音声信号は、スピーカ２０１Ｒ、２０１Ｌにも出力され、スピーカ２０１Ｒ、２０１Ｌによって音声に再生される。
【００１７】
エコーキャンセル装置１００には、また、Ｒチャネル用のマイク２０２ＲおよびＬチャネル用のマイク２０２Ｌを介して収集された音声の信号（以下、それぞれを「Ｒマイク音声信号」および「Ｌマイク音声信号」という。）も入力される。エコーキャンセル装置１００がＲマイク音声信号とＬマイク音声信号とをエコーキャンセル処理して得られた信号は、符号化部１１３に出力される。
【００１８】
エコーキャンセル装置１００からの出力信号が入力された符号化部１１３は、入力信号を符号化し、データ送受信部１１１に出力する。データ送受信部１１１は、符号化されたデジタル信号を例えばネットワーク上の遠端側の装置に送信する。
【００１９】
エコーキャンセル装置１００は、さらに、Ｒマイク音声信号およびＬマイク音声信号が入力される加算器１０１および減算器１０２、加算器１０１の出力信号からＲチャネル用のスピーカ２０１Ｒから回り込むエコー成分を除去するエコーキャンセラＲ（ＥＣ−Ｒ）１０３、Ｌチャネル用のスピーカ２０１Ｌから回り込むエコー成分を除去するエコーキャンセラＬ（ＥＣ−Ｌ）１０４、および、エコーキャンセル処理された加算器１０１の出力信号をＲチャネル用の信号とＬチャネル用の信号とに分離して符号化部１１３に出力するＬＲ分離部１０５を含むように構成される。
【００２０】
以下、本発明の実施の形態に係るエコーキャンセル装置１００の動作について説明する。図２は、本発明の実施の形態に係るエコーキャンセル装置１００の動作を説明するためのフローチャートである。説明に先立ち、以下では、ネットワークを介して接続された遠端側の通信装置から受信した音声データは、データ送受信部１１１によって受信され、復号化部１１２によって復号され、復号されて得られた音声信号は、スピーカ２０１Ｒ、２０１Ｌによって再生されているものとする。
【００２１】
ここで、スピーカ２０１Ｒ、２０１Ｌによって再生された音声の一部は、空間を介してマイク２０２Ｒ、２０２Ｌに回り込む。この回り込んだ音声が、マイク２０２Ｒ、２０２Ｌによって音声信号に変換され、遠端側の通信装置に送信され、再生されると、エコーとして受聴される。このように受聴されるエコーは、良好な音声コミュニケーションの妨げとなるものであり、抑制する必要がある。
【００２２】
以下、スピーカ２０１Ｒからマイク２０２Ｒへの回り込み成分をΔＲｒ、スピーカ２０１Ｌからマイク２０２Ｒへの回り込み成分をΔＬｒ、スピーカ２０１Ｒからマイク２０２Ｌへの回り込み成分をΔＲｌ、そして、スピーカ２０１Ｌからマイク２０２Ｌへの回り込み成分をΔＬｌとする。また、話者の声等の、上記の回り込み成分以外のマイク２０２Ｒへの入力をＲｉｎとし、マイク２０２Ｌへの入力をＬｉｎとする。ここで、上記のΔＲｒ、ΔＬｒ、ΔＲｌ、ΔＬｌ、Ｒｉｎおよび、Ｌｉｎは、対応するマイクによって検出された信号成分である。
【００２３】
マイク２０２Ｒおよびマイク２０２Ｌから出力され、エコー成分を含むＲマイク音声信号ＩＮＲおよびＬマイク音声信号ＩＮＬは、以下の式（１）に示すように表される。
ＩＮＲ＝Ｒｉｎ＋ΔＬｒ＋ΔＲｒ
ＩＮＬ＝Ｌｉｎ＋ΔＬｌ＋ΔＲｌ
（１）
【００２４】
各マイク音声信号ＩＮＲ、ＩＮＬは、加算器１０１によって加算されマイク出力和信号ＳＵＭが生成され（Ｓ２０１）、減算器１０２によって以下の式（２）に示すように差し引かれマイク出力差信号ＤＩＦが生成される（Ｓ２０２）。
ＳＵＭ＝Ｒｉｎ＋Ｌｉｎ＋（ΔＬｒ＋ΔＬｌ）＋（ΔＲｒ＋ΔＲｌ）
ＤＩＦ＝Ｒｉｎ−Ｌｉｎ＋（ΔＬｒ−ΔＬｌ）＋（ΔＲｒ−ΔＲｌ）
（２）
【００２５】
次に、マイク出力和信号ＳＵＭからスピーカ２０１Ｒのエコー成分（ΔＲｒ＋ΔＲｌ）が、エコーキャンセラＲ（ＥＣ−Ｒ）１０３によって差し引かれて、エコー成分部分除去和信号が生成される（Ｓ２０３）。さらに、ステップＳ２０３で生成されたエコー成分部分除去和信号から、スピーカ２０１Ｌのエコー成分（ΔＬｒ＋ΔＬｌ）がエコーキャンセラＬ（ＥＣ−Ｌ）１０４によって差し引かれて、エコー成分全除去和信号が生成される（Ｓ２０４）。
【００２６】
ステップＳ２０３とＳ２０４での処理の結果、エコー成分全除去和信号ＳＵＭｅｃが生成される。ここで、エコー成分全除去和信号ＳＵＭｅｃは、ＳＵＭｅｃ＝Ｒｉｎ＋Ｌｉｎと表される。
【００２７】
次に、上記のエコー成分全除去和信号ＳＵＭｅｃとマイク出力差信号ＤＩＦに基づいて、以下の式（３）に示すＲ分離信号ＳＥＰｒ（Ｒチャネル用に分離された信号）およびＬ分離信号ＳＥＰｌ（Ｌチャネル用に分離された信号）がＬＲ分離部１０５によって生成される（Ｓ２０５）。
ＳＥＰｒ＝（ＳＵＭｅｃ＋ＤＩＦ）／２
＝Ｒｉｎ＋（ΔＬｒ−ΔＬｌ）／２＋（ΔＲｒ−ΔＲｌ）／２
ＳＥＰｌ＝（ＳＵＭｅｃ−ＤＩＦ）／２
＝Ｌｉｎ−（ΔＬｒ−ΔＬｌ）／２−（ΔＲｒ−ΔＲｌ）／２
（３）
【００２８】
ここで、マイク２０２Ｒ、２０２Ｌを有する、所謂、ステレオマイクには、種々の方式のものがあり、例えば以下に示すようなものがある。
（１） ＭＳ方式（Ｍｉｄｄｌｅ  Ｓｉｄｅ）：
単一指向性のマイクカプセルを正面に向け、双指向性のマイクカプセルを真横に向けて１つのケースに組み込む方式。マイク感度を調整することによって指向性のピークの方向を調整できる。
（２） Ｘ−Ｙ方式：
特性の揃った単一指向性のマイクカプセル２個を同一軸上に配置し、マイクカプセルの向きが正面方向から左右に分かれて所定の角度をなすようにして１つのケースに組み込む方式。
（３）Ａ−Ｂ方式（Ｓｔｅｒｅｏ  Ｐａｉｒ  Ｍｉｃ）：
特性の揃った単一指向性マイクを５〜６０ｃｍの間隔を置いて配置する方式。マイクの間隔を調整することによって音場感を調整できる。
【００２９】
上記の式（３）から明らかなように、Ｒ分離信号ＳＥＰｒおよびＬ分離信号ＳＥＰｌには、残留エコー成分（（ΔＬｒ−ΔＬｌ）／２＋（ΔＲｒ−ΔＲｌ）／２）が逆符号（逆位相）で寄与する。そのため、Ｒ分離信号ＳＥＰｒおよびＬ分離信号ＳＥＰｌを再生する遠端側では、残留エコー成分（（ΔＬｒ−ΔＬｌ）／２＋（ΔＲｒ−ΔＲｌ）／２）は、再生の際、キャンセルされることとなり、再生音声におけるエコー成分は、大幅に抑制されることとなる。スピーカとマイク間の距離差が、チャネル間で大きくないように配置される一般のテレビ電話やテレビ会議等のマルチメディア端末等では、特に有効である。
【００３０】
一般に、スピーカ２０１Ｒからマイク２０２Ｒ、２０２Ｌへ伝播する音声に起因するエコー成分と、スピーカ２０１Ｌからマイク２０２Ｒ、２０２Ｌへ伝播する音声に起因するエコー成分とは、上記のいずれの方式のステレオマイクであっても、遅延時間が同程度であり、レベルが異なるものである。遅延時間が同程度となるのは、ステレオマイク内でマイクは接近して配置されるためである。また、各マイクの指向性等が異なるようにマイクが配置されているため、レベルが異なるのである。
【００３１】
その結果、ΔＬｒとΔＬｌとの位相差、およびΔＲｒとΔＲｌとの位相差は、ほぼないことがわかる。そのため、Ｒ分離信号ＳＥＰｒおよびＬ分離信号ＳＥＰｌを表す上記の式（３）における除去されずに残ったエコー成分である第２項および第３項は、位相差がないとされるため、単なるスカラー的な引き算となる。その結果、Ｒ分離信号ＳＥＰｒおよびＬ分離信号ＳＥＰｌにおける除去されずに残った残留エコー成分（（ΔＬｒ−ΔＬｌ）／２＋（ΔＲｒ−ΔＲｌ）／２））は、マイクを介して入力された元々のエコー成分（（ΔＬｒ＋ΔＲｒ）または（ΔＬｌ＋ΔＲｌ））に比較して、振幅が半分に抑制されるのに加え、上記の同相成分のキャンセルによっても抑制されることになる。
【００３２】
特に、各スピーカ２０１Ｒ、２０１Ｌから各マイク２０２Ｒ、２０２Ｌへの回り込みが均等になるようなスピーカとマイクの配置では、上記の同相成分の引き算による寄与分である残留エコー成分（（ΔＬｒ−ΔＬｌ）／２＋（ΔＲｒ−ΔＲｌ）／２））がほとんど０になり、エコー成分を大幅に抑制することが可能となる。
【００３３】
以上説明したように、本発明の実施の形態に係る装置は、従来であれば２スピーカ出力かつ２マイク入力の場合は、４つのエコーキャンセラが必要であったものを２つのエコーキャンセラに減らすことができるようになった。
これによって、スピーカの数やマイクロフォンの数が増大した場合であっても装置規模の拡大や処理量の増大を従来の技術に比して抑制することができる。
【００３４】
なお、上記では、スピーカの数を２つとして説明したが、本発明は、スピーカの数が３つ以上の場合であっても（図３に、スピーカが３つの場合のエコーキャンセル装置の構成例を示す。）、和信号に含まれるエコーをスピーカ数と等しい数のエコーキャンセラでキャンセルすることにより同様に適用できる。
【００３５】
また、本発明の実施の形態では、エコーキャンセル装置が上記のＳ２０１〜Ｓ２０５の各ステップでの処理を行うエコーキャンセル動作について説明したが、これらのステップＳ２０１〜Ｓ２０５を含むエコーキャンセル動作を実行させるためのエコーキャンセルプログラムがインストールされた所定のコンピュータを用いて実施することも可能である。
【００３６】
また、本発明は、所定の記憶媒体に記憶された上記のエコーキャンセルプログラムをコンピュータにロードする方法のほかに、上記エコーキャンセルプログラムを通信インターフェースおよびネットワークからファイル形式で取得し、前記コンピュータで実施する方法によっても同様の効果が得られる。さらに、ネットワークを用いることでプログラムの更新や配布が容易となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態に係るエコーキャンセル装置、およびエコーキャンセル装置を備えた通話端末を含むシステムのブロック構成を示す図
【図２】本発明の実施の形態に係るエコーキャンセル装置の動作を説明するためのフローチャート
【図３】本発明の実施の形態に係るエコーキャンセル装置の他のブロック構成例を示す図
【図４】従来のエコーキャンセル装置のブロック構成を示す図
【符号の説明】
【００３８】
１Ｒ、１Ｌ、２０１Ｒ、２０１Ｌ  スピーカ
２Ｒ、２Ｌ、２０２Ｒ、２０２Ｌ  マイク
３ａ、３ｂ、１０１  加算器
４ａ、４ｂ、１０２  減算器
１００  エコーキャンセル装置
１０３、１０４、１０６、ＥＣＲＲ、ＥＣＲＬ、ＥＣＬＲ、ＥＣＬＬ  エコーキャンセラ
１０５  ＬＲ分離部
１１１  データ送受信部
１１２  復号化部
１１３  符号化部
２００  通話端末
【図１】
2005033580.tif 000003
【図２】
2005033580.tif 000004
【図３】
2005033580.tif 000005
【図４】
2005033580.tif 000006