(57)【特許請求の範囲】
【請求項１】
全二重通話システムの話者側システムにおいて、
話者側から見たエコー経路の音響特性情報を検出する音響特性検出部と、
前記音響特性検出部により検出された音響特性情報を基に話者音声信号からエコー抑制信号を生成し、通話相手側システムから返ってきた応答信号に前記エコー抑制信号を重畳することにより、前記応答信号に含まれるエコーを抑制するエコー抑制処理部と、
前記エコー抑制処理において前記応答信号に重畳するエコー抑制信号のゲイン量を調整するためのチューニング信号を話者から受け付ける調整部とを備えたことを特徴とするエコー抑制システム。
【請求項２】
前記音響特性検出部が、音響特性検出用信号を発生する信号発生部を備え、前記音響特性検出用信号を基準信号とし、
通話に先立ち、前記音響特性検出部が、前記音響特性検出用信号と通話相手側から返ってきた応答信号とを用いて話者側から見たエコー経路の音響特性情報を検出する請求項１に記載のエコー抑制システム。
【請求項３】
通話において入力された音声信号を基準信号とし、
前記音響特性検出部が、前記音声信号と通話相手側から返ってきた応答信号とを用いて話者側から見たエコー経路の音響特性情報を検出する請求項１に記載のエコー抑制システム。
【請求項４】
前記音響特性検出部によるエコー経路の音響特性情報の検出において、話者側システムにおける基準信号と通話相手側から返ってきた応答信号との相関値に対するしきい値の調整と相関探索範囲の調整を可能とした請求項２または３に記載のエコー抑制システム。
【請求項５】
前記エコー抑制処理部のエコー抑制処理において用いるエコー抑制信号を、遅延部分と遅延部分に続く信号部分に分け、
前記エコー抑制処理部が、前記遅延部分に相当する遅延を与える遅延フィルタと、前記信号部分に相当する信号を生成する信号フィルタを備えた請求項１に記載のエコー抑制システム。
【請求項６】
前記話者側システムが、スピーカと複数のマイクロフォンを備え、話者方向に対して前記複数のマイクロフォンの音声入力信号を同期加算し、話者音声のみ強調する請求項１に記載のエコー抑制システム。
【請求項７】
前記話者側システムが、スピーカとマイクロフォンアレイまたは複数のマイクロフォンを備え、スピーカ方向に対して前記マイクロフォンアレイまたは複数のマイクロフォンの音声入力信号を同期減算し、スピーカから出力されるエコー音を抑制する請求項１に記載のエコー抑制システム。
【請求項８】
話者による、前記エコー抑制処理部によるエコー抑制処理の実行と停止との選択と、前記音響特性検出部によるエコー経路の音響特性検出処理の実行と停止との選択を可能とした請求項１に記載のエコー抑制システム。
【請求項９】
全二重通話システムの話者側システムにおいてエコー抑制処理を実現するプログラムであって、当該プログラムが、
話者側から見たエコー経路の音響特性情報を検出する音響特性検出処理ステップと、
エコー抑制信号のゲイン量を調整するためのチューニング信号を話者から受け付ける受付処理ステップと、
前記音響特性検出ステップにより検出された音響特性情報を基に話者音声信号からエコー抑制信号を生成し、通話相手側システムから返ってきた応答信号に、前記受付処理ステップで受け付けたチューニング信号に応じたゲイン量のエコー抑制信号を重畳することにより、前記応答信号に含まれるエコーを抑制するエコー抑制処理ステップとをコンピュータに実行させることを特徴とするエコー抑制処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、全二重通話におけるエコー抑制システムに関する。
【０００２】
【従来の技術】
インターネットの普及に伴い、インターネットを利用した様々なサービスが提供され始め、ＶｏＩＰ等の技術を用いたインターネットを介したいわゆるコンピュータテレフォニーシステムも広がりつつある。以下、従来のインターネットを介したＶｏＩＰアプリケーションを用いた全二重通話システムを説明する。
【０００３】
図１３は全二重通話システムを模式的に示した図である。図１３において、１０と２０が通話者同士であり、説明の便宜上、１０が話者となり、１０が発した話者音声が２０側に伝わる場合を例に説明する。１１および２１がマイクロフォン、１２および２２がスピーカ、１３および２３がＶｏＩＰアプリケーション、１４および２４が端末装置、３０がインターネットである。通信インタフェースやその他のデバイスなどは説明の便宜上、図示を省略した。
【０００４】
いま、話者１０がマイクロフォン１１に向かって音声入力を行うと、ＶｏＩＰアプリケーション１３が当該音声を受け付け、サンプリング処理など必要な処理を行い、端末装置１４からパケットデータとしてインターネット３０に送信される。各パケットデータはインターネット上でのルーティングに従い、端末装置２４に到達し、パケットデータが順に組み立てられ、ＶｏＩＰアプリケーション２３において必要な処理が行われた後、スピーカ２２から音声として出力される。
【０００５】
ここで、従来からエコーと呼ばれる現象が起こることが知られている。スピーカ２２から出力された音声は通話相手２０に届くとともに、回り込みが起きてマイクロフォン２１に音声として入力されてしまう場合がある。この場合、マイクロフォン２１から再入力された音声は、端末装置２４のＶｏＩＰアプリケーション２３、インターネット３０、端末装置１４のＶｏＩＰアプリケーション１３を介してスピーカ１２から音声として出力されることとなり、一種のループを形成する。このエコーを生じるループを形成する経路（以下、「エコー経路」という。）には伝送遅延が生じる。つまり、話者１０にとれば、自らマイクロフォン１１に入力した音声を、少し遅れてスピーカ１２から聞くこととなる。このエコーが生じた場合、話者はとても話しづらく、相手の音声も聞きづらいものとなってしまうことが知られている。また、エコーのレベルが非常に大きく、エコーが減衰せずに発散する場合などではハウリングと呼ばれる現象が生じて通話不能となってしまう。
【０００６】
そこで、従来からエコーキャンセラが用いられている。図１４は従来技術におけるエコーキャンセラを用いたエコー抑制システムを模式的に示した図である。図１４において、通話相手２０側の端末装置２４は、エコーキャンセラ２５を有している。エコーキャンセラ２５は、スピーカ２２を介して出力される信号を入力として取り込み、当該取り込んだ信号分をマイクロフォン２１から拾う信号から減ずることにより、マイクロフォン２１に回り込んで再入力された音声信号を打ち消す構成となっている。
【０００７】
図１４に示したように、従来技術のエコーキャンセラは近接するスピーカとマイクロフォン間で発生している回り込んだ音声信号分を通話相手側システムでキャンセルし、話者側システムには当該回り込んだ音声信号分を返さないという仕組みであった。
【０００８】
【発明が解決しようとする課題】
従来のエコーキャンセラを用いたエコー抑制システムでは以下の問題がある。
【０００９】
第１の問題点は、通話相手側システムにエコーキャンセラが設置され稼動されているとは限らないという点である。従来技術におけるエコー抑制は、通話相手側システムにおける、スピーカ−マイクロフォン間の音声の回り込み（以下、「遠端の回り込み」という。）を相殺する必要があり、通話相手側システムにおいてエコーキャンセラが設置され稼動されていなければならない。しかし、通話相手側システムにエコーキャンセラが設置され稼動されているとは限らない。この場合、エコーキャンセラの設置や稼動を通話相手側に頼まねばならないという問題が生じる。
【００１０】
第２の問題点は、エコー抑制処理を行う場合、上記遠端の回り込みによるエコー抑制のみではなく、話者側システムにおける、スピーカ−マイクロフォン間の音声の回り込み（以下、「近端の回り込み」という。）も考慮しなければならない点である。通話相手側の話音や、遠端の回り込みが完全に相殺されていない場合など、話者側システムのスピーカから音声が出力される。このスピーカからの音声がマイクロフォンに入力されることに起因する近端での回り込みも防止する必要がある。
【００１１】
第３の問題点は、エコーを聞くこととなる話者自身がエコー抑制処理の微調整ができないという問題である。エコーが通話において問題となるのは、話者が、スピーカから出力される自分自身のエコー声により、話しづらさを感じたり聞きづらさを感じたりする点であり、どのように感じるかは主観的な問題である。それゆえエコー抑制処理は話者自身がその聞こえ具合いを調整できることが好ましい。しかし、従来技術のエコー抑制システムでは、エコーキャンセラが通話相手側システムに存在しているため、話者がエコーの聞こえ具合をもとにチューニングすることができない。通話相手側システムのエコーキャンセラのパラメタを遠隔操作することは技術的に可能ではあるが、セキュリティの面からも通話相手側システムのエコーキャンセラのパラメタを遠隔操作できるとする環境は、通話相手側にとって認容できるものではない。
【００１２】
この問題点は、エコーキャンセラを自らのシステムに導入した利用者が、エコーキャンセラの効果を直接知ることができないという問題でもある。つまり、エコーキャンセラを導入した利用者は、導入によるエコー抑制効果を知ることができず、エコー抑制処理を良好にするためチューニングすることもできない。エコーキャンセラは通話相手側のために導入するものであって、自らのために導入するものではなく、利用者がコストを掛けて導入してもその利便性を享受できるわけではなく、普及の妨げの一因ともなっている。
【００１３】
第４の問題点は、インターネットを介したパケット通信による音声信号のやりとりを行う場合、話者に実際に聞こえるエコーの状態が変動しやすいという問題である。エコーはネットワークの伝送状態に影響され、インターネットを介したパケット通信による音声信号の伝送ではネットワーク伝送の遅延量が大きく、また、ルーティングやトラフィック量の変化等によりネットワーク伝送状態が変動しやすく、音声信号を伝送する場合の特性の変動幅も大きくなる。そのため、単純に両者間の距離等で特性変化量を確定することができず、一度求めた特性量も変動してしまうため、従来のエコーキャンセラを単純に話者側に設置することではエコーを打ち消すための適切な信号を確実には得ることができないという問題がある。
【００１４】
上記問題点に鑑み、本発明は、通話相手側システムの如何にかかわらず、つまり、通話相手側システムにエコーキャンセラが設置され稼動されているか否かに限らず、常に話者がエコー抑制処理を利用できるエコー抑制システムを提供することを目的とする。
【００１５】
また、本発明は、エコーを聞くこととなる話者自身がエコー抑制処理の微調整ができるエコー抑制システムを提供することを目的とする。これは、エコーキャンセラを導入した話者自身がその効果を直接知ることにもつながる。
【００１６】
また、本発明は、インターネットを介したパケット通信による音声信号のやりとりなどネットワーク伝送の遅延量が大きく、変動幅も大きい状況でも最適なエコー抑制処理を実行できるエコー抑制システムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するために本発明のエコー抑制システムは、全二重通話システムの話者側システムにおいて、話者側から見たエコー経路の音響特性情報を検出する音響特性検出部と、前記音響特性検出部により検出された音響特性情報を基に話者音声信号からエコー抑制信号を生成し、通話相手側システムから返ってきた音声信号に前記エコー抑制信号分を重畳してエコーを抑制するエコー抑制処理部とを備えたことを特徴とする。
【００１８】
上記構成により、話者側から見たエコー経路の音響特性情報をもとにして話者側システムにおけるエコー抑制処理を行なうことができ、通話相手側システムの構成にかかわらずエコー抑制処理を利用できる。また、インターネットを介したパケット通信による音声信号送信など、ネットワーク伝送の遅延量が大きく、変動幅も大きい状況においても伝送遅延を加味した最適なエコー抑制処理を実行できる。
【００１９】
本発明のエコー抑制システムにおいて、話者によるエコー抑制処理のチューニング信号を受け付ける調整部を備え、前記エコー抑制処理部が、前記音響特性検出部により検出された音響特性情報に加え、前記チューニング信号も用いて、話者音声信号からエコー抑制信号を生成することが好ましい。
【００２０】
上記構成により、話者側から見たエコー経路の音響特性情報に加え、話者により入力されたエコー抑制処理のチューニング量をもとにして話者側システムにおいてエコー抑制処理を行なうことができる。
【００２１】
次に、上記構成における音響特性検出部によるエコー経路の音響特性検出において、音響特性検出部が音響特性検出用信号を発生する信号発生部を備え、音響特性検出用信号を基準信号とし、通話に先立ち、音響特性検出部が、音響特性検出用信号と通話相手側から返ってきた応答信号とを用いて話者側から見たエコー経路の音響特性情報を検出することが好ましい。例えば白色雑音やインパルス信号などを基準信号とすれば、精度の良いエコー経路の音響特性情報の検出が可能となる。また、通話において入力された音声信号を基準信号として用いることもできる。
【００２２】
また、音響特性検出部によるエコー経路の音響特性情報の検出において、話者側システムにおける基準信号と通話相手側から返ってきた応答信号との相関値に対するしきい値の調整と相関探索範囲の調整を可能とすることが好ましい。
【００２３】
なぜなら、ネットワーク伝送の遅延量が大きく、変動幅も大きい状況であれば、遅延量を探索する範囲を動的に調整する必要があり、また、遅延量が一度求まってもその後変動する遅延量を適切に検出するには探索範囲を柔軟に調整して行く必要があるからである。
【００２４】
次に、エコー抑制処理部のエコー抑制処理において、エコー抑制処理に用いるエコー抑制信号を、遅延部分と遅延部分に続く信号部分に分け、エコー抑制処理部が、遅延部分に相当する遅延を与える遅延フィルタと、信号部分に相当する信号を生成する信号フィルタを備えることが好ましい。
【００２５】
上記構成によれば、エコー抑制処理に用いる信号のうち、エコー経路の遅延分は遅延フィルタにより処理し、演算処理量を低減させることができる。
【００２６】
次に、話者側システムが、スピーカと複数のマイクロフォンを備え、話者方向に対して前記複数のマイクロフォンの音声入力信号を同期加算し、話者音声のみ強調することが好ましい。また、前記話者側システムが、スピーカと複数のマイクロフォンを備え、スピーカ方向に対して前記複数のマイクロフォンの音声入力信号を同期減算し、スピーカから出力されるエコー音を抑制することが好ましい。
【００２７】
上記構成のように、複数のマイクロフォンの音声入力信号処理を組み合わせることにより、話者音の強調処理や、スピーカによる近端回り込みの抑制処理を行うことが可能となる。
【００２８】
なお、話者による、エコー抑制処理部によるエコー抑制処理の実行と停止との選択、音響特性検出部によるエコー経路の音響特性情報の検出処理の実行と停止との選択、話者からの指示を契機とした音響特性検出部による音響特性情報の検出処理開始など話者主導の調整が可能である。ここで、話者側システムが、スピーカと複数のマイクロフォンを備え、前記複数のマイクロフォンの音声入力信号を用いた音源検出により前記スピーカ出力の大きさを調べ、前記スピーカ出力が所定値以上大きい場合に前記音響特性検出部によるエコー経路の音響特性検出処理の実行が選択されることとすれば、話者音は抑制せず、スピーカ音に対する近端での回り込みのみを抑制するようにエコー抑制処理部のフィルタ係数の更新ができる。
【００２９】
【発明の実施の形態】
本発明のエコー抑制システムについて図面を参照しつつ説明する。
【００３０】
（実施形態１）
本発明の実施形態１のエコー抑制システムは、エコーキャンセラを話者側システムに設けるものであり、通話相手側の通信機器で発生しているエコーの抑制処理を、話者側システムにより行い、通話相手側システムでは行なう必要はないものである。本発明の実施形態１のエコー抑制システムは、話者側から見たエコー経路の音響特性情報を検出する音響特性検出部と、検出された音響特性情報と入力されたチューニング信号を基に話者音声信号からエコー抑制信号を生成し、通話相手側システムから返ってきた音声信号にエコー抑制信号分を重畳してエコーを抑制するエコー抑制処理部とを備えたものである。なお、本実施形態１は、話者によるエコー抑制処理のチューニングを受け付ける調整部も備えた構成となっている。
【００３１】
図１は、本発明の実施形態１のエコー抑制システムを模式的に表わした図である。図１において、１０と２０が通話者同士であり、説明の便宜上、１０が話者となり、１０が発した話者音声が２０側に伝わる場合を例に説明する。１１および２１がマイクロフォン、１２および２２がスピーカ、１３および２３がＶｏＩＰアプリケーション、１４および２４が端末装置、３０がインターネットである。
【００３２】
１００がエコーキャンセラであり、音響特性検出部１１０、調整部１２０、エコー抑制処理部１３０を備えている。図１のようにエコーキャンセラ１００は話者側の端末装置１４に組み込まれている。入力信号は話者音声信号とエコー経路を介して返ってきた応答信号であり、出力信号はスピーカ１２に対する出力音声信号である。なお、通信インタフェースやその他のデバイスなどは説明の便宜上、図示を省略した。
【００３３】
音響特性検出部１１０は、話者側から見たエコー経路の音響特性情報を検出する部分である。話者音声信号とエコー経路を介して返ってきた応答信号からエコー経路の音響特性情報を検出する。例えば、後述するように、話者音声信号に演算処理を施した信号と応答信号との差分が０となるように調整し、エコー経路の音響特性情報を求める。
【００３４】
調整部１２０は、話者によるエコー抑制処理のチューニングを受け付け、チューニング信号を生成する部分である。
【００３５】
エコー抑制処理部１３０は、音響特性検出部１１０により検出された音響特性情報を基に話者音声信号からエコー抑制信号を生成し、通話相手側システムから返ってきた音声信号にエコー抑制信号分を重畳してエコーを抑制する。なお、本実施形態１では、エコー抑制処理部１３０は、音響特性検出部１１０により検出された音響特性情報に加え、調整部１２０を介して入力されたチューニング信号も用いてエコー抑制信号を生成する構成となっている。
【００３６】
図２は本発明にかかるエコーキャンセラ１００を中心とした具体的なモジュール構成の一例を示した図である。２０１がＦＩＲフィルタ（finite impulse response filter）などで構成する音響特性フィルタ、２０２が係数更新器、２０３および２０４が減算器である。２０５はゲイン調整器である。
【００３７】
ここで、図１に示したエコーキャンセラ１００の各部と図２の具体的なモジュールとの関係は以下のようになる。
【００３８】
図１の音響特性検出部１１０は、図２における音響特性フィルタ２０１と係数更新器２０２と減算器２０３に相当する。本実施形態では基準信号として話者音声を利用する。音響特性検出部１１０は、話者側から見たエコー経路の音響特性情報を検出する部分であり、基準信号となる話者音声信号（図２中ａ）とエコー経路を介して返ってきた応答信号（図２中ｃ）からエコー経路の音響特性情報を検出する。例えば、後述するように、話者音声信号に音響特性フィルタ２０１の演算処理を施した信号（図２中ｂ）と応答信号（図２中ｃ）との差分信号（図２中ｅ）を減算器２０３により求め、当該差分信号が０となるように係数更新器２０２により調整する。この結果、音響特性フィルタ２０１の係数はエコー経路の音響特性情報に相当する演算の係数となる。
【００３９】
図１の調整部１２０は、図２のゲイン調整器２０５に相当する。話者自身によるチューニングが可能となるように外部入力手段を持ち、ゲイン調整器２０５のゲイン量を話者自身が調整することができる。ゲイン係数ｇは例えば、０．０〜１．０の間で調整できるものとする。ゲイン係数ｇを０．０とすれば、エコー抑制処理を施さないこととなる。つまり、話者による、エコー抑制処理部によるエコー抑制処理の実行と停止との選択が可能であるとも言える。
【００４０】
図１のエコー抑制処理部１３０は、図２の音響特性フィルタ２０１とゲイン調整器２０５と減算器２０４に相当する。エコー抑制信号の生成にあたり、取り込んだ話者音声信号（図２中ａ）に対して音響特性検出部１１０として係数が調整されている音響特性フィルタ２０１により音響特性情報を反映した演算処理を施し（図２中ｂ）、さらにゲイン調整器２０５により話者自身によるチューニングを施してエコー抑制信号（図２中ｇ・ｂ）を生成し、減算器２０４において通話相手側システムから返ってきた音声信号（図２中ｃ）にエコー抑制信号分（図２中ｇ・ｂ）を重畳、つまりエコー抑制信号分を減算してエコーを抑制した信号（図２中ｆ）を生成してスピーカ１２に出力する。
【００４１】
ここで、エコー経路の音響特性を模擬するための音響特性フィルタ２０１の係数更新について詳しく説明する。一例として、音響特性フィルタ２０１としてＦＩＲフィルタ（finite impulse response filter）を用い、学習同定法を基にして係数を更新する方式を説明する。
【００４２】
ＦＩＲフィルタによる演算処理は（数１）のように表わすことができる。
【００４３】
【数１】
0003693588.tif 000002
【００４４】
ここで、（ａi）はマイクロフォン１１からの信号、即ちフィルタへの入力信号である。（ｂi）はフィルタの出力信号を示している。添え字の（ｉ）はサンプル番号を示す。（ｈj）はフィルタの係数を示し、ｎは次数を表わしている。
【００４５】
次に、フィルタ係数（ｈj）の更新は（数２）のように表わされる。
【００４６】
【数２】
0003693588.tif 000003
【００４７】
ここで、αは一般的には定数であり、０．０＜α＜１．０である。また、（ｃi）は通話相手側システムからの応答信号である。
【００４８】
スピーカ１２に渡される信号ｆiは（数３）として表わされる。
【００４９】
【数３】
ｆi＝ｃi−ｇ・ｂi
以上の構成による本発明のエコー抑制システムを用いれば、話者側システムに設けたエコーキャンセラにより話者の聞こえるエコーを抑制することが可能となる。話者自身がエコー抑制処理の微調整ができ、エコーキャンセラの効果を直接知ることができる。インターネットを介した音声信号のやり取りであって音響特性の変動幅の大きい状況においても最適なエコー抑制処理を実行できる。
【００５０】
また、通話相手側の通信機器で発生しているエコーの抑制処理を、話者側システムにより行うことができ、従来のように通話相手側システムでエコー抑制処理を行う必要がないので、通話相手の音声処理システムの如何にかかわらず確実にエコー抑制処理を実行することができる。
【００５１】
（実施形態２）
実施形態２は、音響特性検出処理における工夫を盛り込んだエコー抑制システムであり、マイクロフォン１１から取り込んだ信号のうち、基準信号となる話者音声信号が含まれている区間と、比較信号となる通話相手側から得られた応答信号のうち話者音声に対するエコーを含んだ応答信号の区間を精度よくかつ柔軟に検出するものである。実施形態１では基準信号となる話者音声信号（ａi）が含まれている区間および比較信号となるエコーを含んだ応答信号（ｃi）の区間が一意に定まっているものとして説明したが、実際の通話においてネットワーク遅延量など音響特性が固定的でないためそれらを含んだ区間がどこであるかを判別する必要がある。本実施形態２ではそれらエコーを含んだ応答信号区間を判別する。
【００５２】
図３は、基準信号となる話者音声信号（ａi）が含まれている区間および比較信号となるエコーを含んだ応答信号（ｃi）の区間を判別する処理を行う音響特性検出部１１０の構成例を示した図である。図３において、音響特性検出部１１０は、パワー計算部１１１、相互相関係数計算部１１２を備えている。
【００５３】
パワー計算部１１１は、話者音声信号中のパワーを調べ、信号中に音声信号が含まれている部分を検出するために用いる。取り込んだ話者音声信号中のパワーを計算し、所定のしきい値以上のパワーを持つ部分は基準信号となる話者音声信号とし、次の処理である応答信号との相互相関係数の計算処理に移行する。所定のしきい値を満たすパワーを持つ信号が得られるまで待ち処理を行うこととなる。
【００５４】
パワー計算部１１１によるパワー計算は（数４）のように表わされる。
【００５５】
【数４】
0003693588.tif 000004
【００５６】
ここで、ｎ’はパワー計算のための次数である。
【００５７】
まず、（数４）より基準信号（ａi）とする信号区間を定める。
【００５８】
相互相関係数計算部１１２は、基準信号である音声信号と比較信号である応答信号の相互相関係数を計算する部分である。この相互相関係数は（数５）のように計算される。ここで応答信号の探索範囲を各信号区間ｃ(i+k-j)に区切り、基準信号である音声信号との相互相関係数がもっとも大きくなる区間を探索する。なお、ここで、添え字のｋは相互相関係数の次数を表わしている。つまり、相互相関を探索する範囲における区間の番号であり、ｋの値域を大きくすることは相互相関を探索する範囲を広げることとなる。
【００５９】
【数５】
0003693588.tif 000005
【００６０】
ただし、ｋMIN≦ｋ≦ｋMAXとする。なお、ｋMINとｋMAXはあらかじめ設定しておく探索範囲、つまりエコー経路の信号遅延の最小値と最大値である。
【００６１】
ここで、ｎ’’は相互相関係数計算のための次数を示している。
【００６２】
相互相関係数計算部１１２により計算した相互相関係数ｒ（ｋ）が最大となるｋを求めれば、エコー経路の遅延量を検出することができる。
【００６３】
図４は、上記相互相関係数の計算を用いた、話者音声に対するエコーを含んだ応答信号の区間の検出処理フローの例を表わしたフローチャートである。
【００６４】
まず、マイクロフォン１１から入力される話者音声信号（ａi）を取り込み、パワーを計算する（ステップＳ４０１）。パワーがしきい値（ｐTH）を超えるものか否かをチェックし、しきい値を超えない場合（ステップＳ４０２：Ｎ）は、基準信号となる話者音声信号が入力されていないので再度ステップＳ４０１に戻り、待ち処理を行う。しきい値を超えた場合（ステップＳ４０２：Ｙ）は、基準信号となる話者音声信号（ａi）が入力されたとし、次のステップＳ４０３に移行する。
【００６５】
ステップＳ４０３では、基準信号となる話者音声信号（ａi-j）と比較信号となる応答信号の各信号区間ｃ(i+k-j)との相互相関係数ｒ（ｋ）を計算する。
【００６６】
ステップＳ４０４では、ステップＳ４０３で求めた各信号区間の相互相関係数ｒ（ｋ）のうち最大値をとるｋを特定し、当該ｋに相当する時間をエコー経路の遅延量とし、音響特性情報とする。
【００６７】
なお、上記構成において、音響特性検出部が話者からの指示を契機としてエコー経路の音響特性情報を検出するように話者の指示入力を行わせることも可能である。
【００６８】
以上、実施形態２のエコー抑制システムは、応答信号の探索範囲のうち基準信号である音声信号との相互相関係数がもっとも大きくなる信号区間を探索することにより、マイクロフォンから取り込んだ信号のうち、基準信号となる話者音声信号が含まれている区間と、比較信号となる通話相手側から得られた応答信号のうち話者音声に対するエコーを含んだ応答信号の区間を精度よくかつ柔軟に検出することができる。
【００６９】
（実施形態３）
実施形態３は、音響特性検出処理における工夫を盛り込んだエコー抑制システムであり、音響特性検出部によるエコー経路の音響特性情報の検出において、話者側システムにおける基準信号と通話相手側から返ってきた応答信号との相関値に対するしきい値と探索範囲の調整を可能としたものである。
【００７０】
図５は、相互相関係数の探索範囲の調整を行うことのできる音響特性検出部１１０ａの構成例を示した図である。図５において、音響特性検出部１１０ａは、パワー計算部１１１、相互相関係数計算部１１２に加え、探索範囲調整部１１３を備えている。
【００７１】
探索範囲調整部１１３は、相互相関係数の探索範囲の調整を行うものであり、実施形態２の例で言えば、相互相関係数を計算する（数５）における相互相関係数の次数ｋの値域を調整、つまり、ｋMIN、ｋMAXを変更するものである。調整方法の一例としては、相互相関係数ｒ（ｋ）にしきい値ｒTHを設けておき、応答信号の探索範囲において基準信号である音声信号との相互相関係数として得られたもののうち、当該しきい値ｒTHを超えるものがない場合、エコー経路の音響特性のため想定以上に遅延が大きいなど、応答信号の探索範囲外にエコーが見られると判断し、探索範囲を広げるなどの調整を行う方法をとる。
【００７２】
探索範囲調整部１１３における調整処理の例を示す。図６は、探索範囲調整部１１３における調整処理フローを示したフローチャートである。
【００７３】
まず、探索範囲の下限と上限を表わすｋMINとｋMAXの初期値を設定する（ステップ６０１）。
【００７４】
ステップＳ６０２からステップＳ６０４は、実施形態２の図４のフローチャートにおけるステップＳ４０１からステップＳ４０３と同様であり、音声信号区間を検出するためパワー計算部１１１により信号のパワーを計算し（ステップＳ６０２）、しきい値を超えるパワーを持つ信号を基準信号（ａi）とし（ステップＳ６０３）、基準信号となる話者音声信号（ａi-j）と比較信号となる応答信号の各信号区間ｃ(i+k-j)との相互相関係数ｒ（ｋ）を計算する（ステップＳ６０４）。
【００７５】
本実施形態３では、ステップＳ６０４で求めた各信号区間の相互相関係数ｒ（ｋ）のうち最大値をとるｒMAXを検出し（ステップＳ６０５）、ｒMAXが相互相関係数のしきい値ｒTHを超えるものであるか否かをチェックし（ステップＳ６０６）、しきい値ｒTHを超えるものである場合（ステップＳ６０６：Ｙ）は、探索範囲内にエコーと見られる部分があったと判断し、当該ｋの値をエコー経路の音響特性に基づく遅延量とする（ステップＳ６０７）。
【００７６】
しきい値ｒTHを超えるものでない場合（ステップＳ６０７：Ｎ）は、初期設定の応答信号区間の探索範囲内ではエコーと見られる部分がなかったと判断し、探索範囲を広げるべく、ｋMINとｋMAXの値を調整するため、ｋMIN＝ｋMIN−α、ｋMAX＝ｋMAX＋βとする（ステップＳ６０８）。なお、ｋMINの値がマイナスになることは有り得ないので（エコーの方が過去に発生することはないので）、ｋMINが０未満の場合（ステップＳ６０９：Ｙ）は、ｋMINを０とする（ステップＳ６１０）。このように探索範囲を調整し、ステップＳ６０４に戻り、相互相関係数の演算を再実行する（ステップＳ６０４）。
【００７７】
また、相互相関係数ｒ（ｋ）のしきい値ｒTHおよび探索範囲の調整を話者自身の操作により可能としても良い。
【００７８】
以上、実施形態３のエコー抑制システムは、音響特性検出部によるエコー経路の音響特性情報の検出において、話者側システムにおける基準信号と通話相手側から返ってきた応答信号との相互相関係数の演算結果をもとに探索範囲の調整を行うことができる。
【００７９】
（実施形態４）
実施形態４は、音響特性検出処理における工夫を盛り込んだエコー抑制システムであり、音響特性情報の検出にあたり、音響特性検出用の信号を用いるものである。音響特性検出部が、音響特性検出用信号を発生する信号発生部を備え、音響特性検出用信号を基準信号とし、通話に先立ち、音響特性検出部が、基準信号と通話相手側から返ってきた応答信号とを用いて話者側から見たエコー経路の音響特性情報を検出するものである。
【００８０】
図７に音響特性検出用の信号を用いる場合の装置構成例を示す。図７の構成例では、音響特性検出部１１０ｂは、音響特性検出用信号発生部１１４、スイッチ１１５を備えている。
【００８１】
音響特性検出用信号発生部１１４は、基準信号として、パルスや白色雑音など自己相関の小さい信号を発するものが好ましい。また、ユーザフレンドリーな信号音とすべく利用者にとり耳障りにならない音楽などを用いることも可能である。また、信号音の周波数を可聴周波数帯より高くまたは低くすることにより、信号音が利用者に聞こえないものとすることも好ましい。
【００８２】
スイッチ１１５は、音響特性検出部１１０ｂにおいて音響特性検出用信号発生部１１４を用いるか否かを切り替えるものであり、例えば、通話冒頭の音響特性情報の検出のフェーズでは音響特性検出用信号発生部１１４側をオンとし、音響特性に応じて音響特性フィルタの値を調整し、エコー抑制処理のフェーズとなればマイクロフォン１１側をオンとする。
【００８３】
上記構成とすれば、音響特性情報の検出に適した信号を用いることができ、エコー経路となる音響特性情報を精度良く検出することができる。
【００８４】
もっとも、音響特性検出用信号を用いる場合は、実際の通話に先立って冒頭に音響特性検出用信号の発信とエコー音の受信、音響特性フィルタの係数決定などの諸処理を行わねばならない。そこで、特別に音響特性検出用信号を用いず、通話において入力された音声信号を基準信号として用い、音響特性検出部が、基準信号と通話相手側から返ってきた応答信号とを用いて話者側から見たエコー経路の音響特性情報を検出することも可能である。この方式を用いれば通話中、常時または一定間隔などで音響特性情報の検出を実行し、エコー経路の音響特性情報を更新して行くことが可能となり、音響特性が変化しても常に最適なエコー抑制処理を実行することができる。
【００８５】
（実施形態５）
実施形態５は、エコー抑制信号の生成処理における工夫を盛り込んだエコー抑制システムであり、エコー抑制処理部のエコー抑制処理において用いるエコー抑制信号を、遅延部分と遅延部分に続く信号部分に分けて、遅延部分の処理を遅延フィルタで行い、遅延部分に続く信号部分の調整をＦＩＲフィルタなどにより実行するものである。このように、エコー抑制信号を、遅延部分と遅延部分に続く信号部分に分けて演算することにより、処理量の低減を図ったものである。
【００８６】
図８はエコー抑制用信号を簡単に示した図である。なお、ｔ＝０は話者側システムのマイクロフォンに音響特性検出用信号、例えば、パルスを入力したタイミングを表わしている。図８に見るように、エコー抑制用信号は、遅延部分８０１と当該遅延部分８０１に続く信号部分８０２に分けることができる。この例では遅延時間がｄとなっている。実施形態１の例では、図８に示した形のエコー抑制用信号を図２に示したような音響特性フィルタ２０１と係数更新器２０２を用いて学習同定法により生成したが、本実施形態５では、遅延部分８０１に相当する遅延処理を遅延フィルタで実行し、信号部分８０２に相当する信号部分をＦＩＲフィルタなどの音響特性フィルタ２０１で生成する構成とする。遅延部分８０１と当該遅延部分８０１に続く信号部分８０２に分けて演算処理することにより、実施形態１のように一体の信号として演算処理するよりも処理量が少なくなる。
【００８７】
図９は、本実施形態５のエコー抑制システムのエコーキャンセラ部分を中心とした構成例を示した図である。図９において、２１０が遅延検出器、２２０が遅延フィルタである。その他の要素は実施形態１における図２と同様であり、ここでの説明は省略する。
【００８８】
遅延検出器２１０は、エコー経路における遅延量を求める部分である。例えば、無音状態からｔ＝０でパルス信号をマイクロフォン１１から入力し、実施形態２に示したパワー計算器などにより応答信号中に有意な音声信号の存在を検出し、その遅延量を求めるものとしても良い。ここでは遅延量ｄが検出されたものとする。
【００８９】
遅延フィルタ２２０は、エコー抑制信号のうちの遅延部分に相当する遅延を与える部分である。遅延検出器２１０により求めた遅延量ｄをもとに、Ｚ領域の伝達関数として、Ｚ-dである遅延フィルタ２２０として調整する。
【００９０】
音声信号に対して遅延フィルタ２２０による遅延処理を施した後の処理は、実施形態１と同様である。ＦＩＲフィルタ係数の調整処理においては、遅延処理済み信号ｍに対して音響特性フィルタ２０１による演算を実行後、応答信号との減算処理を減算器２０３により行って両者差分が０となるように係数更新器２０２を介してＦＩＲフィルタの係数を調整する。また、エコー抑制処理においては、係数が調整された音響特性フィルタ２０１を用いて遅延処理済み信号の演算処理を実行し、ゲイン器２０５によりゲイン調整を施した後、エコー抑制処理済み信号をスピーカ１２に出力する。上記エコー抑制処理やＦＩＲフィルタ係数調整処理において、実施形態１で示したように話者音声信号を一体の信号として演算処理するよりも処理量が少なくなる。
【００９１】
なお、上記実施形態において説明した各構成要素は、ハードウェアモジュールとして供給することも可能であり、また、上記要素の処理を実現する処理プログラムの形で記述しておき、汎用マイクロプロセッサなどに上記要素処理を実現させることも可能である。
【００９２】
（実施形態６）
以下の説明では複数のマイクロフォンを用いた場合を説明するが、マイクロフォンは、マイクロフォンアレイでも複数のマイクロフォンでも良い。
【００９３】
実施形態６のエコー抑制システムは、話者側システムが、スピーカと複数のマイクロフォンを備え、話者方向に対して前記複数のマイクロフォンの音声入力信号を同期加算し、話者音声のみ強調する処理を行い、エコー抑制システムの精度を向上させるものである。話者側システムのスピーカ出力に対して話者音に対するマイクロフォンの感度を大きくし、スピーカとマイクロフォン間の音響的結合を弱め、いわゆる近端側での音の回り込みの影響を小さくすることができる。
【００９４】
図１０は実施形態６のエコー抑制システムの構成を簡単に示した図である。なお、図１などで示した通話相手側システムである２０〜２４などの構成は図示を省略している。
【００９５】
図１０の構成では、マイクロフォン１１ａ，１１ｂの２つのマイクロフォンを備えているが、３つ以上であっても良い。各マイクロフォン１１ａ，１１ｂはそれぞれ遅延器１５ａ，１５ｂを備えている。１６は加算器である。
【００９６】
なお、マイクロフォンアレイを使う場合は、遅延回路はマイクロフォンアレイに含まれる。
【００９７】
遅延器１５ａ，１５ｂそれぞれの遅延量は、マイクロフォン１１ａ，１１ｂに対して想定される話者１０の方向に指向性を合わせるように設定される。各遅延器１５ａ，ｂの出力は加算器１６に入力される。加算器１６における同期加算により話者音が強調され、他の方向から音（雑音）は抑制される。この例では、遠端回り込みにより返ってくるスピーカ１２から出力されるエコー音が抑制される。このように同期加算された出力がエコーキャンセラ１００とＶｏＩＰアプリケーション１３に渡される。なお、エコーキャンセラ１００、ＶｏＩＰアプリケーション１３は、上述の実施形態１〜６までに説明したもので良い。
【００９８】
（実施形態７）
以下の説明では複数のマイクロフォンを用いた場合を説明するが、マイクロフォンは、マイクロフォンアレイでも複数のマイクロフォンでも良い。
【００９９】
実施形態７のエコー抑制システムは、話者側システムが、スピーカと複数のマイクロフォンを備え、スピーカ方向に対して前記複数のマイクロフォンの音声入力信号を同期減算し、スピーカから出力されるエコー音を抑制する処理を行い、エコー抑制システムの精度を向上させるものである。話者側システムのスピーカ出力に対するマイクロフォンの感度を小さくし、スピーカとマイクロフォン間の音響的結合を弱め、いわゆる近端側での音の回り込みの影響を小さくすることができる。
【０１００】
図１１は実施形態７のエコー抑制システムの構成を簡単に示した図である。なお、図１などで示した通話相手側システムである２０〜２４などの構成は図示を省略している。
【０１０１】
図１１の構成では、マイクロフォン１１ａ，１１ｂの２つのマイクロフォンを備えているが、３つ以上であっても良い。各マイクロフォン１１ａ，１１ｂはそれぞれ遅延器１５ａ，１５ｂを備えている。１７は減算器、１８は遅延量調整器である。
【０１０２】
なお、マイクロフォンアレイを使う場合は、遅延回路はマイクロフォンアレイに含まれる。
【０１０３】
遅延器１５ａ，１５ｂそれぞれの遅延量は、スピーカ１２の方向から各マイクロフォン１１ａ，１１ｂに届く音の遅延量に合わせるように設定される。遅延量調整器１８により両者の遅延量を調整する。各遅延器１５ａ，ｂの出力は減算器１７に入力される。減算器１７における同期減算によりスピーカ１２の方向から来る音が消される。つまり、遠端回り込みにより返ってくるスピーカ１２から出力されるエコー音が除去される。このように同期減算された出力がエコーキャンセラ１００とＶｏＩＰアプリケーション１３に渡される。なお、エコーキャンセラ１００、ＶｏＩＰアプリケーション１３は、上述の実施形態１〜６までに説明したもので良い。
【０１０４】
（実施形態８）
本発明のエコー抑制システムは、上記に説明した構成を実現する処理ステップを記述したプログラムを提供することにより、各種コンピュータを用いて構築することができる。本発明のエコー抑制システムを実現する処理ステップを備えたプログラムをコンピュータにロードするにあたっては、当該プログラムを記録した記録媒体をコンピュータに読み取らせることでも良く、また、ネットワーク上からダウンロードすることによってもできる。例えば、図１２に図示したように、ＣＤ−ＲＯＭ３０２やフレキシブルディスク３０３等の可搬型記録媒体３０１をコンピュータ３０４に読み取らせたり、ネットワーク上にある記録装置内の記録媒体３００からネットワークを介してダウンロードすることができる。また、当初からコンピュータ３０４内のハードディスクやＲＡＭ等の記録媒体３０５に格納していても良い。プログラム実行時には、当該プログラムはコンピュータ３０４上にローディングされ、主メモリ上で実行される。
【０１０５】
なお、上記実施形態１から８において、音響特性検出部が、話者からの指示を契機としてエコー経路の音響特性情報を検出することとすることができる。また、話者側システムにおける基準信号と通話相手側から返ってきた応答信号との相関値に対するしきい値の調整と相関探索範囲の調整を話者操作により可能とすることもできる。
【０１０６】
上記構成とすれば、話者主導でエコー抑制処理の開始を認めたり、エコー抑制処理の調整を行うことができる。
【０１０７】
なお、本発明のエコー抑制システムは、上記の発明の概念から逸脱することなく、上記の方法及び装置に種々の変更及び変形を成し得ることが理解されよう。従って、本発明は上記実施形態に限定されるものではないことに注意する必要がある。
【０１０８】
【発明の効果】
本発明のエコー抑制システムによれば、話者側システムに設けたエコーキャンセラにより話者の聞こえるエコーを抑制することが可能となる。話者自身がエコー抑制処理の微調整ができ、エコーキャンセラの効果を直接知ることができる。インターネットを介した音声信号のやり取りであって音響特性の変動幅の大きい状況においても最適なエコー抑制処理を実行できる。
【０１０９】
また、本発明のエコー抑制システムによれば、通話相手側の通信機器で発生しているエコーの抑制処理を、話者側システムにより行うことができ、従来のように通話相手側システムでエコー抑制処理を行う必要がないので、通話相手の音声処理システムの如何にかかわらず確実にエコー抑制処理を実行することができる。
【０１１０】
また、本発明のエコー抑制システムによれば、応答信号の探索範囲のうち基準信号である音声信号との相互相関係数がもっとも大きくなる信号区間を探索することにより、マイクロフォンから取り込んだ信号のうち、基準信号となる音声信号が含まれている区間と、比較信号となる通話相手側から得られた応答信号のうち話者音声に対するエコーを含んだ応答信号の区間を精度よくかつ柔軟に検出することができる。また、相互相関係数の演算結果をもとに探索範囲の調整を行うこともできる。
【０１１１】
また、本発明のエコー抑制システムによれば、エコー抑制処理部のエコー抑制処理において用いるエコー抑制信号を、遅延部分と遅延部分に続く信号部分に分けて、遅延部分の処理を遅延フィルタで行い、遅延部分に続く信号部分の調整をＦＩＲフィルタなどにより実行することにより、処理量の低減を図ることができる。
【図面の簡単な説明】
【図１】  本発明の実施形態１のエコー抑制システムを模式的に表わした図
【図２】  本発明にかかるエコーキャンセラ１００を中心とした具体的なモジュール構成の一例を示した図
【図３】  基準信号となる話者音声信号（ａi）が含まれている区間および比較信号となるエコーを含んだ応答信号（ｃi）の区間を判別する処理を行う音響特性検出部１１０の構成例を示した図
【図４】  本発明の実施形態２のエコー抑制システムにおける相互相関係数の計算を用いた話者音声に対するエコーを含んだ応答信号の区間の検出処理フローの例を表わしたフローチャート
【図５】  本発明の実施形態３のエコー抑制システムにおける相互相関係数の探索範囲の調整を行うことのできる音響特性検出部１１０ａの構成例を示した図
【図６】  本発明の実施形態３のエコー抑制システムにおける探索範囲調整部１１３における調整処理フローを示したフローチャート
【図７】  本発明の実施形態４の音響特性検出用の信号を用いる場合の装置構成例を示す図
【図８】  エコー抑制用信号を簡単に示した図
【図９】  本発明の実施形態５のエコー抑制システムのエコーキャンセラ部分を中心とした構成例を示した図
【図１０】  本発明の実施形態６のエコー抑制システムを模式的に表わした図
【図１１】  本発明の実施形態７のエコー抑制システムを模式的に表わした図
【図１２】  本発明のエコー抑制システムを実現する処理ステップのプログラムを記録した記録媒体の例を示す図
【図１３】  従来技術における全二重通話システムを模式的に示した図
【図１４】  従来技術におけるエコーキャンセラを用いたエコー抑制システムを模式的に示した図
【符号の説明】
１０，２０  通話者
１１，１１ａ，１１ｂ，２１  マイクロフォン
１２，２２  スピーカ
１３，２３  ＶｏＩＰアプリケーション
１４，２４  端末装置
１５ａ，１５ｂ  遅延器
１６  加算器
１７  減算器
１８  遅延量調整器
１９  スピーカ出力検出部
３０  インターネット
１００  エコーキャンセラ
１１０，１１０ａ，１１０ｂ  音響特性検出部
１１１  パワー計算部
１１２  相互相関係数計算部
１１３  探索範囲調整部
１１４  音響特性検出用信号発生部
１１５  スイッチ
１２０  調整部
１３０  エコー抑制処理部
２０１  音響特性フィルタ
２０２  係数更新器
２０３，２０４  減算器
２０５  ゲイン調整器
２１０  遅延検出器
２２０  遅延フィルタ
３００  ネットワーク上にある記録装置内の記録媒体
３０１  可搬型記録媒体
３０２  ＣＤ−ＲＯＭ
３０３  フレキシブルディスク
３０４  コンピュータ
３０５  コンピュータのハードディスクやＲＡＭ等の記録媒体
８０１  遅延部分
８０２  遅延部分８０１に続く信号部分
【図１】
0003693588.tif 000006
【図２】
0003693588.tif 000007
【図３】
0003693588.tif 000008
【図４】
0003693588.tif 000009
【図５】
0003693588.tif 000010
【図６】
0003693588.tif 000011
【図７】
0003693588.tif 000012
【図８】
0003693588.tif 000013
【図９】
0003693588.tif 000014
【図１０】
0003693588.tif 000015
【図１１】
0003693588.tif 000016
【図１２】
0003693588.tif 000017
【図１３】
0003693588.tif 000018
【図１４】
0003693588.tif 000019