(57)【特許請求の範囲】
【請求項１】
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と通信しており、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置であって、
前記拠点装置で放音する再生音声の受信信号を、前記受信信号を識別する関連情報とともに記憶する記憶部と、
前記受信信号を前記関連情報とともに前記拠点装置へ引き渡し、前記拠点装置からの送信信号が到着したときに、前記送信信号に付されている、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号の関連情報に基づいて該受信信号を前記記憶部から取り出す送受信処理部と、
前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有することを特徴とするエコーキャンセル装置。
【請求項２】
前記送受信処理部は、
前記送受信処理部から前記拠点装置へ前記受信信号を引き渡すときに前記受信信号が欠損し、前記送信信号に前記受信信号の関連情報が付されていない場合、前記関連情報に対応する受信信号を前記記憶部から取り出し、前記送信信号にエコーを形成する信号補間処理を行うことを特徴とする請求項１に記載のエコーキャンセル装置。
【請求項３】
前記送受信処理部は、
前記送受信処理部から前記拠点装置へ前記受信信号を引き渡すときに前記受信信号が欠損し、前記送信信号に前記受信信号の関連情報が付されていない場合、無音信号を前記記憶部から取り出す前記関連情報に対応する受信信号の代替とすることを特徴とする請求項１に記載のエコーキャンセル装置。
【請求項４】
前記拠点装置で前記送信信号に付加されたパリティを用いて、伝送中の前記送信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする請求項１から３のいずれかに記載のエコーキャンセル装置。
【請求項５】
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでであって、
前記エコーキャンセル装置は、
前記拠点装置で放音する再生音声の受信信号を、前記受信信号を識別する関連情報とともに記憶する記憶部と、
前記受信信号を前記関連情報とともに前記拠点装置へ引き渡し、前記拠点装置からの送信信号が到着したときに、前記送信信号に付されている、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号の関連情報に基づいて該受信信号を前記記憶部から取り出す送受信処理部と、
前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有し、
前記拠点装置は、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号に付されている関連情報を把握し、前記送信信号に前記関連情報を付して前記エコーキャンセル装置へ送信する情報生成部を有することを特徴とする通信システム。
【請求項６】
前記送受信処理部は、
前記送受信処理部から前記拠点装置へ前記受信信号を引き渡すときに前記受信信号が欠損し、前記送信信号に前記受信信号の関連情報が付されていない場合、前記関連情報に対応する受信信号を前記記憶部から取り出し、前記送信信号にエコーを形成する信号補間処理を行うことを特徴とする請求項５に記載の通信システム。
【請求項７】
前記送受信処理部は、
前記送受信処理部から前記拠点装置へ前記受信信号を引き渡すときに前記受信信号が欠損し、前記送信信号に前記受信信号の関連情報が付されていない場合、無音信号を前記記憶部から取り出す前記関連情報に対応する受信信号の代替とすることを特徴とする請求項５に記載の通信システム。
【請求項８】
前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする請求項５から７のいずれかに記載の通信システム。
【請求項９】
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでのエコーキャンセル方法であって、
前記拠点装置で放音する再生音声の受信信号を、前記受信信号を識別する関連情報とともに前記エコーキャンセル装置の記憶部に記憶しておき、
前記受信信号を前記関連情報とともに前記拠点装置へ引き渡し、
前記拠点装置で前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号に付されている関連情報を把握し、前記送信信号に前記関連情報を付して前記エコーキャンセル装置へ送信し、
前記拠点装置からの送信信号が前記エコーキャンセル装置に到着したときに、前記送信信号に付されている前記関連情報に基づいて前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、
前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うことを特徴とするエコーキャンセル方法。
【請求項１０】
前記拠点装置へ前記受信信号を引き渡すときに前記受信信号が欠損し、前記送信信号に前記受信信号の関連情報が付されていない場合、前記エコーキャンセル装置が、前記関連情報に対応する受信信号を前記記憶部から取り出し、前記送信信号にエコーを形成する信号補間処理を行うことを特徴とする請求項９に記載のエコーキャンセル方法。
【請求項１１】
前記拠点装置へ前記受信信号を引き渡すときに前記受信信号が欠損し、前記送信信号に前記受信信号の関連情報が付されていない場合、前記エコーキャンセル装置が、無音信号を前記記憶部から取り出す前記関連情報に対応する受信信号の代替とすることを特徴とする請求項９に記載のエコーキャンセル方法。
【請求項１２】
前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元することを特徴とする請求項９から１１のいずれかに記載のエコーキャンセル方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク型エコーキャンセル処理を行うエコーキャンセル装置、これに接続する拠点装置、これらで構成される通信システム、及びそのエコーキャンセル方法に関する。
【背景技術】
【０００２】
ネットワークを介した音声会議・テレビ会議においては、快適な通話のため、エコーやノイズを抑制する処理（以下、エコーキャンセル処理又はＥＣ処理）を行っている。エコーキャンセル処理については後述する。エコーキャンセル処理は相手側から送られてきた音声、および自拠点で入力された音声の両信号を使い処理を行う。エコーキャンセル処理は、両拠点間で同時に通話するダブルトークと呼ばれる状態、すなわちスピーカからの回り込み音声に加えて、送話者の音声がマイクに入力された場合、信号処理上、エコーキャンセル処理が十分に動作しないという問題がある。このため、ダブルトークが発生する場合はエコーキャンセル処理を止める等の対応をすることで処理に影響が出ないようにしている。
【０００３】
エコーキャンセル処理を適用した遠隔会議の実施形態として、実施する拠点に設置された特別な装置で処理されるケース（ケースＡ：図１）、及び、各映像・音声信号を中継するネットワーク上の設備で行われるケース（以下ネットワークエコーキャンセル処理）が想定される（ケースＢ：図２）。
【０００４】
ケースＡ（図１）では各相手拠点で送られてきた信号、および、自拠点で集音された信号をそれぞれの拠点装置（１０Ａ、１０Ｂ）内のＥＣ処理部でエコーキャンセル処理を行う。
【０００５】
ケースＢ（図２）では、ネットワーク上にあるエコーキャンセル装置２０のＥＣ処理部２１、および、ＥＣ処理部２２でエコーキャンセル処理を行う。すなわち、拠点装置（１０Ａ、１０Ｂ）ではエコーキャンセル処理を行わず、ネットワーク上に置かれたエコーキャンセル装置２０で実施される。よって、ケースＢでは、各拠点で実施する処理はＡＤ変換、送受信処理といった簡易的な処理のみである。
【０００６】
図３は、ケースＢの詳細な処理を説明する図である。各処理については以下の通り。
［処置ａ］：ＥＣ処理部２１でエコーキャンセル処理された音声信号が拠点装置１０Ａ向きに時刻（ｔ）でパケット化され送出される。
［処理ｂ］：処理ａのパケットが（ｔ＋ｋ）秒後に拠点装置１０Ａに到着し受信処理される。
［処理ｃ］：時刻（ｔ＋ｋ）に、拠点装置１０Ａで取得された音がパケット化される。
［処理ｄ］：処理ｂで受信された音声信号とｃで拠点装置１０Ａにて取得された音声信号が処理のセットとして、（ｔ＋ｋ）秒といった時間情報により紐づけられる。
［処理ｅ］：紐づけられた音声信号は送受信処理部１２からネットワーク上にあるエコーキャンセル装置２０に送信される。
［処理ｆ］：エコーキャンセル装置２０の送受信処理部２２は処理ｅで送られてきた、処理ｂとｃの音声信号をセットにしてＥＣ処理部２１に送信する。
［処理ｇ］：ＥＣ処理部２１は処理ｆから送られてきた音声信号を処理し、対向拠点（不図示）へ送信する。
【０００７】
次にエコーキャンセル処理について説明する。
エコーキャンセル処理は、信号をブロック化し、フレームごとに周波数領域に変換して行う方法が主流である。エコーキャンセル処理中の適応フィルタについて、周波数領域での具体的な処理が特許文献１及び２に記載されている。この処理では、受話信号（＝再生信号）のフレームＸ（ｉ）と集音信号のフレームＹ（ｉ）を入力とする。受話信号として過去数フレーム〜十数フレームを使用する。ただしｉはフレーム番号である。過去４フレームを使う場合を図４に示す。時刻ｔ０では、Ｘ（ｉ−３）〜Ｘ（ｉ），Ｙ（ｉ）を用いて適応フィルタを更新する。時刻ｔ１では、Ｘ（ｉ−２）〜Ｘ（ｉ＋１），Ｙ（ｉ＋１）を用いて適応フィルタを更新する。
【０００８】
ＥＣ処理部は、エコーキャンセル処理を行うため内部状態変数と使い捨て変数の２つを持つ。内部状態変数は、過去フレームに依存する変数であり、適応フィルタの係数やＸ（ｉ）が含まれる。使い捨て変数は、過去フレームに依存しない変数であり、Ｙ（ｉ）が含まれる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−３４９７９６号公報
【特許文献２】特開２００６−１０１４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以下に本発明の課題となる事象を２つ述べる。
【００１１】
第１の課題はケースＢの処理において、ネットワーク側から送られ拠点で受信した音声信号を、拠点側でネットワーク側へ送り返す処理を行うため、音声信号の帯域を多く使うことである。
【００１２】
第２の課題はネットワークといった伝達経路においてパケットロスといった信号欠損が発生すると、エコーキャンセル処理を実施するための音声が失われ、エコーキャンセル処理が適切に行われないことである。前述したダブルトークについても、ダブルトークが発生時の対応処理はそれぞれの入出力信号で音声が途切れないことが前提として動作するため、本検出処理も動作しなくなる。
【００１３】
図５は、ネットワーク上で音声信号を含んだフレームが欠損した場合のエコーキャンセル処理の劣化について説明した図である。
【００１４】
時刻ｔ０においてフレームが欠損した場合、欠損したフレームに含まれていた音声信号を事後対応として０詰めしたとする。Ｘ（ｉ）を０詰めするということは、実際の音響系でスピーカのボリュームを０にすることと等価である。仮にボリュームを０にしても、Ｘ（ｉ−１）までの過去フレームに起因するエコーはマイクに到達する。そのためＹ（ｉ）を０詰めすることは、マイクボリュームを０にすることと等価である。実際の音響系では、スピーカ・マイクともボリュームを変えていないにもかかわらずパケットロス等でフレームが欠損すると、ＥＣ処理部は、適応フィルタ信号処理において「音響系が急激に変化した」とみなして追随しようとする。このフレーム欠損の影響は、内部状態変数に残存することになる。
【００１５】
次に、現フレームは問題ないが過去フレームが欠損している場合について述べる。適応フィルタの更新では、過去フレームの情報Ｘ（ｉ−３）〜Ｘ（ｉ−１）を使っている。図５のようにＸ（ｉ−２）に欠損がある場合、適応フィルタを更新してしまうと、欠損が適応フィルタの係数に伝播して残存する。これにより時刻ｔ０及び時刻ｔ１において適応フィルタを更新できなくなる。
【００１６】
実際の製品では、Ｘ（ｉ）のフレーム数は１０以上であり、短くない。そのために適応フィルタを更新できない区間の長さは、フレームが欠損している区間の長さよりもずっと長くなる。エコーキャンセル処理のうち、適応フィルタ以外の処理でも、内部状態変数に関わる処理は、フレーム欠損の影響を同じように受ける。したがって欠損がひとたび起きるとその影響は大きい。
【００１７】
ケースＢではエコーキャンセル処理はネットワーク上で集中的に実施する。そのためエコーキャンセル処理を適切に実施するには、各拠点への音声信号と各拠点からの音声信号とがパケットロスが無い状態、すなわち完璧な状態で取得する必要がある。しかし、図６の［ａ］のように拠点向けに送られた音声信号がネットワーク通過時に欠損し、［ｂ］のように送受信処理部１２で（ｔ＋ｋ）の信号が取得できない場合、マッチングをとった音声は無音となる。この場合、エコーキャンセル装置２０に送り返される音声は［ｃ］のように元の音声が含まれないものとなる。これにより、ＥＣ処理部２１には欠損した音声を含んだ信号を渡すことになり、適切なフィルタ形成ができなくなる。
【００１８】
本発明は、上記第１の課題と第２の課題を解決するため、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明は、ネットワーク上のエコーキャンセル装置から拠点装置に送信される音声信号をエコーキャンセル装置に保持しておき、拠点装置から音声信号が送信されてくると当該音声信号と対になる信号をエコーキャンセル装置に保持された音声信号から特定し、特定した音声信号を用いてエコーキャンセル処理を行うことによりパケットロスにより生じるエコーキャンセル処理の劣化を回避することとした。
【００２０】
具体的には、本発明に係るエコーキャンセル装置は、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と通信しており、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置であって、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有することを特徴とする。
【００２１】
具体的には、本発明に係る拠点装置は、
音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と通信しており、音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置であって、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有することを特徴とする。
【００２２】
具体的には、本発明に係る通信システムは、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでであって、
前記エコーキャンセル装置は、
前記拠点装置で放音する再生音声の受信信号を記憶する記憶部と、
前記拠点装置からの送信信号が到着したときに、前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部と、
を有し、
前記拠点装置は、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ送信する情報生成部を有する
ことを特徴とする。
【００２３】
具体的には、本発明に係るエコーキャンセル方法は、
音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置と、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置と、を備える通信システムでのエコーキャンセル方法であって、
前記拠点装置で放音する再生音声の受信信号を前記エコーキャンセル装置の記憶部に記憶しておき、
前記拠点装置で前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報を前記エコーキャンセル装置へ通知し、
前記拠点装置からの送信信号が前記エコーキャンセル装置に到着したときに、前記関連情報に基づいて前記拠点装置で前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を前記記憶部から取り出し、前記送信信号と前記記憶部からの前記受信信号を用いてエコーキャンセル処理を行うことを特徴とする。
【００２４】
本エコーキャンセル装置は、拠点装置で再生する受信信号を保持しておくため拠点装置から当該受信信号を送り返す必要がなく、拠点装置へ引き渡す受信信号が途中で失われた（パケットロスした）としても保持した受信信号を用いてＥＣ処理を行うことができる。従って、本発明は、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することができる。
【００２５】
本発明に係るエコーキャンセル装置は、前記拠点装置で前記送信信号に付加されたパリティを用いて、伝送中の前記送信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。
【００２６】
本発明に係る拠点装置は、前記エコーキャンセル装置で前記受信信号に付加されたパリティを用いて、伝送中の前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。
【００２７】
本発明に係る通信システムは、前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能をさらに有することを特徴とする。
【００２８】
本発明に係るエコーキャンセル方法は、前記拠点装置と前記エコーキャンセル装置との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元することを特徴とする。
【００２９】
エコーキャンセル装置と拠点装置が誤り訂正（ＦＥＣ）機能を搭載することで、パケットロスが発生した場合でも信号を復元することができる。このため、パケットロスによる「音響系が急激に変化した」状態を回避することができ、適切なエコーキャンセル処理を行える。
【発明の効果】
【００３０】
本発明は、ネットワーク型のエコーキャンセル処理で伝送ビットレートを下げ、且つ信号欠損に対する耐性が向上するエコーキャンセル装置、拠点装置、通信システム、及びエコーキャンセル方法を提供することができる。
【図面の簡単な説明】
【００３１】
【図１】エコーキャンセル処理を適用した通信システムの形態を説明する図である。
【図２】エコーキャンセル処理を適用した通信システムの形態を説明する図である。
【図３】エコーキャンセル処理を説明する図である。
【図４】エコーキャンセル処理を説明する図である。
【図５】エコーキャンセル処理の不具合を説明する図である。
【図６】エコーキャンセル処理の不具合を説明する図である。
【図７】本発明に係る通信システムを説明する図である。
【図８】本発明に係る通信システムを説明する図である。
【図９】本発明に係る通信システムを説明する図である。
【図１０】本発明に係る通信システムを説明する図である。
【図１１】本発明に係るエコーキャンセル方法を説明する図である。
【図１２】本発明に係るエコーキャンセル方法を説明する図である。
【図１３】本発明に係るエコーキャンセル方法を説明する図である。
【図１４】本発明に係るエコーキャンセル方法を説明する図である。
【発明を実施するための形態】
【００３２】
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【００３３】
（実施形態１）
本実施形態は、ネットワーク側、拠点側に誤り訂正（ＦＥＣ）機能を搭載し、信号欠損が発生した場合でも信号を復元し、適切なエコーキャンセル処理を行えるようにする方法である。
【００３４】
図７は、本実施形態の通信システム３０１を説明する図である。通信システム３０１は、音声を集音した集音音声を送信信号としてネットワークへ送信するとともに、ネットワークから受信した受信信号に基づく再生音声を放音する拠点装置１０Ａと、音声を集音する時に放音された再生音声がエコーとして含まれた集音音声から前記エコーを除去するエコーキャンセル処理をネットワーク上で行うエコーキャンセル装置２０と、を備える。図７で、拠点装置１０Ａで集音した集音音声の送達先であり、拠点装置１０Ａで放音させる再生信号の発信元である拠点装置１０Ｂは、記載を省略している。
【００３５】
通信システム３０１は、拠点装置１０Ａとエコーキャンセル装置２０との間の前記送信信号及び前記受信信号にパリティを付加し、伝送中の前記送信信号及び前記受信信号の欠損を復元する誤り訂正機能を有する。具体的には、図７のように拠点装置１０ＡはＦＥＣ処理部１５を備え、エコーキャンセル装置２０はＦＥＣ処理部２５を備える。
【００３６】
ＦＥＣ処理部２５は、エコーキャンセル装置２０がネットワークに拠点装置１０Ａ宛の信号（前記受信信号）を送出する際に、パリティと呼ばれる復号用の情報を当該信号に付加する。拠点装置１０Ａではネットワーク側から送られてきた信号（前記受信信号）の欠損があった場合、ＦＥＣ処理部１５がパリティ情報を利用して欠損した信号を復元する。これと同様に拠点装置１０Ａから送出する信号（前記送信信号）に対してもＦＥＣ処理部１５がパリティ情報を追加することで、エコーキャンセル装置２０も拠点装置１０Ａから送られてきた当該信号について復元が可能となる。結果として、エコーキャンセル装置２０は本来受け取るべき音声信号を取得できるため、適切なエコーキャンセル処理を行える。
【００３７】
（実施形態２）
本実施形態は、いずれの信号が失われたかを拠点側で検出しＥＣ処理時にネットワーク側で補完する方法である。ネットワーク側から送信された音声信号について、拠点側でどの部分の音声が欠落したのかの情報をメタデータとして作成しネットワーク側に送信する。ネットワーク側では拠点側に送信した音声を保持しておく。拠点から送られてきたメタデータに、パケット欠落による音声欠損の情報が含まれていた場合、バッファから音声信号を取得することで音声を復元する。
【００３８】
図８は、本実施形態の通信システム３０２を説明する図である。通信システム３０２は、図７の通信システム３０１と同様に拠点装置１０Ａ、エコーキャンセル装置２０、及び不図示の拠点装置１０Ｂで構成される。
【００３９】
エコーキャンセル装置２０は、
拠点装置１０Ａで放音する再生音声の受信信号を記憶する記憶部２７と、
拠点装置１０Ａからの送信信号が到着したときに、拠点装置１０Ａで前記送信信号の前記集音音声を集音したときに再生された再生音声に対応する受信信号を記憶部２７から取り出し、前記送信信号と記憶部２７からの受信信号を用いてエコーキャンセル処理を行うエコーキャンセル処理部２１と、
を有する。
また、拠点装置１０Ａは、
前記送信信号の前記集音音声を集音したときに再生した再生音声に対応する受信信号を把握し、前記送信信号と前記受信信号との関連情報ＭＤをエコーキャンセル装置２０へ送信する情報生成部を有する。
なお、本実施形態では、送受信処理部１２が前記情報生成部を搭載するものとする。
【００４０】
本実施形態のＥＣ処理をケースＣとする。ケースＢでは拠点装置１０Ａはネットワーク側から受信した音声信号（前記受信信号）をエコーキャンセル装置２０に送り返す処理をしていた。これに対しケースＣでは、エコーキャンセル装置２０がネットワーク側から受信した音声信号（前記受信信号）を記憶部２７に記憶しておき（処理［ａ］）、拠点装置１０Ａは受信した音声信号（前記受信信号）をエコーキャンセル装置２０へ戻す処理をしない。そして、拠点装置１０Ａは、ネットワークからの音声信号と自身で集音した音声信号について、ケースＢと同様に、ＥＣ処理の対になるフレームのマッチング作業を実施する。
【００４１】
ケースＣでは、拠点装置１０Ａは、ＥＣ処理の対の組み合わせについて、例えば、パケット番号やフレーム番号等の音声信号の単位に付与された番号や時刻などで対応付けたマッチング情報ＭＤ（前記関連情報）を生成する（処理［ｂ］［ｃ］）。拠点装置１０Ａは、マッチング情報ＭＤをメタデータとしてエコーキャンセル装置２０へ送信する（処理［ｄ］）。
【００４２】
エコーキャンセル装置２０は、受け取ったマッチング情報ＭＤに記載されているパケット番号等に基づいて記憶部２７に格納した音声信号（前記受信信号）を取り出す（処理［ｅ］）。そして、エコーキャンセル装置２０は、マッチング情報に基づき拠点装置１０Ａから送られてきた音声信号（前記送信信号）と記憶部２７から取り出された音声信号（前記受信信号）とをセットにしてＥＣ処理部２１に送る（処理［ｆ］）。ＥＣ処理部２１は前記送信信号と前記受信信号に基づいてＥＣ処理を行う。
【００４３】
ここで、図９を用いて実際に信号の欠損が発生した場合を説明する。この場合、拠点装置１０Ａで再生すべき受信信号“ａ１２３”が欠損し、スピーカで再生されない。このため、拠点装置１０Ａが集音する音声は、“ａ１２３”が回り込まない音となる。つまり、集音した送信信号“ｂ４５６”には回り込み音声が含まれない音声である。拠点装置１０Ａは、いずれのフレームやパケットの前記受信信号が欠損したかについて把握し、この情報をマッチング情報ＭＤに追記する（処理［ｂ］［ｃ］）。エコーキャンセル装置２０は、マッチング情報ＭＤに記載されている信号欠損の情報を参照し、欠損があった場合には、拠点装置１０Ａで集音された音声信号に対して信号補完処理を行い、回り込み音声が含まれている音声信号とする（処理［ｅ’］）。詳細には、エコーキャンセル装置２０は、マッチング情報ＭＤから欠損信号に対応する音声信号“ａ１２３”（前記受信信号）を記憶部２７から取り出し、集音した音声信号“ｂ４５６”に重畳させて回り込み音声が含まれている音声信号とする。
【００４４】
エコーキャンセル装置２０は、同時にマッチング情報ＭＤからＥＣ処理に対応する音声信号（前記受信信号）を記憶部２７から取り出す（処理［ｅ］）。そして、エコーキャンセル装置２０は、補完処理が行われた音声信号と記憶部２７から取り出された音声信号とをセットにしてＥＣ処理部２１に渡す。これによりＥＣ処理部２１は適切なフィルタ演算が可能となる。
【００４５】
ケースＣでは、上記処理により、拠点が送られてきた音声信号をそのまま返送せず、マッチング情報というメタデータをネットワーク側に送ることで、途中経路で音声を消失してもエコーキャンセル処理が実施できる。これにより、ネットワークの帯域を使わずにエコーキャンセル処理を実現することができる。
【００４６】
なお、上記においては、エコーキャンセル装置２０は、マッチング情報ＭＤに記載されている信号欠損の情報を参照し、欠損があった場合には、拠点装置１０Ａで集音された音声信号に対して信号補完処理を行い、回り込み音声が含まれている音声信号とした（処理［ｅ’］）。上記と異なり、エコーキャンセル装置２０は、拠点側の音声に対して処理を行わず、マッチング情報ＭＤに記載されている信号欠損の情報を参照し、欠損があった場合には、記憶部２７から音声を取り出す音声についてａ１２３部分の音声信号部分に０信号を埋め込み、当該信号と拠点側から送られてくる回り込み音声が含まれない音声信号をセットにしてＥＣ処理部２１に渡すようにしても良い。
【００４７】
（実施形態３）
図８の通信システムに図７で説明したＦＥＣ機能を搭載してもよい。例えば、通常はＦＥＣ処理で信号を復元するが、ＦＥＣ処理で信号を復元できなかった場合に図９の説明のようにエコーキャンセル装置の記憶部から取得し、信号補完処理をすることで、適切なＥＣ処理を継続可能とする。
【００４８】
（実施形態４）
本実施形態は、図１０に示すように再生音声も集音音声も欠損する場合の動作である。
実施形態２及び３では、伝送路でパケットを欠損するなどで拠点装置１０Ａで再生する音声を消失した場合、それを復元しＥＣ処理への影響を最小限にとどめることが可能となる場合を説明した。本実施形態では、往路、復路ともに信号を欠損するなど、複合的にパケットロスが発生しＦＥＣで救済できない、メタデータの参照ができないといった場合について説明する。
【００４９】
エコーキャンセル装置２０は、再生音声も集音音声も欠損していることを認識した場合、当該信号区間（時間）、ＥＣ処理を停止する。この区間のフィルタ演算を停止してフィルタ係数を更新しないことで、後のＥＣ処理のフィルタ演算に影響を及ぼさないようにする。
【００５０】
（実施形態５）
本実施形態では、実施形態１から４で説明した通信システムにおけるエコーキャンセル方法について説明する。
【００５１】
本実施形態のエコーキャンセル方法は、どの信号が欠損したかを、エコーキャンセル処理を行うマッチング情報に記載し、その情報に基づいて、あらかじめネットワーク側でバッファされている信号から、欠損信号を復元することとしている。例えばパケットロスした情報として、ロスしたパケット番号がメタデータに記載される。メタデータは各拠点側で作成され、拠点側で取得された音声とＥＣ処理の対になる信号、すなわちネットワーク側から送られてきた信号とのマッチングについての情報を持つ。例えば、拠点側で取得されパケット化された信号のパケット番号がａ−１０番であり、１０番のパケットに含まれる音声信号とＥＣ処理の対になる音声を含んだ、ネットワーク側から送られてきた信号をｂ−２０番とすると、ａ−１０とｂ−２０が対応するといった情報がメタデータに書き込まれる。
【００５２】
メタデータには、ネットワークから送られてきた信号がパケットロスしているか、していないかの情報も含まれる。なお、メタデータに記載されるメタデータの対となる情報については、パケット番号による対応付けに限らず、受信時間等で紐づけることも想定される。
【００５３】
作成されたメタデータは拠点側からネットワーク側に逐次送られる。ネットワーク側はこれにより拠点側に送り出したパケットのうち、どのパケットがロスしたかを把握し拠点側から送られてきた音声信号と対になる信号を送信時にバッファしていた信号から抽出することが可能になる。
【００５４】
本実施形態のエコーキャンセル方法は、ネットワーク上でのエコーキャンセル処理において、エコーキャンセル処理を適切に動作させるために、ネットワーク側と拠点側のそれぞれにＦＥＣ機能を導入し、欠損した信号を復元する機能を持たせてもよい。本手法で、ＦＥＣを導入することにより、消失に対する耐性が上がり、ＥＣ処理への影響をさらに少なくすることができる。
【００５５】
本実施形態のエコーキャンセル方法は、ＦＥＣを導入しても信号を復元しきれない場合、ロスした信号を含むデータ部分についてはＥＣ処理を停止させ、フィルタを更新しないことでデータロスの影響を低減する。
【００５６】
図１１から図１４は、本実施形態のエコーキャンセル方法を説明する図である。本実施形態のエコーキャンセル方法は、ＦＥＣ機能を備えたケースＣの構成におけるＩＰネットワーク上でのＥＣ処理である。
【００５７】
図１１は、ネットワーク側から拠点装置へ再生音声を送信する際のエコーキャンセル装置の動作を説明する図である。
再生信号は、ネットワークエコーキャンセル装置１００のエコーキャンセル処理部（ＥＣ部）１０１で処理され、ＦＥＣ送信処理部１０２に送られる。ＦＥＣ送信処理部１０２はＦＥＣ処理を行い、パリティ情報計算を行う。パリティ情報計算が行われたのち、再生信号およびパリティはパケット送信処理部１０３に送られる。
【００５８】
パケット送信処理部１０３は音声信号およびパリティをパケット化する。この時、パケット送信処理部１０３は入力された信号を一定のサイズに分割し、分割データごとにパケット番号、および、ＦＥＣ送信処理部１０２から取得した時間情報を付与する。また、パケット送信処理部１０３はパケット番号と取得時間の組み合わせを記したテーブル情報を作成する。
【００５９】
パケット化された信号、および、テーブル情報がバッファ部１０４に格納される。また、パケット化された信号は送信部１０５に渡され、送信部１０５から拠点装置に向けて送出される。
【００６０】
図１２は、ネットワーク側から拠点装置へ再生音声を送信する際の拠点装置の動作を説明する図である。
拠点処理装置２００の受信部２０１は、ネットワーク側から送られてきた信号を受信する。パケット受信処理部２０２は受信部２０１から送られてきたパケットから音声信号を取り出し一定量バッファした後に、パケット番号に基づいて音声信号を整列させ、ＦＥＣ受信処理部２０３へ音声信号を渡す。また、パケット受信処理部２０２は信号を整列させた時刻、および、それぞれのパケット番号をセットにした受信信号テーブル情報を作成し、ＦＥＣ受信処理部２０３に渡す。
【００６１】
ＦＥＣ受信処理部２０３は、受信信号テーブル情報から受信したパケットの欠損が発見した場合、パリティを用いて信号を復元する。復元が成功した場合、ＦＥＣ受信処理部２０３は、復元信号を欠損箇所に挿入し、テーブル情報に該当するパケット番号を挿入する。復元に失敗した場合は、ＦＥＣ受信処理部２０３は、信号に０詰め信号（無音信号）を生成し、失敗したパケット番号、失敗したことを示す情報を受信信号テーブルに追記する。追記した受信信号テーブルはメタ情報作成部２０９に渡される。
【００６２】
ＦＥＣ受信処理部２０３からＤＡ処理部２０４に信号が渡される。ＤＡ処理部２０４はデジタル形式の信号をアナログ形式に変換し、スピーカで出力できる音声として、出力部２０５に信号を渡す。出力部２０５は送られてきた信号を出力端子より出力する。
【００６３】
図１３は、拠点装置からネットワーク側へ集音音声を送信する際の拠点装置の動作を説明する図である。
入力部２０６は、マイク等などから集音音声を受信し、ＡＤ変換部２０７へ集音音声を渡す。ＡＤ変換部２０７は、受け取った音声信号をアナログからデジタルへ変換し、ＦＥＣ送信処理部２０８へ信号を渡す。ＦＥＣ送信処理部２０８は送られてきた信号を受信しパリティ情報を算出する。パリティ情報は音声信号とともにメタ情報作成部２０９に送られる。
【００６４】
メタ情報作成部２０９は送信信号テーブル情報を作成する。具体的には、パケット送信処理部２１０で定間隔に分割される音声信号それぞれに、ＦＥＣ送信処理部２０８から受け取った時刻、パケット送信処理部２１０で振られるパケット番号を振り、送信信号テーブル情報が作成される。ここで、メタ情報作成部２０９は、作成された送信信号テーブルとＦＥＣ受信処理部２０３から送られてきた受信信号テーブル情報を参照し、それぞれの時刻情報からＥＣ処理の組み合わせになる、それぞれのパケット番号の組み合わせを抽出し、マッチングテーブルを作成する。マッチングテーブルには受信信号テーブルに記載された、パケット欠損情報も含まれる。なお、ＥＣ処理の組み合わせを定める、各テーブルに記載された時刻情報は、拠点処理装置２００内の各処理が同一クロックで処理されるため、常に一意に組み合わせが決定する。作成されたマッチングテーブルもパケット処理部２１０に渡される。
【００６５】
パケット処理部２１０は、音声信号をメタ情報作成部２０９から受信し、受信した信号を定間隔で分割し、それぞれにパケット番号を付与する。また、ＦＥＣ送信処理部２０８で作成されたパリティはここでパケットに冗長される。パケット化された信号は送信部２１１に渡される。またマッチングテーブルについてもパケット送信処理部２１０でパケット化され、送信部２１１に送られる。送信部２１１は、パケット送信処理部２１０から送られてきたパケット、およびマッチングテーブルをエコーキャンセル装置１００へ送信する。
【００６６】
図１４は、拠点装置からネットワーク側へ集音音声を送信する際のエコーキャンセル装置の動作を説明する図である。
ネットワークエコーキャンセル装置１００の受信部１０６は、拠点処理装置２００から送られてきたパケットを受信し、パケット受信処理部１０７に送る。パケット受信処理部１０７は、パケットを一定量バッファした後にパケットから音声信号、パリティ、およびマッチングテーブルを抽出する。パケット受信処理部１０７は、音声信号をパケット番号順に整列してＦＥＣ受信処理部１０８へ音声信号、パリティ、及び受信パケット番号を渡す。パケット受信処理部１０７は、マッチングテーブルをマッチング処理部１０９に渡す。
【００６７】
ＦＥＣ受信処理部１０８は、受信パケット番号を確認し、欠損が発見された場合に音声信号とパリティ情報からパリティを用いて欠損した信号を復元する。復元が成功した場合、ＦＥＣ受信処理部１０８は、復元信号を欠損箇所に挿入し、テーブル情報に該当するパケット番号を挿入する。復元が失敗した場合、ＦＥＣ受信処理部１０８は、信号に０詰め信号（無音信号）を挿入する。また失敗したパケット番号をＥＣ処理部１０１に伝達する。ＦＥＣ受信処理部１０８は、復元した音声信号をマッチング処理部１０９に送る。
【００６８】
マッチング処理部１０９は、送られてきたマッチングテーブルに基づいて、拠点装置２００から送られてきたそれぞれの信号に対し、ＥＣ処理のセットとなる信号をバッファ部１０４から抽出し、ＥＣ処理用の信号セットとしてエコーキャンセル処理部１０１に送る。また、マッチング処理部１０９は、マッチングテーブルに欠損情報があるパケット番号について、該当する音声信号をバッファ部１０４から取り出し、マッチング処理部１０９へ送るとともに、フィルタ処理部１１０へも送る。フィルタ処理部１１０は、バッファ部１０４から取り出された信号と拠点装置２００から送られてきた音声信号（ＦＥＣ受信処理部で復元した音声信号を含む）を用いて音声を合成する。具体的には、信号欠損のため拠点装置２００で再生されず集音音声だけの信号に、バッファ部１０４で保管されていた欠損音声を合成し、拠点装置２００でその音が回り込み集音された場合と同等の信号を合成する。
【００６９】
ＥＣ処理部１０１は、送られてきた音声信号のＥＣ処理を行う。ＥＣ処理部１０１は、ＦＥＣ受信処理部１０８から受け取った、ＦＥＣ処理失敗情報に基づきデータが不完全なときを判別する。データが不完全であった場合、ＥＣ処理部１０１は内部状態の更新を行わない。内部状態とは、適応フィルタのフィルタ係数や逐次推定している信号パワー推定値である。ＥＣ処理が実施された音声信号は送信先の拠点装置に送られる。
【００７０】
バッファ部１０４は、ＥＣ処理部１０１でＥＣ処理が終わる一定時間後に保持していた音声信号を破棄する。
【００７１】
（発明の効果）
本発明の方法は、音声欠損を解消するとともに信号を伝送するためのネットワーク利用帯域を低く抑えられる。また、ＥＣ処理で生成するフィルタ内部の内部状態変数の更新に関わる信号処理の停止を大幅に回避できる。そのためフレーム欠損によるＥＣ処理の性能劣化をおおきく改善できる。これより、ネットワークエコーキャンセル処理において、伝送で多数のロスが発生しても影響の出る頻度を大幅に下げられ、快適に音声のやり取りが可能になる。
【００７２】
本発明の方法は、拠点側にエコーキャンセル処理機能を搭載した特殊な装置を設置しなくても、汎用的な機器でもエコーキャンセル処理が施されている音声信号のやり取りが可能となる。
【符号の説明】
【００７３】
１０、１０Ａ、１０Ｂ：拠点装置
２０：エコーキャンセル装置
１２：送受信処理部
１５：ＦＥＣ処理部
２１：ＥＣ処理部
２２：送受信処理部
２５：ＦＥＣ処理部
２７：バッファ部（記憶部）
１００：エコーキャンセル装置
１０１：ＥＣ処理部
１０２：ＦＥＣ送信処理部
１０３：パケット送信処理部
１０４：バッファ部
１０５：送信部
１０６：受信部
１０７：パケット受信処理部
１０８：ＦＥＣ受信処理部
１０９：マッチング処理部
１１０：フィルタ処理部
２００：拠点処理装置
２０１：受信部
２０２：パケット受信処理部
２０３：ＦＥＣ受信処理部
２０４：ＤＡ処理部
２０５：出力部
２０６：入力部
２０７：ＡＤ変換部
２０８：ＦＥＣ送信処理部
２０９：メタ情報作成部
２１０：パケット送信処理部
２１１：送信部
３０１、３０２：通信システム
【図１】
0006396780.tif 000002
【図２】
0006396780.tif 000003
【図３】
0006396780.tif 000004
【図４】
0006396780.tif 000005
【図５】
0006396780.tif 000006
【図６】
0006396780.tif 000007
【図７】
0006396780.tif 000008
【図８】
0006396780.tif 000009
【図９】
0006396780.tif 000010
【図１０】
0006396780.tif 000011
【図１１】
0006396780.tif 000012
【図１２】
0006396780.tif 000013
【図１３】
0006396780.tif 000014
【図１４】
0006396780.tif 000015