(57)【特許請求の範囲】
【請求項１】
他の通信端末との間で音声信号の通信を行う通信端末であって、
前記他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号部と、
前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記復号部が生成した出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、
前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化部と、
前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、前記エコーキャンセル部によるエコーキャンセル処理性能をサブバンド毎に制御する制御部とを備え、
前記制御部は、さらに、
前記他の通信端末が音声信号を符号化又は復号する際に使用するコーデックの種別を判定することで、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域を決定する判定部を備え、
前記制御部は、前記判定部によって、前記他の通信端末が音声信号を狭帯域符号化コーデックにより狭帯域を符号化し、広帯域復号化コーデックにより広帯域を復号していると判定された場合、前記狭帯域についてエコーキャンセルを行い、かつ、前記狭帯域に含まれない前記広帯域についてエコーキャンセルを行わないように、前記エコーキャンセル処理性能を制御する
通信端末。
【請求項２】
前記エコーキャンセル部は、予め定められたタップ数のフィルタを前記入力音声信号にサブバンド毎に適用することで、前記送信用音声信号を生成し、
前記制御部は、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、前記タップ数をサブバンド毎に設定する
請求項１記載の通信端末。
【請求項３】
前記制御部は、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域以上の周波数帯域を含む少なくとも１つのサブバンドにおいて適用するフィルタのタップ数を０に設定する
請求項２記載の通信端末。
【請求項４】
前記制御部は、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域以下の周波数帯域を含むサブバンドのみに、エコーキャンセル処理を実行する
請求項１記載の通信端末。
【請求項５】
前記制御部は、さらに、
前記他の通信端末が使用するサンプリング周波数を判定することで、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域を決定する判定部を備え、
前記制御部は、前記判定部によって決定された再生帯域に応じて、前記エコーキャンセル処理性能を制御する
請求項１〜４のいずれか１項に記載の通信端末。
【請求項６】
前記入力ビットストリームは、前記出力音声信号の再生帯域を示すパラメータを含み、
前記復号部は、前記入力ビットストリームを復号することで前記出力音声信号と前記パラメータとを生成し、
前記制御部は、さらに、前記復号部によって生成されたパラメータが示す再生帯域に応じて、前記エコーキャンセル処理性能を制御する
請求項１〜４のいずれか１項に記載の通信端末。
【請求項７】
前記制御部は、さらに、当該通信端末が実行する処理による演算量が所定の閾値を超えた場合に、前記送信用音声信号の再生帯域を決定し、決定した再生帯域に応じて、前記エコーキャンセル処理性能をサブバンド毎に制御する
請求項１〜４のいずれか１項に記載の通信端末。
【請求項８】
他の通信端末との間で音声信号の通信を行う通信端末であって、
前記他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号部と、
前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記復号部が生成した出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、
前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化部と、
前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、前記エコーキャンセル部によるエコーキャンセル処理性能をサブバンド毎に制御する制御部と、
前記出力音声信号の再生帯域を制限することで、制限された再生帯域の出力音声信号を前記スピーカに出力する帯域制限部を備え、
前記制御部は、さらに、当該通信端末が実行する処理による演算量が所定の閾値を超えた場合に、前記帯域制限部によって制限する再生帯域を決定し、決定した再生帯域に応じて、前記エコーキャンセル処理性能をサブバンド毎に制御する
通信端末。
【請求項９】
他の通信端末との間で音声信号の通信を行う通信端末であって、
前記他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号部と、
前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記復号部が生成した出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、
前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化部と、
前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、前記エコーキャンセル部によるエコーキャンセル処理性能をサブバンド毎に制御する制御部と、
当該通信端末が実行する処理による演算量が所定の閾値を超えた場合に、前記他の通信端末が前記入力ビットストリームを生成する際に用いる音声信号の再生帯域を制限するための指示を前記他の通信端末に送信する指示部を備える
通信端末。
【請求項１０】
他の通信端末との間で音声信号の通信を行う通信端末であって、
前記他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号部と、
前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記復号部が生成した出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、
前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化部と、
当該通信端末が実行する処理による演算量に応じて、前記エコーキャンセル部によるエコーキャンセル処理性能をサブバンド毎に制御する制御部とを備え、
前記制御部は、前記演算量が所定の閾値を超えた場合に、最小の周波数帯域を含むサブバンドを含み、最大の周波数帯域を含まない１つ以上のサブバンドのみに、エコーキャンセル処理を実行する
通信端末。
【請求項１１】
前記エコーキャンセル部は、予め定められたタップ数のフィルタを前記入力音声信号にサブバンド毎に適用することで、前記送信用音声信号を生成し、
前記制御部は、前記演算量に応じて、前記タップ数をサブバンド毎に設定する
請求項１０記載の通信端末。
【請求項１２】
前記制御部は、前記演算量が所定の閾値を超えた場合に、最大の周波数帯域を含むサブバンドを含み、最小の周波数帯域を含まない１つ以上のサブバンドにおいて適用するフィルタのタップ数を０に設定する
請求項１１記載の通信端末。
【請求項１３】
複数の通信端末間で音声信号の通信を行う通信方法であって、
他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号ステップと、
前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセルステップと、
前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化ステップと、
前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、エコーキャンセル処理性能をサブバンド毎に制御する制御ステップとを含み、
前記制御ステップは、さらに、
前記他の通信端末が音声信号を符号化又は復号する際に使用するコーデックの種別を判定することで、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域を決定する判定ステップを含み、
前記制御ステップでは、前記判定ステップにおいて、前記他の通信端末が音声信号を狭帯域符号化コーデックにより狭帯域を符号化し、広帯域復号化コーデックにより広帯域を復号していると判定された場合、前記狭帯域についてエコーキャンセルを行い、かつ、前記狭帯域に含まれない前記広帯域についてエコーキャンセルを行わないように、前記エコーキャンセル処理性能を制御する
通信方法。
【請求項１４】
他の通信端末との間で音声信号の通信を行う集積回路であって、
前記他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号部と、
前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記復号部が生成した出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、
前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化部と、
前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、前記エコーキャンセル部によるエコーキャンセル処理性能をサブバンド毎に制御する制御部とを備え、
前記制御部は、さらに、
前記他の通信端末が音声信号を符号化又は復号する際に使用するコーデックの種別を判定することで、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域を決定する判定部を備え、
前記制御部は、前記判定部によって、前記他の通信端末が音声信号を狭帯域符号化コーデックにより狭帯域を符号化し、広帯域復号化コーデックにより広帯域を復号していると判定された場合、前記狭帯域についてエコーキャンセルを行い、かつ、前記狭帯域に含まれない前記広帯域についてエコーキャンセルを行わないように、前記エコーキャンセル処理性能を制御する
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号の送受信を行う通信端末及び通信方法に関し、特に、エコーキャンセル処理を実施した音声信号を送信する通信端末及び通信方法に関する。
【背景技術】
【０００２】
近年、大画面の映像と高帯域の音声とを送受信することで、高品質で臨場感あふれる通信、通話が楽しめる機器の開発が行われている。この場合、音声は、映像を表示するディスプレイに内蔵されているスピーカから出音される場合が多い。また、このような機器が設置されている場所は、例えば、オフィスの会議室、住居内の居間、又は、少なくとも数人の人数が集まれるだけの容積を持った部屋であることが予想される。
【０００３】
そのような場合、遠端（相手先の通信端末）の音声信号を出音するスピーカの音が、近端（自端末）のマイクロホンによって収音され、遠端にエコーとなって送信される。このエコーを除去するために、通信端末は、エコーキャンセラを備えている。ここでのエコーキャンセラは、スピーカとマイクロホンとが、携帯電話の場合と比べて離れた位置に設置されている場合に生じるエコーを除去する。
【０００４】
しかしながら、上記のエコーキャンセラは、従来の携帯電話で用いられているような簡易なエコーキャンセラと比較して、膨大な演算量を有するものになる。その要因としては２点ある。
【０００５】
まず１点目は、高品質な音声の送受信を行うために、音声の再生帯域が広帯域化されることである。携帯電話の場合、再生帯域は４ｋＨｚ弱であるが、高臨場感の通信で用いられる音声の再生帯域は、例えば、１２ｋＨｚなどである。
【０００６】
２点目は、エコーの残響時間が長時間化されることである。従来の携帯電話では、音声は、耳元のスピーカから出音され、口元のマイクロホンで収音されるので、想定されるエコーの残響時間は、せいぜい３０ｍｓｅｃ程度である。これに対して、高臨場感の通信システムの場合、先にも述べた通り、スピーカはディスプレイに内蔵されている大音量のスピーカであり、マイクロホンは室内に設置されている。そして、当該室内は、少なくとも数人の人数を収容できる容積を持っているので、想定されるエコーの残響時間は、６００ｍｓｅｃ程度となる。
【０００７】
一般的に、エコーキャンセラの演算量は、同一のエコーキャンセル方式であれば、再生帯域の２乗に比例し、さらに、想定しているエコー残響時間に比例する。上記の例でいえば、再生帯域が３倍、エコーの残響時間が２０倍なので、３×３×２０＝１８０倍の演算量が必要となる。
【０００８】
なお、エコーキャンセラの演算量が再生帯域の２乗に比例し、さらに、想定している残響時間に比例する理由は以下の通りである。
【０００９】
図１６は、従来のエコーキャンセラ１０の基本原理を示す図である。図１６に示すように、エコーキャンセラ１０は、スピーカ２０から出音された音のうち、マイクロホン３０によって収音されたエコーを除去する。
【００１０】
具体的には、エコーキャンセラ１０は、擬似エコー生成部１１と減算器１２とを備え、擬似エコー生成部１１は、マイクロホン３０からの入力信号と参照信号とを用いて、スピーカ２０及びマイクロホン３０が配置された空間の伝達関数を推定する。そして、擬似エコー生成部１１は、推定した伝達関数を所定のタップ数の適応フィルタで構成し、当該適応フィルタを駆動することで擬似エコーを生成する。そして、減算器１２は、マイクロホン３０から入力された入力信号から、擬似エコー生成部１１によって生成された擬似エコーを差し引くことでエコーを削減する。
【００１１】
ここで、伝達関数を構成するフィルタのタップ数Ｔは、エコー残響時間をＥ、信号のサンプリング周波数をＦとした場合、Ｔ＝Ｅ×Ｆとなる。
【００１２】
エコーキャンセラ１０は、１サンプル毎にＥ×Ｆタップのフィルタを処理するので、単位時間当たりの演算量は、（Ｅ×Ｆ）×Ｆとなる。つまり、エコーキャンセラ１０の演算量は、エコー残響時間Ｅに比例し、サンプリング周波数Ｆの２乗に比例する。
【００１３】
スピーカとマイクロホンとが離れて設置された空間におけるエコーをキャンセルするエコーキャンセラの演算量を削減する既知の技術として、サブバンドエコーキャンセラがある（非特許文献１参照）。
【００１４】
サブバンドエコーキャンセラでは、入力の信号を複数のサブバンド信号に分割すると同時にダウンサンプリングする。例えば、信号を２０サブバンドに分割し、１６分の１のダウンサンプリングを行ったとすると、演算量は、Ｅ×（Ｆ／１６）×（Ｆ／１６）×２０＋αとなる。なお、αは、サブバンド分割のための演算量である。αが、十分に小さいとすると、通常のエコーキャンセラに比べ、演算量は、２０／２５６に削減できる。
【００１５】
また、演算量をさらに削減する方法として、特許文献１には、サブバンドエコーキャンセラにおいて、各バンドのエコーキャンセラの適応フィルタのタップを音源に応じて増減させることで演算量を少なくする技術が開示されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平６−３１８８８５号公報
【非特許文献】
【００１７】
【非特許文献１】電子情報通信学会誌  Ａ  Ｖｏｌ．Ｊ７９−Ａ  Ｎｏ．６  ｐｐ．１１３８−１１４６  １９９６年６月
【非特許文献２】Ｊｏｕｒｎａｌ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．１２，  Ｎｏ．２，  ｐｐ．１４３−１５４，  Ｍａｒｃｈ  ２００８
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、上記従来技術では、エコーキャンセラの演算量の低減が充分ではないという課題がある。
【００１９】
例えば、非特許文献１に記載の技術では、上記の例の場合であっても、そもそも従来の携帯電話と高臨場感の通信システムとでは、エコーキャンセラの演算量が１８０倍違っていたので、携帯電話の場合と比べて、演算量の増加は、１８０×２０／２５６≒１４倍となる。
【００２０】
また、特許文献１に記載の技術では、各サブバンドのエコーキャンセラのフィルタの次数を適応的に（入力信号に応じて）増減させる処理自身に相応の演算量が必要となる。
【００２１】
そこで、本発明は、上記従来の課題に鑑みてなされたものであって、エコーキャンセル処理に必要な演算量をより低減する通信端末及び通信方法を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記の課題を解決するために、本発明に係る通信端末は、他の通信端末との間で音声信号の通信を行う通信端末であって、前記他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号部と、前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記復号部が生成した出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化部と、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、前記エコーキャンセル部によるエコーキャンセル処理性能をサブバンド毎に制御する制御部とを備える。
【００２３】
これにより、出力音声信号及び送信用音声信号の少なくとも一方の再生帯域に応じてエコーキャンセル処理性能を制御するので、エコーキャンセル処理に必要な演算量をより低減することができる。つまり、他の通信端末で処理される音声信号の再生帯域に合わせたエコーキャンセル処理を行うことができるので、無駄なエコーキャンセル処理を行わなくてよいように制御することができ、演算量を低減することができる。
【００２４】
また、前記エコーキャンセル部は、予め定められたタップ数のフィルタを前記入力音声信号にサブバンド毎に適用することで、前記送信用音声信号を生成し、前記制御部は、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域に応じて、前記タップ数をサブバンド毎に設定してもよい。
【００２５】
これにより、サブバンド毎にタップ数を適応的に設定することができるので、サブバンド毎に無駄の少ないフィルタを適用することができ、エコーキャンセル処理に必要な演算量を低減することができる。
【００２６】
また、前記制御部は、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域以上の周波数帯域を含む少なくとも１つのサブバンドにおいて適用するフィルタのタップ数を０に設定してもよい。
【００２７】
これにより、送信用音声信号の再生帯域以上の周波数成分は他の通信端末では処理されないので、他の通信端末に送信されても意味のない周波数帯域のサブバンドに対するエコーキャンセル処理を行わないように設定することで、演算量をより低減することができる。あるいは、入力音声信号には、出力音声信号の再生帯域以上の周波数成分のエコー成分は含まれないので、必要でないエコーキャンセル処理を行わないように設定することで、演算量をより低減することができる。
【００２８】
また、前記制御部は、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域以下の周波数帯域を含むサブバンドのみに、エコーキャンセル処理を実行してもよい。
【００２９】
これにより、送信用音声信号の再生帯域以下の周波数成分のみが他の通信端末で処理されるので、他の通信端末に送信する周波数帯域のサブバンドのみに対するエコーキャンセル処理を行うように設定することで、演算量をより低減することができる。あるいは、入力音声信号には、出力音声信号の再生帯域以下の周波数成分のエコー成分しか含まれないので、必要でないエコーキャンセル処理を行わないように設定することで、演算量をより低減することができる。
【００３０】
また、前記制御部は、さらに、前記他の通信端末が音声信号を符号化又は復号する際に使用するコーデックの種別を判定することで、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域を決定する判定部を備え、前記制御部は、前記判定部によって決定された再生帯域に応じて、前記エコーキャンセル処理性能を制御してもよい。
【００３１】
これにより、コーデックの種別を判定するだけで、再生帯域を決定することができるので、入力音声信号からタップ数を決定する場合に比べて、エコーキャンセル処理に必要な演算量を大幅に低減することができる。
【００３２】
また、前記制御部は、さらに、前記他の通信端末が使用するサンプリング周波数を判定することで、前記出力音声信号及び前記送信用音声信号の少なくとも一方の再生帯域を決定する判定部を備え、前記制御部は、前記判定部によって決定された再生帯域に応じて、前記エコーキャンセル処理性能を制御してもよい。
【００３３】
これにより、サンプリング周波数を判定するだけで、再生帯域を決定することができるので、入力音声信号からタップ数を決定する場合に比べて、エコーキャンセル処理に必要な演算量を大幅に低減することができる。
【００３４】
また、前記入力ビットストリームは、前記出力音声信号の再生帯域を示すパラメータを含み、前記復号部は、前記入力ビットストリームを復号することで前記出力音声信号と前記パラメータとを生成し、前記制御部は、さらに、前記復号部によって生成されたパラメータが示す再生帯域に応じて、前記エコーキャンセル処理性能を制御してもよい。
【００３５】
これにより、パラメータに示された再生帯域を利用するので、入力音声信号からタップ数を決定する場合に比べて、エコーキャンセル処理に必要な演算量を大幅に低減することができる。
【００３６】
また、前記制御部は、さらに、当該通信端末が実行する処理による演算量が所定の閾値を超えた場合に、前記送信用音声信号の再生帯域を決定し、決定した再生帯域に応じて、前記エコーキャンセル処理性能をサブバンド毎に制御してもよい。
【００３７】
これにより、演算量が増大した場合であっても、エコーキャンセル処理を低演算量で実行することができる。
【００３８】
また、前記通信端末は、さらに、前記出力音声信号の再生帯域を制限することで、制限された再生帯域の出力音声信号を前記スピーカに出力する帯域制限部を備え、前記制御部は、さらに、当該通信端末が実行する処理による演算量が所定の閾値を超えた場合に、前記帯域制限部によって制限する再生帯域を決定し、決定した再生帯域に応じて、前記エコーキャンセル処理性能をサブバンド毎に制御してもよい。
【００３９】
これにより、演算量が増大した場合であっても、当該通信端末側で出力される音声の周波数帯域を制限することで、他の通信端末に送信する周波数帯域を制限せずに、低演算量でエコーキャンセル処理を実行することができるので、他の通信端末側での音声の劣化を低減することができる。
【００４０】
また、前記通信端末は、さらに、当該通信端末が実行する処理による演算量が所定の閾値を超えた場合に、前記他の通信端末が前記入力ビットストリームを生成する際に用いる音声信号の再生帯域を制限するための指示を前記他の通信端末に送信する指示部を備えてもよい。
【００４１】
これにより、演算量が増大した場合であっても、当該通信端末側で出力される音声の周波数帯域を他の通信端末において制限させておくことで、他の通信端末に送信する周波数帯域を制限せずに、低演算量でエコーキャンセル処理を実行することができるので、他の通信端末側での音声の劣化を低減することができる。
【００４２】
また、本発明に係る通信端末は、他の通信端末との間で音声信号の通信を行う通信端末であって、前記他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカに出力する復号部と、前記スピーカが出音する空間に設置されたマイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、前記復号部が生成した出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、前記送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを前記他の通信端末に送信する符号化部と、当該通信端末が実行する処理による演算量に応じて、前記エコーキャンセル部によるエコーキャンセル処理性能をサブバンド毎に制御する制御部とを備えてもよい。
【００４３】
これにより、演算量が増大した場合であっても、エコーキャンセル処理を低演算量で実行することができる。
【００４４】
また、前記エコーキャンセル部は、予め定められたタップ数のフィルタを前記入力音声信号にサブバンド毎に適用することで、前記送信用音声信号を生成し、前記制御部は、前記演算量に応じて、前記タップ数をサブバンド毎に設定してもよい。
【００４５】
これにより、サブバンド毎にタップ数を適応的に設定することができるので、エコーキャンセル処理に必要な演算量を低減することができる。
【００４６】
また、前記制御部は、前記演算量が所定の閾値を超えた場合に、最大の周波数帯域を含むサブバンドを含み、最小の周波数帯域を含まない１つ以上のサブバンドにおいて適用するフィルタのタップ数を０に設定してもよい。
【００４７】
これにより、エコーの影響が小さい高周波帯域でのエコーキャンセル処理を行わないようにすることで、演算量が増大した場合であっても、演算量を低減することができるとともに、エコーの影響が大きい低周波帯域でのエコーキャンセル処理を実行するので、エコーが除去された音声信号を生成することもできる。
【００４８】
また、前記制御部は、前記演算量が所定の閾値を超えた場合に、最小の周波数帯域を含むサブバンドを含み、最大の周波数帯域を含まない１つ以上のサブバンドのみに、エコーキャンセル処理を実行してもよい。
【００４９】
これにより、エコーの影響が小さい高周波帯域でのエコーキャンセル処理を行わないようにすることで、演算量が増大した場合であっても、演算量を低減することができるとともに、エコーの影響が大きい低周波帯域でのエコーキャンセル処理を実行するので、エコーが除去された音声信号を生成することもできる。
【００５０】
なお、本発明は、通信端末として実現できるだけではなく、当該通信端末を構成する処理部をステップとする方法として実現することもできる。
【００５１】
また、上記の各通信端末を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００５２】
本発明に係る通信端末及び通信方法によれば、エコーキャンセル処理に必要な演算量をより低減することができる。
【図面の簡単な説明】
【００５３】
【図１】実施の形態１に係る通信端末の構成の一例を示すブロック図である。
【図２】実施の形態１に係るエコーキャンセラの詳細な機能構成の一例を示すブロック図である。
【図３】実施の形態１に係るエコーキャンセラの動作の一例を説明するための図である。
【図４】実施の形態１に係るエコーキャンセラの動作の別の一例を説明するための図である。
【図５】実施の形態１に係るエコーキャンセル処理の一例を示すフローチャートである。
【図６】実施の形態１に係る通信端末の構成の別の一例を示すブロック図である。
【図７】実施の形態１に係る出力音声信号の周波数特性の一例を示す図である。
【図８】実施の形態１に係るエコーキャンセラの詳細な機能構成の別の一例を示すブロック図である。
【図９】実施の形態１に係る通信端末の構成の別の一例を示すブロック図である。
【図１０】実施の形態２に係る通信端末の構成の一例を示すブロック図である。
【図１１】実施の形態２に係るエコーキャンセラの動作の一例を説明するための図である。
【図１２】実施の形態２に係るタップ数の大小関係を保ったままのタップ数の変更処理を説明するための模式図である。
【図１３】実施の形態２に係る通信端末の構成の別の一例を示すブロック図である。
【図１４】実施の形態２に係るエコーキャンセラの詳細な機能構成の別の一例を示すブロック図である。
【図１５】実施の形態２に係る通信端末の構成の別の一例を示すブロック図である。
【図１６】従来のエコーキャンセラの基本原理を示す図である。
【発明を実施するための形態】
【００５４】
以下では、本発明に係る通信端末及び通信方法の実施の形態について、図面を参照しながら詳細に説明する。
【００５５】
（実施の形態１）
実施の形態１に係る通信端末は、他の通信端末との間で音声信号の通信を行う通信端末であって、マイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、スピーカから出音された出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、出力音声信号及び送信用音声信号の少なくとも一方の再生帯域に応じて、エコーキャンセル処理性能を制御する制御部とを備えることを特徴とする。つまり、実施の形態１に係る通信端末は、他の通信端末が処理する音声信号、例えば、エンコード又はデコード対象の音声信号の再生帯域に応じて、エコーキャンセル処理性能を制御する。
【００５６】
図１は、実施の形態１に係る通信端末１００の構成の一例を示す図である。通信端末１００は、インターネットなどの通信網を介して他の通信端末と、ＴＶ電話、ＴＶ会議などの臨場感の高い通信を行う。通信端末１００は、他の通信端末から受信した音声信号をスピーカ１０１に出力し、また、マイクロホン１０２によって収音された音声信号を他の通信端末に送信する。
【００５７】
図１に示すように、通信端末１００は、制御部１１０と、デコーダ１２０と、エコーキャンセラ１３０と、エンコーダ１４０とを備える。
【００５８】
制御部１１０は、デコーダ１２０が出力する出力音声信号、又は、エンコーダ１４０による符号化対象となる送信用音声信号の再生帯域に応じて、エコーキャンセラ１３０によるエコーキャンセル処理性能をサブバンド毎に制御する。つまり、制御部１１０は、他の通信端末が処理する音声信号の再生帯域に応じて、エコーキャンセル処理性能を制御する。図１に示すように、制御部１１０は、判定器１１１と、コントローラ１１２とを備える。
【００５９】
判定器１１１は、遠端（他の通信端末）のコーデックの種別を判定する。具体的には、判定器１１１は、他の通信端末が、音声信号を符号化することで、通信端末１００が受信する入力ビットストリームを生成する際、又は、通信端末１００が送信する出力ビットストリームを復号する際に使用するコーデックの種別を判定する。
【００６０】
例えば、判定器１１１は、他の通信端末が音声信号をどの方式のエンコーダで圧縮符号化するかを判定する。コーデックの種別は、例えば、一般的によく用いられる方式として、Ｇ．７２９若しくはＧ．７１１、又は、近年の高音質な方式としては、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）若しくはＡＭＲ−ＷＢ（Ａｄａｐｔｉｖｅ  Ｍｕｌｔｉ−Ｒａｔｅ−ＷｉｄｅＢａｎｄ）といった方式がある。
【００６１】
判定器１１１は、例えば、通信端末１００が他の通信端末との通信を確立する際に、他の通信端末が使用するコーデックの種別を判定することで、音声信号の再生帯域を判定する。例えば、コーデックの種別がＧ．７１１やＧ．７２９であれば、サンプリング周波数及び再生帯域は、規格により自ずと決定される。具体的には、コーデックの種別がＧ．７１１やＧ．７２９の場合、当該エンコーダへの入力信号のサンプリング周波数は８ｋＨｚであり、再生帯域は４ｋＨｚであることが判明する。
【００６２】
一方、ＡＡＣやＡＭＲ−ＷＢといった方式の場合、複数のサンプリング周波数を選択できるので、判定器１１１は、コーデックの種別だけでは、音声信号の再生帯域を判定することができない。そこで、判定器１１１は、他の通信端末において使用されるサンプリング周波数を判定することで、音声信号の再生帯域を判定する。再生帯域は、基本的にサンプリング周波数の１／２であるので、判定器１１１は、サンプリング周波数を示す情報を他の通信端末から取得することで、再生帯域を判定することができる。
【００６３】
また、判定器１１１は、他の通信端末がどのデコード方式を利用することが可能かを判定する。例えば、他の通信端末がＧ．７１１方式若しくはＧ．７２９方式を利用することが可能か否かを判定する。また、判定器１１１は、ＡＭＲ−ＷＢ若しくはＡＡＣを利用することが可能な場合は、何ｋＨｚのサンプリング周波数を利用することができるかを、判定器１１１は判定する。
【００６４】
このように判定器１１１は、他の通信端末が符号化時又は復号時に使用するコーデックの種別、及び／又は、サンプリング周波数を判定することで、音声信号の再生帯域を判定する。ここで、音声信号の再生帯域は、デコーダ１２０が出力する出力音声信号再生帯域、又は、エンコーダ１４０に入力される送信用音声信号の再生帯域である。
【００６５】
コントローラ１１２は、出力音声信号又は送信用音声信号の再生帯域に応じて、エコーキャンセラ１３０によるエコーキャンセル処理性能をサブバンド毎に制御する。コントローラ１１２の具体的な動作については、後で説明する。
【００６６】
デコーダ１２０は、本発明に係る復号部の一例であり、他の通信端末から受信した入力ビットストリームを復号することで出力音声信号を生成し、生成した出力音声信号をスピーカ１０１に出力する。具体的には、デコーダ１２０は、判定器１１１によって判定された種別のコーデックを用いて入力ビットストリームを復号する。
【００６７】
なお、スピーカ１０１は、デコーダ１２０から出力された出力音声信号を可聴信号に変換し、変換した可聴信号を空間に出音する。なお、ここで、空間は、スピーカ１０１及びマイクロホン１０２が配置される空間であり、スピーカ１０１から出音された可聴信号がマイクロホン１０２によって収音される範囲内の空間である。
【００６８】
したがって、マイクロホン１０２は、スピーカ１０１から出音された可聴信号を含む近端（通信端末１００）側の音声を収音する。マイクロホン１０２によって収音された音声信号である入力音声信号は、エコーキャンセラ１３０に出力される。なお、入力音声信号は、デコーダ１２０が生成した出力音声信号に相当するエコー成分を含んでいる。ここで、エコー成分は、スピーカ１０１から直接マイクロホン１０２によって収音される信号、及び、スピーカ１０１から壁などに反射されてマイクロホン１０２によって収音される信号を含んでいる。
【００６９】
エコーキャンセラ１３０は、本発明に係るエコーキャンセル部の一例であり、入力音声信号に含まれるエコー成分をサブバンド毎に除去することで、送信用音声信号を生成する。エコーキャンセラ１３０は、コントローラ１１２によって動作がサブバンド毎に制御される。エコーキャンセラ１３０の具体的な構成及び動作については、後で説明する。
【００７０】
エンコーダ１４０は、本発明に係る符号化部の一例であり、送信用音声信号を符号化することで出力ビットストリームを生成し、生成した出力ビットストリームを他の通信端末に送信する。具体的には、エンコーダ１４０は、判定器１１１によって判定された種別のコーデックを用いて入力ビットストリームを符号化する。つまり、判定器１１１によって遠端側（他の通信端末）が備えているデコーダの種類を取得し、取得した種類の中から適切なエンコーダを選択する。
【００７１】
次に、実施の形態１に係る通信端末１００の動作について説明する。具体的には、エコーキャンセラ１３０及びコントローラ１１２の動作について説明する。
【００７２】
図２は、実施の形態１に係るエコーキャンセラ１３０の詳細な機能構成の一例を示すブロック図である。
【００７３】
なお、エコーキャンセラ１３０への入力信号は、デコーダ１２０からのＰＣＭ信号（参照信号（すなわち、出力音声信号））と、マイクロホン１０２からのＰＣＭ信号（入力音声信号）と、コントローラ１１２からの制御信号とである。また、エコーキャンセラ１３０からの出力信号（送信用音声信号）は、エンコーダ１４０へのＰＣＭ信号である。
【００７４】
また、図２では一例として、参照信号のサンプリング周波数は２４ｋＨｚ（再生帯域は１２ｋＨｚ）、マイクロホン１０２からの信号のサンプリング周波数も２４ｋＨｚ（再生帯域は１２ｋＨｚ）、エンコーダ１４０への信号のサンプリング周波数も２４ｋＨｚである例を示しているが、必ずしもこれに限定されるものではない。
【００７５】
エコーキャンセラ１３０は、サブバンド分割フィルタ１３１及び１３２と、擬似エコー生成部１３３ａ〜１３３ｆと、減算器１３４ａ〜１３４ｆと、サブバンド合成フィルタ１３５とを備える。
【００７６】
サブバンド分割フィルタ１３１は、デコーダ１２０から入力されるＰＣＭ信号（出力音声信号）を、複数の帯域（複数のサブバンド）に帯域分割するとともに、ダウンサンプリングする。帯域分割された信号は、周波数帯域毎（サブバンド毎）に擬似エコー生成部１３３ａ〜１３３ｆへ出力される。
【００７７】
サブバンド分割フィルタ１３２は、マイクロホン１０２から入力されるＰＣＭ信号（入力音声信号）を、複数の帯域（複数のサブバンド）に帯域分割するとともに、ダウンサンプリングする。帯域分割された信号は、周波数帯域毎（サブバンド毎）に擬似エコー生成部１３３ａ〜１３３ｆへ出力される。なお、サブバンド分割フィルタ１３２の帯域分割数とダウンサンプリングにおける間引き率は、サブバンド分割フィルタ１３１の帯域分割数と間引き率とに等しいことが望ましい。
【００７８】
なお、図２では一例として、６つのサブバンドに帯域分割する例を示しているが、これに限定されるものではない。例えば、１６帯域分割や３２帯域分割などでもよい。また、ダウンサンプリングにおける間引き率は、帯域分割数と同じか、それより小さい間引き率であればどのようなものでもよい。例えば、１０サブバンド分割の場合、１／１０ダウンサンプリング（１０間引き）であってもよいし、１／８ダウンサンプリング（８間引き）などであってよい。
【００７９】
擬似エコー生成部１３３ａ〜１３３ｆは、マイクロホン１０２からの入力信号とデコーダ１２０からの参照信号とを用いて、スピーカ１０１から出音された可聴信号が伝播する空間の伝達関数を推定し、当該伝達関数を所定のタップ数の適応フィルタで構成し、当該適応フィルタを駆動することで擬似エコーを生成する。ここでは、擬似エコー生成部１３３ａ〜１３３ｆは、それぞれに割り当てられたサブバンドの信号について適応フィルタを構成し、擬似エコーを生成する。なお、擬似エコーを生成する方法については、本実施の形態では既に知られているどのような方法でもよい（例えば、非特許文献２に記載の方法でよい）。
【００８０】
なお、擬似エコー生成部１３３ａ〜１３３ｆは、コントローラ１１２からの制御信号に基づいて、サブバンド毎にフィルタのタップ数を設定する。具体的なコントローラ１１２からの制御信号に基づいた動作については、後で説明する。
【００８１】
減算器１３４ａ〜１３４ｆは、マイクロホン１０２からの入力信号から、擬似エコー生成部１３３ａ〜１３３ｆによって生成された擬似エコーを差し引くことで、エコーを削減する。
【００８２】
サブバンド合成フィルタ１３５は、以上のようにしてエコーが除去されたサブバンド毎の信号を帯域合成し、時間軸の送信用音声信号を生成する。
【００８３】
続いて、以上のように構成されたエコーキャンセラ１３０が、コントローラ１１２からの制御信号に基づいてどのように動作するかを以下で説明する。
【００８４】
まず、コントローラ１１２が出力音声信号の再生帯域、すなわち、遠端（他の通信端末）で符号化された音声信号の再生帯域に基づいて、エコーキャンセラ１３０によるエコーキャンセル処理性能を制御する動作について、図３を用いて説明する。図３は、デコーダ１２０から入力される出力音声信号のサンプリング周波数が８ｋＨｚ、エンコーダ１４０へ出力される送信用音声信号のサンプリング周波数が２４ｋＨｚの場合のエコーキャンセラ１３０の機能構成の一例を示す図である。
【００８５】
このような状況は、遠端側のエンコーダが例えば、Ｇ．７１１であり、遠端側のデコーダが例えば、ＡＭＲ−ＷＢの２４ｋＨｚモードであると、判定器１１１が判定した場合に生じる。この場合、エンコーダ１４０へ出力する送信用音声信号のサンプリング周波数を２４ｋＨｚにする必要があるので、コントローラ１１２は、エコーキャンセラ１３０が、０から１２ｋＨｚまでの帯域のサブバンド信号を処理するように制御する。図３に示す例では、図２と同様に、サブバンド分割フィルタ１３２によって入力音声信号を６つのサブバンドに帯域分割する。
【００８６】
一方で、デコーダ１２０からの出力音声信号（参照信号）のサンプリング周波数は８ｋＨｚであるので、すなわち、出力音声信号の再生帯域は高々４ｋＨｚまでであるので、マイクロホン１０２から入力される入力音声信号の中に含まれるエコーの周波数帯域も４ｋＨｚ以下である。したがって、エコーキャンセル処理を行う必要のある帯域は２つのサブバンドのみ（０〜２ｋＨｚと２〜４ｋＨｚ）でよいということになる。
【００８７】
このため、コントローラ１１２は、４ｋＨｚより高いサブバンドでは、エコーキャンセル処理を行わないように制御する。すなわち、コントローラ１１２は、４ｋＨｚより高い周波数成分のサブバンドを処理する擬似エコー生成部１３３ｃ〜１３３ｆのフィルタタップ数を０に設定する。あるいは、コントローラ１１２は、その演算量が無視できるほど十分に小さな値にタップ数を設定してもよい。
【００８８】
ちなみに、エコー信号では、高域の周波数信号は、低域の周波数信号より減衰が大きいので、コントローラ１１２は、高域のエコーキャンセル処理のフィルタのタップ数を低域のエコーキャンセル処理のフィルタのタップ数より小さく設定してもよい。つまり、本実施の形態では、低域の２つのサブバンドでエコーキャンセル処理を実施するので、コントローラ１１２は、擬似エコー生成部１３３ａが適用する０〜２ｋＨｚ帯域のフィルタのタップ数を、擬似エコー生成部１３３ｂが適用する２〜４ｋＨｚ帯域のフィルタのタップ数より大きく設定するようにしてもよい。
【００８９】
以上のように、コントローラ１１２は、出力音声信号の再生帯域、すなわち、遠端側で符号化された音声信号の再生帯域以下の周波数帯域を含むサブバンドのみに、エコーキャンセル処理を実行させる。例えば、コントローラ１１２は、出力音声信号の再生帯域以上の周波数帯域を含む少なくとも１つのサブバンドにおいて、適用するフィルタのタップ数を０に設定する。具体的には、出力音声信号の再生帯域以上の周波数帯域を含む全てのサブバンドにおいて、適用するフィルタのタップ数を０に設定する。これにより、遠端側に送出される信号の周波数帯域を損なわず、しかも、エコーキャンセル処理を必要最小限の帯域にのみ限定して実施することができるので、低演算量で高音質な通信端末及び通信方法を提供することができる。
【００９０】
なお、図３に示す例では、出力音声信号の再生帯域（４ｋＨｚ）が送信用音声信号の再生帯域（１２ｋＨｚ）より小さい場合について説明したが、以下では、図４を用いて、送信用音声信号の再生帯域が出力音声信号の再生帯域より小さい場合について説明する。図４は、デコーダ１２０から入力される出力音声信号（遠端でエンコードされた信号）のサンプリング周波数が２４ｋＨｚ、エンコーダ１４０へ出力される送信用音声信号（遠端でデコードされる信号）のサンプリング周波数が８ｋＨｚである場合のエコーキャンセラ１３０の機能構成の一例を示す図である。
【００９１】
この場合、出力音声信号の再生帯域は１２ｋＨｚなので、マイクロホン１０２から入力される入力音声信号に含まれるエコーの周波数帯域も１２ｋＨｚ以下に含まれる。しかしながら、図４に示す例では、遠端側へ送出される送信用音声信号の再生帯域は４ｋＨｚ以下であるので、エコーキャンセルの処理も４ｋＨｚ以下の帯域でよい。つまり、コントローラ１１２は、４ｋＨｚより高い周波数成分のサブバンドを処理する擬似エコー生成部１３３ｃ〜１３３ｆのフィルタタップ数を０（あるいは、充分に小さな値）に設定する。
【００９２】
以上のことは、結果的に、図３で示したことと同じであるが、図３と異なるのは、サブバンド合成フィルタ１３５への入力がエコーキャンセルした信号のみである点である。これは、遠端側が高い周波数成分を再生できないので高い周波数成分を帯域合成しても意味がないからである。
【００９３】
以上のように、制御部１１０は、送信用音声信号の再生帯域、すなわち、遠端側で復号される音声信号の再生帯域以下の周波数を含むサブバンドのみに、エコーキャンセル処理を実行させる。例えば、制御部１１０は、送信用音声信号の再生帯域以上の周波数帯域を含む少なくとも１つのサブバンドにおいて、適用するフィルタのタップ数を０に設定する。具体的には、送信用音声信号の再生帯域以上の周波数帯域を含む全てのサブバンドにおいて、適用するフィルタのタップ数を０に設定する。これにより、遠端側に送信される信号の周波数帯域を損なうことなく、エコーキャンセル処理を必要最小限の帯域のみに限定して実施することができるので、低演算量で高音質な通信端末及び通信方法を提供することができる。
【００９４】
なお、以上では、出力音声信号の再生帯域及び送信用音声信号の再生帯域のいずれかに基づいて、エコーキャンセル処理を実施するか否かをサブバンド毎に決定する構成について説明した。これに対して、制御部１１０は、出力音声信号の再生帯域及び送信用音声信号の再生帯域を比較し、小さい方の再生帯域に基づいて、エコーキャンセル処理を実施するか否かを決定してもよい。
【００９５】
出力音声信号の再生帯域が送信用音声信号の再生帯域より小さい場合は、入力音声信号に出力音声信号の再生帯域以上の周波数帯域のエコーは含まれないので、出力音声信号の再生帯域以下の周波数帯域を含むサブバンドのみにエコーキャンセル処理を行えば、充分である。また、送信用音声信号の再生帯域が出力音声信号の再生帯域より小さい場合は、送信用音声信号の再生帯域以上の周波数帯域にエコーキャンセル処理を行ったとしても、遠端側には送信されないので、意味を成さず、送信用音声信号の再生帯域以下の周波数帯域を含むサブバンドのみにエコーキャンセル処理を行えば、充分である。
【００９６】
次に、実施の形態１に係る通信端末１００におけるエコーキャンセル処理の一例について、図５を用いて説明する。図５は、実施の形態１に係るエコーキャンセル処理の一例を示すフローチャートである。
【００９７】
まず、判定器１１１は、出力音声信号及び送信用音声信号の再生帯域を判定する（Ｓ１０１）。具体的には、上述したように、遠端（他の通信端末）で用いられるエンコーダ及びデコーダのコーデックの種別及びサンプリング周波数を取得することで、再生帯域を判定する。
【００９８】
次に、コントローラ１１２及びエコーキャンセラ１３０は、サブバンド毎に、以下の処理を繰り返す。例えば、コントローラ１１２及びエコーキャンセラ１３０は、低域のサブバンドから順に実行する。
【００９９】
コントローラ１１２は、サブバンドが再生帯域を含んでいるか否かを判定する（Ｓ１０２）。例えば、図３又は図４に示す０〜２ｋＨｚのサブバンドのように、サブバンドが再生帯域を含んでいる場合（Ｓ１０２でＹｅｓ）、コントローラ１１２は、所定のタップ数を設定するよう、エコーキャンセラ１３０を制御する（Ｓ１０３）。このとき、所定のタップ数は、予め定められた固定値でもよい。
【０１００】
また、図３又は図４に示す１０〜１２ｋＨｚのサブバンドのように、サブバンドが再生帯域を含んでいない場合（Ｓ１０２でＮｏ）、コントローラ１１２は、タップ数を０に設定するよう、エコーキャンセラ１３０を制御する（Ｓ１０４）。
【０１０１】
そして、エコーキャンセラ１３０は、設定されたタップ数のフィルタを帯域分割された入力音声信号に適用することで、エコーキャンセル処理を実行する（Ｓ１０５）。
【０１０２】
なお、サブバンド毎の処理は、図５に示すフローチャートのようにシーケンシャルに実行してもよく、あるいは、並列処理で実行してもよい。
【０１０３】
以上のように、実施の形態１に係る通信端末１００は、遠端側の処理能力に応じてサブバンド信号の扱いを制御することで、処理量を削減することができる。具体的には、実施の形態１に係る通信端末１００は、他の通信端末が使用するコーデックの種別又はサンプリング周波数などから、他の通信端末が処理する音声信号の再生帯域を判定し、当該再生帯域に基づいてエコーキャンセル処理性能を制御することで、エコーキャンセル処理に必要な演算量を低減することができる。
【０１０４】
なお、上記の実施の形態１では、再生帯域は、判定器１１１によって判定されたコーデックの種類から直接特定できるサンプリング周波数、又は、符号化時の信号のサンプリング周波数を特定し、サンプリング周波数の１／２として再生帯域を特定した。これに対して、近年のコーデックでは、再生帯域がサンプリング周波数からは正確には求められず、入力ビットストリームに含まれるパラメータによって正確に求められる場合がある。
【０１０５】
図６は、実施の形態１に係る通信端末の構成の別の一例を示すブロック図である。図６に示す通信端末２００は、図１に示す通信端末１００と比べて、制御部１１０の代わりに制御部２１０を備え、デコーダ１２０の代わりにデコーダ２２０を備える点が異なっている。具体的には、制御部２１０では、コントローラ１１２の代わりにコントローラ２１２を備え、判定器１１１を備えない点が異なっている。以下では、図１と同じ点は説明を省略し、異なる点を中心に説明する。
【０１０６】
デコーダ２２０は、本発明に係る復号部の一例であり、出力音声信号の再生帯域を示すパラメータを含む入力ビットストリームをデコードすることで、出力音声信号とパラメータとを生成する。例えば、ＡＡＣ方式で符号化された入力ビットストリームは、再生帯域の上限を示す“ｍａｘ＿ｓｆｂ”というパラメータを含んでいる。したがって、デコーダ２２０は、当該入力ビットストリームをデコードすることで、パラメータ“ｍａｘ＿ｓｆｂ”をコントローラ２１２に出力する。
【０１０７】
コントローラ２１２は、デコーダ２２０からパラメータ“ｍａｘ＿ｓｆｂ”を取得し、取得した“ｍａｘ＿ｓｆｂ”が示す値を再生帯域の上限と判定する。そして、コントローラ２１２は、判定した再生帯域に応じてエコーキャンセラ１３０を制御する。このときのエコーキャンセラ１３０の制御は、図１に示すコントローラ１１２が行う動作と同じである。
【０１０８】
なお、図７は、出力音声信号の周波数特性の一例を示す図である。図７に示すように、サンプリング周波数から求められる再生帯域（ナイキスト周波数）と“ｍａｘ＿ｓｆｂ”から求められる再生帯域との関係を示している。
【０１０９】
ここでは、サンプリング周波数から求められる再生帯域は１２ｋＨｚであり、“ｍａｘ＿ｓｆｂ”から求められる再生帯域は９ｋＨｚである。したがって、マイクロホン１０２から入力される入力音声信号の９〜１２ｋＨｚの帯域では、エコーが含まれないので、コントローラ２１２は、図３に示す擬似エコー生成部１３３ｆのフィルタタップ数は０に設定する。
【０１１０】
なお、上記の実施の形態１では、コントローラ１１２又は２１２が擬似エコー生成時に適用するフィルタのタップ数を例えば、０に設定することで、エコーキャンセル処理に必要な演算量を低減している。これに対して、図８に示すように、実施の形態１の変形例に係るエコーキャンセラ２３０は、エコーキャンセル処理を実施するか否かをサブバンド毎に切り替える機能を備えていてもよい。なお、図８は、実施の形態１に係るエコーキャンセラ１３０の詳細な機能構成の別の一例を示す図である。
【０１１１】
エコーキャンセラ２３０は、図２に示すエコーキャンセラ１３０と比べて、新たにスイッチ１３６ａ〜１３６ｆを備える点が異なっている。以下では、図２と同じ点は説明を省略し、異なる点を中心に説明する。
【０１１２】
スイッチ１３６ａ〜１３６ｆはそれぞれ、サブバンド分割フィルタ１３２と、擬似エコー生成部１３３ａ〜１３３ｆのそれぞれとの間に接続され、入力音声信号をサブバンド毎に擬似エコー生成部１３３ａ〜１３３ｆに入力するか否かを、コントローラ１１２からの制御信号（図示せず）に基づいて切り替える。すなわち、スイッチ１３６ａ〜１３６ｆは、サブバンド毎にエコーキャンセル処理を実行するか否かを切り替える。
【０１１３】
具体的には、コントローラ１１２は、出力音声信号又は送信用音声信号の再生帯域以下の周波数帯域を含むサブバンドを処理する擬似エコー生成部に接続されたスイッチのみをオンするように、制御信号を出力する。すなわち、図３又は図４に示す例では、コントローラ１１２は、スイッチ１３６ａ及び１３６ｂのみをオンし、スイッチ１３６ｃ〜１３６ｆをオフする。
【０１１４】
以上のように、実施の形態１に係る変形例のエコーキャンセラ２３０は、必要最低限のエコーキャンセル処理を行うことができるので、エコーキャンセル処理に必要な演算量を低減することができる。
【０１１５】
ところで、エコーキャンセラ１３０は既に述べたように、スピーカ１０１とマイクロホン１０２との間の音の伝達特性を、時々刻々適応フィルタで推定する技術が用いられる。この場合、スピーカ１０１とマイクロホン１０２との位置関係が急激に変動した場合、適応フィルタでの伝達関数の推定が追いつかず、意図した通りにエコーが除去できない、あるいは、最悪の場合、ハウリングの現象が発生することが考えられる。
【０１１６】
一方、近年の通信端末は、音声信号だけでなく、映像信号も同時に送受信する、所謂テレビ電話端末も多い。テレビ電話端末などの場合、映像用のカメラと音声用のマイクロホンとが一体化されたモジュールとして構成されている場合がある。この場合、映像用のカメラが受信している信号を解析することで、当該モジュールが移動しているかどうかを推定することができる。
【０１１７】
つまり、受信している映像信号の画面全体が大きく移動しているような場合、当該モジュール自体が移動中であると推定することができ、すなわち、マイクロホン１０２とスピーカ１０１との位置関係が変動中であることが予想される。このような場合、エコーが除去できずに、最悪の場合、ハウリングが発生するという恐れがあるので、音声の通信自体を停止するように制御してもよい。
【０１１８】
図９は、実施の形態１に係る通信端末１００の構成の別の一例を示すブロック図である。図９に示すように、マイクロホン１０２は、カメラ３０３とともにモジュール３０４を構成する。また、図９に示す通信端末３００は、図１に示す通信端末１００と比べて、制御部１１０の代わりに制御部３１０を備える点が異なっている。具体的には、制御部３１０では、判定器１１１の代わりに判定器３１１を備える点が異なっている。以下では、図１と同じ点は説明を省略し、異なる点を中心に説明する。
【０１１９】
判定器３１１は、映像用のカメラ３０３からの映像信号そのもの、又は、カメラ３０３からの信号から得られる情報を取得し、当該信号又は情報から、カメラ３０３とマイクロホン１０２とを備えるモジュール３０４が移動中であるか否かを判定する。例えば、送信される映像信号に動き検出処理を行うことで、画像全体が動いていると判定した場合は、モジュール３０４が移動していると判定する。
【０１２０】
そして、判定器３１１は、モジュール３０４が移動中であると推定した場合は、音声通信を停止するように制御する。例えば、判定器３１１は、エンコーダ１４０によるエンコード処理、及び、エコーキャンセラ１３０によるエコーキャンセル処理を停止する。
【０１２１】
以上のように、実施の形態１の変形例に係る通信端末３００は、マイクロホン１０２とカメラ３０３とが一体化されたモジュール３０４が移動しているか否かを、カメラ３０３からの映像信号に基づいて判定し、判定結果に基づいて不適切な音声通信を停止するので、遠端側にエコーキャンセルが正しく行われなかった音声信号、又は、ハウリングが発生した信号などを送信してしまうことを防止することができる。
【０１２２】
なお、マイクロホン１０２に加速度センサなどの動きを検出するセンサを備え、判定器３１１は、当該センサからの情報に基づいて音声通信を停止させてもよい。
【０１２３】
また、上記の実施の形態１において、コーデックの種別、サンプリング周波数、帯域分割数、及び、ダウンサンプリングの間引き率は一例であり、これらは如何なるものであってもよい。
【０１２４】
（実施の形態２）
実施の形態２に係る通信端末は、他の通信端末との間で音声信号の通信を行う通信端末であって、マイクロホンによって収音された入力音声信号を取得し、取得した入力音声信号に含まれ、スピーカから出音された出力音声信号に相当するエコー成分をサブバンド毎に除去することで、送信用音声信号を生成するエコーキャンセル部と、当該通信端末が実行する処理による演算量に応じて、エコーキャンセル処理性能を制御する制御部とを備えることを特徴とする。
【０１２５】
図１０は、実施の形態２に係る通信端末４００の構成の一例を示すブロック図である。図１０に示す通信端末４００は、図１に示す通信端末１００と比べて、制御部１１０の代わりに、制御部４１０を備える点が異なっている。以下では、図１と同じ点は説明を省略し、異なる点を中心に説明する。
【０１２６】
制御部４１０は、通信端末４００が実行する処理による演算量に応じて、エコーキャンセラ１３０によるエコーキャンセル処理性能をサブバンド毎に制御する。図１０に示すように、制御部４１０は、判定器４１１と、コントローラ４１２とを備える。
【０１２７】
判定器４１１は、通信端末４００が実行する処理による演算量が所定の閾値を超えるか否かを判定する。具体的には、判定器４１１は、プロセッサの演算負荷の状態を表すプロセッサ演算負荷情報を取得し、取得したプロセッサ演算負荷情報に基づいてプロセッサの演算量が所定の閾値を超えるか否かを判定する。なお、プロセッサとは、通信端末４００が行う各処理を実際に処理する演算部であり、具体的には、デコーダ１２０、エコーキャンセラ１３０、エンコーダ１４０、判定器４１１及びコントローラ４１２の処理を実行する。
【０１２８】
プロセッサ演算負荷情報は、例えば、当該プロセッサで同時に処理している機能の負荷状態を示す情報である。通信端末４００が映像信号の送受信も同時に行うような所謂テレビ電話端末であった場合、例えば、親画面でテレビ放送を視聴しながら、子画面でテレビ電話システムによるコミュニケーションを行うという使用状態（機能の輻輳状態）が想定される。このような場合、当該プロセッサにかかる演算負荷は上昇し、結果として、エコーキャンセラ１３０やエンコーダ１４０に割り当てられる演算量が圧迫される。そのような場合、遠端側で処理可能なコーデックの中で演算負荷の低いコーデックを選択することで演算量の低減を図る。
【０１２９】
なお、所定の閾値は、予め定められた固定値でもよい。あるいは、プロセッサが要求されている他の処理の演算量などに応じて動的に決定されてもよい。
【０１３０】
また、判定器４１１は、実施の形態１に係る判定器１１１と同様に、他の通信端末がエンコード時又はデコード時に使用するコーデックの種別、及び／又は、サンプリング周波数を判定することで、音声信号の再生帯域を判定してもよい。
【０１３１】
コントローラ４１２は、通信端末４００が実行する処理による演算量に応じて、エコーキャンセラ１３０によるエコーキャンセル処理性能をサブバンド毎に制御する。具体的には、コントローラ４１２は、判定器４１１から演算量が所定の閾値を超えたと判定された場合に、エコーキャンセル処理性能を制御する。コントローラ４１２の具体的な動作については、後で説明する。
【０１３２】
次に、実施の形態２に係る通信端末４００の動作について説明する。具体的には、エコーキャンセラ１３０及びコントローラ４１２の動作について説明する。
【０１３３】
まず、プロセッサの演算量が増加し、所定の閾値を超えたために、コントローラ４１２が他の通信端末に送信する送信用音声信号の再生帯域を制御する場合について、図１１を用いて説明する。なお、図１１は、デコーダ１２０からのＰＣＭ信号（出力音声信号）のサンプリング周波数とマイクロホン１０２からのＰＣＭ信号（入力音声信号）のサンプリング周波数とは、ともに２４ｋＨｚ（再生帯域は１２ｋＨｚ）である場合のエコーキャンセラ１３０の機能構成の一例を示す図である。また、図１１に示す例では、判定器４１１によって、遠端側（他の通信端末）で処理できるデコード方式が、ＡＡＣの８ｋＨｚ〜２４ｋＨｚのサンプリング周波数モードであると判定されたとする。
【０１３４】
この場合、デコーダ１２０からのＰＣＭ信号もマイクロホン１０２からのＰＣＭ信号もサンプリング周波数が２４ｋＨｚであるので、テレビ視聴していない場合、すなわち、演算量が所定の閾値を越えていない場合であれば、図２に示すように、ＡＡＣの２４ｋＨｚサンプリング周波数モードを用いて高品質な通信を行えばよい。しかしながら、テレビ視聴を開始した場合、すなわち、演算量が所定の閾値を超えた場合は、例えば、コントローラ４１２は、ＡＡＣの１６ｋＨｚのサンプリング周波数モードを使用するように、エコーキャンセラ１３０を制御する。
【０１３５】
すなわち、コントローラ４１２は、判定器４１１によってプロセッサの演算量が所定の閾値を超えたと判定された場合に、エコーキャンセラ１３０に、エコーキャンセル処理を行うサブバンド、及び、タップ数を指示する。図１１に示す例では、サンプリング周波数が１６ｋＨｚ（つまり、再生帯域は８ｋＨｚ）であるので、擬似エコー生成部１３３ａ〜１３３ｄのフィルタのタップ数として、エコーを除去するのに充分必要な所定のタップ数を設定し、擬似エコー生成部１３３ｅ及び１３３ｆのフィルタのタップ数を０に設定する。
【０１３６】
以上のように、制御部４１０は、プロセッサの演算量が所定の閾値を超えた場合に、他の通信端末に送信する送信用音声信号の再生帯域を小さくする。これに伴い、制御部４１０は、送信しなくなったサブバンドに適用するフィルタのタップ数を０（又は、充分に小さい値）に設定する。
【０１３７】
これにより、図１１に示すように、エコーキャンセラ１３０で処理するサブバンドの数を削減できるだけでなく、エンコーダ１４０自体の演算量も削減することができる。したがって、プロセッサの演算量が増大した場合であっても、例えば、テレビ視聴しながら実施の形態２に係る通信端末４００を利用したコミュニケーションを実現することができる。
【０１３８】
なお、上記説明では、各サブバンドに適用するフィルタ（擬似エコー生成部１３３ａ〜１３３ｄのフィルタ）のタップ数は全て等しい場合について説明したが、サブバンド毎にフィルタのタップ数を異ならせてもよい。図１１の網掛けで示すように、低域のサブバンドの信号は、エコーに与える影響が大きいので、長いタップ長を維持するが、高域のバンドの信号は、エコーに与える影響が小さいので、タップ長を短くすることで処理を軽量化してもよい。なお、図１１において、各サブバンドの擬似エコー生成部内の網掛けの範囲大きさがフィルタのタップ数を示している。
【０１３９】
なお、制御部４１０は、演算量に関わらず、予め低域のサブバンドほどタップ数が大きくなる又は等しくなるように、タップ数を設定しておいてもよい。このとき、制御部４１０は、演算量が所定の閾値を超えた場合、又は、出力音声信号若しくは送信用音声信号の再生帯域に応じて、タップ数を変更してもよい。
【０１４０】
具体的には、図１２に示すように、変更前と変更後とでサブバンド毎のタップ数の大小関係を保ったまま、コントローラ４１２は、タップ数が小さくなるようにサブバンド毎にタップ数を設定してもよい。つまり、変更前も変更後も、低域のサブバンドに適用するフィルタのタップ数が、高域のサブバンドに適用するフィルタのタップ数より大きくなるように、タップ数を設定してもよい。
【０１４１】
また、上記の実施の形態２では、プロセッサの演算量が多い場合は、エンコーダ１４０が処理する周波数、あるいは、エコーキャンセラ１３０のタップ数を変更したが、この場合、遠端側（他の通信端末）に送信される音声の音質に影響が出る。これを回避するために、図１３に示すように、近端側（通信端末５００）の再生音の再生帯域を制限する方法をとってもよい。
【０１４２】
図１３は、実施の形態２に係る通信端末の構成の別の一例を示すブロック図である。図１３に示す通信端末５００は、図１０の通信端末４００と比較すると、制御部４１０の代わりに制御部５１０を備え、新たに帯域制限器５６０を備える点が異なっている。また、制御部５１０においては、コントローラ４１２の代わりにコントローラ５１２を備える点が異なっている。以下では、図１０と同じ点は説明を省略し、異なる点を中心に説明する。
【０１４３】
帯域制限器５６０は、本発明に係る帯域制限部の一例であり、出力音声信号の再生帯域を制限することで、制限された再生帯域の出力音声信号をスピーカ１０１に出力する。例えば、帯域制限器５６０は、コントローラ５１２からの制御に基づいて、ローパスフィルタによって高域の信号を減衰させてもよく、あるいは、ダウンサンプラーによってサンプリング周波数自体を下げてもよい。
【０１４４】
コントローラ５１２は、プロセッサの演算量が所定の閾値を超えた場合に、帯域制限器５６０によって制限する再生帯域を決定し、決定した再生帯域に応じて、エコーキャンセル処理性能を制御する。具体的なエコーキャンセル処理性能の制御については、上記のコントローラ１１２などと同じである。
【０１４５】
例えば、帯域制限器５６０が、出力音声信号のサンプリング周波数を２４ｋＨｚから１６ｋＨｚに帯域制限した場合、すなわち、出力音声信号の再生帯域を１２ｋＨｚから８ｋＨｚに帯域制限した場合を想定する。図１４は、８ｋＨｚに帯域制限された場合のエコーキャンセラ１３０の機能構成の一例を示す図である。
【０１４６】
図１４と図１１とを比較すると、サブバンド合成フィルタ１３５へ入力する帯域が図１１では０〜８ｋＨｚに制限されているのに対して、図１４では、より広い帯域（０〜１２ｋＨｚ）の信号が入力されている。また、図１４と図１１とでは、ともに高域（８〜１２ｋＨｚ）の信号には、擬似エコー生成処理が実施されていない。
【０１４７】
これは、スピーカ１０１から出力される出力音声信号の再生帯域が、帯域制限器５６０によって制限されているので、空間で回り込むエコーに高域の成分が存在しないことが分かっているからである。このようにすることで、遠端に送信される音声の周波数帯域は高帯域のまま維持されるので、遠端側の視聴者に良好な音声を提供することができるとともに、当該通信端末６００におけるエコーキャンセル処理の演算量を低減することができる。
【０１４８】
なお、上記の例では、出力音声信号の再生帯域を制限する方法として、帯域制限器５６０を設けたが、デコーダ１２０が入力ビットストリームを復号する際に、高帯域を捨てて復号してもよい。
【０１４９】
また、図１５に示す通信端末６００のように、遠端側のエンコーダで帯域制限する（低いサンプリング周波数に対応したエンコードを用いる）ように、通信網を介して指示してもよい。図１５に示す通信端末６００は、図１０に示す通信端末４００と比較して、制御部４１０の代わりに制御部５１０を備え、新たに指示部６７０を備える点が異なっている。以下では、図１０と同じ点は説明を省略し、異なる点を中心に説明する。
【０１５０】
指示部６７０は、プロセッサの演算量が所定の閾値を超えた場合に、他の通信端末が入力ビットストリームを生成する際に用いる音声信号の再生帯域を制限するための指示を、他の通信端末に送信する。具体的には、指示部６７０は、制御部５１０によって決定された再生帯域を、他の通信端末のエンコーダが利用する再生帯域に設定させるための指示を送信する。
【０１５１】
これにより、当該通信端末６００から他の通信端末に送信される音声の周波数帯域は高帯域のまま維持されるので、他の通信端末側の視聴者に良好な音声を提供することができるとともに、当該通信端末６００におけるエコーキャンセル処理の演算量を低減することができる。
【０１５２】
また、プロセッサ演算負荷情報は、例えば、スピーカ１０１及びマイクロホン１０２が配置されている室内の残響特性を示す情報であってもよい。あるいは、スピーカ１０１及びマイクロホン１０２が配置される室内の、想定される残響特性を示す情報であってもよい。例えば、実施の形態２に係る通信端末４００は、インパルス音をスピーカ１０１から発生させ、インパルス音に対する残響特性を測定することで、室内の残響特性を示す情報を取得する。
【０１５３】
残響特性が長い場合、擬似エコー生成のためのタップ長を長いものにしなければならないが、そうするとコーデックに与えられる演算量が圧迫される。このような場合は、遠端側で処理可能なコーデックの中でサンプリング周波数が低いコーデックを選択することで、エンコードの演算量が低減できるのみならず、エコーキャンセラのバンド数、タップ数を低減ができる。
【０１５４】
また、残響特性が短い場合、入力音声信号に含まれるエコー成分は少ないと考えられるので、フィルタのタップ数、及び、エコーキャンセルを実行するサブバンドの数を少なくしてもよい。
【０１５５】
なお、他の通信端末で処理される音声信号の再生帯域に関わらず、実施の形態２に係る通信端末４００のプロセッサの演算量のみに基づいて、上記のエコーキャンセラ１３０の制御、あるいは、出力音声信号若しくは送信用音声信号の帯域制限などを行ってもよい。例えば、制御部４１０は、演算量が所定の閾値を超えた場合に、最小の周波数帯域を含むサブバンドを含み、最大の周波数帯域を含まない１つ以上のサブバンドのみに、エコーキャンセル処理を実行してもよい。言い換えると、制御部４１０は、最大の周波数帯域を含むサブバンドを含み、最小の周波数帯域を含まない１つ以上のサブバンドにおいて適用するフィルタのタップ数を０に設定してもよい。
【０１５６】
これは、上述したように、低域のサブバンドでエコーの影響が大きく、高域のサブバンドでエコーの影響が小さいために、少なくとも最小の周波数帯域を含むサブバンドにはエコーキャンセル処理を行うことが望ましいためである。
【０１５７】
以上、本発明に係る通信端末及び通信方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１５８】
例えば、本発明は、上述したように、通信端末及び通信方法として実現できるだけではなく、本実施の形態の通信方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０１５９】
また、本発明は、通信端末を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【産業上の利用可能性】
【０１６０】
本発明に係る通信端末及び通信方法は、エコーキャンセルに必要な演算量を低減することができるという効果を奏し、例えば、ＴＶ電話又はＴＶ会議用の通信端末など、各種通信機器に利用することができる。
【符号の説明】
【０１６１】
１０、１３０、２３０  エコーキャンセラ
１１  擬似エコー生成部
１２  減算器
２０、１０１  スピーカ
３０、１０２  マイクロホン
１００、２００、３００、４００、５００、６００  通信端末
１１０、２１０、３１０、４１０、５１０  制御部
１１１、３１１、４１１  判定器
１１２、２１２、４１２、５１２  コントローラ
１２０、２２０  デコーダ
１３１、１３２  サブバンド分割フィルタ
１３３ａ、１３３ｂ、１３３ｃ、１３３ｄ、１３３ｅ、１３３ｆ  擬似エコー生成部
１３４ａ、１３４ｂ、１３４ｃ、１３４ｄ、１３４ｅ、１３４ｆ  減算器
１３５  サブバンド合成フィルタ
１３６ａ、１３６ｂ、１３６ｃ、１３６ｄ、１３６ｅ、１３６ｆ  スイッチ
１４０  エンコーダ
３０３  カメラ
３０４  モジュール
５６０  帯域制限器
６７０  指示部
【図１】
0005424936.tif 000002
【図２】
0005424936.tif 000003
【図３】
0005424936.tif 000004
【図４】
0005424936.tif 000005
【図５】
0005424936.tif 000006
【図６】
0005424936.tif 000007
【図７】
0005424936.tif 000008
【図８】
0005424936.tif 000009
【図９】
0005424936.tif 000010
【図１０】
0005424936.tif 000011
【図１１】
0005424936.tif 000012
【図１２】
0005424936.tif 000013
【図１３】
0005424936.tif 000014
【図１４】
0005424936.tif 000015
【図１５】
0005424936.tif 000016
【図１６】
0005424936.tif 000017