(57)【特許請求の範囲】
【請求項１】
第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去装置であって、
上記スピーカ出力音声信号の第２のサンプリング周波数を上記第１のサンプリング周波数に変換するサンプリング周波数変換手段と、
上記サンプリング周波数変換手段によりサンプリング周波数が変換された上記第１のサンプリング周波数の出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、
上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段とを備える
エコー消去装置。
【請求項２】
上記出力音声信号の周波数帯域を上記マイク入力音声信号の周波数帯域の範囲内に制限する帯域制限手段を備え、この帯域制限手段で帯域制限された出力信号のサンプリング周波数を上記サンプリング周波数変換手段が第１のサンプリング周波数に変換し、この変換した出力を用いて上記エコー推定手段がエコー信号を推定し、この推定エコー信号を減算手段が上記マイク入力信号から減算する請求項１記載のエコー消去装置。
【請求項３】
上記マイク入力音声信号の第１のサンプリング周波数が上記出力音声信号の第２のサンプリング周波数の整数ｎ分の一であるとき、上記サンプリング周波数変換手段は上記出力音声信号をｎ分の一に間引く請求項１記載のエコー消去装置。
【請求項４】
第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号に変換する帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、上記音声再生装置の上記スピーカの出力音声信号に基づいて発生するエコー成分を消去するエコー消去装置であって、
上記第１のサンプリング周波数を変換しない上記狭帯域音声信号を用いて、上記スピーカから上記マイクロホンに回り込むエコー成分を推定するエコー推定手段と、
上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段とを備える
エコー消去装置。
【請求項５】
第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入ったマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去装置であって、
上記マイク入力信号のサンプリング周波数を第２のサンプリング周波数に変換するサンプリング周波数変換手段と、
上記第２のサンプリング周波数の上記出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、
上記エコー推定手段により推定された推定エコー信号を、上記周波数変換手段により周波数が変換されたマイク入力信号から減算する減算手段とを備える
エコー消去装置。
【請求項６】
第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去方法であって、
上記出力音声信号の第２のサンプリング周波数を上記第１のサンプリング周波数に変換し、このサンプリング周波数が変換された上記第１のサンプリング周波数の出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定し、上記マイク入力信号から上記推定エコー信号を減算する
エコー消去方法。
【請求項７】
第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号に変換する帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、上記音声再生装置の上記スピーカの出力音声信号に基づいて発生するエコー成分を消去するエコー消去方法であって、
上記第１のサンプリング周波数を変換しない上記狭帯域音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー成分を推定し、上記マイク入力信号から上記推定エコー信号を減算する
エコー消去方法。
【請求項８】
第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入ったマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去方法であって、
上記マイク入力信号のサンプリング周波数を第２のサンプリング周波数に変換すると共に、上記第２のサンプリング周波数の上記出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定し、上記推定エコー信号を、上記サンプリング周波数が変換されたマイク入力信号から減算する
エコー消去方法。
【請求項９】
第１のサンプリング周波数の狭帯域の入力音声信号を第２のサンプリング周波数の広帯域の出力音声信号に変換することにより帯域幅を拡張した出力音声信号をスピーカから発音すると共に、マイクロホンに入った第１のサンプリング周波数のマイク入力信号を処理する音声再生装置において、
上記出力音声信号の第２のサンプリング周波数を上記マイク入力音声信号の第１のサンプリング周波数に変換するサンプリング周波数変換手段と、
上記サンプリング周波数変換手段によりサンプリング周波数が変換された上記第１のサンプリング周波数の出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、
上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段と
を備える音声再生装置。
【請求項１０】
第１のサンプリング周波数の狭帯域の入力音声信号を第２のサンプリング周波数の広帯域の出力音声信号に変換することにより帯域幅を拡張した出力音声信号をスピーカから発音すると共に、マイクロホンに入った第１のサンプリング周波数のマイク入力信号を処理する音声再生装置において、
上記第１のサンプリング周波数を変換しない上記狭帯域音声信号を用いて、上記スピーカから上記マイクロホンに回り込むエコー成分を推定するエコー推定手段と、
上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段と
を備える音声再生装置。
【請求項１１】
第１のサンプリング周波数の狭帯域の入力音声信号を第２のサンプリング周波数の広帯域の出力音声信号に変換することにより帯域幅を拡張した出力音声信号をスピーカから発音すると共に、マイクロホンに入った第１のサンプリング周波数のマイク入力信号を処理する音声再生装置において、
上記マイク入力信号の周波数を第２のサンプリング周波数に変換する周波数変換手段と、
上記第２のサンプリング周波数の上記出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、
上記エコー推定手段により推定された推定エコー信号を、上記周波数変換手段により周波数が変換されたマイク入力信号から減算する減算手段と
を備える音声再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、第１のサンプリング周波数のマイク入力音声信号と第２のサンプリング周波数のスピーカ出力音声信号とが存在する場合、マイク入力信号から、上記スピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去装置及び音声再生装置に関する。
【０００２】
【従来の技術】
携帯電話装置などの音声端末装置においては、端末スピーカからマイクへの音声の回り込みによるエコーの問題がある。この解決のために、エコーパス特性の推定を適応フィルタで行い、推定されたエコー信号をマイク入力信号から差し引くエコー消去装置（キャンセラ）がある。このエコーキャンセラは、マイク入力をＡ／Ｄ変換した信号（以下、単にマイク入力信号という。）、及びスピーカに出力するためのＤ／Ａ変換前信号（同、スピーカ出力信号という）の二者を入力とし、エコーを消去した信号を出力とする。
【０００３】
一方で、サンプリング周波数が８ＫＨｚ、音声周波数帯域が３００〜３４００Ｈｚ程度の狭帯域信号から、帯域外成分を推定し、サンプリング周波数１６ＫＨｚ、音声周波数帯域３００〜６０００Ｈｚ程度の広帯域信号を合成する帯域幅拡張技術がある。
【０００４】
【発明が解決しようとする課題】
ところで、マイク入力信号のサンプリング周波数は８ＫＨｚのままでありながら、帯域拡張によりサンプリング周波数が高い出力信号や、それに加え音声周波数帯域も広い信号を出力とした系についてのエコー消去法は存在しなかった。エコーを消去するためには、スピーカ出力信号から回り込むと推定される推定エコー信号を、マイク入力信号から減算しなければならず、このためにサンプリング周波数を合わせる必要があるためである。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、マイク入力とスピーカ出力のサンプリングレートが異なっていてもエコー成分を消去できるエコー消去装置の提供を目的とする。
【０００６】
また、本発明は、マイク入力とスピーカ出力のサンプリングレートが異なっていてもエコー成分を消去できる音声再生装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
本発明に係るエコー消去装置は、上記課題を解決するために、第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去装置であって、上記スピーカ出力音声信号の第２のサンプリング周波数を上記第１のサンプリング周波数に変換するサンプリング周波数変換手段と、上記サンプリング周波数変換手段によりサンプリング周波数が変換された上記第１のサンプリング周波数の出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段とを備える。
【０００８】
また、上記エコー消去装置は、上記出力音声信号の周波数帯域を上記マイク入力音声信号の周波数帯域の範囲内に制限する帯域制限手段を備え、この帯域制限手段で帯域制限された出力信号のサンプリング周波数を上記サンプリング周波数変換手段が第１のサンプリング周波数に変換し、この変換した出力を用いて上記エコー推定手段がエコー信号を推定し、この推定エコー信号を減算手段が上記マイク入力信号から減算する。
【０００９】
また、上記マイク入力音声信号の第１のサンプリング周波数が上記出力音声信号の第２のサンプリング周波数の整数ｎ分の一であるとき、上記サンプリング周波数変換手段は上記出力音声信号をｎ分の一に間引く。
【００１１】
本発明に係るエコー消去装置は、上記課題を解決するために、第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号に変換する帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、上記音声再生装置の上記スピーカの出力音声信号に基づいて発生するエコー成分を消去するエコー消去装置であって、上記第１のサンプリング周波数を変換しない上記狭帯域音声信号を用いて、上記スピーカから上記マイクロホンに回り込むエコー成分を推定するエコー推定手段と、上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段とを備える。
【００１２】
本発明に係るエコー消去装置は、上記課題を解決するために、第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入ったマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去装置であって、上記マイク入力信号のサンプリング周波数を第２のサンプリング周波数に変換するサンプリング周波数変換手段と、上記第２のサンプリング周波数の上記出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、上記エコー推定手段により推定された推定エコー信号を、上記周波数変換手段により周波数が変換されたマイク入力信号から減算する減算手段とを備える。
【００１３】
また、本発明に係るエコー消去方法は、上記課題を解決するために、第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去方法であって、上記出力音声信号の第２のサンプリング周波数を上記第１のサンプリング周波数に変換し、このサンプリング周波数が変換された上記第１のサンプリング周波数の出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定し、上記マイク入力信号から上記推定エコー信号を減算する。
【００１４】
このエコー消去方法は、上記出力音声信号の周波数帯域を上記マイク入力音声信号の周波数帯域の範囲内に制限し、帯域制限された出力音声信号のサンプリング周波数を第１のサンプリング周波数に変換し、この変換出力を用いて推定した推定エコー信号を上記マイク入力信号から減算する。
【００１５】
また、上記マイク入力音声信号の第１のサンプリング周波数が上記出力音声信号の第２のサンプリング周波数の整数ｎ分の一であるとき、上記出力音声信号をｎ分の一に間引いてサンプリング周波数を変換する。
【００１７】
本発明に係るエコー消去方法は、上記課題を解決するために、第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号に変換する帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入った第１のサンプリング周波数のマイク入力信号から、上記音声再生装置の上記スピーカの出力音声信号に基づいて発生するエコー成分を消去するエコー消去方法であって、上記第１のサンプリング周波数を変換しない上記狭帯域音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー成分を推定し、上記マイク入力信号から上記推定エコー信号を減算する。
【００１８】
本発明に係るエコー消去方法は、上記課題を解決するために、第１のサンプリング周波数の狭帯域音声信号を入力とし、第２のサンプリング周波数の広帯域音声信号を出力とする帯域幅の拡張を伴った音声再生装置からの出力音声信号をスピーカから発音し、マイクロホンから入ったマイク入力信号から、第２のサンプリング周波数の上記音声再生装置のスピーカ出力音声信号に基づいて発生するエコー成分を消去するエコー消去方法であって、上記マイク入力信号のサンプリング周波数を第２のサンプリング周波数に変換すると共に、上記第２のサンプリング周波数の上記出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定し、上記推定エコー信号を、上記サンプリング周波数が変換されたマイク入力信号から減算する。
【００１９】
本発明に係る音声再生装置は、上記課題を解決するために、第１のサンプリング周波数の狭帯域の入力音声信号を第２のサンプリング周波数の広帯域の出力音声信号に変換することにより帯域幅を拡張した出力音声信号をスピーカから発音すると共に、マイクロホンに入った第１のサンプリング周波数のマイク入力信号を処理する音声再生装置において、上記出力音声信号の第２のサンプリング周波数を上記マイク入力音声信号の第１のサンプリング周波数に変換するサンプリング周波数変換手段と、上記サンプリング周波数変換手段によりサンプリング周波数が変換された上記第１のサンプリング周波数の出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段とを備える。
【００２０】
本発明に係る音声再生装置は、上記課題を解決するために、第１のサンプリング周波数の狭帯域の入力音声信号を第２のサンプリング周波数の広帯域の出力音声信号に変換することにより帯域幅を拡張した出力音声信号をスピーカから発音すると共に、マイクロホンに入った第１のサンプリング周波数のマイク入力信号を処理する音声再生装置において、上記第１のサンプリング周波数を変換しない上記狭帯域音声信号を用いて、上記スピーカから上記マイクロホンに回り込むエコー成分を推定するエコー推定手段と、上記マイク入力信号から上記エコー推定手段により推定された推定エコー信号を減算する減算手段とを備える。
【００２１】
本発明に係る音声再生装置は、上記課題を解決するために、第１のサンプリング周波数の狭帯域の入力音声信号を第２のサンプリング周波数の広帯域の出力音声信号に変換することにより帯域幅を拡張した出力音声信号をスピーカから発音すると共に、マイクロホンに入った第１のサンプリング周波数のマイク入力信号を処理する音声再生装置において、上記マイク入力信号の周波数を第２のサンプリング周波数に変換する周波数変換手段と、上記第２のサンプリング周波数の上記出力音声信号を用いて上記スピーカから上記マイクロホンに回り込むエコー信号を推定するエコー推定手段と、上記エコー推定手段により推定された推定エコー信号を、上記周波数変換手段により周波数が変換されたマイク入力信号から減算する減算手段とを備える。
【００２２】
このように、本発明では、スピーカ出力のサンプリング周波数を変換し、マイク入力のサンプリング周波数に合わせることによって、従来のエコーキャンセラをそのまま利用できるようにした。
【００２３】
この変換方法としては、サンプリングレートを低い方に変換する場合はダウンサンプリングする。また帯域制限のうえダウンサンプリングをしてもよい。さらに、サンプリングレートが整数倍の場合には単純に間引きを行って変換する方法を用いても良い。また、整数倍でない場合には帯域制限をせずに、リニア補間フィルタ等を用いてもよい。
【００２４】
また、出力信号でなくサンプリングレートがマイク入力と同一の中間出力を用いることにより、マイク入力サンプリング周波数と合わせる方法も用いた。これは例えば帯域拡張処理においては、サンプリング周波数がマイク入力と同一である狭帯域信号を用いる。
【００２５】
また、これらとは逆に、マイク入力を出力のサンプリング周波数に合わせることによって、エコーキャンセラを利用できるようにした。この場合、アップサンプルを行うことにもなる。以上のどの方法によっても、エコー消去が行える。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２７】
マイク入力音声、出力音声ともサンプリング周波数が等しい、例えば８ＫＨｚである場合のエコー消去装置（キャンセラ）は従来から知られ、図１のように表される。このエコーキャンセラはエコーパス（残響路）インパルス応答フィルタ３によるエコーパス特性の推定を適応フィルタ５で行い、この適応フィルタ５で推定されたエコー信号をマイク４のマイク入力信号から減算器６によって差し引く。適応フィルタ５のタップ係数Ｂ（ｚ）の初期値が定数により与えられ、同一サンプリング周波数のマイク入力、スピーカ２の出力が与えられれば、タップ係数Ｂ（ｚ）を更新しつつ、同一サンプリング周波数のエコー消去後の信号が得られ、出力端子７に供給できる。
【００２８】
ところが、帯域拡張を行った場合、マイク入力とスピーカ出力のサンプリング周波数が異なるため、このエコーキャンセラはそのままでは利用できない。しかし、サンプリング周波数を変換することによって両者を等しくすれば、このエコーキャンセラが利用できるようになる。
【００２９】
図２には本発明を適用できる、エコーキャンセラを必要とする音声帯域拡張装置を示す。サンプリング周波数ｆs＝８ＫＨｚ、音声周波数帯域３００〜３４００Ｈｚである、パーソナル・ディジタル・セルラー（ＰＤＣ）コーデックの一つであるＰＳＩ−ＣＥＬＰ（Pitch Synchronus Innovation - CELP：ピッチ同期雑音励振源−ＣＥＬＰ）又はＶＳＥＬＰ（Vector Sum Excited Linear Prediction：ベクトル和励起線形予測）を帯域拡張し、サンプリング周波数ｆs＝１６ＫＨｚ、音声周波数帯域３００〜６０００Ｈｚに適用した例である。
【００３０】
この音声帯域拡張装置は、例えばディジタル携帯電話装置の送信側の音声符号化器から送られてきた符号化パラメータを用いて音声の帯域幅を拡張する。
【００３１】
上記符号化パラメータは前段の音声復号化器により復号されている。送信側の音声符号化器での符号化方法がＰＳＩ−ＣＥＬＰ符号化方式によるものであるとすれば、この音声復号化器での復号化方法もＰＳＩ−ＣＥＬＰによる。また、音声符号器での符号化方法がＶＳＥＬＰ符号化方式によるものであるとすれば、この音声帯域拡張装置の前段の音声復号化器での復号化方法もＶＳＥＬＰによる。
【００３２】
前段の音声復号化器で復号された、上記符号化パラメータの内の第１の符号化パラメータである励振源に関するパラメータExcN1,ExcN2又はExcNは、入力端子１２，１３又は１４から励振源切換＆拡張部２０又は励振源拡張部２１に供給される。これら励振源切換＆拡張部２０又は励振源拡張部２１からの励振源拡張出力は、符号化方式がＶＳＥＬＰ又はＰＳＩ−ＣＥＬＰであるかによりスイッチ２２で切り換えられて、ＬＰＣ合成部１９に供給される。
【００３３】
また、上記符号化パラメータの内の第２の符号化パラメータである線形予測係数αNは入力端子１１からαN→ｒN（線形予測係数→自己相関）変換回路１５に供給される。
【００３４】
また、音声帯域拡張装置は広帯域音から抽出した自己相関パラメータを用いて予め作成されている広帯域コードブック（ｒwＣＢ）１７とを備える。そして、広帯域コードブック１７を用い、自己相関ｒを広帯域化部１６で拡張してｒwとし、再度αwに変換部１８で変換してからＬＰＣ合成部１９に供給する。ＬＰＣ合成部１９はｒw→αw変換部１８からの広帯域線形予測係数αwと切り換えスイッチ２２からの拡張励振源に基づいて広帯域音声を合成する。
【００３５】
また、この音声帯域拡張装置は、前段の音声復号化器でデコードされ、入力端子１０から入力された狭帯域音声信号（デコード音声）のサンプリング周波数を８ｋＨｚから１６ｋＨｚにオーバーサンプリングするアップサンプル回路２６と、ＬＰＣ合成回路１９からの合成出力から入力狭帯域音声信号の周波数帯域３００Ｈｚ〜３４００Ｈｚの信号成分を除去し、３４００Ｈｚ以上の信号成分を抽出すると共に、ユーザの好みに応じて高い周波数成分を抑圧する高域抽出＆抑圧フィルタ２３と、このフィルタ２３からのフィルタ出力に端子２５からゲイン調整器で調整されたゲインを乗算する乗算器２４と、乗算器２４でゲインが乗算された出力にアップサンプル回路２６からのサンプリング周波数１６ｋＨｚの周波数帯域３００Ｈｚ〜３４００Ｈｚの基の狭帯域音声信号成分を加算する加算器２７とを備えている。
【００３６】
そして、出力端子２８からは、周波数帯域が３００〜７０００Ｈｚで、サンプリング周波数が１６ｋＨｚのディジタル音声信号が出力される。
【００３７】
この音声帯域拡張装置は、全体的に以下のように動作する。この音声帯域拡張装置は、狭帯域パラメータから広帯域パラメータを推定し、広帯域ＬＰＣ合成を行う。その後、原音声の周波数帯域である低域側を、原音声を１６ＫＨｚにアップサンプルしたものに置換する。すなわち、高域通過フィルタを施し高域のみを残し、この高域成分の中でも高い周波数成分を抑圧し、さらにゲインを調整し、その後、原音声をアップサンプルしたものに加算する。
【００３８】
ここで、広帯域パラメータの推定は、αの広帯域化、励振源の広帯域化の二つが必要である。また、αの広帯域化には、αと相互に変換可能なパラメータである自己相関ｒによるコードブックを予め作成しておく必要がある。このコードブックによる量子化、逆量子化によって自己相関ｒが広帯域化される。
【００３９】
先ず、αの広帯域化について説明する。αはスペクトル包絡を表すフィルタ係数であることに着目し、高域側を推定しやすい別のスペクトル包絡を表すパラメータである自己相関ｒに一旦変換し、これを広帯域化し、その後で広帯域自己相関ｒwからαwに逆変換する。拡張にはベクトル量子化を用いる。狭帯域自己相関ｒnをベクトル量子化し、そのインデックスから対応するｒwを求めればよい。
【００４０】
狭帯域自己相関と広帯域自己相関には、後述するように一定の関係が成り立つため、広帯域自己相関によるコードブックのみを用意すればよく、狭帯域自己相関をこれによりベクトル量子化でき、また逆量子化により広帯域自己相関が求まる。
【００４１】
狭帯域信号を、広帯域信号を帯域制限したものとすれば、広帯域自己相関と狭帯域自己相関には以下の（１）式に示す関係がある。
【００４２】
【数１】
0004296622.tif 000002
【００４３】
ここで、φは自己相関、ｘnは狭帯域信号、ｘwは広帯域信号、ｈは帯域制限フィルタのインパルス応答である。
【００４４】
さらに、自己相関とパワースペクトルの関係から、次の（２）式が得られる。
【００４５】
【数２】
0004296622.tif 000003
【００４６】
この帯域制限フィルタのパワー特性と等しい周波数特性を持つ、もう一つの帯域制限フィルタを考え、これをＨ’とすれば、上記（２）式は、次の（３）式のようになる。
【００４７】
【数３】
0004296622.tif 000004
【００４８】
この新たなフィルタの通過域、阻止域は当初の帯域制限フィルタと同等であり、減衰特性が２乗となる。したがって、この新たなフィルタもまた、帯域制限フィルタといえる。これを考慮すると、狭帯域自己相関は、広帯域自己相関と帯域制限のフィルタのインパルス応答との畳み込み、すなわち広帯域自己相関を帯域制限したものと単純化される。すなわち、次の（４）式となる。
【００４９】
【数４】
0004296622.tif 000005
【００５０】
以上より、狭帯域自己相関をベクトル量子化するにあたっては、広帯域コードブックのみを用意すれば、量子化時に必要な狭帯域ベクトルは演算により作成が可能であり、狭帯域自己相関から予めコードブックを用意しておく必要がない。
【００５１】
さらに、各ｒwコードベクタは単調減少もしくはなだらかに増減するカーブを持つために、Ｈ’により低域通過させても大きな変化がなく、ｒn量子化は、直接ｒwコードブックで行える。ただし、サンプリング周波数が１／２のため、１次おきに比較する必要がある。
【００５２】
αの拡張は有声音（Ｖ）と無声音（ＵＶ）に分けることによって、さらに精度良い拡張が可能であるため、これも行っている。これに伴いコードブックもＶ用、ＵＶ用の二つを用いている。
【００５３】
次に、励振源の拡張について説明する。ＰＳＩ−ＣＥＬＰにおいては狭帯域での励振源を、ゼロ詰め部１２でゼロ値を挿入することでアップサンプルし、エイリアシング歪みを発生させたものを用いる。この方法は非常に単純であるが、元の音声のパワーや調波構造の差分が保存されるので、励振源としては十分な品質であるといえる。
【００５４】
そして、以上で得られた広帯域αと広帯域励振源によりＬＰＣ合成回路１９でＬＰＣ合成を行う。
【００５５】
また、広帯域ＬＰＣ合成された音声は、このままでは品質が悪いので、低域側はコーデック出力のオリジナル音声ＳＮＤNで置換する。このために、合成音のうち４ＫＨｚ以上を抽出し、一方でコーデック出力をｆs＝１６ＫＨｚにアップサンプルし、これらを加算する。
【００５６】
このとき、乗算器２４で高域側に乗算するゲインをユーザの好みに応じてゲイン調整器で調整可能としている。ユーザ毎の個人差が大きいため、この値を可変にしている。高域側ゲインの値をユーザからの入力により予め設定しておき、この値を参照し、乗算を行う。
【００５７】
また、加算前に高域側に対し、高域抽出＆抑圧フィルタ２３で約６ＫＨｚ以上の成分を若干抑圧するフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数を選択可能とし、予め選択されたフィルタにより処理を行うことで、好みに応じ高域側の周波数帯域を選択可能とした。このフィルタの選択もユーザの入力により設定する。
【００５８】
ただし、このフィルタ２３を用いての処理は、低域側のパワー特性に影響を与えないため、加算後に行っても良い。あるいは、あえて低域側にも影響のあるフィルタを加算後に施す事も可能である。以上により広帯域音声が得られる。
【００５９】
なおここで、音声帯域拡張装置で用いる、コードブックの作成について説明する。
【００６０】
コードブックの作成は一般によく知られたＧＬＡ(Generalized Lloyd Algorithm)による方法である。広帯域音声を一定時間、例えば２０msecごとのフレームに区切り、そのフレーム毎に、一定次例えば６次までの自己相関を求めておく。このフレーム毎の自己相関をトレーニングデータとし、６次元のコードブックを作成する。このとき、有声音、無声音の区別を行い、有声音の自己相関、無声音の自己相関を別々に集め、それぞれのコードブックを作成してもよい。この場合、帯域拡張処理中αの拡張時、コードブックを参照するが、このときにも有声音、無声音の判別を行い、対応するコードブックを利用する。
【００６１】
音声帯域拡張装置では、広帯域有声音用コードブックと広帯域無声音用コードブックを用いているが、図３及び図４を参照しながらその作成について詳細に説明する。
【００６２】
先ず、広帯域音声信号を学習用に用意し、ステップＳ３１で１フレーム２０msecにフレーミングする。次に、ステップＳ３２で各フレームにおいて、例えばフレームエネルギーやゼロクロスの値等を調べることによって有声音（Ｖ）か無声音（ＵＶ）かの分類を行う。
【００６３】
そして、ステップＳ３３で広帯域有声音フレームにおいて、例えば６次までの自己相関パラメータｒを計算する。また、ステップＳ３４では広帯域無声音フレームにおける、例えば６次までの自己相関パラメータｒを求める。
【００６４】
この各フレームの６次の自己相関パラメータから、図４のステップＳ４１で広帯域パラメータを抽出し、ＧＬＡにより次元６の広帯域Ｖ（ＵＶ）コードブックをステップＳ４２で作成する。
【００６５】
以上、ＰＳＩ−ＣＥＬＰによる復号化方法を用いた音声帯域幅拡張装置では、高域ゲイン、高域抑圧フィルタを可変とすることで、ユーザの好み合う広帯域音声を提供することができる。
【００６６】
しかしながら、ＶＳＥＬＰでは元々の音声の母音ににごりがある。これに上記方法をそのまま適用すると、高域に耳障りなノイズが残る。これを改善するためには以下の処理をおこなう。
【００６７】
ＰＳＩ−ＣＥＬＰは、コーデック自体、特にＶを聴感上滑らかに聞こえるような処理を行っているが、ＶＳＥＬＰにはこれがなく、このために帯域幅拡張したときに若干雑音が混入したように聞こえる。そこで、広帯域励振源を作成する際に、励振源切り換え＆拡張部２０により以下の処理を施す。
【００６８】
ＶＳＥＬＰの励振源は、コーデックに利用されるパラメータβ(長期予測係数), bL[i](長期フィルタ状態),γ(利得), c1[i](励起コードベクタ)により、β * bL[i] + γ * c1[i]
として作成されるが、このうち前者がピッチ成分、後者がノイズ成分を表すので、これをβ * bL[i]とγ * c1[i]に分け、一定の時間範囲において、前者のエネルギーが大きい場合にはピッチが強い有声音と考えられるため、励振源をパルス列とし、ピッチ成分のない部分では０に抑圧した。また、エネルギーが大きくない場合には従来どおりとし、こうして作成された狭帯域励振源にゼロ詰め部によりPSI-CELP同様０を詰めアップサンプルすることにより広帯域励振源とした。これにより、ＶＳＥＬＰにおける有声音の聴感上の品質が向上した。
【００６９】
そして、アップサンプル回路２６により上記オリジナル音声ＳＮＤNをアップサンプルしたものと、加算器２７により加算する。このとき、高域側に対し、約６ＫＨｚ以上の成分を若干抑圧する高域抑圧フィルタ２３によりフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は選択可能としている。
【００７０】
さらに、乗算器２４を用いてユーザの好みに応じて高域側ゲインを調整可能としている。
【００７１】
以上の音声帯域拡張装置による音声帯域幅拡張処理と、エコーキャンセラを共存させる場合、マイクロホン入力とスピーカ出力のサンプリング周波数を一致させる必要がある。
【００７２】
このための第１の具体例として、得られた広帯域音声信号をダウンサンプルする。この際、エイリアシング発生を抑えるために、帯域制限を行い、その後ダウンサンプルを行う。この第１の具体例について図５を用いて説明する。この第１の具体例はエコーキャンセラ３０を備えた音声帯域拡張装置である。
【００７３】
エコーキャンセラ３０は、上記音声帯域拡張装置が、サンプリング周波数８ＫＨｚの狭帯域信号をサンプリング周波数１６ＫＨｚの広帯域信号に変換して、スピーカ２８から発音するときに、マイクロホン３５に入るマイク入力信号から、上記スピーカ出力に基づいて発生するエコー成分を消去する装置であり、広帯域信号のサンプリング周波数を１６ＫＨｚから８ＫＨｚにダウンサンプリングするダウンサンプリング回路３２と、スピーカ２８からマイクロホン３５に回り込むエコー信号を推定する適応フィルタ３７と、上記マイク入力信号から推定エコー信号を減算する減算回路３６とを備えてなる。
【００７４】
先ず、ダウンサンプリング回路３２は、上記出力音声信号となる広帯域音声信号のサンプリング周波数１６ＫＨｚを入力端子１０から入力された狭帯域音声信号のサンプリング周波数８ＫＨｚに変換する。
【００７５】
適応フィルタ３７は、エコーパスフィルタ３４によるエコーパス特性を推定することができ、このダウンサンプリング回路３２でサンプリング周波数が８ＫＨｚにダウンサンプルされた上記広帯域音声信号を用いてスピーカ２８からマイクロホン３５に回り込む、エコー信号を推定する。
【００７６】
減算回路３６は、上記マイク入力信号から適応フィルタ３７により推定された推定エコー信号を減算する。
【００７７】
さらに、このエコーキャンセラ３０は、上記広帯域音声信号をダウンサンプリング回路３２に供給する前にＬＰＦ３１に通して、エイリアシングの発生を抑えている。ただしこの第１の具体例の場合、得られるｆs＝８ＫＨｚの信号は、本来エコーキャンセラ３０の入力とされるべきスピーカ２８出力に対して、ＬＰＦ３１の影響を受け、特に位相特性が問題になる場合がある。したがって、位相特性がそれほど問題にならないフィルタを用いることができる場合に用いるとよい。
【００７８】
次に、第２の具体例としては、上記位相特性が問題となる場合、また帯域制限フィルタの演算量が問題となる場合に有効な、広帯域音声信号をそのまま間引きによってダウンサンプルする、図６に示すエコーキャンセラ４０を挙げる。このエコーキャンセラ４０は、上記図５に示したエコーキャンセラ３０からＬＰＦ３１を取り除き、ダウンサンプリング回路３２に間引き処理を行わせる点が異なる。ただしこの場合、間引きに伴いエイリアシングが発生するので、エコー特性や出力音声の周波数特性上、エイリアシングがそれほど問題とならない場合に用いるとよい。
【００７９】
第３の具体例としては、図７に示すように、入力端子１０から供給される狭帯域音声のアップサンプル前のデータを保存しておき、これを利用するエコーキャンセラ４５を備えた音声帯域拡張装置である。保存用メモリが必要となるが、ダウンサンプルの演算は不要である。ただし、この信号はスピーカ２８出力と異なり、アップサンプル時やその後のポストプロセスによる影響を受けていないので、エコーキャンセラ４５は本来のエコーパスにこの変化分も含めたものがエコーパスとなる。したがって、これらの変化の影響がそれほど問題とならない場合に用いるのがよい。
【００８０】
第４の具体例としては、図８に示すように、マイクロホン３５に入るマイク入力音声をアップサンプル回路５１でアップサンプルし、広帯域音声信号のサンプリング周波数１６ＫＨｚに合わせる。この場合は、エコーキャンセラ５０も出力音声のサンプリング周波数、すなわちこの場合１６ＫＨｚで動作することを前提とし、対象とするデータ数を８ＫＨｚの場合の２倍にする、また適応フィルタ３７のＢ（ｚ）の初期値も変更する必要がある。そして、エコーキャンセルした後の信号はダウンダンプル回路５２でダウンサンプルし８ＫＨｚとする。なお、エコーパスは、本来のエコーパスにアップサンプルによる変化を含めたものとなる。これらの影響が他の方法よりも有利である場合に用いるとよい。
【００８１】
このように、これらの帯域拡張装置では、サンプリング周波数を合わせる手段を、エコーキャンセラ内部に設けている。この場合、エコーキャンセラの外観はサンプリング周波数の異なる２系統を入力とするが、内部でサンプリングレートを変換するため、実質的に従来と同じである。
【００８２】
なお、間引きによる方法以外は、サンプリング周波数の比は整数倍に限らない。また、帯域拡張技術への適用に限るものでもない。
【００８３】
また、上記エコー消去方法は、中央処理装置（ＣＰＵ）やディジタル信号処理装置（ＤＳＰ）内部で、機能するプログラムのソフトウェアに適する。
【００８４】
【発明の効果】
本発明によれば、マイクロホン入力のサンプリング周波数と、スピーカ出力のサンプリング周波数が異なる場合、特に音声の帯域拡張のように２倍の周波数となる場合にも、エコーキャンセラを利用、動作させることができ、エコーの消去された音声が得られる。
【図面の簡単な説明】
【図１】入力、出力ともサンプリング周波数が等しい、例えば８ＫＨｚである場合のエコーキャンセラのブロック図である。
【図２】本発明を適用できる、エコーキャンセラを必要とする音声帯域拡張装置のブロック図である。
【図３】上記音声帯域拡張装置で用いる、広帯域有声音用コードブックと広帯域無声音用コードブックに使われるトレーニングデータ生成処理を説明するためのフローチャートである。
【図４】上記コードブックの生成を説明するためのフローチャートである。
【図５】第１の具体例となる音声帯域拡張装置のブロック図である。
【図６】第２の具体例となる音声帯域拡張装置のブロック図である。
【図７】第３の具体例となる音声帯域拡張装置のブロック図である。
【図８】第４の具体例となる音声帯域拡張装置のブロック図である。
【符号の説明】
２８  スピーカ、３０  エコーキャンセラ、３１  ＬＰＦ、３２  ダウンサンプル回路、３４  エコーパスフィルタ、３５  マイクロホン、３６  減算器、３７  適応フィルタ
【図１】
0004296622.tif 000006
【図２】
0004296622.tif 000007
【図３】
0004296622.tif 000008
【図４】
0004296622.tif 000009
【図５】
0004296622.tif 000010
【図６】
0004296622.tif 000011
【図７】
0004296622.tif 000012
【図８】
0004296622.tif 000013