(57)【特許請求の範囲】
【請求項１】
所定数の信号のサンプルにより構成されるフレーム単位で、信号の前処理を行う前処理手段と、
信号の分析を行うことにより複数の符号化モードから一つの符号化モードを選択するモード選択手段と、
前記選択された符号化モードで前記前処理後の信号を符号化する符号化手段と、
を組み合わせて音声信号を処理する音声処理方法において、
各フレーム毎に、
フレームの前記モード選択手段における符号化モードの選択を、前記前処理前の信号を用いて前記前処理手段における前処理と並行して行い、
当該フレームの前記符号化手段における符号化処理を、当該フレームの前記前処理と前記符号化モードの選択とが終了した時点で、当該フレームの前記前処理後の信号に対して前記選択された符号化モードに従って実行する
ことを特徴とする音声処理方法。
【請求項２】
コンピュータが読み取り可能な符号によって記述され、前記請求項１記載の音声処理方法をコンピュータで実行する音声処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばエコーキャンセラと符号化とを併用するような音声処理方法、音声処理プログラムに関する。
【０００２】
【従来の技術】
図３にこの発明で対象とする音声処理装置の一例を示す。この発明で対象とする音声処理装置は拡声系の通信システムを想定している。端末１Ａと端末１ＢはそれぞれマイクＭとスピーカＳＰを有し、端末１Ａ側のマイクＭから入力された音声信号はエコーキャンセラ２Ａで反響抑圧処理などの前処理が施され、符号器３Ａで圧縮符号化処理されて相手の端末１Ｂに送られ、相手の端末１Ｂでは復号器４Ｂで復号されてスピーカＳＰから放音される。
【０００３】
図３に示したような拡声系の通信システムでは図示したように、エコーキャンセラ２Ａと、例えば圧縮符号化及び復号化を組み合わせることで実現される。エコーキャンセラ２Ａには逐次適応型と時間的にオーバーラップする音声信号をフレーム単位で周波数領域に変換し、周波数領域で反響抑圧処理を行う処理型とに分けることができるが、時間的にオーバーラップするフレーム単位で反響抑圧処理を行う型式の方が効率が高い。
一方、圧縮符号化では複数の符号化モードをフレームごとに適応的に選択することで少ない情報量で高品位な音声を伝送することができる圧縮符号化方法が提案されている。
【０００４】
以下に時間的にオーバーラップするフレーム単位で反響抑圧処理を行う形式のエコーキャンセラと、複数の符号モードをフレームごとに適応的に選択して符号化を行う符号器の一例を説明する。
図４はそのエコーキャンセラの構成を示す。図４において、先ず、送信者が発した音声は受話信号Ｘ（ｋ）として受信者側の受信端２から入力され、受信端２から受信端１へと送出される経路において、遅延器３０３、エコー経路伝搬遅延推定部３０２、エコー経路６０１へそれぞれ入力される。なお、ここでエコー経路６０１は、実際の音響エコー経路もしくは、回線エコー経路（ハイブリッド回路）を意図している。
受話信号Ｘ（ｋ）は、エコー経路６０１を伝搬することによりエコー信号ｂ（ｋ）として出力される。一方、送信端１からは受信者側の音声が送話信号ｓ（ｋ）として入力される。
【０００５】
エコー経路６０１を伝搬した後のエコー信号ｂ（ｋ）及び受信者側からの送話信号ｓ（ｋ）は加算器６０２に入力され、加算器６０２によりこれら信号は重畳されてエコー重畳信号ｙ（ｋ）となり、続くエコーキャンセラ３０１内のエコー経路伝搬遅延推定部３０２に入力される。
エコー経路伝搬遅延推定部３０２は、先ほど入力された受話信号Ｘ（ｋ）と今回入力されたエコー重畳信号ｙ（ｋ）との特徴量の相関から、エコー経路６０１の伝搬遅延量を算出して出力する。
遅延器３０３は、エコー経路伝搬遅延推定部３０２から入力された伝搬遅延量に基づいてＦＩＲフィルタを作成し、作成したＦＩＲフィルタに受話信号ｘ（ｋ）を通過させる。ＦＩＲフィルタ通過後の受話信号Ｘ（ｋ）は、参照信号Ｘｒ（ｋ）となり、続く適応フィルタ部３０４及びエコー抑圧ゲイン算出部３０５へ出力される。
【０００６】
適応フィルタ部３０４では、入力される参照信号Ｘｒ（ｋ）及び、エコー重畳信号ｙ（ｋ）を用いて、エコー重畳信号ｙ（ｋ）の振幅と位相を推定した推定エコー信号ｙｅ（ｋ）を生成する。加算器３０７ではエコー重畳信号ｙ（ｋ）から推定エコー信号ｙｅ（ｋ）を差し引くことでエコーを低減した残留エコー信号ｙｒｅ（ｋ）を生成する。
エコー抑圧ゲイン算出部３０５では、参照信号Ｘｒ（ｋ）、エコー重畳信号ｙ（ｋ）を用いて、エコー重畳信号ｙ（ｋ）の振幅を推定し、エコー重畳信号ｙ（ｋ）の振幅を抑圧するようにエコー抑圧ゲインＧを算出する。
【０００７】
乗算器３０６は、エコー重畳信号ｙ（ｋ）にエコー抑圧ゲイン算出部３０５から出力されるエコー抑圧ゲインＧを乗ずることにより、入力される残留エコー信号ｙｒｅ（ｋ）のエコー信号ｂ（ｋ）を抑圧し、送信端２から入力された送信信号ｓ（ｋ）にできるだけ近い信号を相手の端末へと出力する。
以上は主にエコーキャンセラ３０１の動作状況であるが、この発明で対象とするエコーキャンセラは特にエコーキャンセラ３０１へ入力される参照信号Ｘｒ（ｋ）とエコー重畳信号ｙｒｅ（ｋ）を周波数分析部４０１で周波数領域の係数に変換し、加算器３０７と乗算器３０６では分析された周波数領域係数毎に反響抑圧処理を施している点を特徴とするものである。なお、エコーキャンセラの範囲にハウリングを防いだり、送受話音声の音量を適切に調整するための利得調整器３１０を含めることもあるが、以降の説明では、利得調整器を省略する。
【０００８】
周波数分析部４０１は例えば、図５に示すようにフレーム分割部４０１−１と、窓掛け部４０１−２と、時間領域信号を周波数領域係数に変換する変換部４０１−３とによって構成することができる。フレーム分割部４０１−１は入力端子１１から入力される音声データ列をＮサンプル毎にフレーム分割する。窓掛け部４０１−２は例えば２フレーム分のデータ列に対して窓関数を乗算する。変換部４０１−３は窓掛けされたデータ列を周波数領域係数に変換し、出力端子１２に周波数領域係数を出力する。
【０００９】
変換部４０１−３は例えばＦＦＴ（高速フ−リエ変換）或はＤＣＴ（Discrete cosine Transform：離散コサイン変換）、或はＭＤＣＴ（Modified Discrete Cosine Transform：変形離散コサイン変換）などを用いることができる。尚、ＤＣＴについてはＫ．Ｒ．Ｒａｏ．Ｐ．Ｙｉｐ著、安田、藤原訳“画像符号化技術−ＤＣＴとその国際標準”第２章（オーム社）、ＭＤＣＴについてはＩＳＯ／ＩＥＣ標準ＩＳ−１１１７２−３に述べられている。
窓掛け部４０１−２で施される窓掛け演算は２フレーム分の演算処理を１フレーム分づつずらしながら実行され、その演算結果を変換部１６で周波数領域係数に変換する。このことから時間的にオーバーラップする窓を使って反響抑圧処理を行うエコーキャンセラと称せられている。
【００１０】
図６は周波数合成部４０３の構成を示す。周波数合成部４０３は逆変換部４０３−１と、窓掛け部４０３−２と、オーバーラップ加算部４０３−３とによって構成される。入力端子１３に入力された周波数領域係数は逆変換部４０３−１により時間軸上の信号に変換され、その時間軸上の信号に窓掛け部４０３−２は窓掛け演算を施すオーバーラップ加算部４０３−３は２フレーム分のデータ列を前の２フレームの後半のデータと、後の２フレームの前半のデータを重ね合わせて加算し、その重ね合わせて加算したフレームの波形を確定し、出力端子１４から音声信号を出力する。
【００１１】
次に、フレームごとに圧縮符号モードを選択して可及的に少ない情報量により高品位の音声を伝送し、又は記憶することができる符号器について説明する。
例えばＭＤＣＴに基づく圧縮符号化では窓の形状を選択する場合、信号の先読みが必要となる。すなわち、フレームの信号の時間的変動の大きさから、長い窓を使うか、短い窓を複数使うかを選択したり、或は信号の性質から窓の形状を選択することが行われている。
また、モード選択の他の例としては有声無声音、有声無音、背景雑音の有無などの音声や楽音信号の特徴に適応させたものがある。図７はその符号器２０の概略の構成を示す。この例では、有声無声音、有声無音、背景雑音の有無などにより符号化モードを選択する形式の符号器の場合を示す。
【００１２】
入力端子２１に入力された原音声は、周波数分析部４０１で周波数領域係数に変換されて音声特徴分析部２２に送られ、ここにおいて音声の特徴を示す種々のパラメータが計算される。このパラメータの代表的な例としては、音声パワ、変形相関関数の最大値、変形相関関数が最大となる遅れ時間（オープンループピッチ）、スペクトル変化量がある。これら計算されたパラメータはモード決定部２３に送られる。モード決定部２３においては、これらのオープンループにより求めた特徴パラメータと、バッファ部２５に記憶される過去のフレームにおける量子化パラメータ例えば前フレームの適応符号帳のピッチ周期、合成音声のパワ、前フレームが属したモード（以下ここではこれらのデータを先読みデータと称す）を使用し、現在のフレームの音声が予め決められたモードの内の何れのモードに属するかを決定し、決定結果に基づいて切替えスイッチ２６及び２７を切替えて符号化部２８−１ないし２８−４の何れかを選択する。
【００１３】
図８は４モードの場合の音声区間のモード分類の仕方を説明するフローチャートを示す。先ず、入力されたパラメータから、フレーム毎に非音声区間（モード１）であるか或は非音声区間であるかを判定する。これには通常音声パワに着目して判定する。ある閾値を決め、パワがこれより大きい時は音声区間であり、これ以下のときは非音声区間であると判定する。
次に、音声区間であると判定されたフレームについて、有声音であるか、或は無声音であるかを判定する。通常この判定は、音声パワと変形相関関数の最大値を使用して行い、音声パワがある値、例えば１サンプルあたりの平均パワが数万〜十万以下であり且つ変形相関関数の最大値が或る閾値、例えば０．１〜０．３以下の場合は無声音であると判定する。それ以外の場合は、有声音であると判定する。この場合も判定は音声学的に厳密なものである必要はなく、品質の劣化につながらなければ良い。
更に、有声と判定された音声区間について、過渡部であるか、或は定常部であるかを判定する。この判定は、隣接するフレーム間の特徴量の変化分を調べ、変化が少なければ定常部であり、大きければ過渡部（非定常）であると判定する。
【００１４】
図８におけるモード１及びモード２に対応するこれら非音声或は無声音の区間においては、音声のピッチに相当する周期成分がないので、有声音区間と比較して少ないビット数を雑音符号帳及び重み符号長、線形予測パラメータに割り当てることができる。
モード３に対応する有声音の過渡部については、音声を符号化するのに最も多くのビット数を必要とする。
一方、モード４に対応する有声音の定常部については、ピッチ周波数の変化はゆるやかであるから適応符号帳の周期符号は過渡部よりも少ないビット数を割当てることができる。
【００１５】
【発明が解決しようとする課題】
上述したように、前処理手段として周波数領域で反響抑圧処理を施すエコーキャンセラと数フレーム前の先読みデータを利用して符号化モードを選択して符号化処理を行う符号器とを継続に接続して音声を処理する場合、前処理から符号化処理が完了するまでの処理ステップにより遅延が大きく発生してしまう欠点がある。
図９に周波数領域で反響抑圧処理を施すエコーキャンセラと符号化モードを選択して符号化処理を行う符号器で構成した音声処理装置の一例を示す。図９に示すように、送話信号ｘs（ｋ）は周波数分析部４０１で周波数分析され、周波数領域係数に変換されてエコーキャンセラ３０１で反響抑圧処理が施され、更に周波数合成部４０３で時間軸信号に変換されて符号器２０に入力される。
【００１６】
符号器２０でも図７で説明したように、周波数分析部４０１で周波数領域係数に変換され、符号化すべきフレームの信号の状態を予め分析して圧縮符号化モードを決定し、その決定に従って次のフレームのタイミングで符号化処理を実行する。
図１０及び図９に示した組合せに関わる処理スケジュールを示す。図１０で右側程新しく、左が過去になる。一番右のフレームＦ０を現在のフレームとすると、現在のフレームＦ０に実時間で音声データが蓄えられる。このフレームＦ０に音声データが蓄積される間にすでにデータが蓄えられている過去のフレームＦ１〜Ｆ５の信号に対する処理が全て行われる。尚、図１０に示す処理スケジュールでは伝送遅延は０としている。
【００１７】
まず、ひつと前のフレームＦ１と２つ前のフレームＦ２にまたがった信号に対してエコーキャンセラ３０１が前処理を行う。この前処理が終った時点でエコーキャンセラ３０１の後段に配置した周波数合成部４０３は２つ前のフレームＦ２の信号の重ね合わせ加算が終了し、エコーキャンセル処理したフレームＦ２の信号の波形を確定する。
符号器２０では、このフレームＦ２の信号の波形を使って符号化モードの選択のためのモード決定処理を行う。
【００１８】
このモード決定に基づき、３つ前と４つ前のフレームＦ３とＦ４にまたがる信号に対して符号化処理を行う。すなわち、３つ前と４つ前のフレームＦ３とＦ４に対応する圧縮ビット列が作成される。
このビット列が瞬時に復号器に渡り充分に高速に復号できたとすると、４つ前のフレームＦ４の信号を確定することができる。つまり、フレームＦ０のデータがフレームバッファに対して蓄積が終了した時点でフレームＦ４の波形が確定し、再生が可能となる。
【００１９】
従って、従来は伝送速度を除くと、フレーム長の５倍の遅れが生じる不都合が生じる。
この発明の目的は図９に示した縦続接続の組合せにおいて、遅延量を可及的に短縮することができる音声処理方法及び音声処理プログラムを提案しようとするものである。
【００２０】
【課題を解決するための手段】
この発明では、所定数の信号のサンプルにより構成されるフレーム単位で、信号の前処理を行う前処理手段と、
信号の分析を行うことにより複数の符号化モードから一つの符号化モードを選択するモード選択手段と、
前記選択された符号化モードで前記前処理後の信号を符号化する符号化手段と、
を組み合わせて音声信号を処理する音声処理方法において、
各フレーム毎に、
フレームの前記モード選択手段における符号化モードの選択を、前記前処理前の信号を用いて前記前処理手段における前処理と並行して行い、
当該フレームの前記符号化手段における符号化処理を、当該フレームの前記前処理と前記符号化モードの選択とが終了した時点で、当該フレームの前記前処理後の信号に対して前記選択された符号化モードに従って実行する音声処理方法を提案する。
この発明では、コンピュータが読み取り可能な符号によって記述され、音声処理方法をコンピュータで実行する音声処理プログラムを提案する。
【００２１】
作用
この発明による音声処理方法によれば、符号器で行われるモード決定処理を前処理手段（エコーキャンセラ）で処理される以前の信号で行う方法を採るから、モードが決定された時点で前処理手段から出力される信号はモード決定処理したフレームの信号である。従って、このフレームの信号に対して直ちに符号化処理を開始することにより１フレームの遅延を削除することができることになる。
従って、この発明によれば全体で４フレームの遅延に短縮できる利点が得られる。
【００２２】
【発明の実施の形態】
図１にこの発明の音声処理方法を実行することができる音声処理装置の実施例を示す。図１において図４乃至図７と対応する部分には同一符号を付して示す。図１に示す実施例ではエコーキャンセラ３０１の前段側から音声信号を取り出して符号器２０の音声特徴分析部２２に入力し、エコーキャンセラ３０１で行われる反響抑圧処理と並行してモード決定を実行する構成とし、更にエコーキャンセラ３０１で前処理された信号を符号化部２８−１〜２８−４の何れかで圧縮符号化処理する構成とした場合を示す。
【００２３】
つまり、モード決定部２３で符号化モードを決定するための先読みをエコーキャンセラ３０１の前段側から取り出して行うことにより、エコーキャンセラ３０１で反響抑圧処理された信号より１フレーム前のフレームを先読みすることができる。
この結果、モード決定部２３で先読みしたフレームの信号に対するモード決定処理が終了する時点で、そのフレームの信号の波形が周波数合成部４０３から出力され始める。従って、符号化モードが決定されたフレームの信号をスイッチ２６を通じてモード決定部２３で決定した符号化部２８−１〜２８−４の何れかに入力し、符号化処理が行われる。符号化処理された信号は符号送出部２４から伝送路に送出される。これと共に、バッファ部２５に先読みデータとして蓄積される。
【００２４】
図２及び図１に示した実施例の処理スケジュールを示す。ここでは上述したようにエコーキャンセラ３０１の処理が終了した波形でなく、エコーキャンセラ３０１の処理前の波形（フレームＦ１の信号）を近似的に使って符号化前のモード決定処理を行う。これにより２つ前のフレームＦ２に対してエコーキャンセラ３０１の処理が終了すれば、符号化部２８−１〜２８−４の何れかはフレームＦ２とＦ３にまたがる信号の符号化処理を開始し、フレームＦ２とＦ３のフレームに対応する圧縮ビット列を作成する。
【００２５】
このビット列が瞬時に復号器に渡り、充分高速に復号できたとすると、フレームＦ３の波形を確定することができるので、このフレームＦ３の信号を再生することができる。従って、この発明によればフレーム長の４倍の時間の遅れで信号波形を再生することができる。
上述したこの発明による音声処理方法はコンピュータが読み取り可能な符号によって記述されたプログラムをコンピュータで実行することにより実現することができる。プログラムは例えばＣＤ−ＲＯＭのような記憶媒体からコンピュータにインストールされて実行するか、又は通信回線を通じてコンピュータにインストールして実行させることができる。
【００２６】
【発明の効果】
以上説明したように、この発明によれば拡声系の通信システムの遅延を削減することができ、双方向通話の質を改善できる効果が得られる。
【図面の簡単な説明】
【図１】この発明による音声処理方法を実行することができる音声処理装置の一実施例を説明するためのブロック図。
【図２】図１の動作を説明するためのタイミングチャート。
【図３】従来の技術を説明するためのブロック図。
【図４】従来から用いられている周波数領域で反響抑圧処理を実行するエコーキャンセラの構成及び動作を説明するためのブロック図。
【図５】図４に示した周波数分析部の内部の構成を説明するためのブロック図。
【図６】図４に示した周波数合成部の内部の構成を説明するためのブロック図。
【図７】モード選択手段を具備した符号器の構成及びその動作を説明するためのブロック図。
【図８】図７に示した符号器の動作を説明するためのフローチャート。
【図９】図４に示したエコーキャンセラと図７に示した符号器を組み合わせた構成を説明するためのブロック図。
【図１０】図９に示した構成の動作を説明するためのタイミングチャート。
【符号の説明】
Ｍ    マイクロホン              ２６、２７    スイッチ
ＳＰ    スピーカ          ２８−１〜２８−４    符号化部
２０    符号器                          ３０    復号器
２２    音声特徴分析部                ３０１    エコーキャンセラ
２３    モード決定部                  ４０１    周波数分析部
２４    符号送出部                    ４０３    周波数合成部
２５    バッファ部
【図１】
0004169320.tif 000002
【図２】
0004169320.tif 000003
【図３】
0004169320.tif 000004
【図４】
0004169320.tif 000005
【図５】
0004169320.tif 000006
【図６】
0004169320.tif 000007
【図７】
0004169320.tif 000008
【図８】
0004169320.tif 000009
【図９】
0004169320.tif 000010
【図１０】
0004169320.tif 000011