(57)【特許請求の範囲】
【請求項１】
符号化された音声のスペクトル情報と音源情報を、フレーム単位に復号し、音声を再生する音声復号化方法において、符号が正しく復号できなかった事を検出した場合に、前のフレームの再生音声の状態を判定し、前のフレームの再生音声が有声の立ち上がりの場合、過去に正しく伝送された頻度が高いピッチ周期に対応するピッチ情報を選択することにより、過去のフレームの情報から現在のフレームについてのピッチ情報を求め、当該ピッチ情報に基づいて現在のフレームの音声を再生修復することを特徴とする音声復号化方法。
【請求項２】
符号化された音声のスペクトル情報と音源情報を、フレーム単位に復号し、音声を再生する音声復号化方法において、符号が正しく復号できなかった事を検出した場合に、前のフレームのスペクトルの低域のホルマント構造を保ち、高域のホルマントピークを抑制したスペクトルとなるように現在のフレームの音声を再生修復することを特徴とする音声復号化方法。
【請求項３】
符号化された音声の情報を復号し、音声を再生する音声復号化方法において、符号が正しく復号できなかった事を検出した場合に、再生する音声の状態を推定し、当該推定結果に応じて再生音声に雑音を重畳するとともに、重畳終わりには無音部分で徐々にパワーを減少させるように雑音のパワーを制御することを特徴とする音声復号化方法。
【請求項４】
符号が正しく復号できなかった事を検出した場合に、再生する音声の状態を推定し、当該推定結果に応じて再生音声に雑音を重畳するとともに、重畳終わりには無音部分で徐々にパワーを減少させるように雑音のパワーを制御することによって無音部分で雑音を出力しないことを特徴とする請求項３に記載の音声復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はディジタル信号に圧縮符号化された音声信号を復号化する復号化方法に関し、特に通信に適用する際に伝送路誤りによる品質劣化の少ない音声を再生するための音声復号化方法に関する。
【０００２】
【従来の技術】
従来、通信用の高能率音声符号化方法としては、符号励振線形予測符号化（Ｃｏｄｅ−Ｅｘｃｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ  ｃｏｄｉｎｇ  ：  ＣＥＬＰ）、多帯域励振符号化（Ｍｕｌｔｉ−Ｂａｎｄ  Ｅｘｃｉｔａｔｉｏｎ  ｃｏｄｉｎｇ  ：ＭＢＥ）といった手法が代表的である。それぞれの技術については、「Ｃｏｄｅ−ｅｘｃｉｔｅｄ  ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｏｎ  （ＣＥＬＰ）  ：Ｈｉｇｈ−ｑｕａｌｉｔｙ  ｓｐｅｅｃｈ  ａｔ  ８ｋｂｐｓ」（Ｍ．Ｒ．Ｓｈｒｏｅｄｅｒ  ａｎｄ  Ｂ．Ｓ．Ａｔａｌ著、ＩＣＡＳＳＰ’８５，  ｐｐ．９３７−９４０，  １９８５）、及び「Ａ  ｒｅａｌ−ｔｉｍｅ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ｏｆ  ｔｈｅ  ｉｍｐｒｏｖｅｄ  ＭＢＥ  ｓｐｅｅｃｈ  ｃｏｄｅｒ」（Ｍ．Ｓ．Ｂｒａｎｄｓｔｅｉｎ，  Ｐ．Ａ．Ｍｏｎｔａ，  Ｊ．Ｃ．Ｈａｒｄｗｉｃｋ  ａｎｄ  Ｊ．Ｓ．Ｌｉｍ  著、ＩＣＡＳＳＰ’９０，ｐｐ．５−８，  １９９０）に述べられている。
【０００３】
ここでは、ＣＥＬＰ系音声復号化について説明する。ＣＥＬＰ系音声復号化では、５〜５０ｍｓ程度を１フレームとして、そのフレームの音声をスペクトル情報と音源情報に分けて符号化された符号を入力し音声信号を復号化する。以下、ＣＥＬＰ系音声復号化について図５を用い説明する。
Ｓ２は符号化された音声信号の符号入力端子で、適応符号、雑音符号、線形予測パラメータの符号、ゲインの符号を入力する。２は復号化部、４は分離手段、Ｓ３は再生音声信号の出力端子である。復号化部２は線形予測パラメータ復号化手段１５、合成フィルタ１６、適応符号帳１７、雑音符号帳１８、ゲイン復号化手段１９より構成されている。
適応符号帳１７には過去の駆動音源ベクトルが記憶されており、適応符号に対応して過去の駆動音源ベクトルを周期的に繰り返した時系列ベクトルを出力する。
また、雑音符号帳１８は、例えばランダム雑音から生成した複数の時系列ベクトルが記憶されており、雑音符号に対応した時系列ベクトルを出力する。
【０００４】
復号化部２において、入力端子２に入力された音声符号は分離手段４により適応符号、雑音符号、線形予測パラメータの符号、ゲインの符号に分離される。線形予測パラメータ復号化手段１５は線形予測パラメータの符号から線形予測パラメータを復号化し、合成フィルタ１６の係数として設定する。次に、適応符号帳１７は、適応符号に対応して、過去の駆動音源ベクトルを周期的に繰り返した時系列ベクトルを出力し、また雑音符号帳１８は雑音符号に対応した時系列ベクトルを出力する。これらの時系列ベクトルは、ゲイン復号化手段１９でゲインの符号から復号化したそれぞれのゲインに応じて重み付けして加算され、その加算結果が駆動音源ベクトルとして合成フィルタ１６へ供給され出力音声Ｓ３が得られる。
【０００５】
ここで実際上移動体通信のような、符号誤りの発生する応用分野に適用される音声復号化方法では、誤り訂正符号化技術を用いて符号誤りによる符号化音声の品質劣化を押さえている。また誤りを訂正しきれない場合には、波形修復処理を行い、符号誤りの影響を押さえる工夫がなされている。
【０００６】
これまでの修復方法としては、次の２種類がある。すなわち一番目の修復方法は、「Ｃｈａｎｎｅｌ  ｃｏｄｉｎｇ  ｆｏｒ  ｄｉｇｉｔａｌ  ｓｐｅｅｃｈ  ｔｒａｎｓｍｉｓｓｉｏｎ  ｉｎ  ｔｈｅ  Ｊａｐａｎｅｓｅ  ｄｉｇｉｔａｌ  ｃｅｌｌｕｌａｒ  ｓｙｓｔｅｍ」（  Ｍ．Ｊ．ＭｃＬａｕｇｈｌｉｎ  著、電子情報通信学会無線通信システム研究会  ＲＣＳ９０−２７，  ｐｐ．４１−４５，  １９９０  ）に示すように、現在のフレームが符号誤りのあるフレームの場合に、過去のフレームのパラメータを繰り返し用いて再生音声を生成する、また再生音声のパワーを徐々に抑圧していく方法である。
【０００７】
また２番目の修復方法は、特開平６−１２０９５号公報に開示されているように、過去のフレーム、現在のフレーム及び将来のフレームのそれぞれの符号誤り検出情報を用い、各フレーム誤り検出状態に応じて現在のフレームの音声を再生修復するものである。この場合には、将来のフレームの情報も用いて補間を行うので、過去のフレームの情報のみを用いる場合に比較して、歪みの小さい補間を行うことができる。
【０００８】
また波形修復が十分に行えない場合にも、聴感上の音声品質を維持する伝送誤り補償方法として、特開平７−３６４９６号公報に開示されたものがある。これは、伝送誤りの状態により再生音声を出力せず、代わりに雑音信号を出力するものである。これにより、適当な波形修復が行えない場合にも、異音となることを避けることができる。
【０００９】
【発明が解決しようとする課題】
従来の符号誤りが発生した場合の波形修復方法では、過去のフレームのパラメータを繰り返して用いているが、まだ再生音声の品質が低いという問題があった。例えば有声の立ち上がりのフレームではピッチ周期性が非定常なため、必ずしも後続の有声定常部に適したピッチ情報のパラメータが伝送されてはいないことが多く、後続フレームで符号誤りが発生した場合、そのピッチ情報のパラメータを繰り返して用いても良好な再生音声は得られなかった。
【００１０】
また無声部でも局所的には周期性があるフレームがあり、これに後続する無声フレームで符号誤りが発生した場合、パラメータの繰り返しにより一定周期の信号が連続するため再生音声がブザー音となり、再生音声の品質劣化が大きかった。また符号誤りが発生したフレームで、前フレームのパラメータを繰り返して生成したスペクトルが不適当であった場合には、再生音声品質が大きく劣化していた。これは特に、高域に鋭いホルマントピークがある等、高域のパワーが大きい場合に、その高域での異音感が顕著となり、聴感上の劣化が大きかった。
【００１１】
また将来のフレームの情報も用いて補間を行う従来の波形修復方法では、修復のために現フレームの再生に必要な遅延が大きくなるとういう問題があった。この音声再生に必要な遅延が大きくなると、通信に適用した場合、自然な対話ができず、通話に支障を来たすので、遅延はできるだけ小さいことが望ましい。
また従来の符号誤りが発生して波形修復が十分に行えない場合にも、聴感上の音声品質を維持する伝送誤り補償方法では、再生音声と雑音信号を切り替えて出力している。しかし、音声から雑音あるいは雑音から音声への移行に不連続感が伴うため、これがかえって、聴感上の再生音声品質の劣化につながるという問題があった。さらに伝送誤りが発生した場合、常に雑音信号を出力しているため、本来は無音である部分でも雑音が出力され、これも聴感上の劣化につながっていた。
【００１２】
【課題を解決するための手段】
この発明の音声復号化方法は、符号化された音声のスペクトル情報と音源情報を、フレーム単位に復号し、音声を再生する音声復号化方法において、符号が正しく復号できなかった事を検出した場合に、前のフレームの再生音声の状態を判定し、その判定に応じて現在のフレームの音声を再生修復するようにした。
【００１３】
また、次の発明の音声復号化方法は、音源情報はピッチ情報を含み、前のフレームの再生音声が有声の立ち上がりの場合、過去のフレームの情報より現在のフレームについてのピッチ情報を求め、当該ピッチ情報に基づいて現在のフレームの音声を再生修復するようにした。
【００１４】
さらに次の発明の音声復号化方法は、前のフレームの再生音声が無声である場合、ピッチ周期性を抑制するように現在のフレームの音声を再生修復するようにした。
【００１５】
さらに次の発明の音声復号化方法は、符号化された音声のスペクトル情報と音源情報を、フレーム単位に復号し、音声を再生する音声復号化方法において、符号が正しく復号できなかった事を検出した場合に、前のフレームのスペクトルの低域のホルマント構造を保ち、高域のホルマントピークを抑制したスペクトルとなるように現在のフレームの音声を再生修復するようにした。
【００１６】
【００１７】
また次の発明の音声復号化方法は、符号化された音声の情報を復号し、音声を再生する音声復号化方法において、符号が正しく復号できなかった事を検出しその検出状態に応じて再生音声に雑音を重畳するようにした。
【００１８】
さらに次の発明の音声復号化方法は、符号が正しく復号できなかった事を検出し、その検出状態に応じて再生音声に重畳する雑音のパワーを制御するようにした。
【００１９】
さらに次の発明の音声復号化方法はさらに、再生する音声の状態を推定し、その推定結果に応じて再生音声に雑音を重畳するようにした。
【００２０】
さらに次の発明の音声復号化方法は、再生する音声の状態を推定し、その推定結果に応じて再生音声に重畳する雑音のパワーを制御するようにした。
【００２１】
【発明の実施の形態】
以下図面を参照しながら、この発明の実施の形態について説明する。
【００２２】
実施の形態１．
図５との対応部分に同一符号を付けた図１は、この発明による音声復号化方法の実施の形態１の構成を示し、図中３０は符号の伝送誤りが検出された場合に線形予測パラメータを修復する線形予測パラメータ修復手段、３１は再生音声を分析して前フレームが有声の立ち上がりか否かを判定する立ち上がり判定手段、３２は再生音声を分析しピッチを求めるピッチ抽出手段、３３は符号の伝送誤りが検出された場合に適応符号を修復する適応符号修復手段である。また３４は再生音声を分析して前フレームが無声か否かを判定する無声判定手段、３５は符号の伝送誤りが検出された場合にゲインを修復するゲイン修復手段、３６は符号の伝送誤り検出状況に応じて再生音声のパワーを制御する再生音声パワー制御手段である。さらに３７は符号の伝送誤りが検出された場合に現フレームの音声の状態を推定する音声状態推定手段、３８は雑音信号を生成する雑音生成手段、３９は符号の伝送誤り検出状況に応じて雑音信号のパワーを制御する雑音パワー制御手段である。
【００２３】
復号化部２において、線形予測パラメータ復号化手段１５は線形予測パラメータの符号から線形予測パラメータを復号化する。線形予測パラメータ修復手段３０は、符号の伝送誤りが検出されていないフレームでは復号化された線形予測パラメータを、伝送誤りが検出されたフレームでは前フレームで復号化された線形予測パラメータから、低域のホルマント構造を保ち、高域のホルマントピークを抑制したスペクトルとなるような線形予測パラメータを、例えば線形予測パラメータを線スペクトル対パラメータとして表したときに、その低域のパラメータのみを用いるとして求め、合成フィルタ１６の係数として設定する。図２に前フレームの線形予測パラメータが表すスペクトル包絡と、線形予測パラメータ修復処理によりその低域の構造を保ち高域を抑制したスペクトル包絡の例を示す。
【００２４】
立ち上がり判定手段３１は符号の伝送誤りが検出されたフレームで、前フレームの再生音声を分析して、前フレームが有声の立ち上がりであるか否かを判定し、判定結果をピッチ分析手段３２、適応符号修復手段３３に出力する。ここで、有声立ち上がりか否かの判定は、例えば前フレームにおいて、フレーム後半部の音声のパワーがフレーム前半部のそれと比較してある閾値以上大きい場合には有声の立ち上がりとする。ピッチ抽出手段３２は、符号の伝送誤りが検出されたフレームで、前フレームが有声立ち上がりと判定された場合に、過去の再生音声を分析して少なくとも１つ以上のピッチ周期の候補を抽出し、適応符号修復手段３３に出力する。
【００２５】
適応符号修復手段３３は、符号の伝送誤りが検出されていないフレームでは、分離手段４から入力される適応符号を、符号誤りが検出されても前フレームが有声立ち上がりではない場合には、前フレームの適応符号を、符号誤りが検出され、かつ前フレームが有声立ち上がりの場合には、前記ピッチ抽出手段３２から入力されたピッチ周期の候補の中から、例えば過去に正しく伝送された適応符号の出現頻度分布と比較し、出現頻度の高い符号に対応するピッチ周期に最も近いものを選択し、この選択されたピッチ周期に対応する適応符号を適応符号帳１７に出力する。適応符号帳１７は適応符号に対応して、過去の駆動音源ベクトルを周期的に繰り返した時系列ベクトルを出力する。図３（Ａ）にこの実施の形態１１における適応符号修復処理の例を、また図３（Ｂ）に従来の前フレームの適応符号を繰り返して用いる修復処理の例を示す。図に示すように、前フレームの適応符号に対応するピッチ周期が現フレームに不適な場合でも、過去のフレームの情報より現フレームに適したピッチ周期を求めることにより、良好な波形修復処理が可能であることが分かる。
【００２６】
雑音符号帳１８は雑音符号に対応した時系列ベクトルを出力する。ゲイン復号化手段１９はゲインの符号から、前記適応符号帳１７及び雑音符号帳１８より出力された時系列ベクトルに対するゲインを復号化する。無声判定手段３４は、符号の伝送誤りが検出されたフレームで、前フレームの再生音声を分析して、前フレームが無声であるか否かを判定し、判定結果をゲイン修復手段３５に出力する。ゲイン修復手段３５は、符号の伝送誤りが検出されていないフレームでは、ゲイン復号化手段１９から入力されたゲインを、符号誤りが検出され、かつ、前フレームが無声でない場合は前フレームのゲインを、符号誤りが検出され、かつ、前フレームが無声の場合は、前フレームのゲインに対し、適応符号帳からの時系列ベクトルに対するゲインをα倍、雑音符号帳からの時系列ベクトルに対するゲインをβ倍して出力する。ここでα、βは、例えば、０≦α＜β≦１とする。
【００２７】
適応符号帳１７、雑音符号帳１８からの各時系列ベクトルは、ゲイン修復手段３５から出力されたそれぞれのゲインに応じて重み付けして加算され、その加算結果を駆動音源ベクトルとして合成フィルタ１６へ供給され再生音声が得られる。再生音声パワー制御手段３６は、符号の伝送誤り検出状況に応じて、例えば誤りが連続するに従い徐々に抑圧量を強めるとして、再生音声のパワーを抑圧する。音声状態推定手段３７は、符号の伝送誤りが検出された場合に、過去の再生音声及び現フレームの線形予測パラメータの符号から現フレームの有音／無音を判定し、その判定結果を雑音生成手段３８に出力する。
【００２８】
雑音生成手段３８は、符号の伝送誤り検出状況及び音声状態判定手段３７から入力された有音／無音判定結果に応じて、例えば誤りが検出され、かつ、有音と推定されたフレームで雑音を生成する。雑音パワー制御手段３９は、例えば雑音の重畳始めは徐々にパワーを増大し、重畳終わりには徐々にパワーを減少させるとして、雑音のパワーを制御する。図４に再生音声及び雑音信号のパワー制御処理の例を示す。再生音声パワー制御手段３６から出力された再生音声と雑音パワー制御手段３９から出力された雑音は加算され、出力音声Ｓ３が得られる。
【００２９】
この実施の形態１によれば、符号が正しく復号できなかったことを検出した場合に、前のフレームの再生音声の状態を判定し、この判定に応じて現在のフレームの音声を再生修復することにより、遅延を増大することなく、伝送路誤りによる品質劣化の少ない音声を再生することができる。また、符号誤りが発生した場合に、再生する音声の状態に応じて、再生音声に雑音を重畳することにより、聴感上の音声品質を維持することができる。
【００３０】
実施の形態２．
上述の実施の形態１では、線形予測パラメータ修復手段３０において、伝送誤りが発生した際は常に前フレームの線形予測パラメータから高域のホルマントピークを抑制したスペクトルとなるような線形予測パラメータを求め、合成フィルタ１６の係数としているが、これに代え、前フレームの線形予測パラメータが表すスペクトルの高域に鋭いホルマントピークがある場合にのみ抑制処理を行い、その他の場合は、前フレームの線形予測パラメータをそのまま用いるとするなど、状態に応じて選択的に処理を行っても良い。
【００３１】
この実施の形態２によれば、線形予測パラメータの修復処理を行う際に、高域に鋭いホルマントピークがあり、聴感上の品質劣化につながる可能性が高い場合にのみその抑制処理を行い、その他の場合前フレームの線形予測パラメータを繰り返して用いるので、異音を発生すること無く合成音声の連続性が向上し、聴感上の音声品質を向上することができる。
【００３２】
実施の形態３．
上述の実施の形態１では、伝送誤り検出時前フレームが無声の場合、ゲイン修復手段３５においてゲインを調整することにより駆動音源ベクトルのピッチ周期性を抑制を実現しているが、これに代え、例えば適応符号帳からの時系列ベクトルを用いないとするなど、別の手段を用いてピッチ周期性の抑制を実現しても良い。この実施の形態３によれば、ピッチ周期性の抑制を適応符号帳からの時系列ベクトルを使用する／使用しないを切り替えるだけで良く、ゲインを調整してピッチ周期性を抑制する場合に比較し簡易に実現できる。
【００３３】
実施の形態４．
上述の実施の形態１では、音声状態推定手段３７で、過去の再生音声及び現フレームの線形予測パラメータの符号から現フレームの有音／無音を判定しているが、これに代え、適応符号やゲインの符号も判定のためのパラメータとして用いても良い。この実施の形態４によれば、過去の再生音声及び線形予測パラメータの符号からだけでなく、その他の情報も用いて有音／無音判定するので、より精度の高い判定が可能となる。
【００３４】
実施の形態５．
上述の実施の形態１では、ＣＥＬＰ系音声符号化に伝送誤り時の修復処理、雑音重畳処理を適用しているが、これに代え、ＭＢＥ系音声符号化をはじめ他の音声符号化方式に適用しても、同様に伝送誤り時の再生音声の聴感上の音声品質を向上することができる。
【００３５】
【発明の効果】
以上詳述したように、
【００３６】
この発明によれば、復号化方法で、符号が正しく復号できなかったことを検出した場合に、前のフレームの再生音声の状態を判定し、この判定に応じて現在のフレームの音声を再生修復するようにしたので、遅延を増大することなく効果的な再生修復処理ができ、伝送路誤りによる品質劣化の少ない音声を再生することができる。
【００３７】
またこの発明によれば、前フレームの再生音声が有声立ち上がりの場合、過去のフレームの情報より現在のフレームについてのピッチ情報を求め、このピッチ情報に基づいて現在のフレームの音声を再生修復するようにしたので、前フレームで伝送されたピッチ情報が現フレームには不適なものであっても、現フレームに適したピッチ周期を求めて再生音声を生成することができ、伝送誤りによる品質劣化の少ない音声を再生することができる。
【００３８】
またこの発明によれば、前フレームの再生音声が無声である場合、ピッチ周期性を抑制するように現在のフレームの音声を再生修復するようにしたので、無声である部分で不自然な周期性が発生することを回避することができ、伝送誤りによる品質劣化の少ない音声を再生することができる。
【００３９】
またこの発明によれば、符号が正しく復号できなかったことを検出した場合に前のフレームのスペクトルの低域のホルマント構造を保ち、高域のホルマントピークを抑制したスペクトルとなるように現在のフレームの音声を再生修復することにより、再生音声の連続性を保ちつつ高域の異音感を軽減することができ、伝送路誤りによる品質劣化の少ない音声を再生することができる。
【００４０】
またこの発明によれば、音声復号化方法で、符号が正しく復号できなかったことを検出し、この検出状態に応じて再生音声に雑音を重畳することにより、再生音声と雑音間の移行を滑らかにすることができ、また、本来有音である部分にのみ雑音を出力し、無音部分では雑音を出力しないので、聴感上の音声品質を維持することができる。
【図面の簡単な説明】
【図１】この発明による音声復号化方法の実施の形態１の構成を示すブロック図である。
【図２】実施の形態１におけるスペクトル修復処理の動作の説明に供する略線図である。
【図３】実施の形態１における適応符号修復処理の動作の説明に供する信号波形図である。
【図４】実施の形態１における再生音声及び雑音信号のパワー制御処理の一例の説明に供する略線図である。
【図５】従来のＣＥＬＰ系音声符号化復号化方法の全体構成を示すブロック図である。
【符号の説明】
２  復号化部
４  分離手段
１６  合成フィルタ
１７  適応符号帳
１８  雑音符号帳
１５  線形予測パラメータ復号化手段
１９  ゲイン復号化手段
３０  線形予測パラメータ修復手段
３１  立ち上がり判定手段
３２  ピッチ抽出手段
３３  適応符号修復手段
３４  無声判定手段
３５  ゲイン修復手段
３６  再生音声パワー制御手段
３７  音声状態推定手段
３８  雑音生成手段
３９  雑音パワー制御手段
【図１】
0003617503.tif 000002
【図２】
0003617503.tif 000003
【図３】
0003617503.tif 000004
【図４】
0003617503.tif 000005
【図５】
0003617503.tif 000006