(57)【特許請求の範囲】
【請求項１】
入力信号を用いて、コアレイヤ符号化データを生成するコアレイヤ符号化手段と、
前記入力信号を用いて、前記コアレイヤ符号化データと併せて復号することにより復号信号の品質を改善する品質改善用符号化データと、前記コアレイヤ符号化データを消失した場合のデータ補償に使用される補償用符号化データと、を生成する拡張レイヤ符号化手段と、
前記入力信号が有声区間か否か、および、有声定常部であるか否かを示す音声モードを判定する判定手段と、
判定された前記音声モードに基づいて、前記品質改善用符号化データおよび前記補償用符号化データへのビット配分を行うビット配分手段と、
を具備するスケーラブル符号化装置。
【請求項２】
前記コアレイヤ符号化データと、前記品質改善用符号化データと、前記補償用符号化データと、前記品質改善用符号化データおよび前記補償用符号化データのビット配分を表わす拡張レイヤビット配分情報と、を多重化して送信する送信部、
をさらに具備する請求項１記載のスケーラブル符号化装置。
【請求項３】
前記品質改善用符号化データを用いて復号された復号信号に含まれる符号化誤差を算出する算出手段と、
算出された符号化誤差の大小に基づいて、前記品質改善用符号化データおよび前記補償用符号化データへのビット配分を行うビット配分手段と、
をさらに具備する請求項１記載のスケーラブル符号化装置。
【請求項４】
前記補償用符号化データによって補償されたデータに含まれる補償誤差を算出する算出手段と、
算出された補償誤差の大小に基づいて、前記品質改善用符号化データおよび前記補償用符号化データへのビット配分を行うビット配分手段と、
をさらに具備する請求項１記載のスケーラブル符号化装置。
【請求項５】
前記拡張レイヤ符号化手段は、
前記コアレイヤ符号化データの対象フレームよりも前記補償用符号化データの対象フレームを過去のフレームに設定する、
請求項１記載のスケーラブル符号化装置。
【請求項６】
前記拡張レイヤ符号化手段は、
前記補償用符号化データをより上位の拡張レイヤ符号化データに設定する、
請求項１記載のスケーラブル符号化装置。
【請求項７】
前記拡張レイヤ符号化手段は、
前記補償用符号化データを複数レイヤの拡張レイヤ符号化データに設定する、
請求項１記載のスケーラブル符号化装置。
【請求項８】
前記拡張レイヤ符号化手段は、
より重要な補償用符号化データをより下位の拡張レイヤ符号化データに設定する、
請求項７記載のスケーラブル符号化装置。
【請求項９】
請求項１記載のスケーラブル符号化装置を具備する通信端末装置。
【請求項１０】
請求項１記載のスケーラブル符号化装置を具備する基地局装置。
【請求項１１】
入力信号を用いて、コアレイヤ符号化データを生成するステップと、
前記入力信号を用いて、前記コアレイヤ符号化データと併せて復号することにより復号信号の品質を改善する品質改善用符号化データと、前記コアレイヤ符号化データを消失した場合のデータ補償に使用される補償用符号化データと、を生成するステップと、
前記入力信号が有声区間か否か、および、有声定常部であるか否かを示す音声モードを判定する判定ステップと、
判定された前記音声モードに基づいて、前記品質改善用符号化データおよび前記補償用符号化データへのビット配分を行うビット配分ステップと、
を具備するスケーラブル符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体通信システム等で使用されるスケーラブル符号化装置およびスケーラブル符号化方法に関し、特に、コアレイヤを含む低位レイヤのパケットロス耐性の改善に関するものである。
【背景技術】
【０００２】
ＩＰネットワーク等での音声通信において、ネットワーク上のトラフィック制御やマルチキャスト通信実現のために、スケーラブル機能、すなわち受信装置において一部の符号化データからでも、ある程度の品質の復号音声を得ることができる機能が望まれている。
【０００３】
このスケーラブル機能を有した音声符号化（スケーラブル音声符号化）においては、入力音声信号を階層的に符号化することにより、低位レイヤから高位レイヤまで複数に階層化された符号化データを生成し、これを伝送する。そして、受信装置では、低位レイヤから任意の高位レイヤまでの符号化データを用いて復号音声を得ることにより、段階的な品質の復号信号を得ることができ、より上位の階層まで含めた復号が可能であれば、復号音声もより高品質化する。ここで、拡張レイヤの符号化データは、コアレイヤの品質を改善するためのデータであるということができる。
【０００４】
一方、伝送路においてフレーム消失が発生した場合、音声復号化装置において過去に受信したパラメータの外挿によりフレーム消失補償を行う技術がある。しかし、音声の立ち上がり区間等は、過去に受信したパラメータのみから推定することが困難であるため、外挿による補償方法のみで高いパケットロス耐性を実現することは現実的でない。
【０００５】
そこで、外挿以外に、補償処理用の冗長情報を予め送信時に追加しておく技術がある（特許文献１、２参照）。この補償情報から生成される補償用符号化データを別途送信することで、誤り耐性を高めることができる。
【０００６】
特許文献１に開示の技術は、現フレームを第１の符号化方法で符号化すると共に、その復号信号を用いて未来の信号を第２の符号化方法（サブコーデック）で符号化し、両者の符号化データを同時に送信している。そして、第１の符号化データを消失した場合には、以前に受信している第２の符号化データを用いて補償することにより高い誤り耐性を実現している。
【０００７】
特許文献２に開示の技術は、現フレームを第１の符号化方法で符号化し、未来のフレームに関してはピッチ等の周期性情報をパケット消失補償用に抽出して符号化し、両符号化データを同時に送信する。復号は特許文献１と同様に、現フレームの符号化データが消失した場合には、以前に受信している補償用の符号化データを用いて補償を行うことにより高い誤り耐性を実現している。
【０００８】
特許文献１および特許文献２では、現フレームとは異なる区間を対象とするサブコーデックの符号化データを補償用符号化データとして、現フレームの第１の符号化方式による符号化データと同時に送信している。これにより、現フレームの符号化データが消失した場合でも、これらの補助情報を使った補償を行うことで誤り耐性を強化している。
【特許文献１】特開２００２−２２１９９４号公報
【特許文献２】特開２００２−２６８６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、単にスケーラブルコーデックの既存の拡張レイヤの符号化データに補償用情報をさらに加えようとすると、拡張レイヤの伝送レートが大きくなるという問題がある。元々の拡張レイヤのデータに対する符号量を低下させ、その分、補償用符号化データに所定の符号量を固定で割り当てる方法も考えられる。しかし、逆にフレームロスが発生していないときでも音質劣化を引き起こすという問題が発生する。
【００１０】
本発明の目的は、かかる点に鑑みてなされたものであり、符号量を大きく増加させずに、復号信号の品質を高め、かつ、データ消失時に充分な品質でデータを補償することができるスケーラブル符号化装置等を提供することである。
【課題を解決するための手段】
【００１１】
本発明のスケーラブル符号化装置は、入力信号を用いて、コアレイヤ符号化データを生成するコアレイヤ符号化手段と、前記入力信号を用いて、前記コアレイヤ符号化データと併せて復号することにより復号信号の品質を改善する品質改善用符号化データと、前記コアレイヤ符号化データを消失した場合のデータ補償に使用される補償用符号化データと、を生成する拡張レイヤ符号化手段と、前記入力信号が有声区間か否か、および、有声定常部であるか否かを示す音声モードを判定する判定手段と、判定された前記音声モードに基づいて、前記品質改善用符号化データおよび前記補償用符号化データへのビット配分を行うビット配分手段と、を具備する構成を採る。
【発明の効果】
【００１２】
本発明によれば、符号量を大きく増加させずに、復号信号の品質を高め、かつ、データ消失時に充分な品質でデータを補償することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図である。
【００１５】
本実施の形態に係るスケーラブル符号化装置は、コアレイヤ符号化部１０１、補償処理部１０２、拡張レイヤビット配分算出部１０３、補償情報符号化部１０４、拡張レイヤ符号化部１０５、拡張レイヤ符号化データ生成部１０６、および送信部１０７を備える。
【００１６】
本実施の形態に係るスケーラブル符号化装置には音声信号が入力され、各部が以下の動作を行うことにより、コアレイヤ符号化データと拡張レイヤ符号化データとが生成され、これらの符号化データを１パケット化した送信パケットを、対応する復号化装置へ出力する。なお、ここでは、第ｎフレームの音声信号が入力される場合を例にとって説明を行う。
【００１７】
コアレイヤ符号化部１０１は、入力信号の符号化を行い、第ｎフレームのコアレイヤ合
成信号、第ｎフレームのコアレイヤ符号化データ、第ｎフレームの内部情報の３種類の信号を生成する。具体的には、コアレイヤ合成信号に含まれる符号化歪みが最小となるような符号化処理が施され、最終的に得られるコアレイヤ合成信号と、このコアレイヤ合成信号を得るための符号化データ（コアレイヤ符号化データ）とが出力される。また、符号化を行う過程で必要となるコアレイヤ符号化部の内部情報（予測残差、合成フィルタの係数等）が出力される。コアレイヤ符号化データは送信部１０７へ出力され、コアレイヤ合成信号は拡張レイヤビット配分算出部１０３および拡張レイヤ符号化部１０５へ出力され、内部情報は補償処理部１０２へ出力される。
【００１８】
拡張レイヤ符号化部１０５の機能は、コアレイヤ符号化部１０１で生成したコアレイヤ合成信号と入力信号との差分、すなわちコアレイヤで符号化しきれなかった信号を符号化することによって、コアレイヤ符号化部１０１よりも高品質な符号化を行うことである。具体的には、拡張レイヤ符号化部１０５は、第ｎフレームのコアレイヤ合成信号と第ｎフレームのコアレイヤ符号化データとを用いて入力信号の符号化を行い、コアレイヤ符号化データを補助する符号化データ、すなわち復号装置においてコアレイヤ符号化データと併せて復号されることにより復号信号の品質を改善することができる品質改善用符号化データ（第ｎフレーム）を得る。この品質改善用符号化データは拡張レイヤ符号化データ生成部１０６へ出力される。拡張レイヤ符号化部１０５で生成される符号化データのビット数は、拡張レイヤビット配分算出部１０３から出力される後述の拡張レイヤビット配分情報によって指定される。拡張レイヤ符号化部１０５は、指定されたビット数に応じて符号化処理を切り替える。
【００１９】
拡張レイヤビット配分算出部１０３は、第ｎフレームの入力信号と、第ｎ−１フレームの補償信号と、第ｎフレームのコアレイヤ合成信号と、に基づいて拡張レイヤビット配分情報を生成し、この情報を補償情報符号化部１０４へ出力する。拡張レイヤビット配分算出部１０３におけるビット配分処理の詳細については後述する。
【００２０】
補償処理部１０２は、入力される内部情報およびコアレイヤ符号化データを内部メモリに保存しておき、第ｎ−２フレームの内部情報と、第ｎ−２フレームのコアレイヤ符号化情報とを用いて、第ｎ−１フレームの補償処理を行い、得られる第ｎ−１フレームの補償信号を拡張レイヤビット配分算出部１０３および補償情報符号化部１０４へ出力する。
【００２１】
補償情報符号化部１０４は、入力される第ｎフレームのコアレイヤ符号化データを内部メモリに保存しておき、１フレーム前の第ｎ−１フレームのコアレイヤ符号化データの中から一部のデータを抽出し、これを第ｎ−１フレームのコアレイヤに対する補償用符号化データとして拡張レイヤ符号化データ生成部１０６へ出力する。ここで、コアレイヤ符号化データの一部を選択するとは、例えば、コアレイヤ符号化データのうち、ピッチ情報のみを選択したり、ピッチ情報およびゲイン情報を選択したりすることである。補償情報符号化部１０４で生成される補償用符号化データのビット数は、拡張レイヤビット配分算出部１０３から出力される拡張レイヤビット配分情報によって指定される。なお、ｎフレームの符号化処理も行われているので、ｎフレームのコアレイヤ復号情報を用いてｎ−１フレームの補償情報の符号化を効率的に行う。例えば、差分量子化を行うとか、ｎ−２フレームの復号情報も用いて補間による予測を利用すること等も可能である。また、ｎ−１フレームの補償信号とｎ−１フレームのコアレイヤ合成信号（もしくは入力信号）との差分を符号化し、補償符号化データとして出力することも可能である。
【００２２】
拡張レイヤ符号化データ生成部１０６は、拡張レイヤビット配分算出部１０３から出力される拡張レイヤビット配分情報と、補償情報符号化部１０４から出力される第ｎ−１フレームの補償用符号化データと、拡張レイヤ符号化部１０５から出力される第ｎフレームの品質改善用符号化データと、を多重化し、第ｎフレームの拡張レイヤ符号化データとし
て送信部１０７へ出力する。
【００２３】
送信部１０７は、コアレイヤ符号化部１０１から第ｎフレームのコアレイヤ符号化データを、拡張レイヤ符号化データ生成部１０６から第ｎフレームの拡張レイヤ符号化データを取得し、これらを最終的な符号化データとして各々別の第ｎフレームの送信パケットに格納し、伝送路へ出力する。
【００２４】
なお、コアレイヤ符号化データを格納したパケットは、通信システムにおいて、拡張レイヤ符号化データを格納したパケットよりも高い優先度が割り当てられる優先制御が施される場合がある。この場合は、コアレイヤ符号化データを格納したパケットの方が伝送路において消失しにくくなる。
【００２５】
次いで、拡張レイヤビット配分算出部１０３において行われる、本実施の形態に係る拡張レイヤへのビット配分方法について説明する。
【００２６】
本実施の形態に係るビット配分方法は、具体的には、拡張レイヤの符号化データに対して図２に示すような複数通りの不均一なビット配分を行うビット配分モードを予め設定し、この中から１つのビット配分モードを選択し、選択したモードに従ってビット配分を行う。図中、ａ〜ｄは、各データに割り当てるビット量を示しており、各データとは補償用符号化データであったり品質改善用符号化データであったりする。この例では、ビット配分モードはモード１とモード２の２種類のみである。
【００２７】
拡張レイヤビット配分算出部１０３は、入力音声信号、コアレイヤ合成信号、および補償信号に基づいて、以下の３つの指標を求め、この結果に従ってビット配分モードを選択する。
１．入力音声信号の状態
２．品質改善用符号化データの復号信号に対する品質改善度合い
３．補償用符号化データによるデータ補償性能の程度
【００２８】
実際には、指標２と指標３は、指標１の結果に依存して変化するものであるので、拡張レイヤビット配分算出部１０３は、指標１〜３に基づいて、品質改善用符号化データと補償用符号化データのいずれに対しより多くのビットを割り当てると効果的であるかを総合的に判断することにより、ビット配分を適応的に決定する。
【００２９】
具体的には、拡張レイヤビット配分算出部１０３は、入力音声信号の状態として、入力音声信号の各フレームの音声モードを判定し、判定した音声モードの変化を基準に判断する。すなわち、入力音声信号が音声区間か否か、音声区間であれば有声部であるか無声部であるか、さらに有声部であれば有声定常部であるか否か、等の入力音声信号がどのような特徴を有する信号であるかを示す音声モードを求め、隣接フレーム間においてこの音声モードがどのように変化するかを基準とする。なお、本実施の形態では、予め複数の音声モードを定義しておき、そのうちの何れのモードに入力音声信号が該当するかを決定する。より詳細には、入力音声信号の線形予測係数、ピッチ、パワーの変動等を分析することによって音声モードは決定される。
【００３０】
また、拡張レイヤビット配分算出部１０３は、品質改善用符号化データの復号信号に対する品質改善度合いとして、コアレイヤの符号化処理によって得られるコアレイヤ合成信号に含まれる誤差（歪み）、すなわちコアレイヤ合成信号と入力音声信号との間の誤差を算出し、これを用いる。また、補償用符号化データによるデータ補償性能の程度として、補償用符号化データによって補償されたデータ（補償処理によって得られる補償信号）に含まれる補償誤差、すなわちコアレイヤ合成信号と補償信号との間の誤差を算出し、これ
を用いる。
【００３１】
図３は、上記の本実施の形態に係るビット配分方法を具体的に説明するための図である。ここでは、入力音声信号の状態を具体的に例示し、本実施の形態に係るビット配分がどのように行われるかを示す。この図では、上から下に向かって時間が進行するように表示されており、無音部から有声立ち上がり部を経て有声定常部に到るまでの一連の音声区間が示されている。
【００３２】
図３Ａは、補償の対象である第ｎ−１フレームの音声モード、および拡張レイヤの符号化対象である第ｎフレームの音声モードを示している。図３Ｂは、補償誤差量を示している。図３Ｃは、コアレイヤローカル復号信号と入力音声との誤差量、すなわち符号化誤差量を示している。図３Ｄは、図３Ａ〜図３Ｃの条件に基づいて決定される拡張レイヤビット配分情報（ビット配分モード）を示している。
【００３３】
ただし、以下の説明に於いて、隣接フレーム間の音声モードの変化を表現するために、ｎ−１フレームの状態とｎフレームの状態とを組にして表記することとし、例えば、ｎ−１フレームが無音モードで、ｎフレームも無音モードである場合、（無音、無音）と表記することとする。
【００３４】
ｎ＝１から順に説明する。ｎ＝１では音声モードは（無音、無音）であり、そして補償誤差、符号化誤差、共に誤差量が小さいことを示している。これら２種類の誤差量が双方とも小さい場合は、双方ともビット配分を少なくすることができ、予め割り当てられたトータルビットに対して任意のビット配分が可能である。この例では音声モードが無音であることを考慮しても、任意のビット配分が可能である。かかる場合、補償用の情報よりも品質改善用の情報を優先すれば良いと考えられるので、ここでは補償情報に割り当てるビットが少なくなる「モード２」を選択している。なお、２種類の誤差量が両方とも大きく、音声モードが（雑音、雑音）、つまり背景雑音区間である場合もこのケースに相当する。すなわちモード２を選択するケースに含まれる。ただし、（無音、無音）の場合は必ずしも音声モード情報がビット配分モードの決定に関与しないが、（雑音、雑音）の場合は音声モード情報がビット配分モードの決定に関して重要な役割を果たす。
【００３５】
ｎ＝２では、音声モードは（無音、立ち上がり）であり、補償誤差は小さいがコアレイヤ符号化誤差は大きいことを示している。補償誤差は小さくコアレイヤ符号化誤差が大きいので、補償用の情報よりも品質改善用の情報により多くのビットを割り当てる必要がある。したがって、ビット配分モードは「モード２」を選択する。このように、補償情報の符号化対象フレームと品質改善用情報の符号化対象フレームとが時間的にずれているために、双方の情報の符号化に必要なビット数の変化にずれが生じ、両者をトータルした場合のトータルビットレートの上昇を抑えることができる。本発明はこの点に着目している。
【００３６】
ｎ＝３では、音声モードは（立ち上がり、ピッチ変動中）の状態であり、補償誤差とコアレイヤ符号化誤差の双方が大きくなっている。したがって、トータルビット数が十分な量ある場合は、補償用情報にも品質改善用情報にも十分なビット数を配分できるように両者に均等なビット配分を行うことが考えられる。しかしながら、トータルビット数が十分でない場合は、どちらか一方を優先したほうがトータルの品質が良くなる場合がある。一般に立ち上がり区間は、外挿による補償は困難でかつ、その立ち上り区間以降の音声の品質に大きな影響を与えることが多い。つまり、そのような立ち上り区間が高品質に復号できていないと、後続の区間の符号化情報の意味がなくなるということである。このようなことはＣＥＬＰ符号化のように過去の符号化データを利用する高能率符号化において一般的に見られる現象である。したがって、ここではｎ＝３においては、多くのビットを補償用符号化データに割り当てることが必要になる。品質改善用符号化データとしても、音声
モードがピッチ変動中の場合は多くのビットを必要とするが、これよりも立ち上がり区間のデータが消失した場合のデメリットの方が大きいと判断し、補償用符号化データにより多くのビットを割り当てる。したがって、ビット配分モードとして「モード１」を選択する。
【００３７】
なお、音声モードが「立ち上がり」に該当するか否かによってビット配分を最終決定する効果は、以下のような場合にも得られる。すなわち、音声の立ち上がりに分類されるフレームでも、フレームの最初に立ち上がり区間が始まっている場合とフレーム末尾で立ち上がり区間が始まっている場合があり、前者と後者とでは補償誤差量に大きな差が出る場合も考えられる。後者において補償誤差量が小さくなり、結果として補償情報に割り当てるビット数は小さくすると判断された場合においても、立ち上がりフレームであることを考慮して補償情報に割り当てるビット数を大きくすると判定し直すことが可能となる。
【００３８】
ｎ＝４では、音声モードは（ピッチ変動中、有声定常）の状態であり、補償誤差は大きくコアレイヤ符号化誤差は小さくなっている。したがって、補償用情報へより多くのビットを配分し、品質改善用情報へのビット配分は少なくすれば良い。よって「モード１」を選択する。なお、この場合は必ずしも音声モードによらなくてもビット配分モードを決定することは可能である。
【００３９】
ｎ＝５では、音声モードは（有声定常、有声定常）の状態であり、補償誤差もコアレイヤ符号化誤差も小さくなっている。このとき、ｎ＝１と同様で、任意のビット配分が可能である。ここでは、有声定常の場合は、外挿による補償方法であっても補償が比較的容易であることから、補償用ビットに割り当てるビットは少なくても良いと判断し、品質改善用に多めにビットを割り当てる「モード２」を選択している。
【００４０】
このように、本実施の形態に係るスケーラブル符号化装置は、音声モード等に基づいて、補償用符号化データと品質改善用符号化データとに割り当てるビット配分を適応的に制御することにより、補償性能と品質改善性能とを両立させることができる。
【００４１】
図４は、実際にビット配分された後の拡張レイヤ符号化データのデータ構成を示す図である。
【００４２】
図４Ａおよび図４Ｂは、符号化データのデータ構成を表しており、ここでは、理解を助けるために、コアレイヤの符号化データも併せて表示している。そして、下段のデータがコアレイヤ符号化データを、上段のデータが拡張レイヤの符号化データを表している。なお、ここでは、コアレイヤと拡張レイヤとは同一のビット量とする。
【００４３】
図４Ａでは、ｎ−１フレームのコアレイヤ補償用符号化データは拡張レイヤに格納されている。ここで、入力信号の音声モードの変化等に応じて、コアレイヤ補償用符号化データと品質改善用符号化データとに割り当てられるビット量が制御されている。これは、図３におけるモード２に相当する。
【００４４】
一方、図４Ｂでも、コアレイヤ補償用符号化データは拡張レイヤに格納されているが、コアレイヤ補償用符号化データと品質改善用符号化データとに割り当てられるビット量は図４Ａとは逆の関係にある。これは、図３におけるモード１に相当する。
【００４５】
図４Ａおよび図４Ｂからわかるように、第ｎフレームの拡張レイヤ符号化データには、第ｎフレームの品質改善用符号化データと、第ｎ−１フレームの補償用符号化データと、拡張レイヤビット配分情報とが格納される。
【００４６】
図５は、上記の本実施の形態に係るスケーラブル符号化装置に対応する、本実施の形態に係るスケーラブル復号化装置の主要な構成を示すブロック図である。
【００４７】
本実施の形態に係るスケーラブル復号化装置は、受信部１５１、拡張レイヤデータ分割部１５２、コアレイヤ復号情報蓄積部１５３、スイッチ１５４、コアレイヤ復号音声生成部１５５、コアレイヤ補償情報復号化部１５６、品質改善用符号化データ蓄積部１５７、拡張レイヤ復号化部１５８、および加算部１５９を備え、本実施の形態に係るスケーラブル符号化装置から送信されたパケットを受信し、復号処理を施し、得られる復号音声を出力する。
【００４８】
受信部１５１は、受信パケットを受信し、コアレイヤ符号化データ、拡張レイヤ符号化データ、コアレイヤパケット消失情報、および拡張レイヤパケット消失情報を出力する。コアレイヤ符号化データはコアレイヤ復号情報蓄積部１５３へ、拡張レイヤ符号化データは拡張レイヤデータ分割部１５２へ出力される。また、コアレイヤパケット消失情報または拡張レイヤパケット消失情報は、各レイヤの符号化データにおいてパケット消失（パケットが受信できなかったり、パケットに誤りがあったり）があったことを示す情報である。よって、コアレイヤ符号化データを消失した場合は、コアレイヤパケット消失情報がコアレイヤ復号音声生成部１５５およびスイッチ１５４へ出力され、拡張レイヤ符号化データを消失した場合は、拡張レイヤパケット消失情報が拡張レイヤ復号化部１５８へ出力される。
【００４９】
拡張レイヤデータ分割部１５２は、拡張レイヤ符号化データを受信し、これから拡張レイヤビット配分情報、補償用符号化データ、および品質改善用符号化データを分割し、各々出力する。拡張レイヤビット配分情報は、コアレイヤ補償情報復号化部１５６およびコアレイヤ復号音声生成部１５５へ出力される。補償用符号化データは、コアレイヤ補償情報復号化部１５６へ出力される。品質改善用符号化データは品質改善用符号化データ蓄積部１５７へ出力される。
【００５０】
コアレイヤ復号情報蓄積部１５３は、受信部１５１からコアレイヤ符号化データを受信しこれを復号して、得られるコアレイヤ復号情報をスイッチ１５４へ出力すると共に内部メモリに蓄積する。このコアレイヤ復号情報は、補償用符号化データが対象としているフレームの復号データである。また、コアレイヤ復号情報蓄積部１５３は、スイッチ１５４へ出力したコアレイヤ復号情報よりも過去または未来のコアレイヤ復号情報をコアレイヤ補償情報復号化部１５６へ出力する。
【００５１】
コアレイヤ補償情報復号化部１５６は、補償用符号化データと拡張レイヤビット配分情報とを受信し、補償用符号化データを復号して、コアレイヤ補償情報をスイッチ１５４へ出力する。なお、本実施の形態に係るスケーラブル符号化装置からの補償情報に含まれなかったパラメータに関しては、コアレイヤ復号情報蓄積部１５３から過去または未来（復号前でかつ受信している符号化データから復号された情報）のコアレイヤ復号情報を用い、内挿等によって補間を行って、これらのパラメータを取得するようにしても良い。
【００５２】
スイッチ１５４は、コアレイヤ復号情報およびコアレイヤ補償情報が入力され、コアレイヤパケット消失情報に基づいて、コアレイヤ復号情報またはコアレイヤ補償情報のいずれかを選択し、これを出力する。具体的には、コアレイヤパケット消失情報に基づきコアレイヤ復号情報を消失していないと判断される場合は、コアレイヤ復号情報を選択し出力する。一方、コアレイヤパケット消失情報に基づきコアレイヤ復号情報を消失していると判断される場合には、コアレイヤ補償情報を選択し出力する。
【００５３】
コアレイヤ復号音声生成部１５５は、スイッチ１５４からコアレイヤ復号情報またはコ
アレイヤ補償情報が入力され、これを用いて復号音声の生成を行い、得られるコアレイヤ復号音声を出力する。
【００５４】
品質改善用符号化データ蓄積部１５７は、入力された品質改善用符号化データを蓄積し、補償用符号化データが対象としているフレームになった場合、このフレームの品質改善用符号化データを拡張レイヤ復号化部１５８へ出力する。
【００５５】
拡張レイヤ復号化部１５８は、拡張レイヤデータ分割部１５２で抽出された品質改善用符号化データを品質改善用符号化データ蓄積部１５７から取得し、拡張レイヤ復号音声を復号する。拡張レイヤパケット消失情報によって、復号対象のフレームの拡張レイヤ符号化データを消失していることを認識した場合は、何も出力しないか、または補償処理を行う。この補償処理は、過去のパラメータからパラメータを推定して復号等することにより行う。
【００５６】
加算部１５９は、コアレイヤ復号音声生成部１５５の出力であるコアレイヤ復号音声と、拡張レイヤ復号化部１５８の出力である拡張レイヤ復号音声とを加算し、加算後の信号をスケーラブル復号化装置の復号音声として出力する。
【００５７】
なお、コアレイヤパケット消失情報によってコアレイヤ符号化データおよび補償用符号化データの消失が判明した場合には、全パラメータの補償を行って復号処理を行う。コアレイヤ符号化データのみが消失し、コアレイヤ補償用符号化データを受信できた場合には、コアレイヤ補償用符号化データから得られるパラメータを用いて復号処理を行う。ただし、コアレイヤ補償用符号化データからは得られないパラメータがある場合には、そのパラメータを補償した上で復号処理を行う。
【００５８】
このように、本実施の形態に係るスケーラブル復号化装置は、上記構成を採ることにより、本実施の形態に係るスケーラブル符号化装置で生成された階層的な符号化データを復号することができる。
【００５９】
以上説明したように、本実施の形態によれば、拡張レイヤ符号化データは、品質改善用符号化データと消失補償用符号化データとからなる。すなわち、拡張レイヤ符号化データには、一定の品質を保つのに必要な品質改善用符号化データが含まれている。よって、コアレイヤの符号化データを消失した場合にも、充分な品質を維持した復号音声を得ることができる。また、消失が起こらなければ、拡張レイヤを受信することにより高品質な復号音声を得ることができる。
【００６０】
また、本実施の形態によれば、品質改善用符号化データとコアレイヤ補償用符号化データのビット量を、補償誤差量、コアレイヤ符号化誤差量、および入力音声信号の状態変化を用いてフレーム毎に決定する。これにより、ビットレートの増加を抑えつつ、復号信号の品質を高音質化し、かつ、パケット消失耐性能力を向上させることができる。
【００６１】
また、品質改善用に必要とされる品質改善用符号化データ量の変化と、消失補償に必要とされる消失補償用符号化データ量の変化と、の間に時間差があることに着目し、両者の符号化データに割り当てる符号量（ビットレート）を適応的に制御する。これにより、１フレームにおける符号化データの合計データ量を少なく抑えることができる。
【００６２】
また、本実施の形態によれば、コアレイヤ符号化が対象とするフレームよりも、コアレイヤ補償用符号の符号化対象フレームを過去のフレームとする。よって、スケーラブル復号装置では、ｎ−１フレームの補償処理をする際にｎフレームの符号化データを使用することとなり、補償性能を向上させることができる。
【００６３】
また、本実施の形態によれば、スケーラブル復号化装置における補償処理において、処理を１フレーム待って、消失フレーム前後の符号化データを用いて補償情報と合わせて補償処理を行うことにより、補償性能を向上させることができる。なお、元々の拡張レイヤの復号処理に起因するアルゴリズム遅延がコアレイヤのアルゴリズム遅延よりも大きい場合は、本実施の形態に係るスケーラブル復号装置が必要とする１フレームの遅延は、拡張レイヤのアルゴリズム遅延内に収まることとなるので、結局は、通常の復号処理と変わりがなく、全体的に見ると処理遅延はなくなる。
【００６４】
なお、図４において、拡張レイヤ符号化データのデータ構成の一例を示したが、拡張レイヤにおける補償用符号化データの配置は、別の配置としても良い。図６および図７は、拡張レイヤにおける補償用符号化データの配置のバリエーションを示す図である。
【００６５】
各図において、最下段のデータがコアレイヤ符号化データを表しており、これよりも上段のデータが複数の拡張レイヤの各レイヤの符号化データを表している。なお、ここでも、コアレイヤと拡張レイヤは同一のビット量としている。
【００６６】
図６は、品質改善用符号化データ＃１よりも品質改善用符号化データ＃２による品質改善に対する貢献度が小さい場合、品質改善用符号化データ＃２の情報量を削減し、その分、コアレイヤ補償用符号化データにより多くのビットを割り当てている例を示している。この例では、拡張レイヤビット配分情報は必ずしも全ての拡張レイヤに必要となるわけではない。
【００６７】
このように、コアレイヤ補償用の符号化データを、コアレイヤではなくて拡張レイヤに、しかも、より上位の拡張レイヤの符号化データに配置することにより、拡張レイヤによる品質改善効果が飽和しているような入力音声信号（区間）に対しては、補償用符号化データを追加することによる品質劣化が全くなくなる。
【００６８】
図７は、補償用符号化データとしてコアレイヤ符号化データをパラメータ毎に分割して格納するイメージであり、重要度の高いパラメータを下位レイヤに配置し、重要度が低くなるにつれて上位レイヤに配置することを示している。なお、ピッチやゲイン情報が複数ある場合は別々のレイヤに配置しても良いし、どのレイヤにも割り当てられないパラメータが存在しても良い。
【００６９】
このように、コアレイヤ補償用の符号化データを、複数の拡張レイヤに分割して配置し、重要な補償情報の符号化データほど、より下位の拡張レイヤに配置するようにする。これにより、複数のレイヤに分割しているので、１レイヤあたりの補償用符号化データのビット数が少なくなり、品質改善用符号化データ以外のデータを配置することによる品質劣化を抑えることができる。
【００７０】
なお、本実施の形態では、ビット配分を決定する際の基準として、入力信号の音声モード、コアレイヤの補償誤差、コアレイヤ符号化データの符号化誤差という３種類のパラメータの全てを使用する構成を例にとって説明したが、これらは１つのみを使用するようにしても良い。例えば、音声モードの判定結果のみに基づいて、ビット配分モードのいずれを使用するかを決定するような構成としても良い。
【００７１】
また、伝送路上の誤りを監視し、その誤り状態に応じてビット配分を決定するような構成としても良い。このとき、ビット配分と併せて、補償情報の拡張レイヤにおける配置も制御するような構成とする。すなわち、伝送路上の誤りが多い場合には、補償情報に割り当てるビット配分を増やし、かつ、より重要な補償情報をより下位レイヤに割り当てる等
の制御を行う。これにより、誤り耐性が向上し全体の音質を向上させることができる。
【００７２】
また、本実施の形態では、補償誤差として、コアレイヤ合成信号と補償信号との間の誤差を使用する構成を例にとって説明したが、入力音声信号と補償信号との間の誤差を使用する構成としても良い。
【００７３】
また、本実施の形態では、ビット配分の決定に、補償誤差、コアレイヤ符号化誤差、および入力音声信号の特徴情報という３種類のパラメータを使用する構成を例にとって説明したが、ビット配分の決定には、これら３種類以外のパラメータをさらに使用する構成としても良い。
【００７４】
また、本実施の形態では、拡張レイヤ符号化部１０５が指定されたビット数に応じて符号化処理を切り替える構成を例にとって説明したが、一定のビット数で符号化した符号化データの一部を出力する構成としても良い。
【００７５】
また、本実施の形態では、補償情報符号化部１０４がコアレイヤ符号化データを部分的に選択して補償用符号化データを生成する構成を例にとって説明したが、ｎ−１フレームの入力音声信号（またはｎ−１フレームのコアレイヤ合成信号）とｎ−１フレームの補償信号との間の誤差信号の符号化を行うことにより、補償用符号化データを生成する構成としても良い。
【００７６】
また、本実施の形態では、コアレイヤ符号化データと拡張レイヤ符号化データの両符号化データを別パケットで送信する構成を例にとって説明したが、適用する通信システムによっては、本実施の形態と同様に、両符号化データを別パケットとして送信しても良いし、両符号化データを同一パケットにまとめて送信しても良い。
【００７７】
以上、本発明の実施の形態について説明した。
【００７８】
なお、本発明に係るスケーラブル符号化装置等は、上記実施の形態に限定されず、種々変更して実施することが可能である。
【００７９】
また、本発明に係るスケーラブル符号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
【００８０】
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るスケーラブル符号化方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るスケーラブル符号化装置と同様の機能を実現することができる。
【００８１】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【００８２】
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
【００８３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Pr
ogrammable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００８４】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【００８５】
２００６年３月１７日出願の特願２００６−０７５５３５の日本出願に含まれる明細書、図面および要約書は、すべて本願に援用される。
【産業上の利用可能性】
【００８６】
本発明に係るスケーラブル符号化装置およびスケーラブル符号化方法は、移動体通信システムにおける通信端末装置、基地局装置等の用途に適用することができる。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図
【図２】実施の形態１に係るビット配分モードを示す図
【図３】実施の形態１に係るビット配分方法を具体的に説明するための図
【図４】拡張レイヤのデータ構成を示す図
【図５】実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図
【図６】拡張レイヤにおける補償用符号化データの配置のバリエーションを示す図
【図７】拡張レイヤにおける補償用符号化データの配置のバリエーションを示す図
【図１】
0005173795.tif 000002
【図２】
0005173795.tif 000003
【図３】
0005173795.tif 000004
【図４】
0005173795.tif 000005
【図５】
0005173795.tif 000006
【図６】
0005173795.tif 000007
【図７】
0005173795.tif 000008