(57)【特許請求の範囲】
【請求項１】
音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化装置において、
上記副情報の概形情報を計算する概形計算手段と、
上記概形情報を量子化して符号化する概形符号化手段と、
上記概形符号化手段における量子化誤差を計算する誤差計算手段と、
上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化手段とを備え、
上記概形符号化手段によって符号化された上記概形情報と上記誤差符号化手段によって符号化された上記量子化誤差とを出力し、
上記概形計算手段は、上記副情報を所定の単位ユニット毎にまとめ、上記単位ユニット毎の代表値を計算することにより当該副情報の概形を求める
符号化装置。
【請求項２】
上記概形符号化手段は、上記概形計算手段により計算された概形情報をベクトル量子化する請求項１記載の符号化装置。
【請求項３】
上記概形符号化手段は、概形情報符号化用の符号帳を予め用意し、量子化誤差が最小となる符号のインデックスを符号化する請求項２記載の符号化装置。
【請求項４】
上記概形符号化手段は、上記概形情報をゲインと形とに分けて符号化する請求項１記載の符号化装置。
【請求項５】
上記誤差計算手段は、上記副情報と上記概形符号化手段で符号化された概形情報との差分を計算する請求項１記載の符号化装置。
【請求項６】
上記誤差符号化手段は、上記量子化誤差に周波数に応じた所定の重み付けをして符号化する請求項１記載の符号化装置。
【請求項７】
上記副情報は、正規化情報及び／又は量子化精度情報である請求項１記載の符号化装置。
【請求項８】
上記誤差符号化手段による符号量と上記副情報を符号化する他の符号化方式による符号量とを比較する比較手段と、
上記比較手段による比較の結果、符号量の少ない方を選択する選択手段と
を備える請求項１記載の符号化装置。
【請求項９】
音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化方法において、
上記副情報の概形情報を計算する概形計算工程と、
上記概形情報を量子化して符号化する概形符号化工程と、
量子化誤差を計算する誤差計算工程と、
上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化工程とを有し、
上記概形符号化工程にて符号化された上記概形情報と上記誤差符号化工程にて符号化された上記量子化誤差とを出力し、
上記概形計算手工程では、上記副情報を所定の単位ユニット毎にまとめ、上記単位ユニット毎の代表値を計算することにより当該副情報の概形を求める
符号化方法。
【請求項１０】
符号化された音響信号及び／又は映像信号を復号する復号装置において、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号装置であって、
上記量子化誤差を復号する誤差復号手段と、
上記概形情報を復号する概形復号手段と、
復号された上記量子化誤差と上記概形情報とを合成する合成手段とを備え、
上記概形情報は、上記副情報を所定の単位ユニットにまとめ、上記単位ユニット毎の代表値を計算することにより求められたものである
復号装置。
【請求項１１】
上記概形情報は、上記符号化装置にてベクトル量子化されたものである請求項１０記載の復号装置。
【請求項１２】
上記概形情報は、ゲインと形とに分けて符号化されている請求項１０記載の復号装置。
【請求項１３】
上記量子化誤差は、上記副情報と符号化された上記概形情報との差分である請求項１０記載の復号装置。
【請求項１４】
上記量子化誤差は、周波数に応じた所定の重み付けをして符号化されている請求項１０記載の復号装置。
【請求項１５】
上記副情報は、正規化情報及び／又は量子化精度情報である請求項１０記載の復号装置。
【請求項１６】
符号化された音響信号及び／又は映像信号を復号する復号方法において、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号方法であって、
上記量子化誤差を復号する誤差復号工程と、
上記概形情報を復号する概形復号工程と、
復号された上記量子化誤差と上記概形情報とを合成する合成工程とを有し、
上記概形情報は、上記副情報を所定の単位ユニットにまとめ、上記単位ユニット毎の代表値を計算することにより求められたものである
復号方法。
【請求項１７】
音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化プログラムにおいて、
上記副情報の概形情報を計算する概形計算工程と、
上記概形情報を量子化して符号化する概形符号化工程と、
量子化誤差を計算する誤差計算工程と、
上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化工程とを有し、
上記概形符号化工程にて符号化された上記概形情報と上記誤差符号化工程にて符号化された上記量子化誤差とを出力し、
上記概形計算手工程では、上記副情報を所定の単位ユニット毎にまとめ、上記単位ユニット毎の代表値を計算することにより当該副情報の概形を求める
符号化プログラム。
【請求項１８】
符号化された音響信号及び／又は映像信号を復号する復号プログラムにおいて、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号プログラムであって、
上記量子化誤差を復号する誤差復号工程と、
上記概形情報を復号する概形復号工程と、
復号された上記量子化誤差と上記概形情報とを合成する合成工程とを有し、
上記概形情報は、上記副情報を所定の単位ユニットにまとめ、上記単位ユニット毎の代表値を計算することにより求められたものである
復号プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラムに関し、特に、音響信号等のディジタルデータを高能率符号化して、伝送又は記録媒体に記録し、復号側でこれを受信又は再生して復号する符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラムに関する。
【０００２】
【従来の技術】
従来より、ディジタルオーディオ信号或いは音声信号等を高能率符号化する手法としては、例えば帯域分割符号化（サブバンドコーディング）等に代表される非ブロック化周波数帯域分割方式や、変換符号化等に代表されるブロック化周波数帯域分割方式などが知られている。
【０００３】
非ブロック化周波数帯域分割方式では、時間軸上のオーディオ信号を、ブロック化せずに複数の周波数帯域に分割して符号化を行う。また、ブロック化周波数帯域分割方式では、時間軸上の信号を周波数軸上の信号に変換（スペクトル変換）して複数の周波数帯域に分割して、すなわち、スペクトル変換して得られる係数を所定の周波数帯域毎にまとめて、各帯域毎に符号化を行う。
【０００４】
また、符号化効率をより向上させる手法として、上述の非ブロック化周波数帯域分割方式とブロック化周波数帯域分割方式とを組み合わせた高能率符号化の手法も提案されている。この手法によれば、例えば、帯域分割符号化で帯域分割を行った後、各帯域毎の信号を周波数軸上の信号にスペクトル変換し、このスペクトル変換された各帯域毎に符号化が行われる。
【０００５】
ここで、周波数帯域分割を行う際には、処理が簡単であり、且つ、折り返し歪みが消去されることから、例えば、ＱＭＦ（Quadrature Mirror Filter）が用いられることが多い。なお、ＱＭＦによる周波数帯域分割の詳細については、「1976R.E.Crochiere, Digital coding of speech in subbands, Bell Syst. Tech. J.Vol.55, No.8 1976」等に記載されている。
【０００６】
また、帯域分割を行う手法としてこの他に、例えば、等バンド幅のフィルタ分割手法であるＰＱＦ（Polyphase Quadrature Filter）等がある。このＰＱＦの詳細については、「ICASSP 83 BOSTON, Polyphase Quadrature filters - A new subband coding technique, Joseph H. Rothweiler」等に記載されている。
【０００７】
一方、上述したスペクトル変換としては、例えば、入力オーディオ信号を所定単位時間のフレームでブロック化し、ブロック毎に離散フーリエ変換（Discrete Fourier Transformation:DFT）、離散コサイン変換（Discrete Cosine Transformation:DCT）、改良ＤＣＴ変換（Modified Discrete Cosine Transformation:MDCT）等を行うことで時間軸信号を周波数軸信号に変換するものがある。
【０００８】
なお、ＭＤＣＴについては、「ICASSP 1987, Subband/Transform Coding Using Filter Bank Designs Based on Time Domain Aliasing Cancellation, J.P.Princen, A.B.Bradley, Univ. of Surrey Royal Melbourne Inst. of Tech.」等に、その詳細が記載されている。
【０００９】
このようにフィルタやスペクトル変換によって得られる帯域毎の信号を量子化することにより、量子化雑音が発生する帯域を制御することができ、これによりマスキング効果等の性質を利用して聴覚的により高能率な符号化を行うことができる。また、量子化を行う前に各帯域毎の信号成分を、例えばその帯域における信号成分の絶対値の最大値で正規化するようにすれば、さらに高能率な符号化を行うことができる。
【００１０】
帯域分割を行う際の各周波数帯域の幅は、例えば、人間の聴覚特性を考慮して決定される。すなわち一般的には、例えば、臨界帯域（クリティカルバンド）と呼ばれている、高域ほど幅が広くなるような帯域幅で、オーディオ信号を複数（例えば３２バンドなど）の帯域に分割することがある。
【００１１】
また、各帯域毎のデータを符号化する際には、各帯域毎に所定のビット配分、或いは各帯域毎に適応的なビット割当（ビットアロケーション）が行われる。すなわち、例えば、ＭＤＣＴ処理されて得られた係数データをビットアロケーションによって符号化する際には、ブロック毎の信号をＭＤＣＴ処理して得られる各帯域のＭＤＣＴ係数データに対して、適応的にビット数が割り当てられて符号化が行われる。
【００１２】
ビット割当手法としては、例えば、各帯域毎の信号の大きさに基づいてビット割当を行う手法（以下、適宜第１のビット割当手法という。）や、聴覚マスキングを利用することで各帯域毎に必要な信号対雑音比を得て固定的なビット割当を行う手法（以下、適宜第２のビット割当手法という。）等が知られている。
【００１３】
なお、第１のビット割当手法については、例えば、「Adaptive Transform Coding of Speech Signals, R.Zelinski and P.Noll, IEEE Transactions of Accoustics, Speech and Signal Processing, vol.ASSP-25, No.4, August 1977」等にその詳細が記載されている。
【００１４】
また、第２のビット割当手法については、例えば、「ICASSP 1980, The critical band coder digital encoding of the perceptual requirements of the auditory system, M.A.Kransner MIT」等にその詳細が記載されている。
【００１５】
第１のビット割当手法によれば、量子化雑音スペクトルが平坦となり、雑音エネルギが最小となる。しかしながら、聴感覚的にはマスキング効果が利用されていないために、実際の聴感上の雑音感は最適にはならない。また、第２のビット割当手法では、ある周波数にエネルギーが集中する場合、例えば、サイン波等を入力した場合であっても、ビット割当が固定的であるために、特性値がそれほど良い値とはならない。
【００１６】
そこで、ビット割当に使用できる全ビットを、各小ブロック毎にあらかじめ定められた固定ビット割当パターン分と、各ブロックの信号の大きさに依存したビット配分を行う分とに分割して使用し、その分割比を入力信号に関係する信号に依存させる、すなわち、例えば、その信号のスペクトルが滑らかなほど固定ビット割当パターン分への分割比率を大きくする高能率符号化装置が提案されている。
【００１７】
この方法によれば、サイン波入力のように特定のスペクトルにエネルギーが集中する場合には、そのスペクトルを含むブロックに多くのビットが割り当てられ、これにより全体の信号対雑音特性を飛躍的に改善することができる。一般に、急峻なスペクトル成分を持つ信号に対して人間の聴覚は極めて敏感であるため、上述のようにして信号対雑音特性を改善することは、単に測定上の数値を向上させるばかりでなく、聴感上の音質を改善するのにも有効である。
【００１８】
ビット割当の方法としては、この他にも数多くの方法が提案されており、さらに聴覚に関するモデルが精緻化され、符号化装置の能力が向上すれば、聴覚的な観点からより高能率な符号化が可能となる。
【００１９】
波形信号をスペクトルに変換する方法としてＤＦＴやＤＣＴを使用した場合には、Ｍ個のサンプルからなる時間ブロックで変換を行うと、Ｍ個の独立な実数データが得られる。しかしながら通常は、時間ブロック（フレーム）間の接続歪みを軽減するために、１つのブロックは両隣のブロックとそれぞれ所定の数Ｍ１個のサンプルずつオーバーラップさせて構成されるので、ＤＦＴやＤＣＴを利用した符号化方法では、平均して（Ｍ−Ｍ１）個のサンプルに対してＭ個の実数データを量子化して符号化することになる。
【００２０】
また、時間軸上の信号をスペクトルに変換する方法としてＭＤＣＴを使用した場合には、両隣のブロックとＭ個ずつオーバーラップさせた２Ｍ個のサンプルから、独立なＭ個の実数データが得られる。従ってこの場合には、平均してＭ個のサンプルに対してＭ個の実数データを量子化して符号化することになる。この場合、復号装置においては、上述のようにしてＭＤＣＴを用いて得られる符号から、各ブロックにおいて逆変換を施して得られる波形要素を互いに干渉させながら加え合わせることにより、波形信号が再構成される。
【００２１】
一般に、変換のための時間ブロック（フレーム）を長くすることによって、スペクトルの周波数分解能が高まり、特定のスペクトル成分にエネルギーが集中する。従って、両隣のブロックと半分ずつオーバーラップさせて長いブロック長で変換を行い、しかも得られたスペクトル信号の個数が元の時間サンプルの個数に対して増加しないＭＤＣＴを使用する場合、ＤＦＴやＤＣＴを使用した場合よりも効率のよい符号化を行うことが可能となる。また、隣接するブロック同士に充分長いオーバーラップを持たせることによって、波形信号のブロック間歪みを軽減することもできる。
【００２２】
実際の符号列を構成するに際しては、まず正規化及び量子化が行われる帯域毎に、量子化を行うときの量子化ステップを表す情報である量子化精度情報と各信号成分を正規化するのに用いた係数を表す情報である正規化情報とを所定のビット数で符号化し、次に正規化及び量子化されたスペクトル信号を符号化する。
【００２３】
ここで、例えば、「IDO/IEC 11172-3:1993(E), 1993」には、帯域によって量子化精度情報を表すビット数が異なるように設定された高能率符号化方式が記述されており、これによれば、高域の帯域ほど量子化精度情報を表すビット数が小さくなるように規格化されている。
【００２４】
図１６に、例えばオーディオ信号を周波数帯域分割して符号化する従来の符号化装置の構成の一例を示す。符号化すべきオーディオ信号は、帯域分割部１０１に入力され、例えば、４つの周波数帯域の信号に帯域分割される。
【００２５】
ここで、帯域分割部１０１では、上述したＱＭＦ又はＰＱＦ等のフィルタを用いて帯域分割を行うようにすることもでき、また、ＭＤＣＴ等のスペクトル変換を行い、その結果得られるスペクトル信号を帯域毎にグループ化することにより、帯域分割を行うようにすることもできる。
【００２６】
なお、帯域分割部１０１でオーディオ信号を帯域分割するときの各帯域（以下、適宜、符号化ユニットという。）の幅は、均一であっても、また臨界帯域幅に合わせるように不均一にしてもよい。また、オーディオ信号は、４つの符号化ユニットに分割されるようになされているが、符号化ユニットの数は、これに限定されるものではない。
【００２７】
４つの符号化ユニット（以下、適宜、４つの符号化ユニットそれぞれを、第１〜第４の符号化ユニットという。）に分解された信号は、所定の時間ブロック（フレーム）毎に、量子化精度決定部１０３に供給される。さらに、第１〜第４の符号化ユニットの信号は、正規化部１０２１〜１０２４にも、それぞれ供給される。
【００２８】
正規化部１０２１〜１０２４は、入力された第１〜第４の符号化ユニットの信号それぞれを構成する各信号成分から絶対値が最大のものを抽出し、この値に対応する係数を第１〜第４の符号化ユニットの正規化係数とする。そして、正規化部１０２１〜１０２４では、第１〜第４の符号化ユニットの信号を構成する各信号成分が、第１〜第４の符号化ユニットの正規化係数に対応する値でそれぞれ正規化される（除算される）。従って、この場合、正規化により得られる被正規化データは、−１．０〜１．０の範囲の値となる。
【００２９】
被正規化データは、正規化部１０２１〜１０２４から量子化部１０４１〜１０４４にそれぞれ出力される。また、第１〜第４の符号化ユニットの正規化係数は、正規化部１０２１〜１０２４それぞれからマルチプレクサ１０５に出力される。
【００３０】
量子化部１０４１〜１０４４には、正規化部１０２１〜１０２４それぞれから第１〜第４の符号化ユニットの被正規化データが供給されるほか、量子化精度決定部１０３から第１〜第４の符号化ユニットの被正規化データを量子化する際の量子化ステップを指示するための量子化精度情報も供給されるようになされている。
【００３１】
すなわち、量子化精度決定部１０３は、帯域分割部１０１からの第１〜第４の符号化ユニットの信号に基づいて、第１〜第４の符号化ユニットの被正規化データそれぞれを量子化する際の量子化ステップを決定する。そして、その量子化ステップに対応する第１〜第４の符号化ユニットの量子化精度情報を、量子化部１０４１〜１０４４にそれぞれ出力するとともに、マルチプレクサ１０５にも出力する。
【００３２】
量子化部１０４１〜１０４４では、第１〜第４の符号化ユニットの被正規化データが、第１〜第４の符号化ユニットの量子化精度情報に対応する量子化ステップでそれぞれ量子化されることにより符号化され、その結果得られる第１〜第４の符号化ユニットの量子化係数が、マルチプレクサ１０５に出力される。マルチプレクサ１０５では、第１〜第４の符号化ユニットの量子化係数、量子化精度情報、及び正規化情報が必要に応じて符号化された後、多重化される。そして、その結果得られる符号化データは、伝送路を介して伝送され、或いは図示しない記録媒体に記録される。
【００３３】
なお、量子化精度決定部１０３において、量子化ステップの決定は、帯域分割して得られた信号に基づいて行うほか、例えば、正規化データに基づいて行ったり、また、マスキング効果等の聴覚現象を考慮して行うようにすることができる。
【００３４】
以上のような構成を備える符号化装置から出力される符号化データを復号する復号装置の構成の一例を図１７に示す。図１７において、符号化データは、デマルチプレクサ１２１に入力されて復号され、第１〜第４の符号化ユニットの量子化係数、量子化精度情報、及び正規化情報に分離される。第１〜第４の符号化ユニットの量子化係数、量子化精度情報、及び正規化情報は、それぞれの符号化ユニットに対応する信号成分構成部１２２１〜１２２４に供給される。
【００３５】
信号成分構成部１２２１では、第１の符号化ユニットの量子化係数が、第１の符号化ユニットの量子化精度情報に対応した量子化ステップで逆量子化され、これにより、第１の符号化ユニットの被正規化データとされる。さらに、信号成分構成部１２２１では、第１の符号化ユニットの被正規化データに、第１の符号化ユニットの正規化情報に対応する値が乗算され、これにより、第１の符号化ユニットの信号が復号されて帯域合成部１２３に出力される。
【００３６】
信号成分構成部１２２２〜１２２４においても同様の処理が行われ、これにより、第２〜第４の符号化ユニットの信号が復号されて帯域合成部１２３に出力される。帯域合成部１２３では、第１〜第４の符号化ユニットの信号が帯域合成され、これにより元のオーディオ信号が復元される。
【００３７】
【発明が解決しようとする課題】
ところで、図１６の符号化装置から図１７の復号装置に供給（伝送）される符号化データには、量子化精度情報が含まれているため、復号装置において使われる聴覚モデルは任意に設定することができる。すなわち、符号化装置において各符号化ユニットに対する量子化ステップを自由に設定することができ、符号化装置の演算能力の向上や聴覚モデルの精緻化に伴って、復号装置を変更することなく音質の改善や圧縮率の向上を図ることができる。
【００３８】
しかしながらこの場合、量子化精度情報そのものを符号化するためのビット数が大きくなり、全体の符号化効率をある値以上に向上させるのが困難であった。
【００３９】
そこで、量子化精度情報を直接符号化する代わりに、復号装置において、例えば正規化情報から量子化精度情報を決定する方法があるが、この方法では、規格を決定した時点で正規化情報と量子化精度情報の関係が決まってしまうため、将来的にさらに高度な聴覚モデルに基づいた量子化精度の制御を導入することが困難になるという問題がある。また、実現する圧縮率に幅がある場合には、圧縮率毎に正規化情報と量子化精度情報との関係を定める必要が生じる。
【００４０】
本発明は，このような従来の実情に鑑みて提案されたものであり、符号化装置における量子化ステップの自由な設定を可能としながら、直接の符号化の対象となるオーディオ信号等の主情報及び直接の符号化の対象ではない量子化精度情報や正規化情報等の副情報の符号化効率をより向上させることを可能とする符号化装置及びその方法、復号装置及びその方法、並びに符号化プログラム及び復号プログラムを提供することを目的とする。
【００４１】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る符号化装置は、音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化装置において、上記副情報の概形情報を計算する概形計算手段と、上記概形情報を量子化して符号化する概形符号化手段と、上記概形符号化手段における量子化誤差を計算する誤差計算手段と、上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化手段とを備え、上記概形符号化手段によって符号化された上記概形情報と上記誤差符号化手段によって符号化された上記量子化誤差とを出力し、上記概形計算手段は、上記副情報を所定の単位ユニット毎にまとめ、上記単位ユニット毎の代表値を計算することにより当該副情報の概形を求める。
【００４２】
このような符号化装置は、音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、また、その量子化誤差を情報を失うことなくロスレスで符号化する。
【００４３】
また、上述した目的を達成するために、本発明に係る符号化方法は、音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化方法において、上記副情報の概形情報を計算する概形計算工程と、上記概形情報を量子化して符号化する概形符号化工程と、量子化誤差を計算する誤差計算工程と、上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化工程とを有し、上記概形符号化工程にて符号化された上記概形情報と上記誤差符号化工程にて符号化された上記量子化誤差とを出力し、上記概形計算手工程では、上記副情報を所定の単位ユニット毎にまとめ、上記単位ユニット毎の代表値を計算することにより当該副情報の概形を求める。
【００４４】
このような符号化方法では、音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報が量子化されて符号化され、また、その量子化誤差が情報を失うことなくロスレスで符号化される。
【００４５】
また、上述した目的を達成するために、本発明に係る復号装置は、符号化された音響信号及び／又は映像信号を復号する復号装置において、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号装置であって、上記量子化誤差を復号する誤差復号手段と、上記概形情報を復号する概形復号手段と、復号された上記量子化誤差と上記概形情報とを合成する合成手段とを備え、上記概形情報は、上記副情報を所定の単位ユニットにまとめ、上記単位ユニット毎の代表値を計算することにより求められたものである。
【００４６】
このような復号装置は、符号化装置において音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化した副情報を入力し、副情報の量子化誤差と概形情報とを復号して合成する。
【００４７】
また、上述した目的を達成するために、本発明にかかる復号方法は、符号化された音響信号及び／又は映像信号を復号する復号方法において、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号方法であって、上記量子化誤差を復号する誤差復号工程と、上記概形情報を復号する概形復号工程と、復号された上記量子化誤差と上記概形情報とを合成する合成工程とを有し、上記概形情報は、上記副情報を所定の単位ユニットにまとめ、上記単位ユニット毎の代表値を計算することにより求められたものである。
【００４８】
このような復号方法では、符号化装置において音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化した副情報が入力され、副情報の量子化誤差と概形情報とが復号されて合成される。
【００４９】
また、上述した目的を達成するために、本発明に係る符号化プログラムは、音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化プログラムにおいて、上記副情報の概形情報を計算する概形計算工程と、上記概形情報を量子化して符号化する概形符号化工程と、量子化誤差を計算する誤差計算工程と、上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化工程とを有し、上記概形符号化工程にて符号化された上記概形情報と上記誤差符号化工程にて符号化された上記量子化誤差とを出力し、上記概形計算手工程では、上記副情報を所定の単位ユニット毎にまとめ、上記単位ユニット毎の代表値を計算することにより当該副情報の概形を求める。
【００５０】
このような符号化プログラムは、音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化する。
【００５１】
また、上述した目的を達成するために、本発明に係る復号プログラムは、符号化された音響信号及び／又は映像信号を復号する復号プログラムにおいて、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号プログラムであって、上記量子化誤差を復号する誤差復号工程と、上記概形情報を復号する概形復号工程と、復号された上記量子化誤差と上記概形情報とを合成する合成工程とを有し、上記概形情報は、上記副情報を所定の単位ユニットにまとめ、上記単位ユニット毎の代表値を計算することにより求められたものである。
【００５２】
このような復号プログラムは、符号化装置において音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化した副情報を入力し、副情報の量子化誤差と概形情報とを復号して合成する。
【００５３】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、オーディオ信号等を高能率符号化して伝送し、復号側でこれを受信して復号する符号化装置及び復号装置に適用したものである。なお、以下では、オーディオ信号を高能率符号化するものとして説明を行うが、これに限定されるものではなく、例えば映像信号であっても構わない。
【００５４】
先ず、図１に本実施の形態における符号化装置１０の構成を示す。図１において、符号化すべきオーディオ信号は、帯域分割部１１に入力され、例えば、４つの周波数帯域の信号に帯域分割される。
【００５５】
ここで、帯域分割部１１では、ＱＭＦ（Quadrature Mirror Filter）又はＰＱＦ（Polyphase Quadrature Filter）等のフィルタを用いて帯域分割を行うようにすることもでき、また、ＭＤＣＴ（Modified Discrete Cosine Transformation）等のスペクトル変換を行い、その結果得られるスペクトル信号を帯域毎にグループ化することにより、帯域分割を行うようにすることもできる。
【００５６】
なお、帯域分割部１１でオーディオ信号を帯域分割するときの各帯域（以下、適宜、符号化ユニットという。）の幅は、均一であっても、また臨界帯域幅に合わせるように不均一にしてもよい。また、オーディオ信号は、４つの符号化ユニットに分割されるようになされているが、符号化ユニットの数は、これに限定されるものではない。
【００５７】
４つの符号化ユニット（以下、適宜、４つの符号化ユニットそれぞれを、第１〜第４の符号化ユニットという。）に分解された信号は、所定の時間ブロック（フレーム）毎に、量子化精度決定部１３に供給される。さらに、第１〜第４の符号化ユニットの信号は、正規化部１２１〜１２４にも、それぞれ供給される。
【００５８】
正規化部１２１〜１２４は、入力された第１〜第４の符号化ユニットの信号それぞれを構成する各信号成分から絶対値が最大のものを抽出し、この値に対応する係数を第１〜第４の符号化ユニットの正規化係数とする。そして、正規化部１２１〜１２４では、第１〜第４の符号化ユニットの信号を構成する各信号成分が、第１〜第４の符号化ユニットの正規化係数に対応する値でそれぞれ除算されることにより正規化される。従って、この場合、正規化により得られる被正規化データは、−１．０〜１．０の範囲の値となる。
【００５９】
被正規化データは、正規化部１２１〜１２４から量子化部１４１〜１４４にそれぞれ出力される。また、第１〜第４の符号化ユニットの正規化係数は、正規化部１２１〜１２４それぞれから正規化情報符号化部１６に出力され、後述するようにして符号化された後、マルチプレクサ１７に出力される。
【００６０】
量子化部１４１〜１４４には、正規化部１２１〜１２４それぞれから第１〜第４の符号化ユニットの被正規化データが供給されるほか、量子化精度決定部１３から第１〜第４の符号化ユニットの被正規化データを量子化する際の量子化ステップを指示するための量子化精度情報も供給されるようになされている。
【００６１】
すなわち、量子化精度決定部１３は、帯域分割部１１からの第１〜第４の符号化ユニットの信号に基づいて、第１〜第４の符号化ユニットの被正規化データそれぞれを量子化する際の量子化ステップを決定する。そして、その量子化ステップに対応する第１〜第４の符号化ユニットの量子化精度情報を、量子化部１４１〜１４４にそれぞれ出力するとともに、量子化精度情報符号化部１５にも出力する。量子化精度情報符号化部１５は、後述するようにして量子化精度情報を符号化した後、マルチプレクサ１７に出力する。
【００６２】
量子化部１４１〜１４４では、第１〜第４の符号化ユニットの被正規化データが、第１〜第４の符号化ユニットの量子化精度情報に対応する量子化ステップでそれぞれ量子化されることにより符号化され、その結果得られる第１〜第４の符号化ユニットの量子化係数が、マルチプレクサ１５に出力される。マルチプレクサ１７では、第１〜第４の符号化ユニットの量子化係数が符号化され、量子化精度情報符号化部１５で符号化された量子化精度情報、及び正規化情報符号化部１６で符号化された正規化情報と共に多重化される。そして、その結果得られる符号化データは、伝送路を介して伝送され、或いは図示しない記録媒体に記録される。
【００６３】
以上のように、本実施の形態における符号化装置１０では、直接の符号化の対象となる主情報であるオーディオ信号と直接の符号化の対象ではない副情報である量子化精度情報及び正規化情報とが別個に符号化される。
【００６４】
次に、上述した量子化精度情報符号化部１５の概念構成を図２に示す。なお、図１における符号化ユニットの数は４であったが、以下では、符号化ユニットの数を１２として説明を行う。
【００６５】
図２に示すように、概形抽出部２０は、上述した符号化ユニットに対応する各量子化ユニット毎の量子化精度情報を入力し、その概形を抽出し、概形符号化部２１に供給する。概形符号化部２１は、抽出された量子化精度情報の概形情報を量子化して符号化する。また、概形符号化部２１は、符号化された概形情報を残差信号計算部２２と共に図１のマルチプレクサ１７に供給する。
【００６６】
残差信号計算部２２は、概形符号化部２１における量子化誤差を計算し、残差信号符号化部２３に供給する。残差信号符号化部２３は、残差信号計算部２２から供給された量子化誤差を符号化し、量子化精度情報として図１のマルチプレクサ１７に供給する。
【００６７】
なお、概形抽出部２０において量子化精度情報の概形情報を抽出するには、種々の手法を用いることができるが、以下では、その一例として、ある単位量子化ユニット数ごとに代表値を求めて、それを量子化精度情報の概形とする手法を用いるものとして説明を行う。
【００６８】
以下、量子化精度情報符号化部１５の各部における詳しい処理について、図３乃至図６に示すフローチャートを用いて詳細に説明する。
【００６９】
先ず、図２の概形抽出部２０における処理を図３に示す。ここで、図３においてｉはカウンタの値、ＩＤＷＬは量子化精度情報、ｓｈａｐｅは量子化精度情報の代表値、Ｍは代表値を求める際に量子化精度情報をまとめる単位量子化ユニット数をそれぞれ表している。なお、Ｍの値は、符号化側と復号側とで整合が取れさえすればどのように決めてもよく、固定の値でも可変の値でも構わない。図３では、一例として固定の値を用いている。
【００７０】
先ずステップＳ１において、カウンタｉの値を０に初期化する。次にステップＳ２において、ある単位量子化ユニット数Ｍ毎に量子化精度情報の代表値を計算する。この代表値としては、最大値や平均値等を用いるのが一般的である。
【００７１】
続いてステップＳ３において、カウンタｉの値を１増やす。続くステップＳ４において、Ｍ＊ｉの値が全量子化ユニット数である１２未満であるか否かが判別される。Ｍ＊ｉの値が１２未満であれば、ステップＳ２に戻って処理を続ける。ステップＳ４において、Ｍ＊ｉの値が１２以上であれば、処理を終了する。
【００７２】
以上のようにして抽出された量子化精度情報の概形が、図２に示した概形符号化部２１において量子化、符号化される。
【００７３】
量子化精度情報の概形の量子化及び符号化についてのフローチャートを図４に示す。ここで、図４においてｉはカウンタの値、ｓｈａｐｅは概形ベクトル、ｑｓｈａｐｅ（ｉ）はｉ番目のインデックスにおける量子化概形ベクトル、ｅｒｒは概形ベクトルと量子化概形ベクトルの誤差（距離）、ｍｉｎは誤差の最小値、ｉｎｄｅｘは概形ベクトル量子化値のインデックス、ＣＢｓｉｚｅは量子化概形ベクトルのコードブックのサイズ（インデックスの数）をそれぞれ表している。
【００７４】
図４において、先ずステップＳ１１では、誤差最小値ｍｉｎを、概形ベクトルｓｈａｐｅと量子化概形ベクトルｑｓｈａｐｅ（０）の距離として初期化し、量子化概形ベクトルのインデックスｉｎｄｅｘを０に初期化する。ここで、量子化概形ベクトルｑｓｈａｐｅは、予め学習作成されコードブックとして保存されているものとする。
【００７５】
次にステップＳ１２において、カウンタｉの値を１に初期化し、ステップＳ１３において、概形ベクトルｓｈａｐｅと量子化概形ベクトルｑｓｈａｐｅ（ｉ）の量子化誤差ｅｒｒを計算する。
【００７６】
ステップＳ１４では、量子化誤差ｅｒｒが誤差最小値ｍｉｎ未満であるか否かが判別される。量子化誤差ｅｒｒが誤差最小値ｍｉｎ未満であれば、ステップＳ１５に進み、量子化誤差最小値ｍｉｎに量子化誤差ｅｒｒを代入し、量子化値インデックスｉｎｄｅｘにｉを代入する。ステップＳ１４において、量子化誤差ｅｒｒが誤差最小値ｍｉｎ未満でなければ、ステップＳ１６に進む。
【００７７】
ステップＳ１６では、カウンタｉの値を１増やし、ステップＳ１７では、カウンタｉの値がコードブックサイズＣＢｓｉｚｅ未満であるか否かが判別される。カウンタｉの値がコードブックサイズＣＢｓｉｚｅ未満であれば，ステップＳ１３に戻り処理を続ける。ステップＳ１７において、カウンタｉの値がコードブックサイズＣＢｓｉｚｅ未満でなければ、ステップＳ１８で量子化値インデックスｉｎｄｅｘを符号化して終了する。
【００７８】
このように、図２に示した概形符号化部２１では、コードブックの各インデックスにおける量子化概形ベクトルと概形ベクトルとの誤差（距離）を各インデックスについて計算し、その誤差が最小となるインデックスを符号化する。
【００７９】
図２に示す残差信号計算部２２では、図５に示すようにして量子化精度情報の残差信号を計算する。ここで、図５においてｉ及びｊはカウンタの値、ＩＤＷＬは量子化精度情報、ｑｓｈａｐｅは量子化概形ベクトル、ｉｎｄｅｘは量子化概形ベクトルのインデックス、ｒＩＤＷＬは量子化精度情報残差信号、Ｍは量子化精度情報をまとめる単位量子化ユニット数をそれぞれ表している。
【００８０】
図５において、先ずステップＳ２１では、カウンタｉの値を０に初期化し、ステップＳ２２では、カウンタｊの値を０に初期化する。
【００８１】
続いてステップＳ２３において、量子化精度情報残差信号を計算する。量子化精度情報残差信号は、量子化精度情報ＩＤＷＬから図２に示す概形符号化部２１で符号化されたインデックスに対応する量子化概形ベクトルの値を減算することにより求められる。
【００８２】
次にステップＳ２４において、カウンタｊの値を１増やす。ステップＳ２５では、ｊの値がＭの未満であるか否かが判別される。ｊの値がＭ未満であるならばステップＳ２３に戻り、量子化情報残差信号の値を計算する。ステップＳ２５において、ｊの値がＭ未満でないならばステップＳ２６に進み、カウンタｉの値を１増やす。
【００８３】
ステップＳ２７では、Ｍ＊ｉの値が全量子化ユニット数である１２未満であるか否かが判別される。Ｍ＊ｉの値が１２未満であれば、ステップＳ２２に戻って処理を続ける。ステップＳ２７において、Ｍ＊ｉの値が１２未満でなければ、処理を終了する。
【００８４】
このようにして計算された量子化精度情報残差信号が図２に示す残差信号符号化部２３において図６に示すように符号化される。ここで、図６においてｉはカウンタの値、ｒＩＤＷＬ（ｉ）は量子化精度情報残差信号を表している。
【００８５】
先ずステップＳ３１において、カウンタｉの値を０に初期化し、次にステップＳ３２において、ｒＩＤＷＬ（ｉ）を符号化する。このとき、可変長符号列表を用意し、それを用いて符号化を行うと効率良く符号化を行うことができる。
【００８６】
続いてステップＳ３３において、カウンタｉの値を１増やし、ステップＳ３４において、カウンタｉの値が全量子化ユニット数である１２未満であるか否かが判別される。カウンタｉの値が全量子化ユニット数である１２未満であればステップＳ３２に戻り処理を続ける。ステップＳ３４において、カウンタｉの値が全量子化ユニット数である１２未満でなければ終了する。
【００８７】
以上のようにして得られた、符号化された量子化精度情報残差信号とコードブックのインデックスとを量子化精度情報として用いることで、量子化精度情報を効率よく圧縮することができる。
【００８８】
量子化精度情報の圧縮の具体例を図７、図８を用いて説明する。この例では、量子化精度情報（ＩＤＷＬ）をまとめる単位量子化ユニット数Ｍを３としており、量子化精度情報を３つずつまとめ、代表値としてその平均値を求めることにより、量子化精度情報の概形（ｓｈａｐｅ）を求めている。また、量子化精度情報は、３ビットで符号化するものとして説明を行う。
【００８９】
例えば、量子化ユニット（ＱＵ）毎の量子化精度情報が、図８（Ａ）のように与えられるとする。量子化ユニット番号０〜２の量子化精度情報がそれぞれ７，７，６であるため、代表値は、その平均値である７となる。これを全ての量子化精度情報に対して求めると、概形ベクトルは、４次元ベクトル（７，４，２，１）となる。
【００９０】
図７に示すコードブックの各インデックスについて、この概形ベクトルと量子化概形ベクトル（ｑｓｈａｐｅ）との距離を計算すると、インデックス２の量子化概形ベクトル（７，５，２，１）との距離が一番近いことが分かる。このとき、量子化精度情報（ＩＤＷＬ）と量子化概形ベクトル（ｑｓｈａｐｅ）とは、図８（Ｂ）のようになる。
【００９１】
この量子化概形ベクトルと量子化精度情報とから、量子化精度情報残差信号（ｒＩＤＷＬ）が求められる。すなわち、量子化精度情報から量子化概形ベクトルの値を減算することにより量子化精度情報残差信号が求められる。この量子化精度情報残差信号は、図８（Ｃ）のようになる。
【００９２】
この量子化精度情報残差信号を図９に示す可変長符号列表を用いて可変長符号化すると、そのビット数は１９ビットとなる。図７に示す量子化概形ベクトルのインデックスは、４ビットで表されるため、量子化精度情報の符号化ビット数は、その合計である２３ビットとなる。非圧縮の場合は３６ビット必要になることから、本実施の形態の手法を用いることにより１３ビットの圧縮が可能となる。
【００９３】
なお、上述の例では、量子化精度情報残差信号について可変長符号化を行ったが、量子化精度情報残差信号の周波数方向の差分値について可変長符号化を行うようにしても構わない。すなわち、この量子化精度情報残差信号や後述する正規化情報残差信号は、隣の量子化ユニット間、隣のチャネル間、隣の時刻間で値が似ることが多いため、例えば周波数方向の差分値を計算すると、その出現確率に大きな偏りが生じ、特に差分値０付近の確率が高くなる。そこで、出現覚率の高い差分値に短い符号を割り当てることにより、符号化ビット数を減らすことができる。
【００９４】
また、可変長符号化を用いる他にも種々の手法を用いることができる。例えば、低周波数域では大きな値になり高周波数域では小さな値になることが多いため、低周波数域の値を減らすような、又は高周波数域の値を増やすような重み付けをすることにより、全帯域でのダイナミックレンジを狭めることができ、これにより、少ないビット数での符号化を行うことができる。また、ある帯域以上の量子化ユニットでは情報の分布範囲が狭くなっていることがよくあるため、その境界量子化ユニット番号を別に符号化することにより、境界帯域以上の情報を少ないビット数で符号化することができる。
【００９５】
また、量子化精度情報の概形ベクトルの量子化に用いるコードブックは、ゲインと形とに分けて持つようにしても構わない。これにより、小さいサイズで効率的に符号化することが可能となる。
【００９６】
以上、量子化精度情報の場合について説明したが、正規化情報の場合にも同様な手法により圧縮が可能である。詳しい説明は省略するが、簡単には、図１に示す正規化情報符号化部１６は、各量子化ユニット毎の正規化情報の概形を抽出し、抽出された正規化情報の概形を量子化して符号化し、図１のマルチプレクサ１７に出力する。また、その量子化誤差を符号化し、正規化情報として図１のマルチプレクサ１７に出力する。
【００９７】
正規化情報の圧縮の具体例を図１０、図１１を用いて説明する。この例についても、正規化情報（ＩＤＳＦ）をまとめる単位量子化ユニット数Ｍを３としており、正規化情報を３つずつまとめ、代表値としてその平均値を求めることにより、正規化情報の概形（ｓｈａｐｅ）を求めている。また、正規化情報は、６ビットで符号化するものとして説明を行う。
【００９８】
例えば、量子化ユニット（ＱＵ）毎の正規化情報が、図１１（Ａ）のように与えられるとする。量子化ユニット番号０〜２の正規化情報がそれぞれ５４，５３，５２であるため、代表値は、その平均値である５３となる。これを全ての正規化情報に対して求めると、概形ベクトルは、４次元ベクトル（５３，４１，４１，４５）となる。
【００９９】
図１０に示すコードブックの各インデックスについて、この概形ベクトルと量子化概形ベクトル（ｑｓｈａｐｅ）との距離を計算すると、インデックス２の量子化概形ベクトル（５２，４１，４０，４６）との距離が一番近いことが分かる。このとき、量子化精度情報（ＩＤＳＦ）と量子化概形ベクトル（ｑｓｈａｐｅ）とは、図１１（Ｂ）のようになる。
【０１００】
この量子化概形ベクトルと正規化情報とから、正規化情報残差信号（ｒＩＤＳＦ）が求められる。すなわち、正規化情報から量子化概形ベクトルの値を減算することにより正規化情報残差信号が求められる。この正規化情報残差信号は、図１１（Ｃ）のようになる。
【０１０１】
この正規化情報残差信号を図１２に示す可変長符号列表を用いて可変長符号化すると、そのビット数は３３ビットとなる。図７に示す量子化概形ベクトルのインデックスは、４ビットで表されるため、量子化精度情報の符号化ビット数は、その合計である３７ビットとなる。非圧縮の場合は７２ビット必要になることから、本実施の形態の手法を用いることにより３５ビットの圧縮が可能となる。
【０１０２】
このように、本実施の形態における符号化装置によれば、量子化精度情報及び正規情報といった副情報を、情報を失うことなく効率的に圧縮することができる。しかし、入力する信号によっては、例えば図９に示した可変長符号列表において、量子化精度情報残差信号が−１〜＋１までの範囲に入らない場合が多くなることもあり、この場合、通常通りに量子化精度情報を符号化した方がビット数を削減できることもある。このため、副情報を他の符号化方式によって符号化する符号化部を設け、本実施の形態の符号化方式による符号量と当該他の符号化方式による符号量とを比較部で比較し、符号量の少ない符号化方式を選択部で選択するようにするのが現実的である。
【０１０３】
この場合、符号化装置は、図１３に示すように、主情報符号化部５０と、第１の副情報符号化部５１と、第２の副情報符号化部５２と、比較手段である比較部５３と、選択手段であるスイッチ５４とを備える。ここで、主情報符号化部５０は、図１に示す帯域分割部１１、正規化部１２１〜１２４、量子化精度決定部１３、量子化部１４１〜１４４及びマルチプレクサ１７に相当する。また、第１の副情報符号化部５１は、量子化精度情報や正規化情報等の副情報について本実施の形態における手法で、すなわち概形を抽出して符号化し、第２の副情報符号化部５２は、通常通りに副情報を符号化する。
【０１０４】
比較部５３は、第１の副情報符号化部５１と第２の副情報符号化部５２とにおける符号量を比較し、符号量の少ない側を選択するようにスイッチ５４を制御する。これにより、選択された符号化後の副情報が主情報符号化部５０に供給される。
【０１０５】
次に、図１４に本実施の形態における復号装置３０の構成を示す。図１４において、符号化データは、デマルチプレクサ３１に入力されて復号され、第１〜第４の符号化ユニットの量子化係数、量子化精度情報、及び正規化情報に分離される。第１〜第４の符号化ユニットの量子化係数は、それぞれの符号化ユニットに対応する信号成分構成部３４１〜３４４に供給される。また、量子化精度情報及び正規化情報は、それぞれ量子化精度情報復号部３２、正規化情報復号部３３で復号された後に、それぞれの符号化ユニットに対応する信号成分構成部３４１〜３４４に供給される。
【０１０６】
信号成分構成部３４１では、第１の符号化ユニットの量子化係数が、第１の符号化ユニットの量子化精度情報に対応した量子化ステップで逆量子化され、これにより、第１の符号化ユニットの被正規化データとされる。さらに、信号成分構成部３４１では、第１の符号化ユニットの被正規化データに、第１の符号化ユニットの正規化情報に対応する値が乗算され、これにより、第１の符号化ユニットの信号が復号されて帯域合成部３５に出力される。
【０１０７】
信号成分構成部３４２〜３４４においても同様の処理が行われ、これにより、第２〜第４の符号化ユニットの信号が復号されて帯域合成部３５に出力される。帯域合成部３５では、第１〜第４の符号化ユニットの信号が帯域合成され、これにより元のオーディオ信号が復元される。
【０１０８】
続いて、上述した量子化精度情報復号部３２の概念構成を図１５に示す。図１５に示すように、残差信号復号部４０は、入力された量子化精度情報残差信号を復号して合成部４２に供給する。また、概形復号部４１は、入力されたインデックスに基づいて量子化精度情報の概形情報を復号して合成部４２に供給する。合成部４２は、概形情報と量子化精度情報残差信号とを合成し、量子化精度情報として、図１４に示すそれぞれの量子化ユニットに対応する信号成分構成部３４１〜３４４に供給する。
【０１０９】
以上説明したように、本実施の形態では、量子化精度情報や正規化情報等の副情報について、その概形を量子化し、量子化誤差（残差信号）を可変長符号化することにより、副情報の符号化に用いるビット数を削減することが可能となる。従って、削減されたビット数をオーディオ信号等の主情報の符号化に分配することができ、符号化音の品質を向上させることが可能となる。
【０１１０】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１１１】
例えば、上述の説明では、量子化精度情報及び正規化情報の概形を抽出する際に、ある単位量子化ユニット数毎に求められた代表値を概形情報としたが、これに限定されるものではなく、概形情報として、線形予測係数から求められるＬＰＣ包絡、ＬＳＰ包絡、或いは、パワースペクトラムの対数を時間軸に変換することにより求められるケプストラム包絡等を用いることもできる。以下、簡単に説明する。
【０１１２】
オーディオ信号の波形を｛ｘ（ｔ）｝（ｔ：整数）としたとき、現時点の値ｘ（ｔ）とこれに隣接する過去のｐ個の値との間に、以下の式（１）に示す関係が成り立つと仮定する。
【０１１３】
【数１】
0004506039.tif 000002
【０１１４】
この線形差分方程式によれば、予測誤差ｅ（ｔ）を最小化するα（ｉ）（１≦α≦ｐ）を求めることで、現時点の値ｘ（ｔ）を過去の値から線形予測することができる。すなわち、ｘ（ｔ）の線形予測値をｘ'（ｔ）とすれば、ｘ'（ｔ）は、以下の式（２）のように表される。また、このときの予測誤差ｅ（ｔ）は、式（３）のように表される。
【０１１５】
【数２】
0004506039.tif 000003
【０１１６】
なお、このα（ｉ）を線形予測係数（ＬＰＣ）という。このＬＰＣは、先ず、ｘ（ｔ）の自己相関関数ｒ（τ）を求め、このｒ（τ）に関する連立１次方程式を解くことによって求められる。
【０１１７】
ここで、正規化係数は、各量子化ユニットにおけるスペクトルの絶対値の最大値であるため、この正規化係数又は正規化係数の２乗をパワースペクトルの値の最大値と見なすことができる。パワースペクトルの逆フーリエ変換値は、自己相関関数となるため、正規化係数から線形予測係数を求めることができる。
【０１１８】
また、線形予測係数から求められるＬＳＰ（線スペクトル対）の値を正規化係数の概形として用いてもよい。
【０１１９】
また、ケプストラムは、パワースペクトルの対数値をとり、逆フーリエ変換したものである。そこで、正規化係数又は正規化係数の２乗の対数値をとり、逆フーリエ変換することにより、正規化係数よりケプストラムが求められ、その低次の次数を用いることで、正規化係数の概形を表現することができる。
【０１２０】
量子化精度情報についても、量子化精度情報を仮にパワースペクトルの値と見なすことにより、同様に、ＬＰＣ、ＬＳＰ、ケプストラムによって量子化精度情報の概形を表現することができる。
【０１２１】
【発明の効果】
以上詳細に説明したように本発明に係る符号化装置は、音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化装置において、上記副情報の概形情報を計算する概形計算手段と、上記概形情報を量子化して符号化する概形符号化手段と、量子化誤差を計算する誤差計算手段と、上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化手段とを備え、上記概形符号化手段によって符号化された上記概形情報と上記誤差符号化手段によって符号化された上記量子化誤差とを出力することを特徴としている。
【０１２２】
このような符号化装置によっては、音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、また、その量子化誤差を情報を失うことなくロスレスで符号化することにより、副情報の符号化に用いるビット数を削減することが可能となる。
【０１２３】
また、本発明に係る符号化方法は、音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化方法において、上記副情報の概形情報を計算する概形計算工程と、上記概形情報を量子化して符号化する概形符号化工程と、量子化誤差を計算する誤差計算工程と、上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化工程とを有し、上記概形符号化工程にて符号化された上記概形情報と上記誤差符号化工程にて符号化された上記量子化誤差とを出力することを特徴としている。
【０１２４】
このような符号化方法によっては、音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、また、その量子化誤差を情報を失うことなくロスレスで符号化することにより、副情報の符号化に用いるビット数を削減することが可能となる。
【０１２５】
また、本発明に係る復号装置は、符号化された音響信号及び／又は映像信号を復号する復号装置において、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号装置であって、上記量子化誤差を復号する誤差復号手段と、上記概形情報を復号する概形復号手段と、復号された上記量子化誤差と上記概形情報とを合成する合成手段とを備えることを特徴としている。
【０１２６】
このような復号装置によっては、符号化装置において音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化することでビット数が削減された副情報を入力し、副情報の量子化誤差と概形情報とを復号して合成することができる。
【０１２７】
また、本発明に係る復号方法は、符号化された音響信号及び／又は映像信号を復号する復号方法において、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号方法であって、上記量子化誤差を復号する誤差復号工程と、上記概形情報を復号する概形復号工程と、復号された上記量子化誤差と上記概形情報とを合成する合成工程とを有することを特徴としている。
【０１２８】
このような復号方法によっては、符号化装置において音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化することでビット数が削減された副情報を入力し、副情報の量子化誤差と概形情報とを復号して合成することができる。
【０１２９】
また、本発明に係る符号化プログラムは、音響及び／又は映像信号の直接の符号化対象である主情報と直接の符号化対象ではない副情報とを符号化する符号化プログラムにおいて、上記副情報の概形情報を計算する概形計算工程と、上記概形情報を量子化して符号化する概形符号化工程と、量子化誤差を計算する誤差計算工程と、上記量子化誤差を情報を失うことなくロスレスで符号化する誤差符号化工程とを有し、上記概形符号化工程にて符号化された上記概形情報と上記誤差符号化工程にて符号化された上記量子化誤差とを出力することを特徴としている。
【０１３０】
このような符号化プログラムによっては、音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化することにより、副情報の符号化に用いるビット数を削減することが可能となる。
【０１３１】
また、本発明に係る復号プログラムは、符号化された音響信号及び／又は映像信号を復号する復号プログラムにおいて、符号化装置にて直接の符号化対象ではない副情報についての概形情報が符号化され、上記概形情報を符号化する際の量子化誤差が情報を失うことなくロスレスで符号化された上記概形情報と上記量子化誤差とを入力して復号する復号プログラムであって、上記量子化誤差を復号する誤差復号工程と、上記概形情報を復号する概形復号工程と、復号された上記量子化誤差と上記概形情報とを合成する合成工程とを有することを特徴としている。
【０１３２】
このような復号プログラムによっては、符号化装置において音響及び／又は映像信号の副情報を符号化する際に、副情報の概形情報を量子化して符号化し、その量子化誤差を情報を失うことなくロスレスで符号化することでビット数が削減された副情報を入力し、副情報の量子化誤差と概形情報とを復号して合成することができる。
【図面の簡単な説明】
【図１】本実施の形態における符号化装置の構成を説明する図である。
【図２】同符号化装置における量子化精度情報符号化部の概念構成を説明する図である。
【図３】同量子化精度情報符号化部の概形抽出部における動作を説明するフローチャートである。
【図４】同量子化精度情報符号化部の外形量子化部における動作を説明するためのフローチャートである。
【図５】同量子化精度情報符号化部の残差信号計算部における動作を説明するためのフローチャートである。
【図６】同量子化精度情報符号化部の残差信号符号化部における動作を説明するためのフローチャートである。
【図７】同量子化精度情報符号化部における量子化精度情報の圧縮の具体例を説明する図である。
【図８】同量子化精度情報符号化部における量子化精度情報の圧縮の具体例を説明する図であり、同図（Ａ）は、量子化精度情報とその平均値を示し、同図（Ｂ）は、量子化精度情報と量子化概形ベクトルを示し、同図（Ｃ）は、量子化精度情報残差信号を示す。
【図９】量子化精度情報残差信号を符号化する可変長符号列表の一例を説明する図である。
【図１０】正規化情報符号化部における正規化情報の圧縮の具体例を説明する図である。
【図１１】同正規化情報符号化部における正規化情報の圧縮の具体例を説明する図であり、同図（Ａ）は、正規化情報とその平均値を示し、同図（Ｂ）は、正規化情報と量子化概形ベクトルを示し、同図（Ｃ）は、正規化情報残差信号を示す。
【図１２】正規化情報残差信号を符号化する可変長符号列表の一例を説明する図である。
【図１３】他の符号化形式で符号化する符号化部を有する符号化装置の一例を説明する図である。
【図１４】本実施の形態における復号装置の構成を説明する図である。
【図１５】同復号装置における量子化精度情報復号部の概念構成を説明する図である。
【図１６】従来の符号化装置の構成を説明する図である。
【図１７】従来の復号装置の構成を説明する図である。
【符号の説明】
１０  符号化装置、１１  帯域分割部、１２１〜１２４  正規化部、１３  量子化精度決定部、１４１〜１４４  量子化部、１５  量子化精度情報符号化部、１６  正規化情報符号化部、１７  マルチプレクサ、２０  概形抽出部、２１  概形符号化部、２２  残差信号計算部、２３  残差信号符号化部、３０  復号装置、３１  デマルチプレクサ、３２  量子化精度情報復号部、３３  正規化情報復号部、３４１〜３４４  信号成分構成部、３５  帯域合成部、４０  残差信号復号部、４１  概形復号部、４２  合成部、５０  主情報符号化部、５１  第１の副情報符号化部、５２  第２の副情報符号化部、５３  比較部、５４  スイッチ
【図１】
0004506039.tif 000004
【図２】
0004506039.tif 000005
【図３】
0004506039.tif 000006
【図４】
0004506039.tif 000007
【図５】
0004506039.tif 000008
【図６】
0004506039.tif 000009
【図７】
0004506039.tif 000010
【図８】
0004506039.tif 000011
【図９】
0004506039.tif 000012
【図１０】
0004506039.tif 000013
【図１１】
0004506039.tif 000014
【図１２】
0004506039.tif 000015
【図１３】
0004506039.tif 000016
【図１４】
0004506039.tif 000017
【図１５】
0004506039.tif 000018
【図１６】
0004506039.tif 000019
【図１７】
0004506039.tif 000020