(57)【特許請求の範囲】
【請求項１】
入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化装置において、
上記入力ディジタル情報信号と上記入力ディジタル情報信号の予測値との残差信号を生成する手段と、
上記残差信号をブロック化する手段と、
上記ブロック毎に、最大値および最小値を検出する手段と、
上記最大値および上記最小値から上記ブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、上記存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、上記存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定手段と、
上記第１の量子化モードでは、元のビット数より少ない所定のビット数で、上記残差信号を量子化し、上記第２の量子化モードでは、元のビット数より少ないビット数で上記残差信号を量子化するとともに、コード変換によりビット数をより少なくするようになされた量子化手段と、
上記第１および第２の量子化モードを識別する情報と、
上記量子化手段の出力とを伝送する伝送手段と
からなることを特徴とする情報信号符号化装置。
【請求項２】
請求項１に記載の情報信号符号化装置において、
上記モード決定手段は、
上記最小値が０以上の場合、または上記最大値が０以下の場合に、第２の量子化モードを指示することを特徴とする情報信号符号化装置。
【請求項３】
入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化方法において、
上記入力ディジタル情報信号と上記入力ディジタル情報信号の予測値との残差信号を生成するステップと、
上記残差信号をブロック化するステップと、
上記ブロック毎に、最大値および最小値を検出するステップと、
上記最大値および上記最小値から上記ブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、上記存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、上記存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定のステップと、
上記第１の量子化モードでは、元のビット数より少ない所定のビット数で、上記残差信号を量子化し、上記第２の量子化モードでは、元のビット数より少ないビット数で上記残差信号を量子化するとともに、コード変換によりビット数をより少なくする量子化のステップと、
上記第１および第２の量子化モードを識別する情報と、
上記量子化手段の出力とを伝送するステップと
からなることを特徴とする情報信号符号化方法。
【請求項４】
入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、上記第１および第２の階層データを符号化して伝送するようにした情報信号符号化装置において、
上記第１の階層データより解像度がより低い上記第２の階層データを形成する手段と、
上記第２の階層データから上記第１の階層データを予測する手段と、
上記予測されたデータと上記第１の階層データとの残差信号を形成する手段と、
上記残差信号をブロック化する手段と、
上記ブロック毎に、最大値および最小値を検出する手段と、
上記最大値および上記最小値から上記ブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、上記存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、上記存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定手段と、
上記第１の量子化モードでは、元のビット数より少ない所定のビット数で、上記残差信号を量子化し、上記第２の量子化モードでは、元のビット数より少ないビット数で上記残差信号を量子化するとともに、コード変換によりビット数をより少なくするようになされた量子化手段と、
上記第１および第２の量子化モードを識別する情報と、
上記量子化手段の出力とを伝送する伝送手段と
からなることを特徴とする情報信号符号化装置。
【請求項５】
入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、上記第１および第２の階層データを符号化して伝送するようにした情報信号符号化方法において、
上記第１の階層データより解像度がより低い上記第２の階層データを形成するステップと、
上記第２の階層データから上記第１の階層データを予測するステップと、
上記予測されたデータと上記第１の階層データとの残差信号を形成するステップと、
上記残差信号をブロック化するステップと、
上記ブロック毎に、最大値および最小値を検出するステップと、
上記最大値および上記最小値から上記ブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、上記存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、上記存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定のステップと、
上記第１の量子化モードでは、元のビット数より少ない所定のビット数で、上記残差信号を量子化し、上記第２の量子化モードでは、元のビット数より少ないビット数で上記残差信号を量子化するとともに、コード変換によりビット数をより少なくする量子化のステップと、
上記第１および第２の量子化モードを識別する情報と、
上記量子化出力とを伝送する伝送のステップと
からなることを特徴とする情報信号符号化方法。
【請求項６】
入力ディジタル情報信号と上記入力ディジタル情報信号の予測値との残差信号を生成され、上記残差信号をブロック化され、ブロック毎に、最大値および最小値が検出され、上記最大値および上記最小値から上記ブロック毎の残差信号の存在範囲が０を跨ぐものかどうかが決定され、上記存在範囲が０を跨ぐ場合に第１の量子化モードが指示され、上記存在範囲が０を跨がない場合に第２の量子化モードが指示され、上記第１の量子化モードでは、残差信号が元のビット数より少ないビット数で量子化され、上記第２の量子化モードでは、残差信号が元のビット数より少ないビット数で量子化されるとともに、コード変換によりビット数をより少なくするように符号化され、上記第１および第２の量子化モードを識別する情報と、残差信号の情報とが伝送される情報信号符号化方法に対する復号方法において、
上記識別情報に基づいて、上記第１の量子化モードでは、データを逆量子化し、上記第２の量子化モードでは、データをコード変換するとともに、逆量子化する逆量子化のステップと、
上記逆量子化された残差信号をブロック分解し、元の順序へ変換するステップとからなることを特徴とする情報信号復号方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばディジタルオーディオ信号、ディジタル画像信号等のディジタル情報信号の発生データ量を低減するようにした情報信号符号化装置、符号化方法、および情報信号復号方法に関する。
【０００２】
【従来の技術】
ディジタルオーディオ信号、ディジタル画像信号等の伝送情報量を低減するために、予測符号化が知られている。例えば１次元ＤＰＣＭは、時間または空間方向において、入力サンプル値と予測値との差分（残差）を形成し、２次元ＤＰＣＭは、空間方向において入力サンプル値と予測値との残差を形成する。ディジタル情報信号は、時間方向、空間方向の相関を有しているので、残差信号のレベルがサンプル値よりも小さいものとなる。従って、残差信号を元の量子化ビット数より少ないビット数により再量子化することが可能で、それによって、情報量を圧縮できる。
【０００３】
残差信号を対象とする量子化装置としては、０付近の量子化ステップ幅を細かくし、レベルが大きいほど、量子化ステップ幅を粗くする非線形量子化装置が周知である。この非線形量子化を含めて従来の量子化装置は、発生しうる残差信号の全てのレベルを量子化対象としている。例えばディジタル画像信号の１サンプル（１画素）が８ビットに量子化されている場合、残差信号としては、（−２５５〜＋２５５）の値が存在しうる。従来の量子化装置は、この全範囲を量子化の対象としている。
【０００４】
【発明が解決しようとする課題】
従来の量子化装置は、発生しうる残差信号の全範囲を量子化の対象とするので、量子化ビット数を少なくした場合には、量子化精度が低下し、量子化ビット数を多くすると発生データ量が多くなる問題があった。その結果、復号した時に、充分な品質のオーディオ信号、画像信号が得られない問題があった。
【０００５】
従って、この発明の目的は、残差信号を量子化する時に、さらに、量子化出力のデータ量の削減が可能な情報信号符号化装置、符号化方法、並びに復号方法を提供することにある。すなわち、残差信号をブロック化し、ブロック毎の残差信号のレベル範囲がある条件を満たしている場合では、量子化ビット数をより少なくするように、量子化モードを切り替えるものである。
【０００６】
【課題を解決するための手段】
請求項１の発明は、入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化装置において、
入力ディジタル情報信号と入力ディジタル情報信号の予測値との残差信号を生成する手段と、
残差信号をブロック化する手段と、
ブロック毎に、最大値および最小値を検出する手段と、
最大値および最小値からブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定手段と、
第１の量子化モードでは、元のビット数より少ない所定のビット数で、残差信号を量子化し、第２の量子化モードでは、元のビット数より少ないビット数で残差信号を量子化するとともに、コード変換によりビット数をより少なくするようになされた量子化手段と、
第１および第２の量子化モードを識別する情報と、
量子化手段の出力とを伝送する伝送手段と
からなることを特徴とする情報信号符号化装置である。
【０００７】
請求項３の発明は、入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化方法において、
入力ディジタル情報信号と上記入力ディジタル情報信号の予測値との残差信号を生成するステップと、
残差信号をブロック化するステップと、
ブロック毎に、最大値および最小値を検出するステップと、
最大値および最小値からブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定のステップと、
第１の量子化モードでは、元のビット数より少ない所定のビット数で、残差信号を量子化し、第２の量子化モードでは、元のビット数より少ないビット数で残差信号を量子化するとともに、コード変換によりビット数をより少なくする量子化のステップと、
第１および第２の量子化モードを識別する情報と、
量子化手段の出力とを伝送するステップと
からなることを特徴とする情報信号符号化方法である。
【０００８】
請求項４の発明は、入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、第１および第２の階層データを符号化して伝送するようにした情報信号符号化装置において、
第１の階層データより解像度がより低い第２の階層データを形成する手段と、
第２の階層データから第１の階層データを予測する手段と、
予測されたデータと第１の階層データとの残差信号を形成する手段と、
残差信号をブロック化する手段と、
ブロック毎に、最大値および最小値を検出する手段と、
最大値および最小値からブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定手段と、
第１の量子化モードでは、元のビット数より少ない所定のビット数で、残差信号を量子化し、第２の量子化モードでは、元のビット数より少ないビット数で残差信号を量子化するとともに、コード変換によりビット数をより少なくするようになされた量子化手段と、
第１および第２の量子化モードを識別する情報と、
量子化手段の出力とを伝送する伝送手段と
からなることを特徴とする情報信号符号化装置である。
【０００９】
請求項５の発明は、入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、第１および第２の階層データを符号化して伝送するようにした情報信号符号化方法において、
第１の階層データより解像度がより低い第２の階層データを形成するステップと、
第２の階層データから第１の階層データを予測するステップと、
予測されたデータと第１の階層データとの残差信号を形成するステップと、
残差信号をブロック化するステップと、
ブロック毎に、最大値および最小値を検出するステップと、
最大値および最小値からブロック毎の残差信号の存在範囲が０を跨ぐものかどうかを決定し、存在範囲が０を跨ぐ場合に第１の量子化モードを指示し、存在範囲が０を跨がない場合に第２の量子化モードを指示するモード決定のステップと、
第１の量子化モードでは、元のビット数より少ない所定のビット数で、残差信号を量子化し、第２の量子化モードでは、元のビット数より少ないビット数で残差信号を量子化するとともに、コード変換によりビット数をより少なくする量子化のステップと、
第１および第２の量子化モードを識別する情報と、
量子化出力とを伝送する伝送のステップと
からなることを特徴とする情報信号符号化方法である。
【００１０】
請求項６の発明は、入力ディジタル情報信号と入力ディジタル情報信号の予測値との残差信号を生成され、残差信号をブロック化され、ブロック毎に、最大値および最小値が検出され、最大値および最小値からブロック毎の残差信号の存在範囲が０を跨ぐものかどうかが決定され、存在範囲が０を跨ぐ場合に第１の量子化モードが指示され、存在範囲が０を跨がない場合に第２の量子化モードが指示され、第１の量子化モードでは、残差信号が元のビット数より少ないビット数で量子化され、第２の量子化モードでは、残差信号が元のビット数より少ないビット数で量子化されるとともに、コード変換によりビット数をより少なくするように符号化され、第１および第２の量子化モードを識別する情報と、残差信号の情報とが伝送される情報信号符号化方法に対する復号方法において、
識別情報に基づいて、第１の量子化モードでは、データを逆量子化し、第２の量子化モードでは、データをコード変換するとともに、逆量子化する逆量子化のステップと、
逆量子化された残差信号をブロック分解し、元の順序へ変換するステップとからなることを特徴とする情報信号復号方法である。
【００１１】
残差信号のレベル分布の集中度を高めることによって、残差信号を元の量子化ビット数より少ないビット数で再量子化することができる。また、残差信号の分布がある条件を満足する時には、残差信号をより少ないビット数で量子化するが可能となる。
【００１２】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。この一実施例では、ビデオ信号が所定のサンプリング周波数でサンプリングされ、各サンプルが所定の量子化ビット数へ変換されたディジタル画像信号に対して、この発明が適用される。図１は、この発明の一実施例のシステムの構成を全体的に示す。
【００１３】
図１において、１２１で示す入力端子にディジタルビデオ信号が供給される。入力信号が減算器１２３に供給され、減算器１２３の出力（残差信号）がブロック化回路１２４および予測器１２２に供給され、予測器１２２で生成された予測信号が減算器１２３に供給される。減算器１２３は、入力信号から予測信号を減算し、予測残差を発生する。この残差信号がブロック化回路１２４に供給され、ラスター走査の順序からブロックの順序のデータへ変換される。ブロック化された残差信号が符号化ユニット１２５に供給される。
【００１４】
符号化ユニット１２５中の量子化回路は、後述するように、ブロック化された残差信号の度数分布に応じて、第１の量子化モードと第２の量子化モードとが切り替えられるものである。例えば残差信号のビット数が８ビットの場合、第１の量子化モードが選択される時には、符号化ユニット１２５から３ビットの量子化出力が発生する。第２の量子化モードが選択される時には、符号化ユニット１２５内のコード変換テーブルによって、２ビットに変換された量子化出力が発生する。
【００１５】
符号化ユニット１２５の符号化出力がエラー訂正符号エンコーダ１２６に供給され、エラー訂正符号の冗長コードが付加される。エラー訂正符号エンコーダ１２６の出力が変調部１２７に供給される。変調部１２７は、記録、伝送等に適した形態にディジタル信号を変調する。変調部１２７からの出力信号が記録ユニット１２８に供給され、記録ユニット１２８によって記録信号が情報信号記録媒体１２９に記録される。また、伝送路１３０を介してデータを伝送することも可能で、その場合では、記録ユニット１２８の代わりに伝送ユニットが使用される。量子化モードを指示するモード信号も符号化残差信号とともに、記録、あるいは伝送される。情報信号記録媒体１２９は、磁気、光磁気、相変化等を利用したディスク状、あるいはテープ状の記録媒体である。半導体メモリも一種の記録媒体である。
【００１６】
記録媒体１２９からデータを再生ユニット１３１が再生し、または伝送路１３０を介して伝送されたデータが受信される。再生ユニット１３１により再生されたデータが復調部１３２により復調され、復調出力がエラー訂正符号のデコーダ１３３に供給される。このデコーダ１３３は、冗長コードを利用してエラーを訂正し、また、訂正できないで残ったエラーを目立たないように修整する。
【００１７】
エラー訂正デコーダ１３３の出力が復号化ユニット１３４に供給される。復号化ユニット１３４は、後述するように、符号化ユニット１２５と逆に量子化出力を代表値（量子化復元値）に変換する、逆量子化の処理を行う。復号化ユニット１３４中の逆量子化回路は、モード信号により指示される量子化モードに従って逆量子化の処理を行う。復号化ユニット１３４から復号された残差信号が発生する。この復号残差信号がブロック分解回路１３５に供給される。ブロック分解回路１３５では、ブロック構造がラスター走査の順序に戻される。
【００１８】
復号残差信号が加算回路１３６に供給される。加算回路１３６により復号画像信号が形成され、出力端子１３７に取り出される。また、この復号画像信号が予測器１３８に供給され、予測信号が生成される。予測信号が加算回路１３６に供給される。
【００１９】
図２は、符号化ユニット１２５の一例を示す。ブロック化回路１２４からのブロック化された残差信号が入力端子１に供給される。図３は、残差信号の形成を概略的に示すものである。図３における一つの矩形の領域が１つの画素と対応している。ａ〜ｈのそれぞれは、局部復号された画素値を示し、Ａ〜Ｐは、符号化される前の画素値を示す。画素値Ａに対しての予測値Ａ’は、近傍の局部復号画素値を使用して予測器１２２により生成される。例えば予測値Ａ’は、Ａ’＝４ｃ−３（ｂ−ｆ）、Ａ’＝ｆ＋ｃ−ｂ等の予測式に従って形成される。画素値Ｂ、Ｃ、・・・に対する予測値も同様の予測式によって計算される。一般式で表すと、予測値は、（αａ＋βｂ＋γｆ、但し、α、β、γは定数）により生成される。
【００２０】
減算器１２３では、画素値（例えばＡ）から予測値（例えばＡ’）が減算され、残差信号Δａが生成される。同様に、残差信号Δｂ、Δｃ、・・・が生成される。ブロック化回路１２４では、生成された残差信号がブロック構造に変換される。例えばブロック化回路１２４によって、図３Ａの太線の枠で示すように、（４×４）のブロックと対応する残差信号Δａ〜Δｐのブロックのデータが形成される。なお、ディジタルオーディオ信号を扱う場合には、時間方向の予測値が形成され、１次元の残差信号のブロックが形成される。
【００２１】
残差信号のレベル範囲は、ブロック化することによって、集中度を高めることが可能である。１画素が８ビットのデータの場合では、１画面の全体の残差信号の発生度数の分布は、０を中心として（−２５５〜＋２５５）の範囲のものであり、残差が０の度数が最大となる。しかしながら、ブロックに分割した場合には、残差の度数分布がもとの分布に比してより集中したものとなる。
【００２２】
これは、１画面と比較して小空間のブロック内の残差は、大きな値となるものが確率的に少なく、また、ブロック内では残差の相関が強いことに因る。従って、ブロック化された残差信号を元の量子化ビット数より少ないビット数でもって再量子化することができる。また、ブロック化された残差信号の分布において、必ずしも０の値の度数が最大とならない。例えば、ブロック内で輝度のレベルが例えば対角線方向に除々に変化する場合等では、０の値の度数が最大とならない分布が生じる。なお、残差信号の分布の集中度を高める方法は、ブロック化が一例であって、これ以外の方法も可能である。
【００２３】
図２に戻って、符号化ユニット１２５について説明する。入力端子１からの残差信号が最大値検出回路２、最小値検出回路３、遅延回路４に供給される。最大値検出回路２では、ブロック毎の最大値ＭＡＸが検出され、最小値検出回路３では、ブロック毎の最小値ＭＩＮが検出される。検出された最大値ＭＡＸおよび最小値ＭＩＮがモード決定回路５へ供給される。
【００２４】
モード決定回路５には、ブロック化された残差信号、最大値ＭＡＸおよび最小値ＭＩＮが供給され、そのブロックの残差信号のレベル範囲に基づいて、量子化モードが決定され、モードを指示する信号ＭＯＤＥ（例えば１ビット）が生成される。モード信号ＭＯＤＥが量子化回路６に供給され、また、量子化回路６に対して、入力端子１からの残差信号が位相合わせのための遅延回路４を介して供給される。量子化回路６では、残差信号が元の量子化ビット数（例えば８ビット）より少ない量子化ビット数により再量子化される。量子化回路６では、第１および第２の量子化モードがモード信号ＭＯＤＥに従って選択される。
【００２５】
第１の量子化モードは、８ビットの残差信号を再量子化して、より少ない量子化ビット数例えば３ビットの量子化出力を発生する、通常のものである。第２の量子化モードは、ブロック化された残差信号のレベル範囲が０を跨がない場合に適用される。この一実施例では、残差信号の最小値ＭＩＮが（Δ／２）よりも大きい場合には、第２の量子化モードが適用される。ここで、Δは、再量子化ビット数をｎとするときに、ＤＲ／２ｎ  で計算される量子化ステップである。ＤＲは、ダイナミックレンジで、（ＭＡＸ−ＭＩＮ）により計算できる。
【００２６】
第２の量子化モードでは、第１の量子化モードと同様に再量子化で発生したコード信号（例えば３ビット）が所定の規則に従って変換され、より少ないビット数例えば２ビットの量子化出力に変換される。３ビットのコードを２ビットの量子化出力に変換するコード変換の規則を下記に示す。
１００    −    ００
１０１    −    ０１
１１０    −    １０
１１１    −    １１
【００２７】
量子化処理について図４を参照して説明する。上述したように予測符号化により発生した残差信号は、１フレーム全体で見ると、０の値の度数が最大となるが、ブロック化したものは、図４Ａに示すように、そのブロックによってさまざまな偏りを持っている。図４Ａは、負側に偏った残差信号の分布、最大度数が０の値と一致した残差信号の分布、正側に偏った残差信号の分布を示す。
【００２８】
図４Ｂは、０の値を跨がるような残差信号の度数分布を示している。残差信号を量子化する場合では、例えばＭＡＸおよびＭＩＮの間が２３  ＝８等分され、その範囲に属する残差信号に同一のコードが割り当てられる。そのコードは、復元されると、範囲の中央の代表値へ変換される。一般的には、コードのビット数がｎの場合、２ｎ  の個数の範囲にＭＡＸおよびＭＩＮの間が分割される。このような量子化が第１の量子化モードである。
【００２９】
図４Ｃは、ブロック化された残差信号の度数分布の例を示す。すなわち、図４Ｃには、最小値ＭＩＮがΔ／２に等しいような分布３０ａ、図４Ｂのものと同様に、０を跨がる分布３０ｂ（破線で示す）、最大値ＭＡＸが−Δ／２に等しい分布３０ｃ（破線で示す）が示されている。この一実施例では、度数分布３０ａのように、（ＭＩＮ≧Δ／２）の条件を満たす場合では、第２の量子化モードが適用され、第２の量子化モードにおいて、上述したようなコード変換がなされる。復号側においては、２ビットから３ビットへの逆方向のコード変換がなされ、そして、３ビットのコードが逆量子化される。
【００３０】
例えば図４Ｃにおける度数分布３０ａを有する残差信号を第２の量子化モードで量子化すると、ＭＩＮ〜ＭＡＸの範囲の１００〜１１１の量子化出力が００〜１１の量子化出力に変換される。復号側では、逆に００〜１１の量子化出力が１００〜１１１のコードに変換される。この変換された３ビットのコードを第１の量子化モードで発生した３ビットの量子化出力と同様に、代表値に変換することによっで、逆量子化を行うことができる。
【００３１】
この発明の一実施例と異なり、ブロックの残差信号の最大値ＭＡＸが−Δ／２より小さい場合（例えば図４Ｃにおける度数分布３０ｃ）に、第２の量子化モードを適用するようにしても良い。さらに、最小値ＭＩＮが（ＭＩＮ≧０）の場合、あるいは最大値ＭＡＸが（ＭＡＸ≦０）の場合に、第２の量子化モードを適用するようにしても良い。
【００３２】
量子化回路６の一例を図５に示す。１５で示す入力端子に対して、ブロック化された残差信号が遅延回路４から供給される。モード信号ＭＯＤＥによって切り替えられるスイッチング回路１６の入力端子に入力残差信号が供給される。スイッチング回路１６の出力端子ａおよびｂには、例えば３ビットの出力を発生する量子化器１７ａおよび１７ｂがそれぞれ接続される。量子化器１７ｂに対してコード変換回路１８が接続される。コード変換回路１８は、上述したような３ビットを２ビットに変換する回路である。量子化器１７ａまたは１７ｂの出力が出力端子１９に取り出される。
【００３３】
モード決定回路５によって、そのブロックの残差信号に関して、（ＭＩＮ≧Δ／２）である場合には、モード信号ＭＯＤＥが第２の量子化モードを指示し、一方、それ以外の場合には、モード信号ＭＯＤＥが第１の量子化モードを指示する。第１の量子化モードでは、スイッチング回路１６の出力端子ａが選択され、第２の量子化モードでは、スイッチング回路１６の出力端子ｂが選択される。従って、第１の量子化モードでは、３ビットの量子化出力が出力端子１９に発生し、第２の量子化モードでは、２ビットの量子化出力が出力端子１９に発生する。なお、量子化器１７ａ、１７ｂを共通としても良い。
【００３４】
図２に戻って説明すると、量子化回路６の出力がビットプレーン符号化回路７に供給される。ビットプレーン符号化回路７は、ｎビット例えば２ビットのコードｑをＭＳＢ（最上位ビット）プレーンとＬＳＢ（最下位ビット）プレーンに分割する。ＭＳＢプレーンは、供給される２ビット量子化値のＭＳＢの集合であり、ＬＳＢプレーンは、ＬＳＢの集合である。図６Ａは、簡単のため、１画面が（４×３＝１２ブロック）で構成され、各ブロックに（４×４）の残差信号のコードｑが含まれる場合を示している。
【００３５】
図６Ａにおいて、例として示されるコードｑの値の０，１，２，３は、それぞれ２ビットで（００），（０１），（１０），（１１）を意味する。図６Ａの例では、ビットプレーン符号化回路７が図６Ｂに示すように、例えば１画面のコードｑをＭＳＢプレーンおよびＬＳＢプレーンへ分割する。量子化ビット数が３ビットの場合では、さらに、中間のビットのプレーンが形成される。この発明の一実施例では、二つの量子化モードによって２ビットあるいは３ビットの量子化出力が発生する。ビットプレーンを形成する場合では、量子化出力のビット数が分かっている必要がある。そのため、モード信号ＭＯＤＥがビットプレーン符号化回路７に供給されている。
【００３６】
ビットプレーン符号化回路７で生成された各ビットプレーンが可変長符号化回路８に供給され、各ビットプレーンが可変長符号化される。可変長符号化回路８では、ビットプレーン毎にランレングス符号化、例えばＭＭＲ（Ｍｏｄｅｆｉｅｄ  ＭＲ  ）が行われる。可変長符号化回路８の出力がフレーミング回路９に供給される。フレーミング回路９には、上述したモード信号ＭＯＤＥも供給される。フレーミング回路９の出力端子１０には、これらのモード信号ＭＯＤＥと可変長符号化されたコードが所定のフレーム構造のデータとして出力される。
【００３７】
次に、図７を参照して、図１中の復号化ユニット１３４の一例について説明する。エラー訂正デコーダ１３３からの再生、あるいは受信データが復号化ユニット１３４の入力端子３１に供給される。フレーム分解回路３２によって、可変長符号化された残差信号のコードと、モード信号ＭＯＤＥとが分離される。分離された残差信号のコードが可変長復号化回路３３により復号される。可変長復号化回路３３は、可変長符号化回路１３と対応している。可変長復号化回路３３の復号出力がビットプレーン復号化回路３４に供給され、ビットプレーンが合成される。この場合、分離されたモード信号ＭＯＤＥによって、ビットプレーンが正しく合成される。
【００３８】
ビットプレーン復号化回路３４の出力がスイッチング回路３５の入力端子に供給される。スイッチング回路３５は、モード信号ＭＯＤＥにより制御される。モード信号ＭＯＤＥが第１の量子化モードを指示する場合では、スイッチング回路３５の出力端子ａが選択され、これが第２の量子化モードを指示する場合では、スイッチング回路３５の出力端子ｂが選択される。出力端子ａには、３ビットの量子化コードを逆量子化して、量子化復元値を発生する逆量子化器３６ａが接続されている。出力端子ｂには、２ビットの量子化出力を３ビットのコードに変換するコード変換回路３７が接続され、コード変換回路３７に対して逆量子化器３６ｂが接続されている。逆量子化器３６ｂは、逆量子化器３６ａと同様に、３ビットのコードを復元値へ変換するものである。
【００３９】
逆量子化器３６ａ、３６ｂにより生成された復元値、すなわち、ブロック化された復号残差信号が出力端子３８に取り出される。出力端子３８に取り出された復号残差信号がブロック分解回路１３５に供給される（図１参照）。なお、逆量子化器３６ａ、３６ｂを共通としても良い。
【００４０】
次に、この発明を階層符号化に対して適用した他の実施例について説明する。ここで説明する階層符号化装置は、階層間で予測を行ない、また、階層間データに対し単純な算術式を用いることで、符号化対象画素数の増加を防止することができるものである。
【００４１】
図８を参照してこの階層符号化方法について説明する。図８は、一例として第１階層を最下位階層（原画）とし、第４階層を最上位階層とする４階層からなる階層間の模式図を示している。例えば、上位階層データ生成法として、空間的に対応する４画素の下位階層データの平均値を採用する場合、伝送画素数が増加しないようにできる。
【００４２】
すなわち、上位階層データをＭ、下位階層画素値をｘ０  、ｘ１  、ｘ２  、ｘ３  とすると、
Ｍ＝１／４・（ｘ０  ＋ｘ１  ＋ｘ２  ＋ｘ３  ）
によりデータＭが形成される。そして、データＭと、４個のデータの内の例えばｘ３  以外の３個のデータを伝送する。受信あるいは再生側では、
ｘ３  ＝４・Ｍ−（ｘ０  ＋ｘ１  ＋ｘ２  ）
という単純な算術式により非伝送画素ｘ３  を容易に復元することができる。図８において、斜線の矩形は、非伝送画素を示している。
【００４３】
図９は、上述した平均化を使用する例えば５階層の階層符号化の構成を示す。第１階層が入力画像の解像度レベルであるとする。この第１階層のブロックサイズは、（１×１）である。第２階層データは、第１階層データの４画素平均により生成される。この例では、第１階層データＸ１  （０）〜Ｘ１  （３）の平均値により、第２階層データＸ２  （０）が生成される。Ｘ２  （０）に隣接する第２階層データＸ２  （１）〜Ｘ２  （３）も同様に第１階層データの４画素平均により生成される。この第２階層のブロックサイズは、（１／２×１／２）である。
【００４４】
さらに、第３階層データは、空間的に対応する第２階層データの４画素平均により生成される。この第３階層のブロックサイズは、（１／４×１／４）である。また、第４階層のデータも同様に第３階層のデータから生成される。この第４階層のブロックサイズは、（１／８×１／８）である。最後に、最上位階層である第５階層データＸ５  （０）が第４階層データＸ４  （０）〜Ｘ４  （３）の平均値により生成される。この第５階層のブロックサイズは、（１／１６×１／１６）である。
【００４５】
上述した符号化対象画素数の増加を防止した階層構造データに対し、上位階層データにクラス分類適応予測を適用することで、下位階層データを予測し、下位階層データとその予測値との差分（すなわち、残差信号）を生成することで伝送データ量の削減を図ることができる。図１０は、そのような符号化ユニットを示す。入力端子４１を介して第１階層データｄ０が入力画像データｄ０として平均化回路４２および減算器４６へ供給される。第１階層データが元の解像度の画像データである。
【００４６】
入力画素データｄ０は、平均化回路４２において、１／４平均処理が実行され、階層データｄ１が生成される。この階層データｄ１は、図９に示す第２階層データに対応する。生成された階層データｄ１は、平均化回路４３および減算器４７へ供給される。
【００４７】
階層データｄ１に対して、平均化回路４３では、平均化回路４２と同様な処理が施され、階層データｄ２が生成される。この階層データｄ２は、第３階層データに対応する。生成された階層データｄ２は、平均化回路４４および減算器４８へ供給される。また、平均化回路４４でも同様に階層データｄ２に対して１／４平均処理がなされ、階層データｄ３が生成される。この階層データｄ３は、第４階層データに対応する。生成された階層データｄ３は、平均化回路４５および減算器４９へ供給される。さらに、平均化回路４５でも同様に階層データｄ３に対して１／４平均処理がなされ、階層データｄ４が生成される。この階層データｄ４は、第５階層データに対応する。生成された階層データｄ４は、量子化器５４へ供給される。
【００４８】
そして、これら５つの階層データについて階層間で予測が行われる。先ず、第５階層においてなされる圧縮のための量子化処理は、量子化器５４によりなされる。この量子化器５４の出力データｄ２１が可変長符号のエンコーダ７１に供給されると共に、逆量子化器５８へも供給される。エンコーダ７１の出力が出力端子７６に第５階層のデータとして取り出される。符号化データｄ２１が供給された逆量子化器５８の出力データｄ１６がクラス分類適応予測回路６２へ供給される。
【００４９】
クラス分類適応予測回路６２では、データｄ１６を使用して予測処理がなされ、第４階層データの予測値ｄ１２が生成され、この予測値ｄ１２が減算器４９へ供給される。この減算器４９では、平均化回路４４から供給される階層データｄ３と予測値ｄ１２との差分値が求められ、その差分値ｄ８が量子化器５３へ供給される。
【００５０】
差分値ｄ８が供給された量子化器５３では、量子化器５４と同様に量子化ビット数を低減するように、再量子化がなされる。この量子化器５３の出力データが演算器６６および逆量子化器５７へ供給される。この演算器６６では、４画素から１画素を間引く処理が行われる。演算器６６から出力されるデータｄ２０が可変長符号のエンコーダ７０で符号化され、エンコーダ７０の出力が出力端子７５に第４階層の出力データとして取り出される。
【００５１】
クラス分類適応予測回路６２により予測された第４階層データｄ１２と、逆量子化器５７の出力データ（復号残差信号）ｄ１５がクラス分類適応予測回路６１へ供給される。クラス分類適応予測回路６１では、データｄ１２に対してデータｄ１５を加算することによって、第４階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第３階層データの予測値ｄ１１が生成され、この予測値ｄ１１が減算器４８へ供給される。この減算器４８では、平均化回路４３から供給されるデータｄ２と予測値ｄ１１との差分値が求められ、その差分値ｄ７が量子化器５２へ供給される。
【００５２】
差分値ｄ７が供給された量子化器５２の出力データが演算器６５および逆量子化器５６へ供給される。この演算器６５では、４画素から１画素を間引く処理が行われる。演算器６５から出力される第３階層データｄ１９が可変長符号のエンコーダ６９に供給され、エンコーダ６９の出力が出力端子７４に第３階層のデータとして取り出される。
【００５３】
クラス分類適応予測回路６１により予測された第３階層データｄ１１と、量子化器５２から符号化データが供給された逆量子化器５６の出力データｄ１４がクラス分類適応予測回路６０へ供給される。クラス分類適応予測回路６０では、データｄ１１に対してデータｄ１４を加算することによって、第３階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第２階層データの予測値ｄ１０が生成され、予測値ｄ１０が減算器４７へ供給される。この減算器４７では、平均化回路４２から供給されるデータｄ１と予測値ｄ１０との差分値が求められ、その差分値ｄ６が量子化器５１へ供給される。
【００５４】
量子化器５１の出力データは、演算器６４および逆量子化器５５へ供給される。この演算器６４では、４画素から１画素を間引く処理が行われる。演算器６４から出力される第２階層データｄ１８が可変長符号のエンコーダ６８に供給され、エンコーダ６８の出力が出力端子７３に第２階層のデータとして取り出される。
【００５５】
クラス分類適応予測回路６０により予測された第２階層データｄ１０と、量子化器５１から符号化データが供給された逆量子化器５５の出力データｄ１３がクラス分類適応予測回路５９へ供給される。クラス分類適応予測回路５９では、データｄ１０に対してデータｄ１３を加算することによって、第２階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第１階層データの予測値ｄ９が生成され、予測値ｄ９が減算器４６へ供給される。この減算器４６では、入力端子４１から供給される入力画素データｄ０と予測値ｄ９との差分値が求められ、その差分値ｄ５が量子化器５０へ供給される。
【００５６】
差分値ｄ５が供給された量子化器５０の出力データは、演算器６３へ供給される。この演算器６３では、４画素から１画素を間引く処理が行われる。演算器６３から出力される第１階層データｄ１７が可変長符号のエンコーダ６７に供給され、エンコーダ６７の出力が出力端子７２に第１階層のデータとして取り出される。
【００５７】
クラス分類適応予測回路５９、６０、６１、６２のそれぞれは、予測しようとする下位階層の画素をその空間的に近傍の複数の画素（上位階層に含まれる）のレベル分布に基づいて予測するものである。図１２は、クラス分類適応予測回路の一例を示す。入力端子１４１からのローカル復号データが周辺コード値形成部１４２に供給される。周辺コード値形成部１４２は、予測しようとする下位階層の画素の近傍に位置する複数のデータｘ１  、ｘ２  、・・・・、ｘｎ  を同時化する。周辺コード値がクラス分類部１４３および遅延部１４５に供給される。クラス分類部１４３は、周辺コード値ｘ１  〜ｘｎ  のレベル分布のパターンと対応したクラスコードを出力する。クラスコードとしては、周辺コード値それ自体を使用しても良いが、クラス数が膨大となるので、周辺コードのそれぞれのビット数をＡＤＲＣ等により例えば１ビットに圧縮したものが使用される。クラス分類部１４３から発生したクラスコードが予測係数メモリ１４４に対してアドレス信号として供給される。
【００５８】
予測係数メモリ１４４には、予め学習により獲得された予測係数ｗ１  〜ｗｎ  がアドレス毎に格納されている。すなわち、教師信号（例えば第４階層のデータ）と、入力信号（第４階層のデータから平均化処理で形成された第５階層のデータ）とを使用し、入力信号の複数のデータと係数との線形１次結合により予測値を求め、この予測値と教師信号の真値との誤差の自乗和を最小とするような係数がクラス毎に最小自乗法により求められる。クラスコードに対応して予測係数メモリ１４４から読出された予測係数ｗ１〜ｗｎ  と遅延部１４５からの周辺コード値ｘ１  〜ｘｎ  とが予測演算部１４６に供給される。
【００５９】
予測演算部１４６では、下記の線形１次結合式によって、予測値ｙが計算される。
ｙ＝ｗ１  ｘ１  ＋ｗ２  ｘ２  ＋・・・・・＋ｗｎ  ｘｎ  
予測演算部１４６により求められた予測値ｙが出力端子１４７に取り出される。なお、クラス分類のために使用される周辺コード値と、予測演算のために使用される周辺コード値とが異なったものでも良い。
【００６０】
上述した一実施例における符号化ユニット１２５（図２参照）と同様の構成が階層符号化のエンコーダ側にも設けられている。つまり、量子化回路６迄の前段の構成と同様の構成を量子化器５０、５１、５２、５３、５４がそれぞれ有し、ビットプレーン符号化回路７より後段の構成と同様の構成を可変長エンコーダ６７、６８、６９、７０、７１がそれぞれ有する。
【００６１】
次に、上述のエンコーダと対応する階層符号化のデコーダ側の構成例を図１１に示す。エンコーダ側で生成された各階層データは、ｄ３０〜ｄ３４として入力端子８１、８２、８３、８４、８５にそれぞれ供給される。そして、可変長符号のデコーダ８６、８７、８８、８９、９０にて可変長符号の復号がなされる。これらのデコーダに対して、逆量子化器９１、９２、９３、９４、９５がそれぞれ接続される。
【００６２】
先ず、第５階層入力データｄ３４は、逆量子化器９５において、エンコーダで施された量子化に対応する復号処理が行われ、画像データｄ３９となり、クラス分類適応予測回路１０７および演算器１０３へ供給される。また画像データｄ３９は、第５階層の画像出力として、出力端子１１２から取り出される。
【００６３】
クラス分類適応予測回路１０７では、第４階層の画像データに対してクラス分類適応予測が施され、第４階層データの予測値ｄ４７が生成される。逆量子化器９４からのデータｄ３８（すなわち、差分値）と予測値ｄ４７とが加算器９９で加算される。加算器９９から画像データｄ４３が演算器１０３へ供給され、演算器１０３では、非伝送画素の値を求めるために、上述した演算が実行され、逆量子化器９５から供給された画像データｄ３９と画像データｄ４３から第４階層の全画素値が復元される。この演算器１０３において、復元された全画素値は、画像データｄ５１として、クラス分類適応予測回路１０６および演算器１０２へ供給される。また画像データｄ５１は、第４階層の出力として、出力端子１１１から取り出される。
【００６４】
クラス分類適応予測回路１０６では、第３階層の画像データに対してクラス分類適応予測が施され、第３階層データの予測値ｄ４６が生成される。逆量子化器９３からのデータｄ３７と予測値ｄ４６とが加算器９８で加算される。加算器９８から画像データｄ４２が演算器１０２へ供給され、演算器１０２により非伝送画素の値が求められ、演算器１０３から供給された画像データｄ５１と画像データｄ４２から第３階層の全画素値が復元される。この演算器１０２において、復元された全画素値は、画像データｄ５０として、クラス分類適応予測回路１０５および演算器１０１へ供給される。また画像データｄ５０は、第３階層の出力として、出力端子１１０から取り出される。
【００６５】
また、クラス分類適応予測回路１０５では、第２階層の画像データに対してクラス分類適応予測が施され、第２階層データの予測値ｄ４５が生成される。逆量子化器９２からのデータｄ３６と予測値ｄ４５とが加算器９７で加算される。加算器９７から画像データｄ４１が演算器１０１へ供給され、演算器１０１により非伝送画素の値が求められ、演算器１０２から供給された画像データｄ５０と画像データｄ４１から第２階層の全画素値が復元される。この演算器１０１において、復元された全画素値は、画像データｄ４９として、クラス分類適応予測回路１０４および演算器１００へ供給される。また画像データｄ４９は、第２階層の出力として、出力端子１０９から取り出される。
【００６６】
さらに、クラス分類適応予測回路１０４では、第１階層の画像データに対してクラス分類適応予測が施され、第１階層データの予測値ｄ４４が生成される。逆量子化器９１からのデータｄ３５と予測値ｄ４４とが加算器９６で加算される。加算器９６から画像データｄ４０が演算器１００へ供給され、演算器１００により非伝送画素の値が求められ、演算器１０１から供給された画像データｄ４９と画像データｄ４０から第１階層の全画素値が復元される。この演算器１００において、復元された全画素値は、画像データｄ４８として、第１階層の出力として、出力端子１０８から取り出される。クラス分類適応予測回路１０４、１０５、１０６、１０７のそれぞれは、図１２に示し、上述した具体的構成を有している。こうして、符号化対象画素数の増加を防止した階層符号化において、クラス分類適応予測を導入することで符号化効率の向上を図ることが可能となる。
【００６７】
上述した一実施例の復号化ユニット１３４と同様の構成を可変長符号のデコーダ８６、８７、８８、８９、９０と、逆量子化器９１、９２、９３、９４、９５がそれぞれ有する。従って、上述した階層符号化に対してこの発明を適用した他の実施例によっても、上述した一実施例と同様に、ブロック化された残差信号のレベル範囲が所定の条件を満たす場合に、量子化ビット数をより少なくすることができる。
【００６８】
この発明において発生した、モード信号ＭＯＤＥと符号化残差信号との伝送方法としては、種々のものが可能である。例えば１フレーム分のモード信号を先にまとめて伝送し、その後に符号化残差信号を伝送することができる。また、この発明は、３以上の量子化モードを設定することができる。例えばブロックの残差信号のレベル範囲のみならず、そのダイナミックレンジＤＲも考慮して、ダイナミックレンジＤＲが小さい時には、第２の量子化モードにおけるビット数より少ないビット数の第３の量子化モードが設定されるようにしても良い。さらに、第１の量子化モードの量子化出力のレベル範囲に基づいて、量子化モードを決定するようにしても良い。
【００６９】
よりさらに、この発明は、上述した予測符号化以外の予測符号化で発生した残差信号の量子化に対しても適用できる。また、この発明は、量子化ステップ幅を制御することによって、発生データ量を制御するバッファリングの構成を有するシステムに対しても適用することができる。
【００７０】
【発明の効果】
この発明に依れば、ブロック化された残差信号の度数分布が０を跨がない場合を検出し、その場合では、量子化ビット数をより少なくし、伝送データ量を一層低減することができる。
【図面の簡単な説明】
【図１】この発明を適用できる記録／再生、あるいは伝送システムの一例のブロック図である。
【図２】この発明の一実施例のブロック図である。
【図３】この発明の一実施例中の残差信号の生成と、そのブロック化の説明に用いる略線図である。
【図４】この発明の一実施例における量子化処理の説明に用いる略線図である。
【図５】この発明の一実施例中の量子化回路の一例のブロック図である。
【図６】この発明の一実施例中のビットプレーンの説明に用いる略線図である。
【図７】この発明の一実施例における復号化ユニットのブロック図である。
【図８】階層符号化の一例の説明に用いる略線図である。
【図９】階層符号化の一例の説明に用いる略線図である。
【図１０】階層符号化に対してこの発明を適用した他の実施例のエンコード側の構成の一例を示すブロック図である。
【図１１】この発明の他の実施例のデコード側の構成の一例を示すブロック図である。
【図１２】この発明の他の実施例のクラス分類適応予測回路の構成の一例を示すブロック図である。
【符号の説明】
２・・・最大値検出回路，３・・・最小値検出回路，５・・・モード決定回路
６・・・量子化回路
【図１】
0003629826.tif 000002
【図２】
0003629826.tif 000003
【図３】
0003629826.tif 000004
【図５】
0003629826.tif 000005
【図４】
0003629826.tif 000006
【図６】
0003629826.tif 000007
【図７】
0003629826.tif 000008
【図８】
0003629826.tif 000009
【図９】
0003629826.tif 000010
【図１０】
0003629826.tif 000011
【図１１】
0003629826.tif 000012
【図１２】
0003629826.tif 000013