(57)【特許請求の範囲】
【請求項１】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化方法において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成ステツプと、
上記各階層画像データをブロツクにブロツク化するブロツク化ステツプと、
上記各階層画像データの上記ブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化する量子化ステツプとからなり、
上記量子化ステツプでは、少なくとも１つの階層の画像データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化方法。
【請求項２】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化方法において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成ステツプと、
上記各階層画像データをブロツクにブロツク化するブロツク化ステツプと、
解像度の最も低い最上位階層画像データを除く上記各階層画像データについて、当該各階層画像データと隣接上位階層画像データの対応するブロツク間の差分を演算し、階層差分データを形成する差分データ形成ステツプと、
上記最上位階層画像データ及び上記最上位階層を除く上記各階層差分データの上記ブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化する量子化ステツプとからなり、
上記量子化ステツプでは、少なくとも１つの階層の画素データ又は差分画素データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化方法。
【請求項３】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化装置において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
上記各階層画像データをブロツクにブロツク化するブロツク化手段と、
上記各階層画像データの上記ブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化する量子化手段とからなり、
上記量子化手段は、少なくとも１つの階層の画像データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする
ことを特徴とする画像信号符号化装置。
【請求項４】
請求項３において、
上記画像信号符号化装置は、解像度の最も低い最上位階層を除く各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成手段を含み、
上記量子化手段は、上記最上位階層画像データ及び上記最上位階層を除く各階層の上記間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する  ことを特徴とする画像信号符号化装置。
【請求項５】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化装置において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
上記各階層画像データをブロツクにブロツク化するブロツク化手段と、
解像度の最も低い最上位階層画像データを除く上記各階層画像データについて、当該各階層画像データと隣接上位階層画像データの対応するブロツク間の差分を演算し、階層差分データを形成する差分データ形成手段と、
上記最上位階層画像データ及び上記最上位階層を除く上記各階層差分データの上記ブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化する量子化手段とからなり、
上記量子化手段は、少なくとも１つの階層の画素データ又は差分画素データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化装置。
【請求項６】
請求項５において、
上記階層差分データを形成する上記差分データ形成手段では、上記各階層画像データと、上記隣接上位階層画像データを用いて所定の予測演算処理によつて予測生成した隣接下位階層画像データとの差分をとることにより上記階層差分データを形成する  ことを特徴とする画像信号符号化装置。
【請求項７】
請求項５において、
上記画像信号符号化装置は、上記階層差分データを形成する上記差分データ形成手段において形成された上記各階層の階層差分データについて、隣接上位階層の差分データ及び自分の階層の差分データを用いた算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成手段を含み、
上記量子化手段は、上記最上位階層画像データ及び上記最上位階層を除く各階層の上記間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する  ことを特徴とする画像信号符号化装置。
【請求項８】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化し、その符号化データを伝送する画像信号伝送方法において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成ステツプと、
上記各階層画像データをブロツクにブロツク化するブロツク化ステツプと、
上記各階層画像データの上記ブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化する量子化ステツプと、
上記符号化データを伝送する伝送ステツプとからなり、
上記量子化ステツプは、少なくとも１つの階層の画素データ又は隣接上位階層画像データの対応するブロツクとの差分でなる差分画素データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号伝送方法。
【請求項９】
請求項８において、
上記画像信号伝送方法は、解像度の最も低い最上位階層を除く上記各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成ステツプを含み、
上記量子化ステツプは、上記最上位階層画像データ及び上記最上位階層を除く各階層の上記間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する  ことを特徴とする画像信号伝送方法。
【請求項１０】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化し、その符号化データを伝送する画像信号伝送方法において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成ステツプと、
上記各階層画像データをブロツクにブロツク化するブロツク化ステツプと、
解像度の最も低い最上位階層画像データを除く上記各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成する差分データ形成ステツプと、
上記最上位階層画像データ及び上記最上位階層を除く上記各階層差分データの上記ブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化する量子化ステツプと、
上記符号化データを伝送する伝送ステツプとからなり、
上記量子化ステツプは、少なくとも１つの階層の画素データ又は差分画素データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号伝送方法。
【請求項１１】
請求項１０において、
上記画像信号伝送方法は、上記階層差分データを形成するステツプにおいて形成された上記各階層の階層差分データについて、隣接上位階層の差分データ及び当該各階層の差分データを用いた算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成ステツプを含み、
上記量子化ステツプは、上記最上位階層画像データ及び上記最上位階層を除く各階層の上記間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する  ことを特徴とする画像信号伝送方法。
【請求項１２】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化装置において、
上記各階層画像データの複数の画素値に基づき、上位階層画像に関するデータを生成する画像データ生成手段と、
上記各階層画像データをブロツクにブロツク化するブロツク化手段と、
各階層に関するデータの上記ブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化する量子化手段とからなり、
上記量子化手段は、少なくとも１つの階層の画像に関するデータについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化装置。
【請求項１３】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化装置において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
上記各階層画像データの値を、量子化誤差が正値である第１の量子化及び量子化誤差が負値である第２の量子化の夫々について量子化する量子化手段とからなり、
上記量子化手段は、少なくとも１つの階層の画像データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化装置。
【請求項１４】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化方法において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成ステツプと、
上記各階層画像データの値を、量子化誤差が正値である第１の量子化及び量子化誤差が負値である第２の量子化の夫々について量子化する量子化ステツプとからなり、
上記量子化ステツプは、少なくとも１つの階層の画像データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化方法。
【請求項１５】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化装置において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
解像度の最も低い最上位階層画像データを除く上記各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成する差分データ形成手段と、
上記最上位階層画像データ及び上記最上位階層を除く上記各階層差分データの値を、量子化誤差が正値である第１の量子化及び量子化誤差が負値である第２の量子化の夫々について量子化する量子化手段とからなり、
上記量子化手段は、少なくとも１つの階層の画素データ又は差分画素データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化装置。
【請求項１６】
入力画像データから解像度の異なる複数の階層画像データを生成し、当該各階層画像データを符号化する画像信号符号化方法において、
上記各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成ステツプと、
解像度の最も低い最上位階層画像データを除く上記各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成する差分データ形成ステツプと、
上記最上位階層画像データ及び上記最上位階層を除く上記各階層差分データの値を、量子化誤差が正値である第１の量子化及び量子化誤差が負値である第２の量子化の夫々について量子化する量子化ステツプと
からなり、
上記量子化ステツプは、少なくとも１つの階層の画素データ又は差分画素データについて、上記第１の量子化結果と上記第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくする  ことを特徴とする画像信号符号化方法。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術（図１０及び図１１）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）第１実施例（図１〜図５）
（２）第２実施例（図６及び図７）
（３）第３実施例（図８及び図９）
（４）他の実施例
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法に関し、特に所定の画像データを異なる解像度でなる複数階層の画像データに分割し、それぞれの階層の画像データを符号化して、符号化データを生成する（すなわち画像データを階層符号化する）場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、この種の画像信号符号化装置においては、高解像度の入力画像データを第１の階層画像データとして、この第１の階層データよりも解像度の低い第２の階層データ、さらに第２の階層データよりも解像度の低い第３の階層データ、……を順次形成し、これら複数の階層データをそれぞれ圧縮符号化する。これにより、情報量が順次低減された複数階層分の階層符号化データが形成され、この複数の階層符号化データを通信路や記録再生経路を介して伝送することができる。
【０００４】
この複数の階層符号化データを復号化する画像信号復号装置では、複数の階層符号化データを全て復号することもでき、またそれぞれに対応するテレビジヨンモニタの解像度等に応じていずれかの階層符号化データのうち所望の１つを選択して復号することもできる。これにより、階層化された複数の階層データから所望の階層データのみについて復号化すれば、必要最小限の伝送データ量で所望の画像データを得ることもできる。
【０００５】
ここで、図１０に示すように、この階層符号化として、例えば４階層の符号化を実現する画像信号符号化装置１は、それぞれ３段分の間引きフイルタ２、３、４と補間フイルタ５、６、７とを有し、入力画像データＤ１について各段の間引きフイルタ２、３、４によつて順次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると共に、補間フイルタ５、６、７により縮小画像データＤ２、Ｄ３、Ｄ４を縮小前の解像度データＤ５、Ｄ６、Ｄ７にそれぞれ戻す。
【０００６】
各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７は、それぞれ差分回路８、９、１０に入力され、各差分回路により差分データＤ８、Ｄ９、Ｄ１０が生成される。この差分データＤ８〜Ｄ１０の度数分布は０付近に集中することになるため、画像信号符号化装置１においては、階層データのデータ量を低減することができると共に、信号電力を低減することができる。また、後段に配置される可変長符号化回路で、ランレングス符号化やハフマン符号化などを使用することにより、さらにデータ量を低減することができる。ここで、この差分データＤ８〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が、入力画像データＤ１に対して１、1/4 、1/16、1/64のサイズとなつている。
【０００７】
それぞれの差分回路８〜１０より得られる差分データＤ８〜Ｄ１０及び間引きフイルタより得られる縮小画像データＤ４は、各符号器１１、１２、１３、１４によつてそれぞれ符号化されて圧縮処理が施される。この結果、各符号器１１、１２、１３、１４から解像度の異なる第１、第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１４が所定の順序で通信路に送出されたり、伝送路を介して記録媒体に記録される。
【０００８】
このようにして伝送される第１〜第４の階層データＤ１１〜Ｄ１４は、図１１に示す画像信号復号化装置２０によつて復号される。すなわち、それぞれ、入力端子を介して通信路もしくは記録媒体から供給された第１〜第４の階層データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、２４によつて復号され、この結果、復号器２４からは、復号された第４の階層データＤ２４が出力される。
【０００９】
また、復号器２３の出力は、加算回路２９において補間フイルタ２６より得られる第４の階層データＤ２４の補間データと加算され、これにより第３の階層データＤ２３が復元される。同様にして、復号器２２の出力は、加算回路３０において補間フイルタ２７より得られる第３の階層データＤ２３の補間データと加算され、これにより第２の階層データＤ２２が復元される。さらに、復号器２１の出力は、加算回路３１において補間フイルタ２８より得られる第２の階層データＤ２２の補間データと加算され、これにより第１の階層データＤ２１が復元される。
【００１０】
【発明が解決しようとする課題】
ところが、かかる階層符号化を実現する画像信号符号化装置１においては、入力画像データＤ１を複数の階層データに分割して、それぞれの階層データを符号化するため、必然的に階層成分だけ伝送データ量が増加する。したがつて、その分、階層符号化を用いない高能率符号化方式に比して圧縮効率が低下するという問題がある。
【００１１】
また、画像信号復号化装置２０においては、上位階層で復元された階層データに基づいて下位階層の階層データを復元するというように、上位階層データから下位階層データに向かつて順に階層データＤ２４、Ｄ２３、Ｄ２２、Ｄ２１を復元する。したがつて、符号化された上位階層の階層データＤ１４やＤ１３を復号したときに、その復号データに圧縮符号化による誤差が含まれると、本来高解像度が望まれる下位階層の復元階層データＤ２１やＤ２２に圧縮符号化誤差が伝播され、下位階層の復元階層データにその誤差に基づく画質劣化が非常に目立つて現れるという問題があつた。
【００１２】
本発明は、以上の点を考慮してなされたもので、画像データを階層符号化する際に圧縮効率を向上し得ると共に、画質劣化を低減し得る画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、平均演算により生成した各階層画像データを量子化する際に、各階層画像データをブロツクにブロツク化し、かかるブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化するようにして、少なくとも１つの階層の画像データについて、第１の量子化結果と第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくするようにしたことにより、復号時にブロツク歪などの画質劣化が低減した階層符号化を実現することができる。
【００１４】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１５】
（１）第１実施例
図１は、全体として第１実施例による画像信号符号化装置２４０を示している。この第１実施例では、３階層分の階層データを形成し、これらの３階層分のデータをそれぞれ圧縮符号化して伝送する場合を示している。画像信号符号化装置２４０は、高解像度の入力画像データＤ２３１（以下、これを第１階層画像データと呼ぶ）をブロツク化回路２４１において、２ライン×２画素の小ブロツクに分割して、第１階層のブロツク化データＤ２３２を形成し、この第１階層のブロツク化データＤ２３２を間引き回路２４２及び平均化回路２４３に送出する。
【００１６】
平均化回路２４３は、ブロツク化データＤ２３２の各ブロツク内画素値を平均化して、入力画像データＤ２３１に対して1/4 に縮小された第２階層画像データＤ２３３を生成し、この第２階層画像データＤ２３３をブロツク化回路２４４に送出する。ブロツク化回路２４４は、ブロツク化回路２４１と同様に、第２階層画像データＤ２３３を２ライン×２画素の小ブロツクに分割して、第２の階層のブロツク化データＤ２３４を形成し、この第２の階層のブロツク化データＤ２３４を間引き回路２４５及び平均化回路２４６に送出する。
【００１７】
平均化回路２４６は、平均化回路２４３と同様に、ブロツク化データＤ２３４の各ブロツク内画素値を平均化して、第２階層画像データＤ２３３に対して1/4 に縮小された、すなわち第１階層画像データＤ２３１に対して1/16に縮小された第３階層画像データＤ２３５を生成する。すなわち、平均化回路２４３は、図２（Ｃ）の点線で示すように、第１階層のブロツク内の４画素（例えばＸ11、Ｘ12、Ｘ21、Ｘ22）を用いて、次式、
【数１】
0003879944.tif 000002
による平均値演算を行い、図２（Ｂ）で示す第２階層の１画素（例えばＹ11）を生成する。なお、画素Ｙ13、Ｙ31、……も第１階層の４画素平均により、同様に生成される。
【００１８】
同様に、平均化回路２４６は、図２（Ｂ）に示すような第２階層のブロツク内の４画素（例えばＹ11、Ｙ13、Ｙ31、Ｙ33）を用いて、次式、
【数２】
0003879944.tif 000003
による平均値演算を行い、図２（Ｃ）で示す第３階層の１画素（例えばＺ11）を生成する。なお、画素Ｚ15、Ｚ51、……も第２階層の４画素平均により、同様に生成される。
【００１９】
間引き回路２４２、２４５は、ブロツク化回路２４１からのブロツク化データＤ２３２及びブロツク化回路２４４からのブロツク化データＤ２３４をそれぞれ受信し、４画素で構成されるブロツク化データＤ２３２、Ｄ２３４のうち１画素を取り除き、各ブロツクにつき取り除かれた１画素を除く残り３画素で構成される間引きデータＤ２３６、Ｄ２３７を形成し、この間引きデータＤ２３６、Ｄ２３７を量子化回路２４７、２４８にそれぞれ送出する。すなわち、間引き回路２４２は、図２（Ｃ）の点線で示すような画素Ｘ11、Ｘ13、……を間引きにより削除し、間引き回路２４５は、図２（Ｂ）の点線で示すような画素Ｙ11、Ｙ15、……を間引きにより削除する。
【００２０】
従つて、第１階層の量子化回路２４７及び第２階層の量子化回路２４８の量子化対象となる画素は、図２（Ｃ）及び図２（Ｂ）の実線で示される画素Ｘ12、Ｘ21、Ｘ22、……やＹ13、Ｙ31、Ｙ33……であり、第１階層について見れば、第１階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を 3/4に低減できる。また、第２階層について見れば、平均演算により生成された第２階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4 に低減する。
【００２１】
また、全体的に見れば、画像信号符号化装置２４０においては、第１階層画像データＤ２３１のみを圧縮して伝送する場合と比較して、等しい伝送画素数で、複数階層の画像データを伝送することができるようになされている。この結果、画像信号符号化装置２４０は、伝送情報量を増加させずに、複数階層の画像データを伝送することができる。なお、間引き回路２４２、２４５において間引かれた画素は、後述する復号側（受信側）で簡単な算術式を用いて復元することができる。
【００２２】
量子化回路２４７、２４８及び２４９は、それぞれ間引きデータＤ２３６、Ｄ２３７及び第３階層画像データＤ２３５の各画素（８ビツト）を、例えば２ビツトで再量子化して情報量を圧縮する。
【００２３】
このとき、量子化回路２４７、２４８、２４９のそれぞれは、歪み最小規範に従つて各画素を量子化するのではなく、量子化誤差の極性が正極性及び負極性の両方に振れるような２通りの量子化を行う。歪み最小規範に従つた量子化とは、後述するが、量子化誤差を最小とするために従来一般的に用いられている量子化手法である。そして、量子化回路２４７は、正極性再量子化データＤ２３８Ａ及び負極性再量子化データＤ２３８Ｂを、量子化回路２４８は、正極性再量子化データＤ２３９Ａ及び負極性再量子化データＤ２３９Ｂを、量子化回路２４９は、正極性再量子化データＤ２４０Ａ及び負極性再量子化データＤ２４０Ｂをそれぞれ生成する。そしてこれら再量子化データＤ２３８Ａ及びＤ２３８Ｂ、Ｄ２３９Ａ及びＤ２３９Ｂ、Ｄ２４０Ａ及びＤ２４０Ｂをセレクタ２５４、２５５、２５６にそれぞれ送出する。
【００２４】
セレクタ２５４、２５５、２５６には、画像信号符号化装置２４０の全体を制御するコントローラ２５７から出力される画素クロツク信号ＣＬＫ１、ＣＬＫ２、ＣＬＫ３がそれぞれ入力され、セレクタ２５４、２５５、２５６は、そのクロツク信号が入力されるタイミングで交互に正極性再量子化データＤ２３８Ａ又は負極性再量子化データＤ２３８Ｂ、正極性再量子化データＤ２３９Ａ又は負極性再量子化データＤ２３９Ｂ、正極性再量子化データＤ２４０Ａ又は負極性再量子化データＤ２４０Ｂを選択し、選択された再量子化データを再量子化データＤ２３８、Ｄ２３９、Ｄ２４０として可変長符号化回路（ＶＬＣ）２５０、２５１、２５２にそれぞれ送出する。実際上、コントローラ２５７から出力される画素クロツク信号ＣＬＫ１〜ＣＬＫ３は、下位階層から上位階層に行くに従つて、画素クロツク周波数が１／４ずつ小さくなつているので、画素クロツク信号ＣＬＫ１〜ＣＬＫ３は、画素クロツク信号ＣＬＫ１の周波数をｆとすると、画素クロツク信号ＣＬＫ２の周波数はｆ／４に、画素クロツク信号ＣＬＫ３の周波数はｆ／１６に選定されている。
【００２５】
ここで、量子化回路２４７〜２４９について、図３を用いて具体的に説明する。図３は、入力されるデータが１画素当り８ビツトのデータであり、かつ０〜２５５までのレベルをとり得る場合に、０〜６３のレベルの画素には量子化値「０」を出力し、６４〜１２７のレベルの画素には量子化値「１」を出力し、１２８〜１９１のレベルの画素には量子化値「２」を出力し、１９２〜２５５のレベルの画素には量子化値「３」を出力するような２ビツト量子化を表わすものである。これは、歪み最小規範と呼ばれ、量子化誤差を最小とするために従来一般的に用いられている手法である。
【００２６】
第１実施例の量子化回路２４７〜２４９は、この歪み最小規範を用いずに、入力される各画素について、量子化誤差が正極性及び負極性となる２通りの量子化を行う。例えば、量子化回路２４７〜２４９に入力された画素データが、図３に示されるようなＬ１のようなレベルにあつた場合、量子化回路２４７〜２４９のそれぞれは、第１に、量子化誤差が正極性となるように（図３では＋δ１）すなわち正極性再量子化データＤ２３８Ａ、Ｄ２３９Ａ、Ｄ２４０Ａとして量子化値「３」を出力し、第２に、量子化誤差が負極性となるように（図３では−δ２）すなわち負極性再量子化データＤ２３８Ｂ、Ｄ２３９Ｂ、Ｄ２４０Ｂとして量子化値「２」を出力する。
【００２７】
同様に、入力された画素データが図３で示されるようなＬ２のようなレベルにあつた場合、量子化回路２４７〜２４９のそれぞれは、正極性再量子化データＤ２３８Ａ、Ｄ２３９Ａ、Ｄ２４０Ａとして量子化値「２」を出力し、負極性再量子化データＤ２３８Ｂ、Ｄ２３９Ｂ、Ｄ２４０Ｂとして量子化値「１」を出力する。
【００２８】
また、間引き回路２４２、量子化回路２４７及びセレクタ２５４には図２（Ｃ）の各画素が点線で示すブロツク単位で順次入力される。例えばＸ12、Ｘ21、Ｘ22、Ｘ14、Ｘ23、Ｘ24、……の順で入力される。したがつて、セレクタ２５４は、コントローラ２５７からのクロツク信号ＣＬＫ１に基づいて、ブロツク内の画素毎に正極性の誤差を持つように量子化された再量子化データＤ２３８Ａと負極性の誤差を持つように量子化された再量子化データＤ２３８Ｂとを交互に選択して出力することになる。つまり、あるブロツクにおいては、３つの画素のうち２つが正の極性の量子化誤差をもち、１つが負の極性の量子化誤差をもつことになる。また、次のブロツクにおいては、３つの画素のうち２つが負の極性の量子化誤差をもち、１つが正の極性の量子化誤差をもつことになる。これにより、ブロツク内の３つの画素、例えば、画素Ｘ12、Ｘ21、Ｘ22が全て同一方向の極性の量子化誤差をもつことはなくなる。したがつて、ブロツク内画素が、全て一方向の極性の量子化誤差をもつ場合に生じるブロツク歪みを回避でき、この結果視覚特性上の画質劣化を抑制できる。
【００２９】
同様に、間引き回路２４５、量子化回路２４８及びセレクタ２５５には図２（Ｂ）の各画素が点線で示すブロツク単位で順次入力される。例えばＹ13、Ｙ31、Ｙ33、Ｙ17、Ｙ35、Ｙ37、……の順で入力される。したがつて、セレクタ２５５は、コントローラ２５７からのクロツク信号ＣＬＫ２に基づいて、ブロツク内の画素毎に正極性の誤差を持つように量子化された再量子化データＤ２３９Ａと負極性の誤差を持つように量子化された再量子化データＤ２３９Ｂとを交互に選択して出力することになる。これにより、ブロツク内の３つの画素、例えば、画素Ｙ13、Ｙ31、Ｙ33が全て同一方向の極性の量子化誤差をもつことはなくなる。したがつて、ブロツク内画素が、全て一方向の極性の量子化誤差をもつ場合に生じるブロツク歪みを回避でき、この結果視覚特性上の画質劣化を抑制できる。
【００３０】
さらに、量子化回路２４９及びセレクタ２５６には図２（Ａ）の各画素が点線で示すブロツク単位で順次入力される。例えばＺ15、Ｚ51、Ｚ55、……の順で入力される。したがつて、セレクタ２５６は、コントローラ２５７からのクロツク信号ＣＬＫ３に基づいて、ブロツク内の画素毎に正極性の誤差を持つように量子化された再量子化データＤ２４０Ａと負極性の誤差を持つように量子化された再量子化データＤ２４０Ｂとを交互に選択して出力することになる。これにより、ブロツク内の３つの画素、例えば、画素Ｚ15、Ｚ51、Ｚ55が全て同一方向の極性の量子化誤差をもつことはなくなる。したがつて、ブロツク内画素が、全て一方向の極性の量子化誤差をもつ場合に生じるブロツク歪みを回避でき、この結果視覚特性上の画質劣化を抑制できる。
【００３１】
セレクタ２５４、２５５、２５６から出力された再量子化データＤ２３８、Ｄ２３９、Ｄ２４０は、それぞれ可変長符号化回路（ＶＬＣ）２５０、２５１、２５２に供給される。可変長符号化回路２５０〜２５２は、再量子化データＤ２３８〜Ｄ２４０に対して発生度数の大きい量子化コードほど短いハフマンコードを割り当て、各再量子化データＤ２３８〜Ｄ２４０を可能な限り少ない符号量で表現した第１階層符号化データＤ２４１、第２階層符号化データＤ２４２及び第３階層符号化データＤ２４３を形成し、この第１階層符号化データＤ２４１、第２階層符号化データＤ２４２及び第３階層符号化データＤ２４３を伝送フオーマツト変換回路２５３に送出する。
【００３２】
伝送フオーマツト変換回路２５３は、第１階層符号化データＤ２４１、第２階層符号化データＤ２４２及び第３階層符号化データＤ２４３を所定の順序で配列したり、各階層符号化データの階層を識別するための識別コードを付加することにより、伝送画像データＤ２４４を形成して、この伝送画像データＤ２４４を出力する。この出力された伝送画像データＤ２４４は、その後、通信路２５８を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープ又は半導体メモリなどの記録媒体２５９に記録される。
【００３３】
なお、上述した第１の実施例では、各階層毎に、量子化回路から２種類の再量子化データ（すなわち、正極性の誤差を持つように量子化された再量子化データと負極性の誤差を持つように量子化された再量子化データ）をセレクタに出力し、コントローラからのクロツク信号に従つて、正極性の誤差を持つ再量子化データと負極性の誤差を持つ再量子化データとを交互に選択して出力するようになされている。しかしながら、本発明はこれに限らず、セレクタを用いない方法も考えられる。つまり、コントローラ２５７からのクロツク信号ＣＬＫ１、ＣＬＫ２、ＣＬＫ３を量子化回路２４７、２４８、２４９にそれぞれ直接供給し、量子化回路２４７、２４８、２４９のそれぞれは、クロツク信号に基づいて、正極性の誤差をもたせた量子化及び負極性をもたせた量子化を交互に行い、ブロツク内画素Ｘ12、Ｘ21、Ｘ22をデイザ化するようにしてもよい。
【００３４】
この結果、上述した実施例と同様に、ブロツク内画素が全て一方向の極性の量子化誤差をもつ場合に生じるブロツク歪みを回避でき、この結果視覚特性上の画質劣化を抑制できる。また、この変形例においては、量子化回路において各画素に対して再量子化データを１つのみ演算し、かつセレクタも持たない構成であるため、回路規模も大幅に削減することができる。
【００３５】
このようにして形成された伝送画像データＤ２４４を復号する画像信号復号化装置２６０は、例えば、図４に示すように構成することができる。
この画像信号復号化装置２６０は、通信路２５８を介して供給されるか、もしくは再生伝送路を介して記録媒体２５９から再生される伝送画像データＤ２４４をデータ分流回路２６１に入力する。データ分流回路２６１は、図示しないスイツチング回路を有し、伝送画像データＤ２４４に含まれる各階層の識別コードを参照して伝送画像データＤ２４４を第１階層符号化データＤ２５０、第２階層符号化データＤ２５１及び第３階層符号化データＤ２５２に分流し、これら第１階層符号化データＤ２５０、第２階層符号化データＤ２５１及び第３階層符号化データＤ２５２をそれぞれ可変長復号化回路（ＩＶＬＣ）２６２、２６３、２６４に送出する。
【００３６】
可変長復号化回路２６２、２６３、２６４は、それぞれ上述した図１に示された可変長符号化回路２５０、２５１、２５２と逆の処理を実行し、ハフマン符号によつて表現されている第１階層符号化データＤ２５０、第２階層符号化データＤ２５１及び第３階層符号化データＤ２５２を再量子化コードで表現された再量子化データＤ２５３、Ｄ２５４、Ｄ２５５にそれぞれ変換する。そして、これらの再量子化データＤ２５３、Ｄ２５４、Ｄ２５５をそれぞれ逆量子化回路２６５、２６６、２６７に送出する。
【００３７】
逆量子化回路２６５は、上述した図１に示された量子化回路２４７によつて１画素当り２ビツトとされた再量子化データＤ２５３を例えば８ビツトのデータに逆量子化し、第１階層間引き復号データＤ２５６を生成する。そして、この第１階層間引き復号データＤ２５６を合成回路２６８及び画素生成回路２６９に送出する。逆量子化回路２６６は、上述した図１に示された量子化回路２４８によつて１画素当り２ビツトとされた再量子化データＤ２５４を例えば８ビツトのデータに逆量子化し、第２階層間引き復号データＤ２５７を生成する。そして、この第２階層間引き復号データＤ２５７を合成回路２７０及び画素生成回路２７１に送出する。
【００３８】
逆量子化回路２６７は、上述した図１に示された量子化回路２４９によつて１画素当り２ビツトとされた再量子化データＤ２５５を例えば８ビツトのデータに逆量子化し、第３階層復号画像データＤ２５８として出力する。そして、この第３階層復号画像データＤ２５８を例えば出力端子を介して表示画素数の少ない低解像度のテレビジヨンモニタに送出すると共に画素生成回路２７１に送出する。
【００３９】
画素生成回路２７１は、第３階層復号画像データＤ２５８と第２階層間引き復号データＤ２５７を用いて、上述した図１に示された画像信号符号化装置２４０の間引き回路２４５で間引かれた第２階層画素（すなわち図２（Ｂ）の点線で示す画素）を復元する。例えば間引きにより削除された第２階層の画素Ｙ11は、次式、
【数３】
0003879944.tif 000004
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００４０】
合成回路２７０は、このようにして生成された第２階層の復元画素データＤ２５９を第２階層間引き復号データＤ２５７中の所定の位置に挿入して合成することにより、第２階層復号画像データＤ２６０を形成する。そして、この第２階層復号画像データＤ２６０を例えば出力端子を介して表示画素数が中程度のテレビジヨンモニタに送出すると共に画素生成回路２６９に送出する。
【００４１】
画素生成回路２６９は、第２階層復号画像データＤ２６０と第１階層間引き復号データＤ２５６を用いて、上述した図１に示された画像信号符号化装置２４０の間引き回路２４２で間引かれた第１階層画素（すなわち図２（Ｃ）の点線で示す画素）を復元する。例えば間引きにより削除された第１階層画素Ｘ11は、次式、
【数４】
0003879944.tif 000005
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００４２】
合成回路２６８は、このようにして生成された第１階層の復元画素データＤ２６１を第１階層間引き復号データＤ２５６中の所定の位置に挿入して合成することにより、第１階層復号画像データＤ２６２を形成する。そして、この第１階層復号画像データＤ２６２を出力端子を介して例えば表示画素数が多いハイビジヨンテレビモニタに送出する。
【００４３】
以上の構成において、画像信号符号化装置２４０は、下位階層の複数画素の平均値によつて上位階層画素を生成することにより複数階層の画像データＤ２３１、Ｄ２３３、Ｄ２３５を生成する。
【００４４】
これに加えて、画像信号符号化装置２４０は、最上位階層すなわち第３階層を除いた階層画像データについて、同じ平均演算に用いた画素のうちの１画素は復号側で簡単な算術演算によつて復元できるので伝送画素から除外する。この結果、画像信号符号化装置２４０においては、階層構造に起因する伝送画素数の増加を伴わない階層符号化処理を実現することができる。
【００４５】
ところで、画像信号符号化装置２４０では、量子化回路２４７〜２４９によつて各階層画像データを再量子化することで各階層におけるデータ量を圧縮する。この結果、各再量子化データＤ２３８、Ｄ２３９、Ｄ２４０は、必然的に再量子化時の量子化誤差を含む値となる。そしてこの量子化誤差が大きくなるほど復号画像データＤ２５８、Ｄ２６０、Ｄ２６２の真値からの誤差が大きくなり、画質が劣化する。
【００４６】
そこで、画像信号符号化装置２４０及び画像信号復号化装置２６０における各階層での量子化誤差の影響について考える。ここで、各画素Ｚ11、Ｙ11、……の復号値をＺ11′、Ｙ11′、……とし、真値をＺ11、Ｙ11、……とし、量子化誤差をＥ（Ｚ11）、Ｅ（Ｙ11）……とすると、例えば逆量子化回路２６７によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、次式、
【数５】
0003879944.tif 000006
となる。また、逆量子化回路２６６によつて得られる第２階層の画素Ｙ13、Ｙ31、Ｙ33の復号値Ｙ13′、Ｙ31′、Ｙ33′は、次式、
【数６】
0003879944.tif 000007
となる。
【００４７】
ところが、画素生成回路２７１によつて復元される第２階層画素Ｙ11は、（３）式に基づいて生成されるので、その復号値Ｙ11′は、次式、
【数７】
0003879944.tif 000008
となり、Ｚ11についての量子化誤差が４倍となつて影響する。
【００４８】
また、逆量子化回路２６５によつて得られる第１階層画素Ｘ12、Ｘ21、Ｘ22、Ｘ14、Ｘ23、Ｘ24の復号値Ｘ12′、Ｘ21′、Ｘ22′、Ｘ14′、Ｘ23′、Ｘ24′は、次式、
【数８】
0003879944.tif 000009
となるが、画素生成回路２６９によつて復元される第１階層画素Ｘ13、Ｘ31、Ｘ33は、（４）式に基づいて生成されるので、その復号値Ｘ13′、Ｘ31′、Ｘ33′は、次式、
【数９】
0003879944.tif 000010
となり、それぞれの復号値Ｘ13′、Ｘ31′、Ｘ33′に、空間的に対応する第２階層画素Ｙ13、Ｙ31、Ｙ33、すなわち対応する上位階層画素についての量子化誤差が４倍となつて影響する。
【００４９】
さらに、画素生成回路２７１を経て画素生成回路２６９によつて復元される第１階層画素Ｘ11においては、その復号値Ｘ11′は、次式、
【数１０】
0003879944.tif 000011
で示すように、復号値Ｘ11′に、第２階層画素Ｙ13、Ｙ31、Ｙ33についての量子化誤差が４倍となつて影響するのに加えて、第３階層画素Ｚ11についての量子化誤差が１６倍となつて影響する。
【００５０】
図５は、この各復号画素値Ｚ11′、Ｙ11′、Ｙ13′、……に対する各量子化誤差Ｅ（Ｚ11）、Ｅ（Ｙ13）、Ｅ（Ｙ31）、……の影響の大きさの様子を示している。図５を見れば明らかなように、上位階層での量子化誤差は下位階層での復号値に大きな影響を及ぼす。
【００５１】
従つて、上位階層における復号値が正極性又は負極性の方向のうち一方向に連続した量子化誤差をもつた場合、その誤差の影響は、その上位階層でブロツク状の歪みとして現れるのみならず、下位階層に対しても悪影響を及ぼす場合がある。
【００５２】
これを考慮して、この第１実施例では、各階層画像を量子化によつて圧縮する際に隣接する画素が互いに逆極性の量子化誤差をもつようにする（いわゆるデイザ化）ことにより、全階層で量子化歪みによる視覚上の画質劣化を低減させる。
【００５３】
かくして以上の構成によれば、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データＹ11、Ｙ15、……、Ｘ11、Ｘ13、……を伝送しないようにすると共に、各階層の画素データを量子化する際に、例えば、３つの量子化誤差（Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22））の極性が順次反転するような量子化誤差（＋Ｅ（Ｘ12）、−Ｅ（Ｘ21）、＋Ｅ（Ｘ22））又は（−Ｅ（Ｘ12）、＋Ｅ（Ｘ21）、−Ｅ（Ｘ22））を有する再量子化データを発生するように、量子化誤差の極性が正極性及び負極性に交互に反転するようにしたことにより、圧縮効率を向上し得ると共に量子化誤差によるブロツク歪や上位階層の影響をうける階層符号化における画質劣化を低減し得る。
【００５４】
因みに、セレクタ２５４から出力される再量子化データの極性を順次反転させる方法に代えて、例えば、すべてのブロツクで量子化誤差が（＋Ｅ（Ｘ１２）、−Ｅ（Ｘ２１）、＋Ｅ（Ｘ２２））となるように、ブロツクごとに２つの再量子化データの極性が正となるような制御をコントローラ２５７で行うようにしても良い。
【００５５】
また、セレクタ２５５から出力される再量子化データの極性を順次反転させる方法に代えて、例えば、すべてのブロツクで量子化誤差が（＋Ｅ（Ｙ13）、−Ｅ（Ｙ31）、＋Ｅ（Ｙ33））となるように、各ブロツクごとに２つの再量子化データの極性が正となるような制御をコントローラ２５７で行うようにしても良い。
【００５６】
（２）第２実施例
図６は、全体として第２実施例の画像信号符号化装置２８０を示している。第１実施例と比較して、最上位階層を除いて階層間データの残差（差分）を圧縮符号化する点を除いて、図１の画像信号符号化装置２４０と同一の構成を有する。したがつて、図１と対応する部分については同一符号を付す。
【００５７】
すなわち、第１実施例の画像信号符号化装置２４０が各画素をＰＣＭ（Pulse Code Modulation ）の形式で伝送するようになされているのに対して、この第２実施例の画像信号符号化装置２８０は、各画素をＤＰＣＭ（Differential Pulse Code Modulation）の形式で伝送するようになされている。したがつて、画像信号符号化装置２８０は、一段と伝送情報量を低減させることができる。
【００５８】
具体的に説明すると、画像信号符号化装置２８０は、第３階層画像データＤ２３５及び第２階層ブロツク化データＤ２３４を差分回路２８１に供給する。そして、差分回路２８１によつて第３階層画像データＤ２３５と第２階層ブロツク化データＤ２３４との間で空間的に対応する画素同士の差分を演算して第２階層差分データＤ２７０を形成し、この第２階層差分データＤ２７０を間引き回路２８２に送出する。このとき、差分回路２８１は、第２階層画素Ｙ13、Ｙ31、Ｙ33の差分値ΔＹ13、ΔＹ31、ΔＹ33を、これらの画素に対応する上位階層画素Ｚ11を用いて、次式、
【数１１】
0003879944.tif 000012
のようにして求める。
【００５９】
画像信号符号化装置２８０は、同様にして、第２階層ブロツク化データＤ２３４及び第１階層ブロツク化データＤ２３２を差分回路２８３に供給する。差分回路２８３によつて第２階層ブロツク化データＤ２３４と第１階層ブロツク化データＤ２３２との間で空間的に対応する画素同士の差分を演算して第１階層差分データＤ２７１を形成し、この第１階層差分データＤ２７１を間引き回路２８４に送出する。このとき、差分回路２８３は、第１階層画素Ｘ12、Ｘ21、Ｘ22の差分値ΔＸ12、ΔＸ21、ΔＸ22を、これらの画素に対応する上位階層画素Ｙ11を用いて、次式、
【数１２】
0003879944.tif 000013
のようにして求める。
【００６０】
間引き回路２８４は、上述した図１に示される間引き回路２４２と同様に、ブロツク化回路２４１からのブロツク化データＤ２３２に基づいて差分回路２８３で得られる第１階層差分データＤ２７１を受信する。また、間引き回路２８２は、上述した図１に示される間引き回路２４５と同様に、ブロツク化回路２４４からのブロツク化データＤ２３４に基づいて差分回路２８１で得られる第２階層差分データＤ２７０を受信する。
【００６１】
そして、４画素で構成されるブロツク化データＤ２３２、Ｄ２３４に対応して各ブロツクにつき４画素で構成されている第１階層及び第２階層差分データＤ２７１、Ｄ２７０の中からそれぞれ１画素を間引き、各ブロツクにつき取り除かれた１画素を除く残り３画素によつて構成される階層差分間引きデータＤ２７２、Ｄ２７３を形成し、この階層差分間引きデータＤ２７２、Ｄ２７３を量子化回路２８５、２８６に送出する。
【００６２】
ここで、各階層の量子化回路２８５、２８６、２８７は、第１実施例と同様に、入力される各画素について量子化誤差が正極性及び負極性となる２通りの量子化を行い、正極性の誤差をもつ正極性再量子化データＤ２７４Ａ、Ｄ２７５Ａ、Ｄ２７６Ａと負極性の誤差をもつ負極性再量子化データＤ２７４Ｂ、Ｄ２７５Ｂ、Ｄ２７６Ｂを対にしてそれぞれ出力する。そして、セレクタ２５４、２５５、２５６が、コントローラからのクロツク信号ＣＬＫ１、ＣＬＫ２、ＣＬＫ３に基づいて、所定位置の画素について正極性再量子化データＤ２７４Ａ、Ｄ２７５Ａ、Ｄ２７６Ａを選択した場合には、次の画素について負極性再量子化データＤ２７４Ｂ、Ｄ２７５Ｂ、Ｄ２７６Ｂを選択するというように、交互に正極性又は負極性を選択する。
【００６３】
セレクタ２５４、２５５、２５６から出力された再量子化データＤ２７４、Ｄ２７５、Ｄ２７６は可変長符号化回路（ＶＬＣ）２５０、２５１、２５２によつて可変長符号化され、第１階層、第２階層及び第３階層符号化データＤ２７７、Ｄ２７８、Ｄ２７９として出力される。そして、これらの第１階層、第２階層及び第３階層符号化データＤ２７７、Ｄ２７８、Ｄ２７９が続く伝送フオーマツト変換回路２５３に入力され、伝送フオーマツト変換回路２５３は、伝送画像データＤ２８０を形成して、それを出力する。この出力された伝送画像データＤ２８０は、その後、通信路２８８を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体２８９に記録される。
【００６４】
また、変形例として、第１実施例にて上述したように、コントローラからのクロツク信号を直接量子化回路に供給するようにし、量子化回路において正極性の誤差を持つ再量子化データと負極性の誤差を持つ再量子化データとを交互に生成するようにしてもよい。この場合、セレクタも持たない構成となる。
このようにして形成された伝送画像データＤ２８０を復号する画像信号復号化装置２９０は、例えば、図７に示すように構成することができる。
【００６５】
画像信号復号化装置２９０において、図４に示された画像信号復号化装置２６０との対応部分に同一符号を付している。画像信号復号化装置２９０は、通信路２８８を介して供給されるか、もしくは再生伝送路を介して記録媒体２８９から再生される伝送画像データＤ２８０をデータ分流回路２６１に入力する。データ分流回路２６１は、伝送画像データＤ２８０を第１階層、第２階層及び第３階層符号化データＤ２８１、Ｄ２８２及びＤ２８３に分流し、これらの第１階層、第２階層及び第３階層符号化データＤ２８１、Ｄ２８２及びＤ２８３は、可変長復号化回路（ＩＶＬＣ）２６２、２６３及び２６４にそれぞれ供給される。
【００６６】
可変長復号化回路（ＩＶＬＣ）２６２、２６３及び２６４のそれぞれは、第１階層、第２階層及び第３階層符号化データＤ２８１、Ｄ２８２及びＤ２８３をそれぞれ可変長復号し、再量子化データＤ２８４、Ｄ２８５、Ｄ２８６を形成し、これらの再量子化データＤ２８４、Ｄ２８５、Ｄ２８６を逆量子化回路２９１、２９２及び２９３にそれぞれ送出する。なお、可変長復号化回路（ＩＶＬＣ）２６２、２６３及び２６４は、図６で示された可変長符号化回路（ＶＬＣ）２５０、２５１及び２５２にそれぞれ対応する逆処理を実行する。
【００６７】
逆量子化回路２９１、２９２及び２９３は、１画素当り２ビツトに再量子化されてなる再量子化データＤ２８４、Ｄ２８５及びＤ２８６を１画素当り８ビツトでなるデータにそれぞれ逆量子化し、第１階層及び第２階層の階層差分間引きデータＤ２８７及びＤ２８８並びに第３階層復号画像データＤ２８９をそれぞれ生成する。なお、逆量子化回路２９１、２９２及び２９３は、図６で示された量子化回路２８５、２８６及び２８７にそれぞれ対応する逆処理を実行する。
【００６８】
第３階層復号画像データＤ２８９は、そのまま低解像度のテレビジヨンモニタ等に出力されると共に、加算回路２９４及び画素生成回路２９５に送出される。加算回路２９４は、次式、
【数１３】
0003879944.tif 000014
のような加算演算を行い、第２階層間引き復号データＤ２９０を算出する。
【００６９】
画素生成回路２９５は、第２階層差分間引きデータＤ２８８と第３階層復号画像データＤ２８９とを用いて、図６で示された間引き回路２８２で間引かれた第２階層画素Ｙ11を、次式、
【数１４】
0003879944.tif 000015
により求める。この（１４）式は、上述した（３）式と比較すると、第３階層画素Ｚ11の乗算係数が（３）式では「４」であつたのに対して、この式では「１」となつていることが分かる。このことは（１４）式において、第２階層の画素値に対する第３階層の画素値の影響が（３）式と比べて小さいことを意味する。
【００７０】
合成回路２９６は、第２階層間引き復号データＤ２９０と第２階層復元画素データＤ２９１とを合成して第２階層復号画像データＤ２９２を形成し、この第２階層復号画像データＤ２９２を出力端子を介してテレビジヨンモニタ等に出力すると共に、加算回路２９７及び画素生成回路２９８に送出する。加算回路２９７は、次式、
【数１５】
0003879944.tif 000016
のような加算演算を行い、第１階層間引き復号データＤ２９３を算出する。
【００７１】
画素生成回路２９８は、第１階層差分間引きデータＤ２９３と第２階層復号画像データＤ２９２とを用いて、図６に示された間引き回路２８４で間引かれた第１階層画素Ｘ13、Ｘ31、Ｘ33を、次式、
【数１６】
0003879944.tif 000017
により求める。また、画素生成回路２９８は、間引かれた第１階層画素Ｘ11を、次式、
【数１７】
0003879944.tif 000018
により求める。
【００７２】
合成回路２９９は、第１階層間引き復号データＤ２９３と第１階層復元画素データＤ２９４とを合成して、第１階層復号画像データＤ２９５を形成する。そして、この第１階層復号画像データＤ２９５を出力端子を介して、例えば高解像度のテレビジヨンモニタ等に出力する。
【００７３】
次に、第１実施例と同様に、この第２の実施例の画像信号符号化装置２８０及び画像信号復号化装置２９０における各階層での量子化誤差の影響について考える。
逆量子化回路２９３によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、（５）式と同じとなる。また加算回路２９４によつて得られる第２階層の画素Ｙ13、Ｙ31、Ｙ33の復号値Ｙ13′、Ｙ31′、Ｙ33′は、次式、
【数１８】
0003879944.tif 000019
で示す値となる。
【００７４】
また、画素生成回路２９５によつて復元される第２階層画素Ｙ11は、（１４）式に基づいて生成されるので、その復号値Ｙ11′は、次式、
【数１９】
0003879944.tif 000020
で示す値となる。このように第２実施例の画像信号符号化装置２８０は、最上位階層データを除いて、各階層間の差分データを伝送データとして伝送しており、（１９）式を上述した（７）式と比較すると、第３階層画素Ｚ11の量子化誤差Ｅ（Ｚ11）の乗算係数が（７）式では「４」であつたのに対して、「２」となつていることが分かる。
【００７５】
このことは、この第２実施例の符号化復号化によれば、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を半分程度に低減させることができることを意味する。つまり、第１の実施例では、（１９）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ11の量子化誤差は、第２階層の復号画素値Ｙ11′、Ｙ13′、Ｙ31′、Ｙ33′のすべてに反映されることになる。したがつて、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を低減させることができる。
【００７６】
また加算回路２９７によつて得られる第１階層画素Ｘ12、Ｘ21、Ｘ22、Ｘ32、Ｘ41、Ｘ42の復号値Ｘ12′、Ｘ21′、Ｘ22′、Ｘ32′、Ｘ41′、Ｘ42′は、次式、
【数２０】
0003879944.tif 000021
で示される値となり、画素生成回路２９８によつて復元される第１階層画素Ｘ31の復号値Ｘ31′は、次式、
【数２１】
0003879944.tif 000022
で示される値となる。
【００７７】
さらに画素生成回路２９５を経て画素生成回路２９８によつて復元される第１階層画素Ｘ11の復号値Ｘ11′は、次式、
【数２２】
0003879944.tif 000023
で示される値となり、Ｚ11についての量子化誤差が４倍となつて影響し、Ｙ13、Ｙ31、Ｙ33についての量子化誤差が２倍となつて影響する。しかしながらこの（２２）式と（１０）式を比較すれば明らかなように、Ｚ11、Ｙ13、Ｙ31、Ｙ33の量子化誤差が復号値Ｘ11′に与える影響は第１実施例の場合よりも格段に低減されている。
【００７８】
つまり、第１の実施例では、例えば、（１０）式から明らかなように、第３階層の画素Ｚ11の量子化誤差及び第２階層の画素Ｙ13、Ｙ31、Ｙ33の量子化誤差は、第１階層の復号画素値Ｘ11′のみに反映されており、第１階層の復号画素Ｘ12′、Ｘ21′、Ｘ22′には反映されていない。
【００７９】
しかしながら、第２実施例では、（２２）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ11の量子化誤差及び第２階層の画素Ｙ13、Ｙ31、Ｙ33の量子化誤差は、第１階層の復号画素Ｘ11′、Ｘ12′、Ｘ21′に反映されることになる。したがつて、第３階層画素の量子化誤差及び第２階層画素の量子化誤差が第１階層画素の復号に与える影響を低減させることができる。
【００８０】
したがつて、以上の第２実施例の構成によれば、入力画像データＤ２３１から平均値演算により得された複数の階層画像データの各階層データと隣接上位階層データとの階層差分データを生成し、最上位階層データＤ２３５と複数の階層差分データＤ２７２、Ｄ２７３をそれぞれ量子化して複数の階層符号化データを生成する画像信号符号化装置２８０において、最上位階層を除く各階層の画素のうち隣接下位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる差分画素データΔＹ11、ΔＹ15、……、ΔＸ11、ΔＸ13、……を伝送しないようにすると共に、各階層の画素データを量子化する際に、量子化誤差の極性が正極性及び負極性に交互に反転するようにしたことにより、画質劣化を抑制した状態で圧縮効率を一段と向上し得る。
【００８１】
因みに、各画素データについて量子化誤差の極性が正極性及び負極性に交互に反転する方法に代えて、すべてのブロツク内において、２つの画素データの量子化誤差が正極性となり、１つの画素データの量子化誤差が負極性となるようにコントローラ２５７で制御するようにしても良い。
【００８２】
（３）第３実施例
図８は、全体として第３実施例の画像信号符号化装置５００を示している。この画像信号符号化装置５００は、第２実施例と比較して、適応予測回路５０１及び５０２を設けたことを除いて第２実施例の画像信号符号化装置２８０と同様の構成を有する。したがつて、図６と対応部分に同一符号を付して示してしている。
【００８３】
適応予測回路５０１は、第３階層画像データＤ２３５に基づいて所定の予測処理を行い、第２階層画像データＤ２３４に対応する第２階層予測データＤ５００を生成する。そして、この第２階層予測データを差分回路２８１に送出する。同様に、適応予測回路５０２は、第２階層画像データＤ２３４に基づいて所定の予測処理を行い、第１階層画像データＤ２３２に対応する第１階層予測データＤ５０１を生成する。そして、この第１階層予測データを差分回路２８３に送出する。
【００８４】
実際上、適応予測回路５０１及び５０２は、クラス分類適応処理を適用して、複数の上位階層画素から下位階層の１画素を予測する。具体的には、予測しようとする下位階層の画素をその空間的に近傍の複数の上位階層画素のレベル分布に基づいてクラス分類する。また、適応予測回路５０１及び５０２は、予め学習によつて獲得された、クラス毎に複数の予測係数あるいは１個の予測値を格納したメモリ（図示せず）を有し、上記クラス分類で決定されたクラスに対応した複数の予測係数あるいは１個の予測値をメモリから読み出す。予測値の場合は、その予測値がそのまま予測画素として使用され、予測係数の場合は、複数の予測係数と複数の画素との線形一次結合により予測値を生成する。また、予測値は正規化されている場合は、この予測値に所定の処理を施して予測画素を生成する。
【００８５】
このようなクラス分類適応処理の詳細は、例えば特願平4-155719号に開示されている。また、このようなクラス分類適応処理のアルゴリズムは、すでに知られている。また、この第３実施例の適応予測回路において、クラス分類適応処理のアルゴリズムが使用されているが、本発明はこれに限らず、現在知られている他の予測方法を使用してもよい。
【００８６】
画像信号符号化装置５００により圧縮符号化された伝送画像データＤ２８０′を復号する画像信号復号化装置２９０′の構成を図９に示す。この画像信号復号化装置２９０′は、第２実施例の画像信号復号化装置２９０と比較して、適応予測回路５０１′及び５０２′を設けたことを除いて第２実施例の画像信号復号化装置２９０と同様の構成を有する。したがつて図７との対応部分に同一符号を付して示している。
【００８７】
この第３実施例による画像信号復号化装置２９０′において、第３階層復号データＤ２８９′を入力する第１の適応予測回路５０１′は、図８に示した適応予測回路５０１に対応するクラス分類適応処理を第３階層復号データＤ２８９′に基づいて実行し、この結果得られる第２階層予測データＤ５００′を画素生成回路２９５に送出する。画素生成回路２９５は、第２階層の逆量子化回路２９２から出力される第２階層差分間引きデータＤ２８８′と第２階層予測データＤ５００′とを用いて、図８で示された間引き回路２８２で間引かれた第２階層画素を生成する。また、第３階層復号データＤ２８９′に基づいて第１の適応予測回路５０１′によつて得られた第２階層予測データＤ５００′は、第２階層の逆量子化回路２９２から出力される第２階層差分間引きデータＤ２８８′に加算される。この加算により得られる第２階層間引き復号データＤ２９０′は、画素生成回路２９５によつて生成された第２階層画素Ｄ２９１′と合成され、第２階層復号画像データＤ２９２′となる。
【００８８】
また、第２階層復号データＤ２９２′を入力する第２の適応予測回路５０２′は、図８に示した適用予測回路５０２に対応するクラス分類適応処理を第２階層復号データＤ２９２′に基づいて実行し、この結果得られる第１階層予測データＤ５０１′を画素生成回路２９８に送出する。画素生成回路２９８は、第１階層の逆量子化回路２９１から出力される第１階層差分間引きデータＤ２８７′と第１階層予測データＤ５０１′とを用いて、図８で示された間引き回路２８４で間引かれた第１階層画素を生成する。また、第２階層復号データＤ２９２′に基づいて第２の適応予測回路５０２′によつて得られた第１階層予測データＤ５０１′は、第１階層の逆量子化回路２９１から出力される第１階層差分間引きデータＤ２８７′に加算される。この加算により得られる第１階層間引き復号データＤ２９３′は、画素生成回路２９８によつて生成された第１階層画素Ｄ２９４′と合成され、第１階層復号画像データＤ２９５′となる。
【００８９】
以上、上述した第３実施例の構成によれば、第２実施例の効果に加えて、差分回路２８３及び２８１から得られる第１階層差分データＤ２７１′及び第２階層差分データＤ２７０′の残差を一段と小さくでき、伝送情報量を一段と低減し得る画像信号符号化装置５００を実現できる。
【００９０】
因みに、この実施例においても、各画素データについて量子化誤差の極性が正極性及び負極性に交互に反転する方法に代えて、すべてのブロツク内において２つの画素データの量子化誤差が正極性となり、１つの画素データの量子化誤差が負極性となるようにコントローラ２５７で制御するようにしても良い。
【００９１】
（４）他の実施例
なお、上述の第１〜第３実施例においては、全階層において、隣接する画素データの量子化誤差の極性が交互に反転するような量子化を行う場合について述べたが、本発明はこれに限らず、適宜選択した階層のみ、そのような量子化を行うようにしても良い。
【００９２】
また、上述の第１〜第３実施例において、隣接する画素データの量子化誤差の極性が交互に反転するような量子化を行う場合について述べたが、これに加えて、上位階層の量子化回路ほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにしてもよい。この際、上位階層の量子化誤差の下位階層への影響度を考慮して量子化ビツト数を決定すると良い。これにより、さらに一段と復号時の画質劣化を低減することができる。これは、上述したように、復号時に上位階層の量子化誤差が下位階層に影響するためである。また、上位階層の量子化誤差の下位階層に対する影響度は、最下位階層からの階層段数及び上位階層画素を生成するために使用される画素数に関係してくる。したがつて、これらに応じて量子化ビツト数もしくは量子化幅を決定してもよい。
【００９３】
また、上述の第１〜第３実施例においては、隣接する画素データの量子化誤差の極性が交互に反転するような量子化を行う場合について述べたが、本発明はこれに限らず、交互に反転させなくても、量子化誤差の極性が長く連続しないようにランダムに反転させるように制御を行うことにより、上述の実施例と同様の効果を得ることができる。
【００９４】
また、上述の実施例においては、３階層分の階層画像データＤ２３１、Ｄ２３４、Ｄ２３５を生成し、これを圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、順次平均値演算を繰り返すことにより４階層や５階層分の階層画像データを生成し、これを量子化によつて圧縮符号化して伝送する場合にも適用し得る。
【００９５】
また、上述の実施例においては、下位階層の４画素を用いた平均値演算によつて上位階層の１画素を生成する場合について述べたが、本発明はこれに限らず、例えば下位階層の６画素もしくはそれ以上の画素を用いた平均値演算によつて上位階層の１画素を生成するようにして階層画像データを生成するようにしても良い。
【００９６】
また、上述の実施例においては、下位階層の４画素のうち１つを間引く場合について述べたが、本発明はこれに限らず、すべての画素を送るようにしてもよい。この場合、伝送画素を減らすことはできないが、本発明においては、要は、量子化誤差の極性がランダムに発生するようにすればよい。
【００９７】
また、上述した実施例においては、量子化器をすべて線形量子化器として記載したが、本発明はこれに限らず、非線形量子化や適応量子化、さらには、ダイナミツクレンジに応じた適用量子化などを適用してもよい。
【００９８】
さらに、本発明の実施例は、ブロツク図を用いて示したハードウエアによつて実現しているが、本発明はこれに限らず、ＣＰＵやメモリなどを用いてソフトウエアで実現することも可能である。
【００９９】
なお、本発明の趣旨を逸脱しない範囲において、さまざまな変形や応用例が考え得る。従つて、本発明の要旨は、実施例に限定されるものではない。
【０１００】
【発明の効果】
上述のように本発明によれば、平均演算により生成した各階層画像データを量子化する際に、各階層画像データをブロツクにブロツク化し、かかるブロツクの値を、正側にシフトして行う第１の量子化及び負側にシフトして行う第２の量子化の夫々について量子化するようにして、少なくとも１つの階層の画像データについて、第１の量子化結果と第２の量子化結果とを所定の周期で交互に配置すると共に、上位の階層に係る量子化ビツト数を下位の階層に係る量子化ビツト数に比べて大きくするようにしたことにより、復号時にブロツク歪などの画質劣化が低減した階層符号化を実現することができる。
【図面の簡単な説明】
【図１】第１実施例による画像信号符号化装置の構成を示すブロツク図である。
【図２】階層化及び伝送画素の説明に供する略線図である。
【図３】最上位階層の量子化回路の量子化特性の説明に供する略線図である。
【図４】第１実施例による画像信号復号化装置の構成を示すブロツク図である。
【図５】各階層における量子化誤差が各階層の復元画素に与える影響を表わす略線図である。
【図６】第２実施例による画像信号符号化装置の構成を示すブロツク図である。
【図７】第２実施例による画像信号復号化装置の構成を示すブロツク図である。
【図８】第３実施例による画像信号符号化装置の構成を示すブロツク図である。
【図９】第３実施例による画像信号復号化装置の構成を示すブロツク図である。
【図１０】従来の階層符号化を実現する画像信号符号化装置の構成を示すブロツク図である。
【図１１】従来の階層符号化データを復号する画像信号復号化装置の構成を示すブロツク図である。
【符号の説明】
２４０、２８０、５００……画像信号符号化装置、２４３、２４６……平均化回路、２４２、２４５、２８２、２８４……間引き回路、２４７〜２４９、２８５〜２８７……量子化回路、２６０、２９０……画像信号復号化装置、２５４、２５５、２５６……セレクタ、２５７……コントローラ、５０１、５０２、５０１′、５０２′……適応予測回路、Ｄ２３１……入力画像データ、Ｄ２３３……第２階層画像データ、Ｄ２３５……第３階層画像データ、Ｄ２３７Ａ、Ｄ２３８Ａ、Ｄ２４０Ａ、Ｄ２７４Ａ、Ｄ２７５Ａ、Ｄ２７６Ａ……正極性再量子化データ、Ｄ２３７Ｂ、Ｄ２３８Ｂ、Ｄ２４０Ｂ、Ｄ２７４Ｂ、Ｄ２７５Ｂ、Ｄ２７６Ｂ……負極性再量子化データ、Ｄ２４１、Ｄ２７７、Ｄ２７７′……第１階層符号化データ、Ｄ２４２、Ｄ２７８、Ｄ２７８′……第２階層符号化データ、Ｄ２４３、Ｄ２７９、Ｄ２７９′……第３階層符号化データ、Ｄ２４４、Ｄ２８０、Ｄ２８０′……伝送画像データ、Ｄ２５８、Ｄ２８９……第３階層復号画像データ、Ｄ２６０、Ｄ２９２……第２階層復号画像データ、Ｄ２６２、Ｄ２９５……第１階層復号画像データ、Ｄ２７０、Ｄ２７０′……第２階層差分データ、Ｄ２７１、Ｄ２７１′……第１階層差分データ、Ｄ５００、Ｄ５００′……第２階層予測データ、Ｄ５０１、Ｄ５０１′……第１階層予測データ、Ｚ……第３階層画素、Ｙ……第２階層画素、Ｘ……第１階層画素。
【図１】
0003879944.tif 000024
【図２】
0003879944.tif 000025
【図３】
0003879944.tif 000026
【図４】
0003879944.tif 000027
【図５】
0003879944.tif 000028
【図６】
0003879944.tif 000029
【図７】
0003879944.tif 000030
【図８】
0003879944.tif 000031
【図９】
0003879944.tif 000032
【図１０】
0003879944.tif 000033
【図１１】
0003879944.tif 000034