(57)【要約】【課題】画像データを階層符号化すると、階層分だけ圧縮効率が低下すると共に特に下位階層画像が劣化する問題があつた。【解決手段】各階層データＤ３１、Ｄ３３、Ｄ３５を平均値演算により生成した後、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元できる画素データを間引くと共に、上位階層のデータほど量子化ビツト数を多く割り当てて圧縮符号化するようにしたことにより、間引きによつて伝送画素データが減るため階層構造に基づく伝送画素数の増加を抑制し得ると共に、上位階層のデータほど量子化ビツト数を多く割り当てたことによつて上記階層の量子化誤差に基づく下位階層画像の劣化を抑制し得る。【選択図】図１
2006279975.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化方法において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層を除く各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成するステツプと、
上記各階層の階層差分データについて、隣接上位階層の差分データ及び自分の階層の差分データを用いた算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化ステツプと
からなり、
上記量子化ステツプでは、上位階層のデータほど細かく量子化するようになされている
ことを特徴とする画像信号符号化方法。
【請求項２】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化装置において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
解像度の最も低い最上位階層データを除く各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成する差分データ形成手段と、
上記各階層の階層差分データについて、隣接上位階層の差分データ及び自分の階層の差分データを用いた算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成手段と、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化手段と
からなり、
上記量子化手段では、上位階層のデータほど細かく量子化するようになされている
ことを特徴とする画像信号符号化装置。
【請求項３】
請求項２において、
上記量子化手段では、上位階層の生成に使用される画素数と、該上位階層における最下位層からの段数とを基準として、上位階層のデータほど細かく量子化される量子化ビツト数が設定される
ことを特徴とする画像信号符号化装置。
【請求項４】
請求項２において、
上記差分データ形成手段は、上記各階層画像データと、上記隣接上位階層画像データを用いて所定の予測演算処理によつて予測生成した隣接下位階層画像データとの差分を演算し、上記階層差分データを形成する
ことを特徴とする画像信号符号化装置。
【請求項５】
請求項３において、
上記差分データ形成手段は、上記各階層画像データと、上記隣接上位階層画像データを用いて所定の予測演算処理によつて予測生成した隣接下位階層画像データとの差分を演算し、上記階層差分データを形成する
ことを特徴とする画像信号符号化装置。
【請求項６】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化し、その符号化されたデータを伝送する画像信号伝送方法において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層データを除く各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成するステツプと、
上記各階層の階層差分データについて、隣接上位階層の差分データ及び自分の階層の差分データを用いた算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、伝送画像データとして複数の階層符号化データを生成する量子化ステツプと、
上記伝送画像データを伝送するステツプと
からなり、
上記量子化ステツプでは、上位階層のデータほど細かく量子化するようになされている
ことを特徴とする画像信号伝送方法。
【請求項７】
請求項６において、
上記量子化ステツプでは、上位階層の生成に使用される画素数と、該上位階層における最下位層からの段数とを基準として、上位階層のデータほど細かく量子化される量子化ビツト数が設定される
ことを特徴とする画像信号伝送方法。
【請求項８】
請求項６において、
上記階層差分データを形成するステツプでは、上記各階層画像データと、上記隣接上位階層画像データを用いて所定の予測演算処理によつて予測生成した隣接下位階層画像データとの差分を演算し、上記階層差分データを形成する
ことを特徴とする画像信号伝送方法。
【請求項９】
請求項７において、
上記階層差分データを形成するステツプでは、上記各階層画像データと、上記隣接上位階層画像データを用いて所定の予測演算処理によつて予測生成した隣接下位階層画像データとの差分を演算し、上記階層差分データを形成する
ことを特徴とする画像信号伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて生成された符号化データが記録された記録媒体に関し、特に所定の画像データを異なる解像度でなる複数階層の画像データに分割し、それぞれの階層の画像データを符号化して、符号化データを生成する（すなわち画像データを階層符号化する）場合に適用して好適なものである。
【背景技術】
【０００２】
従来、この種の画像信号符号化装置においては、高解像度の入力画像データを第１の階層画像データとして、この第１の階層データよりも解像度の低い第２の階層データ、さらに第２の階層データよりも解像度の低い第３の階層データ、……を順次形成し、これら複数の階層データをそれぞれ圧縮符号化する。これにより、情報量が順次低減された複数階層分の階層符号化データが形成され、この複数の階層符号化データを通信路や記録再生経路を介して伝送することができる。
【０００３】
この複数の階層符号化データを復号化する画像信号復号装置では、複数の階層符号化データを全て復号することもでき、またそれぞれに対応するテレビジヨンモニタの解像度等に応じていずれかの階層符号化データのうち所望の１つを選択して復号することもできる。これにより、階層化された複数の階層データから所望の階層データのみについて復号化すれば、必要最小限の伝送データ量で所望の画像データを得ることもできる。
【０００４】
ここで、図９に示すように、この階層符号化として、例えば４階層の符号化を実現する画像信号符号化装置１は、それぞれ３段分の間引きフイルタ２、３、４と補間フイルタ５、６、７とを有し、入力画像データＤ１について各段の間引きフイルタ２、３、４によつて順次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると共に、補間フイルタ５、６、７により縮小画像データＤ２、Ｄ３、Ｄ４を縮小前の解像度データＤ５、Ｄ６、Ｄ７にそれぞれ戻す。
【０００５】
各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７は、それぞれ差分回路８、９、１０に入力され、各差分回路により差分データＤ８、Ｄ９、Ｄ１０が生成される。この差分データＤ８〜Ｄ１０の度数分布は０付近に集中することになるため、画像符号化装置１においては、階層データのデータ量を低減することができると共に、信号電力を低減することができる。また、後段に配置される可変長符号化回路で、ランレングス符号化やハフマン符号化などを使用することにより、さらにデータ量を低減することができる。ここで、この差分データＤ８〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が、入力画像データＤ１に対して１、1/4 、1/16、1/64のサイズとなつている。
【０００６】
それぞれの差分回路８〜１０より得られる差分データＤ８〜Ｄ１０及び間引きフイルタより得られる縮小画像データＤ４は、各符号器１１、１２、１３、１４によつてそれぞれ符号化されて圧縮処理が施される。この結果、各符号器１１、１２、１３、１４から解像度の異なる第１、第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１４が所定の順序で通信路に送出されたり、伝送路を介して記録媒体に記録される。
【０００７】
このようにして伝送される第１〜第４の階層データＤ１１〜Ｄ１４は、図１０に示す画像信号復号化装置２０によつて復号される。すなわち、それぞれ、入力端子を介して通信路もしくは記録媒体から供給された第１〜第４の階層データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、２４によつて復号され、この結果、復号器２４からは、復号された第４の階層データＤ２４が出力される。
【０００８】
また、復号器２３の出力は、加算回路２９において補間フイルタ２６より得られる第４の階層データＤ２４の補間データと加算され、これにより第３の階層データＤ２３が復元される。同様にして、復号器２２の出力は、加算回路３０において補間フイルタ２７より得られる第３の階層データＤ２３の補間データと加算され、これにより第２の階層データＤ２２が復元される。さらに、復号器２１の出力は、加算回路３１において補間フイルタ２８より得られる第２の階層データＤ２２の補間データと加算され、これにより第１の階層データＤ２１が復元される。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところが、かかる階層符号化を実現する画像信号符号化装置１においては、入力画像データＤ１を複数の階層データに分割して、それぞれの階層データを符号化するため、必然的に階層成分だけ伝送データ量が増加する。したがつて、その分、階層符号化を用いない高能率符号化方式に比して圧縮効率が低下するという問題がある。
【００１０】
また、画像信号復号化装置２０においては、解像度の低い上位階層で復元された階層データに基づいて本来解像度の高い下位階層の階層データを復元するというように、上位階層データから下位階層データに向かつて順に階層データＤ２４、Ｄ２３、Ｄ２２、Ｄ２１を復元する。したがつて、符号化された上位階層の階層データＤ１４やＤ１３を復号したときに、その復号データに圧縮符号化による誤差が含まれると、本来高解像度が望まれる下位階層の復元階層データＤ２１やＤ２２に圧縮符号化誤差が伝播され、下位階層の復元階層データにその誤差に基づく画質劣化が非常に目立つて現れるという問題があつた。
【００１１】
本発明は、以上の点を考慮してなされたもので、画像データを階層符号化する際に圧縮効率を向上し得ると共に、画質劣化を低減し得る画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて符号化された符号化データが記録された記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１２】
かかる課題を解決するため本発明においては、各階層データを平均値演算により生成した後、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元できる画素データを間引くと共に、上位階層のデータほど量子化ビツト数を多く割り当てて圧縮符号化することにより、間引きによつて伝送画素データが減るため階層構造に基づく伝送画素数の増加を抑制し得ると共に、上位階層のデータほど量子化ビツト数を多く割り当てたことによつて上記階層の量子化誤差に基づく下位階層画像の劣化を抑制し得る。
【発明の効果】
【００１３】
本発明によれば、解像度の最も低い最上位階層を除く各階層画像データについて、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元可能な画素を伝送対象から除外すると共に、上位階層のデータほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにしたことにより、圧縮効率が向上しかつ画質劣化が低減した階層符号化を実現することができる。
【発明を実施するための最良の形態】
【００１４】
以下図面について、本発明の一実施例を詳述する。
【００１５】
（１）第１実施例
図１は、全体として第１実施例による画像信号符号化装置４０を示している。この実施例では、３階層分の階層データを形成し、各階層の階層画像データをそれぞれ圧縮符号化して伝送する場合を示している。画像信号符号化装置４０は、例えば、高解像度の16ビツトの入力画像データＤ３１（以下、これを第１階層画像データと呼ぶ）をブロツク化回路４１において２ライン×２画素の小ブロツクに分割して、第１階層のブロツク化データＤ３２を形成し、この第１階層のブロツク化データＤ３２を間引き回路４２及び平均化回路４３に送出する。
【００１６】
平均化回路４３は、ブロツク化データＤ３２の各ブロツク内画素値を平均化して、入力画像データＤ３１に対して1/4に縮小された第２階層画像データＤ３３を生成し、この第２階層画像データをブロツク化回路４４に送出する。ブロツク化回路４４は、ブロツク化回路４１と同様に、第２階層画像データＤ３３を２ライン×２画素の小ブロツクに分割して、第２階層のブロツク化データＤ３４を形成し、この第２階層のブロツク化データＤ３４を間引き回路４５及び平均化回路４６に送出する。
【００１７】
平均化回路４６は、平均化回路４３と同様に、ブロツク化データＤ３４の各ブロツク内画素値を平均化して、第２階層画像データＤ３３に対して1/4 に縮小された、すなわち第１階層画像データＤ３１に対して1/16に縮小された第３階層画像データＤ３５を生成する。すなわち、この平均化処理に関して、平均化回路４３は、図２（Ｃ）の点線で示すように、第１階層のブロツク内の４画素（例えばＸ１１、Ｘ１２、Ｘ２１、Ｘ２２）を用いて、次式、
【００１８】
【数１】
2006279975.tif 000003
【００１９】
による平均値演算を行い、図２（Ｂ）で示す第２階層の１画素（例えばＹ１１）を生成する。なお、画素Ｙ１３、Ｙ３１、……も第１階層の４画素平均により、同様に生成される。
【００２０】
同様に、平均化回路４６は、図２（Ｂ）に示すような第２階層のブロツク内の４画素（例えばＹ１１、Ｙ１３、Ｙ３１、Ｙ３３）を用いて、次式、
【００２１】
【数２】
2006279975.tif 000004
【００２２】
による平均値演算を行い、図２（Ａ）で示す第３階層の１画素（例えばＺ１１）を生成する。なお、画素Ｚ１５、Ｚ５１、……も第２階層の４画素平均により、同様に生成される。
【００２３】
間引き回路４２、４５は、ブロツク化回路４１からのブロツク化データＤ３２及びブロツク化回路４４からのブロツク化データＤ３４をそれぞれ受信し、４画素で構成されるブロツク化データＤ３２、Ｄ３４のうち１画素を取り除き、各ブロツクにつき取り除かれた１画素を除く３画素で構成される間引きデータＤ３６、Ｄ３７を形成し、この間引きデータＤ３６、Ｄ３７をそれぞれ量子化回路４７、４８に送出する。すなわち、間引き回路４２は、図２（Ｃ）の点線で示すような画素Ｘ１１、Ｘ１３、……を間引きにより削除し、間引き回路４５は、図２（Ｂ）の点線で示すような画素Ｙ１１、Ｙ１５、……を間引きにより削除する。
【００２４】
従つて、第１階層の量子化回路４７及び第２階層の量子化回路４８の量子化対象となる画素は、図２（Ｃ）及び図２（Ｂ）の実線で示される画素Ｘ１２、Ｘ２１、Ｘ２２、……やＹ１３、Ｙ３１、Ｙ３３……である。よつて、第１階層について見れば、第１階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4に低減できる。また、第２階層について見れば、平均演算より生成された第２階層の全ての画素を量子化して伝送する場合と比較して、伝送画素を3/4 に低減できる。
【００２５】
また、全体的に見れば、画像信号符号化装置４０においては、第１階層画像データＤ３１のみを圧縮して伝送する場合と比較して、等しい伝送画素数で、複数階層の画像データを伝送することができるようになされている。この結果、画像信号符号化装置４０は、伝送情報量を増加させずに、複数階層の画像データを伝送することができる。なお、間引き回路４２、４５において間引かれた画素は、後述する復号側（受信側）で簡単な算術式を用いて復元することができる。
【００２６】
第１階層の量子化回路４７は、第１階層間引きデータＤ３６の各画素（例えば、１６ビツト）を例えば１ビツトで再量子化することにより圧縮する。そして、この再量子化により得られた再量子化データＤ３８を可変長符号化回路（ＶＬＣ）５０に送出する。第２階層の量子化回路４８は、第２階層間引きデータＤ３７の各画素（例えば、１６ビツト）を例えば４ビツトで再量子化し、この再量子化により得られた再量子化データＤ３９を可変長符号化回路５１に送出する。また第３階層の量子化回路４９は、第３階層画像データＤ３５の各画素（例えば１６ビツト）を例えば１６ビツトで再量子化し、この再量子化により得られた再量子化データＤ４０を可変長符号化回路５２に送出する。
【００２７】
このように、本発明の第１の実施例における画像信号符号化装置４０は、再量子化の際に上位階層データほど大きな量子化ビツト数を割り当てて量子化（すなわち上位階層データほど量子化幅を細かくする）し、上位階層データほど再量子化時の量子化誤差を小さくするようになされている。
【００２８】
可変長符号化回路５０〜５２のそれぞれは、再量子化データＤ３８〜Ｄ４０に対して発生度数の大きい量子化コードほど短いハフマンコードを割り当て、各再量子化データＤ３８〜Ｄ４０を可能な限り少ない符号量で表現した第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を形成する。そして、これら第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を伝送フオーマツト変換回路５３に送出する。
【００２９】
伝送フオーマツト変換回路５３は、第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を所定の順序で配列したり、各階層符号化データの階層を識別するための識別コードを付加することにより、伝送画像データＤ４４を形成して、この伝送画像データＤ４４を出力する。出力された伝送画像データＤ４４は、その後、通信路５４を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体５５に記録される。
【００３０】
このようにして形成された伝送画像データＤ４４を復号する画像信号復号化装置６０は、例えば図３に示すように構成することができる。この画像信号復号化装置６０は、通信路５４を介して供給されるか、もしくは再生伝送路を介して記録媒体５５から再生される伝送画像データＤ４４をデータ分流回路６１に入力する。データ分流回路６１は、図示しないスイツチング回路を有し、伝送画像データＤ４４に含まれる各階層の識別コードを参照して伝送画像データＤ４４を第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２に分流し、これら第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２をそれぞれ可変長復号化回路（ＩＶＬＣ）６２、６３、６４に送出する。
【００３１】
可変長復号化回路６２、６３、６４は、それぞれ上述した図１に示された可変長符号化回路５０、５１、５２と逆の処理を実行し、ハフマン符号によつて表現されている第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２を再量子化コードで表現された再量子化データＤ５３、Ｄ５４、Ｄ５５にそれぞれ変換する。そして、これらの再量子化データＤ５３、Ｄ５４、Ｄ５５をそれぞれ逆量子化回路６５、６６、６７に送出する。
【００３２】
逆量子化回路６５は、上述した図１に示された量子化回路４７によつて１画素当り１ビツトとされた再量子化データＤ５３を例えば１６ビツトのデータに逆量子化し、第１階層間引き復号データＤ５６を生成する。そして、この第１階層間引き復号データＤ５６を合成回路６８及び画素生成回路６９に送出する。逆量子化回路６６は、上述した図１に示された量子化回路４８によつて１画素当り４ビツトとされた再量子化データＤ５４を例えば１６ビツトのデータに逆量子化し、第２階層間引き復号データＤ５７を生成する。そして、この第２階層間引き復号データＤ５７を合成回路７０及び画素生成回路７１に送出する。
【００３３】
逆量子化回路６７は、上述した図１に示された量子化回路４９によつて１画素当り１６ビツトとされた再量子化データＤ５５を例えば１６ビツトのまま第３階層復号画像データＤ５８として出力する。そして、この第３階層復号画像データＤ５８を例えば出力端子を介して表示画素数の少ない低解像度のテレビジヨンモニタに送出すると共に画素生成回路７１に送出する。
【００３４】
画素生成回路７１は、第３階層復号画像データＤ５８と第２階層間引き復号データＤ５７を用いて、上述した図１に示された画像信号符号化装置４０の間引き回路４５で間引かれた第２階層画素（すなわち図２（Ｂ）の点線で示す画素）を復元する。例えば間引きにより削除された第２階層の画素Ｙ１１は、次式、
【００３５】
【数３】
2006279975.tif 000005
【００３６】
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００３７】
合成回路７０は、このようにして生成された第２階層の復元画素データＤ５９を第２階層間引き復号データＤ５７中の所定の位置に挿入して合成することにより、第２階層復号画像データＤ６０を形成する。そして、この第２階層復号画像データＤ６０を例えば出力端子を介して表示画素数が中程度のテレビジヨンモニタに送出すると共に画素生成回路６９に送出する。
【００３８】
画素生成回路６９は、第２階層復号画像データＤ６０と第１階層間引き復号データＤ５６を用いて、上述した図１に示された画像信号符号化装置４０の間引き回路４２で間引かれた第１階層画素（すなわち図２（Ｃ）の点線で示す画素）を復元する。例えば間引きにより削除された第１階層画素Ｘ１１は、次式、
【００３９】
【数４】
2006279975.tif 000006
【００４０】
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００４１】
合成回路６８は、このようにして生成された第１階層の復元画素データＤ６１を第１階層間引き復号データＤ５６中の所定の位置に挿入して合成することにより、第１階層復号画像データＤ６２を形成する。そして、この第１階層復号画像データＤ６２を出力端子を介して例えば表示画素数が多いハイビジヨンテレビモニタに送出する。
【００４２】
以上の構成において、画像信号符号化装置４０は、下位階層の複数画素の平均値によつて上位階層画素を生成することにより、複数階層の画像データＤ３１、Ｄ３３、Ｄ３５を生成する。
【００４３】
これに加えて、画像信号符号化装置４０は、最上位階層（すなわち第３階層）を除いた階層画像データについて、同じ平均演算に用いた画素のうちの１画素は復号側で簡単な算術演算によつて復元できるので伝送画素から除外する。この結果、画像信号符号化装置４０においては、階層構造に起因する伝送画素数の増加を伴わない階層符号化処理を実現することができる。
【００４４】
ところで、画像信号符号化装置４０では、量子化回路４７〜４９によつて各階層画像データを再量子化することで各階層におけるデータ量を圧縮する。この結果、各再量子化データＤ３８、Ｄ３９、Ｄ４０は必然的に再量子化時の量子化誤差を含む値となる。そしてこの量子化誤差が大きくなるほど、復号画像データＤ５８、Ｄ６０、Ｄ６２は、真値と比較して誤差が大きくなり、画質が劣化することになる。
【００４５】
そこで、画像信号符号化装置４０及び画像信号復号化装置６０における各階層での量子化誤差の影響について考える。ここで、各画素Ｚ１１、Ｙ１１、……の復号値をＺ１１′、Ｙ１１′、……とし、真値をＺ１１、Ｙ１１、……とし、量子化誤差をＥ（Ｚ１１）、Ｅ（Ｙ１１）……とすると、例えば逆量子化回路６７によつて得られる第３階層の画素Ｚ１１の復号値Ｚ１１′は、次式、
【００４６】
【数５】
2006279975.tif 000007
【００４７】
となる。また、逆量子化回路６６によつて得られる第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の復号値Ｙ１３′、Ｙ３１′、Ｙ３３′は、次式、
【００４８】
【数６】
2006279975.tif 000008
【００４９】
となる。
【００５０】
ところが、画素生成回路７１によつて復元される第２階層画素Ｙ１１は、（３）式に基づいて生成されるので、その復号値Ｙ１１′は、次式、
【００５１】
【数７】
2006279975.tif 000009
【００５２】
となり、Ｚ１１についての量子化誤差が４倍となつて影響する。
【００５３】
また、逆量子化回路６５によつて得られる第１階層画素Ｘ１２、Ｘ２１、Ｘ２２、Ｘ１４、Ｘ２３、Ｘ２４の復号値Ｘ１２′、Ｘ２１′、Ｘ２２′、Ｘ１４′、Ｘ２３′、Ｘ２４′は、次式、
【００５４】
【数８】
2006279975.tif 000010
【００５５】
となるが、画素生成回路６９によつて復元される第１階層画素Ｘ１３、Ｘ３１、Ｘ３３は、（４）式に基づいて生成されるので、その復号値Ｘ１３′、Ｘ３１′、Ｘ３３′は、次式、
【００５６】
【数９】
2006279975.tif 000011
【００５７】
となり、それぞれの復号値Ｘ１３′、Ｘ３１′、Ｘ３３′に、空間的に対応する第２階層画素Ｙ１３、Ｙ３１、Ｙ３３、すなわち対応する上位階層画素についての量子化誤差が４倍となつて影響する。
【００５８】
さらに、画素生成回路７１を経て画素生成回路６９によつて復元される第１階層画素Ｘ１１においては、その復号値Ｘ１１′は、次式、
【００５９】
【数１０】
2006279975.tif 000012
【００６０】
で示すように、復号値Ｘ１１′に、第２階層画素Ｙ１３、Ｙ３１、Ｙ３３についての量子化誤差が４倍となつて影響するのに加えて、第３階層画素Ｚ１１についての量子化誤差が１６倍となつて影響する。
【００６１】
図４は、この各復号画素値Ｚ１１′、Ｙ１１′、Ｙ１３′、……に対する各量子化誤差Ｅ（Ｚ１１）、Ｅ（Ｙ１３）、Ｅ（Ｙ３１）、……の影響の大きさの様子を示している。図４を見れば明らかなように、上位階層での量子化誤差は下位階層での復号値に大きな影響を及ぼす。
【００６２】
これを考慮して本発明においては、上位階層の量子化回路ほど細かい量子化を行うことにより上位階層の量子化誤差を小さくして、下位階層での画質劣化を低減し得るようになされている。具体的には、上述したように画像信号符号化装置４０における量子化回路４７、４８、４９の各量子化ビツトをそれぞれ１ビツト、４ビツト、１６ビツトと選定することにより、上位階層ほど細かい量子化を行う。この場合の量子化ビツト数は、下位階層データを復号する際の復元画素値に与える上位階層における量子化誤差の影響の程度を考慮して選定する。
【００６３】
また、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、量子化ビツト数は、最下位階層からの階層段数及び上位階層データを生成するときに使用する画素数に応じて選定してもよい。
【００６４】
この結果、例えば（１０）式について考えると、量子化誤差Ｅ（Ｚ１１）の誤差の程度は、量子化誤差Ｅ（Ｘ１２）、Ｅ（Ｘ２１）、Ｅ（Ｘ２２）と比べて１／１６倍となり、また、量子化誤差Ｅ（Ｙ１３）、Ｅ（Ｙ３１）、Ｅ（Ｙ３３）の程度は、量子化誤差Ｅ（Ｘ１２）、Ｅ（Ｘ３１）、Ｅ（Ｘ３３）と比べると１／４倍となることにより、復号時に量子化誤差Ｅ（Ｚ１１）の誤差を１６倍したり、量子化誤差Ｅ（Ｘ１２）、Ｅ（Ｘ２１）、Ｅ（Ｘ２２）を４倍しても、これから得られる誤差は、逆量子化回路６５から直接得られる量子化誤差Ｅ（Ｘ１２）、Ｅ（Ｘ２１）、Ｅ（Ｘ２２）と同程度となる。従つて、上位階層での量子化歪みに基づく下位階層画像の画質劣化を格段に低減し得る。
【００６５】
なお、この第１の実施例では、上位階層の量子化ビツト数を多くしているので、その分伝送情報量も増えるように見えるが、上位階層ほど画素数が少ないので量子化ビツト数を多くすることによる情報量の増加は、実際上問題とならない程度に抑えられている。
【００６６】
さらに、上述の第１実施例においては、量子化回路４７、４８、４９の量子化ビツト数をそれぞれ１ビツト、４ビツト、１６ビツトに選定するようにした場合について述べたが、本発明はこれに限らず、上位階層データの量子化誤差の下位階層データの影響度を考慮して、上位階層の量子化回路ほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにすれば良い。または、上述の実施例においては、各階層において、量子化ビツト数を決定する際に、最下位階層からの段数及び上位階層データを生成するときに使用する画素数に応じて、量子化ビツト数を決定するようにすればよい。
【００６７】
以上の第１の実施例の構成によれば、入力画像データＤ３１から平均値演算によりそれぞれ解像度の異なる複数の階層画像データＤ３１、Ｄ３３、Ｄ３５を生成し、これらの複数の階層画像データＤ３１、Ｄ３３、Ｄ３５をそれぞれ量子化して複数の階層符号化データＤ４１、Ｄ４２、Ｄ４３を生成する画像信号符号化装置４０において、最上位階層を除く各階層の画素のうち隣接上位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる画素Ｙ１１、Ｙ１５、……、Ｘ１１、Ｘ１３、……を伝送しないようにすると共に、上位階層の量子化回路ほど細かい量子化を行うようにしたことにより、伝送画素情報を少なくできるため圧縮効率を向上し得、下位階層画素に対する上位階層画素の量子化誤差の影響を小さくできるため画質劣化を低減し得る。また、この場合、上位階層データの量子化誤差の下位階層データの影響度を考慮して上位階層の量子化回路ほど細かい量子化を行うことにより、画質劣化を低減できる。
【００６８】
また上述した本発明の第１実施例から明らかなように、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、上位階層の量子化ビツト数を決定する際に、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に応じて、最下位階層に影響する量子化誤差を最小限にするような量子化ビツト数もしくはそれ以上の量子化ビツト数に設定すれば、画質劣化を低減した画像符号化装置を提供することができる。
【００６９】
（２）第２実施例
図５は、全体として第２実施例の画像信号符号化装置８０を示している。第１の実施例と比較して、最上位階層を除いて階層間データの残差（差分）を圧縮符号化する点と量子化回路の量子化ビツト割り当てが異なる点を除いて、図１の画像信号符号化装置４０と同様の構成を有する。したがつて、図１と対応する部分については同一符号を付す。
【００７０】
すなわち、第１実施例の画像信号符号化装置４０が各画素をＰＣＭ（Pulse Code Modulation）の形式で伝送するようになされているのに対して、この第２の実施例の画像信号符号化装置８０は、各画素をＤＰＣＭ（Differential Pulse Code Modulation）の形式で伝送するようになされている。これにより、画像信号符号化装置８０は、第１の実施例と比較して、一段と伝送情報量を低減させることができる。
【００７１】
具体的に説明すると、画像信号符号化装置８０は、第３階層画像データＤ３５及び第２階層ブロツク化データＤ３４を差分回路８１に供給する。差分回路８１は、第３階層画像データＤ３５と第２階層ブロツク化データＤ３４との間で空間的に対応する画素同士の差分を演算し、第２階層差分データＤ７０を形成し、この第２階層差分データＤ７０を間引き回路８２に送出する。このとき、差分回路８１は、第２階層画素Ｙ１３、Ｙ３１、Ｙ３３の差分値ΔＹ１３、ΔＹ３１、ΔＹ３３を、これらの画素に対応する上位階層画素Ｚ１１を用いて、次式、
【００７２】
【数１１】
2006279975.tif 000013
【００７３】
のようにして求める。
【００７４】
画像信号符号化装置８０は、同様にして第２階層ブロツク化データＤ３４及び第１階層ブロツク化データＤ３２を差分回路８３に供給する。差分回路８３は、第２階層ブロツク化データＤ３４と第１階層ブロツク化データＤ３２との間で空間的に対応する画素同士の差分を演算し、第１階層差分データＤ７１を形成し、この第１階層差分データＤ７１を間引き回路８４に送出する。このとき、差分回路８３は、第１階層画素Ｘ１２、Ｘ２１、Ｘ２２の差分値ΔＸ１２、ΔＸ２１、ΔＸ２２を、これらの画素に対応する上位階層画素Ｙ１１を用いて、次式、
【００７５】
【数１２】
2006279975.tif 000014
【００７６】
のようにして求める。
【００７７】
間引き回路８４、８２のそれぞれは、上述した図１に示された間引き回路４２、４５と同様に、ブロツク化回路４１からのブロツク化データＤ３２及びブロツク化回路４４からのブロツク化データＤ３４をそれぞれ受信する。そして、４画素で構成されるブロツク化データＤ３２、Ｄ３４に対応して各ブロツクにつき４画素で構成されている第１階層及び第２階層差分データＤ７１、Ｄ７０の中からそれぞれ１画素を間引き、各ブロツクにつき取り除かれた１画素を除く残り３画素によつて構成される階層差分間引きデータＤ７２、Ｄ７３を形成し、この階層差分間引きデータＤ７２、Ｄ７３をそれぞれ量子化回路８５、８６に送出する。
【００７８】
ここで第１階層の量子化回路８５、第２階層の量子化回路８６及び第３階層の量子化回路８７は、後述する理由により、各画素の再量子化に割り当てる量子化ビツト数がそれぞれ、１ビツト、２ビツト及び４ビツトに選定されている。画像信号符号化装置８０においては、各量子化回路８５、８６及び８７としてこのような量子化特性を持たせることにより、復号側において特に下位階層画像の画質劣化を低減し得るようになされている。
【００７９】
また、量子化回路８５、８６は、零付近ほど量子化ステツプ幅が小さく（細かく）なるように量子化特性が選定されている。これにより零付近にデータが集中する階層差分間引きデータＤ７２、Ｄ７３に対して量子化誤差の小さな再量子化を施すことができるようになされている。つまり、画像信号の階層間の画素には相関があるため、差分データは０になる可能性が高く、差分データが０近傍に集中するためである。
【００８０】
量子化回路８５、８６、８７により得られた再量子化データＤ７４、Ｄ７５、Ｄ７６は可変長符号化回路（ＶＬＣ）５０、５１、５２によつてそれぞれ可変長符号化され、第１階層、第２階層及び第３階層符号化データＤ７７、Ｄ７８、Ｄ７９として出力される。そしてこれらの第１階層、第２階層及び第３階層符号化データＤ７７、Ｄ７８、Ｄ７９が続く伝送フオーマツト変換回路５３に入力され、伝送フオーマツト変換回路５３は伝送画像データＤ８０を形成してそれを出力する。この出力された伝送画像データＤ８０は、その後、通信路８８を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体８９に記録される。
【００８１】
図６は、画像信号符号化装置８０により圧縮符号化された伝送画像データＤ８０を復号する画像信号復号化装置９０の構成を示している。画像信号復号化装置９０において、図３に示された画像信号復号化装置６０との対応部分に同一符号を付している。画像信号復号化装置９０は、通信路８８を介して供給されるか、もしくは再生伝送路を介して記録媒体８９から再生される伝送画像データＤ８０をデータ分流回路６１に入力する。データ分流回路６１は、伝送画像データＤ８０を第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３に分流し、これらの第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３は、可変長復号化回路（ＩＶＬＣ）６２、６３及び６４にそれぞれ供給される。可変長復号化回路（ＩＶＬＣ）６２、６３及び６４のそれぞれは、第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３をそれぞれ可変長復号し、再量子化データＤ８４、Ｄ８５、Ｄ８６を形成し、これらの再量子化データＤ８４、Ｄ８５、Ｄ８６を逆量子化回路９１、９２及び９３にそれぞれ送出する。なお、可変長復号化回路（ＩＶＬＣ）６２、６３及び６４は、図５で示された可変長符号化回路（ＶＬＣ）５０、５１及び５２にそれぞれ対応する逆処理を実行する。
【００８２】
逆量子化回路９１、９２及び９３は、１画素当り１ビツト、２ビツト及び４ビツトに再量子化されてなる再量子化データＤ８４、Ｄ８５及びＤ８６を１画素当り１６ビツトでなるデータにそれぞれ逆量子化し、第１階層及び第２階層の階層差分間引きデータＤ８７及びＤ８８並びに第３階層復号画像データＤ８９をそれぞれ生成する。なお、逆量子化回路９１、９２及び９３は、図５で示された量子化回路８５、８６及び８７にそれぞれ対応する逆処理を実行する。
【００８３】
第３階層復号画像データＤ８９は、そのまま低解像度のテレビジヨンモニタ等に出力されると共に、加算回路９４及び画素生成回路９５に送出される。加算回路９４は、次式、
【００８４】
【数１３】
2006279975.tif 000015
【００８５】
のような加算演算を行い、第２階層間引き復号データＤ９０を算出する。
【００８６】
画素生成回路９５は、第２階層差分間引きデータＤ８８と第３階層復号画像データＤ８９とを用いて、図５で示された間引き回路８２で間引かれた第２階層画素Ｙ１１を、次式、
【００８７】
【数１４】
2006279975.tif 000016
【００８８】
により求める。この（１４）式は、上述した（３）式と比較すると、第３階層画素Ｚ１１の乗算係数が（３）式では「４」であつたのに対して、この式では「１」となつていることが分かる。このことは（１４）式において、第２階層の画素値に対する第３階層の画素値の影響が（３）式と比べて小さいことを意味する。
【００８９】
合成回路９６は、第２階層間引き復号データＤ９０と第２階層復元画素データＤ９１とを合成して第２階層復号画像データＤ９２を形成し、この第２階層復号画像データＤ９２を出力端子を介してテレビジヨンモニタ等に出力すると共に、加算回路９７及び画素生成回路９８に送出する。加算回路９７は、次式、
【００９０】
【数１５】
2006279975.tif 000017
【００９１】
のような加算演算を行い、第１階層間引き復号データＤ９３を算出する。
【００９２】
画素生成回路９８は、第１階層差分間引きデータＤ８７と第２階層復号画像データＤ９２とを用いて、図５に示された間引き回路８４で間引かれた第１階層画素Ｘ１３、Ｘ３１、Ｘ３３を、次式、
【００９３】
【数１６】
2006279975.tif 000018
【００９４】
により求める。また、画素生成回路９８は、間引かれた第１階層画素Ｘ１１を、次式、
【００９５】
【数１７】
2006279975.tif 000019
【００９６】
により求める。
【００９７】
合成回路９９は、第１階層間引き復号データＤ９３と第１階層復元画素データＤ９４とを合成して、第１階層復号画像データＤ９５を形成する。そして、この第１階層復号画像データＤ９５を出力端子を介して、例えば高解像度のテレビジヨンモニタ等に出力する。
【００９８】
次に、第１実施例と同様に、この第２の実施例の画像信号符号化装置８０及び画像信号復号化装置９０における各階層での量子化誤差の影響について考える。ここで、第２の実施例における量子化回路８７と逆量子化回路９３、量子化回路８６と逆量子化回路９２、量子化回路８５と逆量子化回路９１で設定されている量子化ビツト数が、第１実施例と異なるため、量子化誤差について同じように説明することは実際上できないが、以下の説明ではこれら第１実施例及び第２実施例の量子化ビツト数が階層毎に同じものとして考える。
【００９９】
逆量子化回路９３によつて得られる第３階層の画素Ｚ１１の復号値Ｚ１１′は、（５）式と同じとなる。また加算回路９４によつて得られる第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の復号値Ｙ１３′、Ｙ３１′、Ｙ３３′は、次式、
【０１００】
【数１８】
2006279975.tif 000020
【０１０１】
で示す値となる。
【０１０２】
また、画素生成回路９５によつて復元される第２階層画素Ｙ１１は、（１４）式に基づいて生成されるので、その復号値Ｙ１１′は、次式、
【０１０３】
【数１９】
2006279975.tif 000021
【０１０４】
で示す値となる。この（１９）式を上述した（７）式と比較すると、第３階層画素Ｚ１１の量子化誤差Ｅ（Ｚ１１）の乗算係数が（７）式では「４」であつたのに対して、「１」となつていることが分かる。このことは、この実施例の符号化復号化によれば、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を１／４程度に低減させることができることを意味する。つまり、第１の実施例では、例えば、（６）、（７）式から明らかなように、第３階層の画素Ｚ１１の量子化誤差は、第２階層の復号画素値Ｙ１１′のみに反映されており、第２階層の復号画素値Ｙ１３′、Ｙ３１′、Ｙ３３′には反映されていない。しかしながら、第２の実施例では、（１８）、（１９）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ１１の量子化誤差は、第２階層の復号画素値Ｙ１１′、Ｙ１３′、Ｙ３１′、Ｙ３３′のすべてに反映されることになる。したがつて、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を低減させることができる。
【０１０５】
また差分回路９７によつて得られる第１階層画素Ｘ１２、Ｘ２１、Ｘ２２、Ｘ３１、Ｘ４１、Ｘ４２の復号値Ｘ１２′、Ｘ２１′、Ｘ２２′、Ｘ３１′、Ｘ４１′、Ｘ４２′は、次式、
【０１０６】
【数２０】
2006279975.tif 000022
【０１０７】
で示される値となり、画素生成回路９８によつて復元される第１階層画素Ｘ３１の復号値Ｘ３１′は、次式、
【０１０８】
【数２１】
2006279975.tif 000023
【０１０９】
で示される値となる。
【０１１０】
さらに画素生成回路９５を経て画素生成回路９８によつて復元される第１階層画素Ｘ１１の復号値Ｘ１１′は、次式、
【０１１１】
【数２２】
2006279975.tif 000024
【０１１２】
で示される値となり、Ｚ１１についての量子化誤差が等倍となつて影響し、Ｙ１３、Ｙ３１、Ｙ３３についての量子化誤差が等倍となつて影響する。しかしながらこの（２２）式と（１０）式を比較すれば明らかなように、Ｚ１１、Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差が復号値Ｘ１１′に与える影響は第１実施例の場合よりも格段に低減されている。つまり、第１の実施例では、例えば、（９）、（１０）式から明らかなように、第３階層の画素Ｚ１１の量子化誤差及び第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差は、第１階層の復号画素値Ｘ１１′のみに反映されており、第１階層の復号画素Ｘ１２′、Ｘ２１′、Ｘ２２′には反映されていない。
【０１１３】
しかしながら、第２の実施例では、（２０）、（２１）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ１１の量子化誤差及び第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差は、第１階層の復号画素Ｘ１１′、Ｘ１２′、Ｘ２１′、Ｙ２２′に反映されることになる。したがつて、第３階層画素の量子化誤差及び第２階層画素の量子化誤差が第１階層画素の復号に与える影響を低減させることができる。
【０１１４】
この第２の実施例の画像信号符号化装置８０においては、第１実施例において各量子化回路４７、４８、４９にそれぞれ１ビツト、４ビツト、１６ビツトの量子化ビツトを持たせたのに対し、各量子化回路８５、８６、８７にそれぞれ１ビツト、２ビツト、４ビツトの量子化ビツトを持たせれば上位階層での量子化誤差に基づく下位階層での画質劣化を十分に抑制することができる。つまり、量子化ビツト数は、下位階層に与える量子化誤差の影響度によつて決定されている。また、量子化ビツト数は、最下位階層からの階層段数及び上位階層画素を生成するために使用される画数に応じて決定されてもよい。この結果、画像信号符号化装置８０においては、一段と少ない伝送情報量で高画質の復元画像を得ることができる。
【０１１５】
以上の第２の実施例の構成によれば、入力画像データＤ３１から平均値演算により得た複数の階層画像データの各階層データと隣接上位階層データとの階層差分データを生成し、最上位階層データＤ３５と複数の階層差分データＤ７２、Ｄ７３をそれぞれ量子化して複数の階層符号化データを生成する画像信号符号化装置８０において、最上位階層を除く各階層の画素のうち隣接下位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる差分画素データΔＹ１１、ΔＹ１５、……、ΔＸ１１、ΔＸ１３……を伝送しないようにするとともに、上位階層の量子化回路ほど細かい量子化を行うようにしたことにより、画質劣化を抑制した状態で一段と伝送情報量を削減できる。また、この場合、上位階層データの量子化誤差の下位階層データの影響度を考慮して、上位階層の量子化回路ほど、細かい量子化を行うことにより、画質劣化を低減できる。
【０１１６】
また上述した本発明の第２実施例から明らかなように、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、上位階層の量子化ビツト数を決定する際に、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に応じて、最下位階層に影響する量子化誤差を最小限にするような量子化ビツト数もしくはそれ以上の量子化ビツト数に設定すれば、画質劣化を低減した画像符号化装置を提供することができる。
【０１１７】
また、以上の第２の実施例から明らかなように、階層間の差分データを得ることにより、復号時に間引かれた画素にだけ上位階層画素の量子化誤差を反映させるのではなく、間引きデータを復号するために使用される伝送画素にも上位階層画素の量子化誤差を反映させるようにすれば、さらに、画質劣化を低減した画像符号化装置を提供することができる。
【０１１８】
（３）第３実施例
図７は、全体として第３実施例の画像信号符号化装置１００を示している。この画像信号符号化装置１００は、第２実施例と比較して、適応予測回路１０１及び１０２を設けたことを除いて第２実施例の画像信号符号化装置８０と同様の構成を有する。したがつて、図５と対応部分に同一符号を付して示してしている。
【０１１９】
適応予測回路１０１は、第３階層画像データＤ３５に基づいて所定の予測処理を行い、第２階層画像データＤ３４に対応する第２階層予測データＤ１００を生成する。そして、この第２階層予測データＤ１００を差分回路８１に送出する。同様に、適応予測回路１０２は、第２階層画像データＤ３４に基づいて所定の予測処理を行い、第１階層画像データＤ３２に対応する第１階層予測データＤ１０１を生成する。そして、この第１階層予測データＤ１０１を差分回路８３に送出する。
【０１２０】
実際上、適応予測回路１０１及び１０２は、クラス分類適応処理を適用して、複数の上位階層画素から下位階層の１画素を予測する。具体的には、予測しようとする下位階層の画素をその空間的に近傍の複数の上位階層画素のレベル分布に基づいてクラス分類する。また、適応予測回路１０１及び１０２は、予め学習によつて獲得された、クラス毎に複数の予測係数あるいは１個の予測値を格納したメモリ（図示せず）を有し、上記クラス分類で決定されたクラスに対応した複数の予測係数あるいは１個の予測値をメモリから読み出す。予測値の場合は、その予測値がそのまま予測画素として使用され、予測係数の場合は、複数の予測係数と複数の画素との線形一次結合により予測値を生成する。また、予測値は正規化されている場合は、この予測値に所定の処理を施して予測画素を生成する。このようなクラス分類適応処理の詳細は、例えば特願平4-155719号に開示されている。また、このようなクラス分類適応処理のアルゴリズムは、すでに知られている。また、第３の実施例における適応予測回路において、クラス分類適応処理のアルゴリズムを用いているが、本発明はこれに限らず、現在知られている他の予測方法を用いてもよい。
【０１２１】
画像信号符号化装置１００により圧縮符号化された伝送画像データＤ８０′を復号する画像信号復号化装置９０′の構成を図８に示す。この画像信号復号化装置９０′は、第２実施例の画像信号復号化装置９０と比較して、適応予測回路１０１′及び１０２′を設けたことを除いて第２実施例の画像信号復号化装置９０と同様の構成を有する。したがつて図６との対応部分に同一符号を付して示している。
【０１２２】
この第３実施例による画像信号復号化装置９０′において、第３階層復号データＤ８９′を入力する第１の適応予測回路１０１′は、図７に示した適応予測回路１０１に対応するクラス分類適応処理を第３階層復号データＤ８９′に基づいて実行し、この結果得られる第２階層予測データＤ１００′を画素生成回路９５に送出する。画素生成回路９５は、第２階層の逆量子化回路９２から出力される第２階層差分間引きデータＤ８８′と第２階層予測データＤ１００′とを用いて、図７で示された間引き回路８２で間引かれた第２階層画素を生成する。また、第３階層復号データＤ８９′に基づいて第１の適応予測回路１０１′によつて得られた第２階層予測データＤ１００′は、第２階層の逆量子化回路９２から出力される第２階層差分間引きデータＤ８８′に加算される。この加算により得られる第２階層間引き復号データＤ９０′は、画素生成回路９５によつて生成された第２階層画素Ｄ９１′と合成され、第２階層復号画像データＤ９２′となる。
【０１２３】
また、第２階層復号データＤ９２′を入力する第２の適応予測回路１０２′は、図７に示した適用予測回路１０２に対応するクラス分類適応処理を第２階層復号データＤ９２′に基づいて実行し、この結果得られる第１階層予測データＤ１０１′を画素生成回路９８に送出する。画素生成回路９８は、第１階層の逆量子化回路９１から出力される第１階層差分間引きデータＤ８７′と第１階層予測データＤ１０１′とを用いて、図７で示された間引き回路８４で間引かれた第１階層画素を生成する。また、第２階層復号データＤ９２′に基づいて第２の適応予測回路１０２′によつて得られた第１階層予測データＤ１０１′は、第１階層の逆量子化回路９１から出力される第１階層差分間引きデータＤ８７′に加算される。この加算により得られる第１階層間引き復号データＤ９３′は、画素生成回路９８によつて生成された第１階層画素Ｄ９４′と合成され、第１階層復号画像データＤ９５′となる。
【０１２４】
以上の第３実施例の構成によれば、画像信号符号化装置１００の差分回路８３及び８１から得られる第１階層差分データＤ７１′及び第２階層差分データＤ７０′の残差を一段と小さくできるので、伝送情報量を一段と低減し得る画像信号符号化装置１００を実現できる。
【０１２５】
（４）他の実施例
なお、上述の実施例においては、３階層分の階層画像データＤ３１、Ｄ３４、Ｄ３５を生成し、これを圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、順次平均値演算を繰り返すことにより４階層や５階層分の階層画像データを生成し、これを量子化によつて圧縮符号化して伝送する場合にも適用し得る。
【０１２６】
また、上述の実施例においては、下位階層の４画素を用いた平均値演算によつて上位階層の１画素を生成する場合について述べたが、本発明はこれに限らず、例えば下位階層の６画素もしくはそれ以上の画素を用いた平均値演算によつて上位階層の１画素を生成するようにして階層画像データを生成するようにしても良い。
【０１２７】
また、上述した実施例においては、量子化器をすべて線形量子化器として記載したが、本発明はこれに限らず、非線型量子化や適応量子化、さらには、ダイナミツクレンジに応じた適用量子化などを適用してもよい。
【０１２８】
さらに、本発明の実施例は、ブロツク図を用いて示したハードウエアによつて実現しているが、本発明はこれに限らず、ＣＰＵやメモリなどを用いてソフトウエアで実現することも可能である。
【０１２９】
さらに上述の第１実施例においては、量子化回路４７、４８、４９の量子化ビツト数をそれぞれ１ビツト、４ビツト、１６ビツトに選定すると共に、上述の第２実施例においては、量子化回路８５、８６、８７の量子化ビツト数をそれぞれ１ビツト、２ビツト、４ビツトに選定するようにした場合について述べたが、本発明はこれに限らず、要は上位階層の量子化回路ほど量子化幅を小さくして細かい量子化を行うようにすれば良い。
【０１３０】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考え得る。したがつて、本発明の要旨は、実施例に限定されるものではない。
【産業上の利用可能性】
【０１３１】
本発明は、画像処理分野で利用可能である。
【図面の簡単な説明】
【０１３２】
【図１】第１実施例による画像信号符号化装置の構成を示すブロツク図である。
【図２】階層化及び伝送画素の説明に供する略線図である。
【図３】第１実施例による画像信号復号化装置の構成を示すブロツク図である。
【図４】各階層における量子化誤差が各階層の復元画素に与える影響を表わす略線図である。
【図５】第２実施例による画像信号符号化装置の構成を示すブロツク図である。
【図６】第２実施例による画像信号復号化装置の構成を示すブロツク図である。
【図７】第３実施例による画像信号符号化装置の構成を示すブロツク図である。
【図８】第３実施例による画像信号復号化装置の構成を示すブロツク図である。
【図９】従来の画像信号符号化装置の構成を示すブロツク図である。
【図１０】従来の階層符号化データを復号する画像信号復号化装置の構成を示すブロツク図である。
【符号の説明】
【０１３３】
４０、８０、１００……画像信号符号化装置、４３、４６……平均化回路、４２、４５、８２、８４……間引き回路、４７〜４９、８５〜８７……量子化回路、６０、９０、９０′……画像信号復号化装置、１０１、１０２、１０１′、１０２′……適応予測回路、Ｄ３１……入力画像データ、Ｄ３３……第２階層画像データ、Ｄ３５……第３階層画像データ、Ｄ４１、Ｄ７７、Ｄ７７′……第１階層符号化データ、Ｄ４２、Ｄ７８、Ｄ７８′……第２階層符号化データ、Ｄ４３、Ｄ７９、Ｄ７９′……第３階層符号化データ、Ｄ４４、Ｄ８０、Ｄ８０′……伝送画像データ、Ｄ５８、Ｄ８９、Ｄ８９′……第３階層復号画像データ、Ｄ６０、Ｄ９２、Ｄ９２′……第２階層復号画像データ、Ｄ６２、Ｄ９５、Ｄ９５′……第１階層復号画像データ、Ｄ７０、Ｄ７０′……第２階層差分データ、Ｄ７１、Ｄ７１′……第１階層差分データ、Ｄ１００、Ｄ１００′……第２階層予測データ、Ｄ１０１、Ｄ１０１′……第１階層予測データ、Ｚ……第３階層画素、Ｙ……第２階層画素、Ｘ……第１階層画素。
【図１】
2006279975.tif 000025
【図２】
2006279975.tif 000026
【図３】
2006279975.tif 000027
【図４】
2006279975.tif 000028
【図５】
2006279975.tif 000029
【図６】
2006279975.tif 000030
【図７】
2006279975.tif 000031
【図８】
2006279975.tif 000032
【図９】
2006279975.tif 000033
【図１０】
2006279975.tif 000034