(57)【特許請求の範囲】
【請求項１】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化方法において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層を除く各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化ステツプと、
からなり、
上記量子化ステツプでは、上記最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に空間的に対応する下位階層の画素データを量子化する際の量子化特性を、量子化誤差が上記最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御する
ことを特徴とする画像信号符号化方法。
【請求項２】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化方法において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層を除く各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成するステツプと、
上記各階層の階層差分データについて、隣接上位階層の差分データ及び自分の階層の差分データを用いて算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化ステツプと、
からなり、
上記量子化ステツプでは、上記最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に対応する下位階層の画素データを量子化する際の量子化特性を、量子化誤差が上記最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御する
ことを特徴とする画像信号符号化方法。
【請求項３】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化装置において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
解像度の最も低い最上位階層を除く各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成手段と、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化手段と、
からなり、
上記量子化手段では、上記最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に空間的に対応する下位階層の画素データを量子化する際の量子化特性を、量子化誤差が上記最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御する
ことを特徴とする画像信号符号化装置。
【請求項４】
請求項３において、
上記量子化手段は、さらに、上位階層のデータほど細かく量子化するようにした
ことを特徴とする画像信号符号化装置。
【請求項５】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化装置において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
解像度の最も低い最上位階層データを除く各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成する差分データ形成手段と、
上記各階層の階層差分データについて、隣接上位階層の差分データ及び自分の階層の差分データを用いた算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成手段と、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化手段と、
からなり、
上記量子化手段は、上記最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に対応する下位階層の画素データを量子化する際の量子化特性を、量子化誤差が上記最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御する
ことを特徴とする画像信号符号化装置。
【請求項６】
請求項５において、
上記量子化手段では、さらに、上位階層のデータほど細かく量子化するようにした
ことを特徴とする画像信号符号化装置。
【請求項７】
請求項５において、
上記階層差分データを形成する差分データ形成手段では、上記各階層画像データと、上記隣接上位階層画像データを用いて所定の予測演算処理によつて予測生成した隣接下位階層画像データとの差分をとることにより上記階層差分データを形成する
ことを特徴とする画像信号符号化装置。
【請求項８】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化し、その符号化データを伝送する画像信号伝送方法において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層を除く各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、伝送画像データとして複数の階層符号化データを生成する量子化ステツプと、
上記伝送画像データを伝送するステツプと、
からなり、
上記量子化ステツプでは、上記最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に空間的に対応する下位階層の画素データを量子化する際の量子化特性を、量子化誤差が上記最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御する
ことを特徴とする画像信号伝送方法。
【請求項９】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化し、その符号化データを伝送する画像信号伝送方法において、各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層データを除く各階層画像データについて、当該各階層画像データと隣接上位階層画像データの差分を演算し、階層差分データを形成するステツプと、
上記各階層の階層差分データについて、隣接上位階層の差分データ及び自分の階層の差分データを用いた算術演算によつて復元できる差分画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、伝送画像データとして複数の階層符号化データを生成する量子化ステツプと、
上記伝送画像データを伝送するステツプと、
からなり、
上記量子化ステツプでは、上記最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に対応する下位階層の画素データを量子化する際の量子化特性を、量子化誤差が上記最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御する
ことを特徴とする画像信号伝送方法。
【請求項１０】
入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化装置において、
各階層画像データの複数の画素値に基づき、上位階層画像に関するデータを生成する画像データ生成手段と、
解像度の最も低い最上位階層を除く各階層画像に関するデータについて、各階層に関するデータ及び該隣接上位階層に関するデータを用いた演算によつて復元できる範囲で、上記各階層に関するデータを間引き、残りの画素に関するデータで形成される間引きデータを形成する間引きデータ形成手段と、
上記最上位階層画像に関するデータ及び上記最上位階層を除く各階層に関する間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化手段と、
からなり、
上記量子化手段では、上記最上位階層の画素に関するデータを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に空間的に対応する下位階層の画素に関するデータを量子化する際の量子化特性を、量子化誤差が上記最上位階層の画素に関するデータを量子化したときの量子化誤差の極性と同じになるように制御する
ことを特徴とする画像信号符号化装置。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術（図１０及び図１１）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）第１実施例（図１〜図５）
（２）第２実施例（図６及び図７）
（３）第３実施例（図８及び図９）
（４）第４実施例
（５）他の実施例
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて生成された符号化データが記録された記録媒体に関し、特に所定の画像データを異なる解像度でなる複数階層の画像データに分割し、それぞれの階層の画像データを符号化して、符号化データを生成する（すなわち画像データを階層符号化する）場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、この種の画像信号符号化装置においては、高解像度の入力画像データを第１の階層画像データとして、この第１の階層データよりも解像度の低い第２の階層データ、さらに第２の階層データよりも解像度の低い第３の階層データ、……を順次形成し、これら複数の階層データをそれぞれ圧縮符号化する。これにより、情報量が順次低減された複数階層分の階層符号化データが形成され、この複数の階層符号化データを通信路や記録再生経路を介して伝送することができる。
【０００４】
この複数の階層符号化データを復号化する画像信号復号装置では、複数の階層符号化データを全て復号することもでき、またそれぞれに対応するテレビジヨンモニタの解像度等に応じていずれかの階層符号化データのうち所望の１つを選択して復号することもできる。これにより、階層化された複数の階層データから所望の階層データのみについて復号化すれば、必要最小限の伝送データ量で所望の画像データを得ることもできる。
【０００５】
ここで、図１０に示すように、この階層符号化として、例えば４階層の符号化を実現する画像信号符号化装置１は、それぞれ３段分の間引きフイルタ２、３、４と補間フイルタ５、６、７とを有し、入力画像データＤ１について各段の間引きフイルタ２、３、４によつて順次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると共に、補間フイルタ５、６、７により縮小画像データＤ２、Ｄ３、Ｄ４を縮小前の解像度データＤ５、Ｄ６、Ｄ７にそれぞれ戻す。
【０００６】
各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７は、それぞれ差分回路８、９、１０に入力され、各差分回路により差分データＤ８、Ｄ９、Ｄ１０が生成される。この差分データＤ８〜Ｄ１０の度数分布は０付近に集中することになるため、画像符号化装置１においては、階層データのデータ量を低減することができると共に、信号電力を低減することができる。また、後段に配置される可変長符号化回路で、ランレングス符号化やハフマン符号化などを使用することにより、さらにデータ量を低減することができる。ここで、この差分データＤ８〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が、入力画像データＤ１に対して１、1/4 、1/16、1/64のサイズとなつている。
【０００７】
それぞれの差分回路８〜１０より得られる差分データＤ８〜Ｄ１０及び間引きフイルタより得られる縮小画像データＤ４は、各符号器１１、１２、１３、１４によつてそれぞれ符号化されて圧縮処理が施される。この結果、各符号器１１、１２、１３、１４から解像度の異なる第１、第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１４が所定の順序で通信路に送出されたり、伝送路を介して記録媒体に記録される。
【０００８】
このようにして伝送される第１〜第４の階層データＤ１１〜Ｄ１４は、図１１に示す画像信号復号化装置２０によつて復号される。すなわち、それぞれ、入力端子を介して通信路もしくは記録媒体から供給された第１〜第４の階層データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、２４によつて復号され、この結果、復号器２４からは、復号された第４の階層データＤ２４が出力される。
【０００９】
また、復号器２３の出力は、加算回路２９において補間フイルタ２６より得られる第４の階層データＤ２４の補間データと加算され、これにより第３の階層データＤ２３が復元される。同様にして、復号器２２の出力は、加算回路３０において補間フイルタ２７より得られる第３の階層データＤ２３の補間データと加算され、これにより第２の階層データＤ２２が復元される。さらに、復号器２１の出力は、加算回路３１において補間フイルタ２８より得られる第２の階層データＤ２２の補間データと加算され、これにより第１の階層データＤ２１が復元される。
【００１０】
【発明が解決しようとする課題】
ところが、かかる階層符号化を実現する画像信号符号化装置１においては、入力画像データＤ１を複数の階層データに分割して、それぞれの階層データを符号化するため、必然的に階層成分だけ伝送データ量が増加する。したがつて、その分、階層符号化を用いない高能率符号化方式に比して圧縮効率が低下するという問題がある。
【００１１】
また、画像信号復号化装置２０においては、上位階層で復元された階層データに基づいて下位階層の階層データを復元するというように、上位階層データから下位階層データに向かつて順に階層データＤ２４、Ｄ２３、Ｄ２２、Ｄ２１を復元する。したがつて、符号化された上位階層の階層データＤ１４やＤ１３を復号したときに、その復号データに圧縮符号化による誤差が含まれると、本来高解像度が望まれる下位階層の復元階層データＤ２１やＤ２２に圧縮符号化誤差が伝播され、下位階層の復元階層データにその誤差に基づく画質劣化が非常に目立つて現れるという問題があつた。
【００１２】
本発明は、以上の点を考慮してなされたもので、画像データを階層符号化する際に圧縮効率を向上し得ると共に、画質劣化を低減し得る画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて符号化された符号化データが記録された記録媒体を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、各階層データを平均値演算により生成した後、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを伝送対象から除外すると共に、最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に空間的に対応する下位階層の画素データを量子化する際の量子化誤差の極性を、最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御したことにより、圧縮効率が向上しかつ画質劣化が低減した階層符号化を実現することができる。
【００１４】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１５】
（１）第１実施例
図１は、全体として第１実施例による画像信号符号化装置１４０を示している。この第１実施例では、３階層分の階層データを形成し、これらの３階層分のデータをそれぞれ圧縮符号化して伝送する場合を示している。画像信号符号化装置１４０は、高解像度の入力画像データＤ１３１（以下、これを第１階層画像データと呼ぶ）をブロツク化回路１４１において、２ライン×２画素の小ブロツクに分割して、第１階層のブロツク化データＤ１３２を形成し、この第１階層のブロツク化データＤ１３２を間引き回路１４２及び平均化回路１４３に送出する。
【００１６】
平均化回路１４３は、ブロツク化データＤ１３２の各ブロツク内画素値を平均化して、入力画像データＤ１３１に対して1/4 に縮小された第２階層画像データＤ１３３を生成し、この第２階層画像データＤ１３３をブロツク化回路１４４に送出する。ブロツク化回路１４４は、ブロツク化回路１４１と同様に、第２階層画像データＤ１３３を２ライン×２画素の小ブロツクに分割して、第２の階層のブロツク化データＤ１３４を形成し、この第２の階層のブロツク化データＤ１３４を間引き回路１４５及び平均化回路１４６に送出する。
【００１７】
平均化回路１４６は、平均化回路１４３と同様に、ブロツク化データＤ１３４の各ブロツク内画素値を平均化して、第２階層画像データＤ１３３に対して1/4 に縮小された、すなわち第１階層画像データＤ１３１に対して1/16に縮小された第３階層画像データＤ１３５を生成する。すなわち、平均化回路１４３は、図２（Ｃ）の点線で示すように、第１階層のブロツク内の４画素（例えばＸ11、Ｘ12、Ｘ21、Ｘ22）を用いて、次式、
【数１】
0003781220.tif 000002
による平均値演算を行い、図２（Ｂ）で示す第２階層の１画素（例えばＹ11）を生成する。なお、画素Ｙ13、Ｙ31、……も第１階層の４画素平均により、同様に生成される。
【００１８】
同様に、平均化回路１４６は、図２（Ｂ）に示すような第２階層のブロツク内の４画素（例えばＹ11、Ｙ13、Ｙ31、Ｙ33）を用いて、次式、
【数２】
0003781220.tif 000003
による平均値演算を行い、図２（Ｃ）で示す第３階層の１画素（例えばＺ11）を生成する。なお、画素Ｚ15、Ｚ51、……も第２階層の４画素平均により、同様に生成される。
【００１９】
間引き回路１４２、１４５は、ブロツク化回路１４１からのブロツク化データＤ１３２及びブロツク化回路１４４からのブロツク化データＤ１３４をそれぞれ受信し、４画素で構成されるブロツク化データＤ１３２、Ｄ１３４のうち１画素を取り除き、各ブロツクにつき取り除かれた１画素を除く残り３画素で構成される間引きデータＤ１３６、Ｄ１３７を形成し、この間引きデータＤ１３６、Ｄ１３７を量子化回路１４７、１４８にそれぞれ送出する。すなわち、間引き回路１４２は、図２（Ｃ）の点線で示すような画素Ｘ11、Ｘ13、……を間引きにより削除し、間引き回路１４５は、図２（Ｂ）の点線で示すような画素Ｙ11、Ｙ15、……を間引きにより削除する。
【００２０】
従つて、第１階層の量子化回路１４７及び第２階層の量子化回路１４８の量子化対象となる画素は、図２（Ｃ）及び図２（Ｂ）の実線で示される画素Ｘ12、Ｘ21、Ｘ22、……やＹ13、Ｙ31、Ｙ33……であり、第１階層について見れば、第１階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4 に低減できる。また、第２階層について見れば、平均演算により生成された第２階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4 に低減する。
【００２１】
また、全体的に見れば、画像信号符号化装置１４０においては、第１階層画像データＤ１３１のみを圧縮して伝送する場合と比較して、等しい伝送画素数で、複数階層の画像データを伝送することができるようになされている。この結果、画像信号符号化装置１４０は、伝送情報量を増加させずに、複数階層の画像データを伝送することができる。なお、間引き回路１４２、１４５において間引かれた画素は、後述する復号側（受信側）で簡単な算術式を用いて復元することができる。
【００２２】
量子化回路１４７、１４８及び１４９は、それぞれ間引きデータＤ１３６、Ｄ１３７及び第３階層画像データＤ１３５の各画素（８ビツト）を、例えば２ビツトで再量子化して情報量を圧縮する。また、第３階層の量子化回路１４９は、量子化時の誤差の極性を表わす量子化誤差情報信号Ｓ１を量子化制御回路２００に送出する。
【００２３】
量子化制御回路２００は、量子化誤差情報信号Ｓ１に基づいて第２階層及び第１階層の量子化回路１４８及び１４７に量子化制御信号Ｓ２及びＳ３を送出し、量子化回路１４８及び１４７の量子化誤差の極性が量子化回路１４９の誤差の極性と同じになるように量子化特性を制御する。なお、この場合、量子化回路１４８及び１４７では、量子化回路１４９によつて量子化されている最上位階層画素に空間的に対応する下位階層画素が量子化されているものとする。
【００２４】
このことを図３を用いて具体的に説明する。図３は、入力されるデータが１画素当り８ビツトのデータであり、かつ０〜２５５までのレベルをとり得る場合に、０〜６３のレベルの画素には量子化値「０」を出力し、６４〜１２７のレベルの画素には量子化値「１」を出力し、１２８〜１９１のレベルの画素には量子化値「２」を出力し、１９２〜２５５のレベルの画素には量子化値「３」を出力するような２ビツト量子化を表現したものである。これは、歪み最小規範と呼ばれ、量子化誤差を最小とするために従来一般的に用いられている手法である。
【００２５】
第１実施例の画像信号符号化装置１４０では、量子化回路１４７及び１４８において、このような歪み最小規範を用いずに、最上位階層である量子化回路１４９の量子化誤差の極性に応じた量子化を行うようになされている。例えば、量子化回路１４９に入力された画素データが、図３に示されるようなＬ１のようなレベルにあつた場合、量子化回路１４９は歪み最小規範に従つて量子化値「３」を出力する。このとき、量子化回路１４９は、量子化誤差が＋δ1 、すなわち正極性であることを示す量子化誤差情報信号Ｓ１を量子化制御回路２００に送出する。
【００２６】
このとき、量子化回路１４７及び１４８は、歪み最小規範に従わずに、量子化制御信号Ｓ２及びＳ３に基づいて量子化誤差が正極性となるような量子化処理を行う。つまり、例えば、量子化回路１４７又は１４８に入力された画素データが図３に示されるようなＬ２のようなレベルにあつた場合、歪み最小規範に従えば量子化値「２」を出力するに対して、この第１実施例の量子化回路１４７、１４８は、量子化制御回路２００からの量子化誤差情報信号Ｓ１（この場合、Ｓ１は正極性を表している）に基づいて、量子化値「３」を出力するようになされている。また、例えば、入力された画素データがＬ３のようなレベルにあつた場合は、量子化制御回路２００からの量子化誤差情報信号Ｓ１に基づいて、量子化値「２」を出力するようになされている。これは、歪み最小規範に従つた場合と同様となる。
【００２７】
量子化回路１４７、１４８、１４９によつて得られた再量子化データＤ１３８、Ｄ１３９、Ｄ１４０は、それぞれ可変長符号化回路（ＶＬＣ）１５０、１５１、１５２に供給される。可変長符号化回路１５０〜１５２のそれぞれは、再量子化データＤ１３８〜Ｄ１４０に対して発生度数の大きい量子化コードほど短いハフマンコードを割り当て、各再量子化データＤ１３８〜Ｄ１４０を可能な限り少ない符号量で表現した第１階層符号化データＤ１４１、第２階層符号化データＤ１４２及び第３階層符号化データＤ１４３をそれぞれ形成し、この第１階層符号化データＤ１４１、第２階層符号化Ｄ１４２及び第３階層符号化Ｄ１４３を伝送フオーマツト変換回路１５３に送出する。
【００２８】
伝送フオーマツト変換回路１５３は、第１階層符号化データＤ１４１、第２階層符号化データＤ１４２及び第３階層符号化データＤ１４３を所定の順序で配列したり、各階層符号化データの階層を識別するための識別コードを付加することにより、伝送画像データＤ１４４を形成して、この伝送画像データＤ１４４を出力する。この出力された伝送画像データＤ１４４は、その後、通信路１５４を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープ又は半導体メモリなどの記録媒体１５５に記録される。
【００２９】
このようにして形成された伝送画像データＤ１４４を復号する画像信号復号化装置１６０は、例えば、図４に示すように構成することができる。この画像信号復号化装置１６０は、通信路１５４を介して供給されるか、もしくは再生伝送路を介して記録媒体１５５から再生される伝送画像データＤ１４４をデータ分流回路１６１に入力する。データ分流回路１６１は、図示しないスイツチング回路を有し、伝送画像データＤ１４４に含まれる各階層の識別コードを参照して伝送画像データＤ１４４を第１階層符号化データＤ１５０、第２階層符号化データＤ１５１及び第３階層符号化データＤ１５２に分流し、これら第１階層符号化データＤ１５０、第２階層符号化データＤ１５１及び第３階層符号化データＤ１５２をそれぞれ可変長復号化回路（ＩＶＬＣ）１６２、１６３、１６４に送出する。
【００３０】
可変長復号化回路１６２、１６３、１６４は、それぞれ上述した図１に示された可変長符号化回路１５０、１５１、１５２と逆の処理を行し、ハフマン符号によつて表現されている第１階層符号化データＤ１５０、第２階層符号化データＤ１５１及び第３階層符号化データＤ１５２を再量子化コードで表現された再量子化データＤ１５３、Ｄ１５４、Ｄ１５５にそれぞれ変換する。そして、これらの再量子化データＤ１５３、Ｄ１５４、Ｄ１５５をそれぞれ逆量子化回路１６５、１６６、１６７に送出する。
【００３１】
逆量子化回路１６５は、上述した図１に示された量子化回路１４７によつて１画素当り２ビツトとされた再量子化データＤ１５３を例えば８ビツトのデータに逆量子化し、第１階層間引き復号データＤ１５６を生成する。そして、この第１階層間引き復号データＤ１５６を合成回路１６８及び画素生成回路１６９に送出する。逆量子化回路１６６は、上述した図１に示された量子化回路１４８によつて１画素当り２ビツトとされた再量子化データＤ１５４を例えば８ビツトのデータに逆量子化し、第２階層間引き復号データＤ１５７を生成する。そして、この第２階層間引き復号データＤ１５７を合成回路１７０及び画素生成回路１７１に送出する。
【００３２】
逆量子化回路１６７は、上述した図１に示された量子化回路１４９によつて１画素当り２ビツトとされた再量子化データＤ１５５を例えば８ビツトのデータに逆量子化し、これを第３階層復号画像データＤ１５８として出力する。そして、この第３階層復号画像データＤ１５８を例えば出力端子を介して表示画素数の少ない低解像度のテレビジヨンモニタに送出すると共に画素生成回路１７１に送出する。
【００３３】
画素生成回路１７１は、第３階層復号画像データＤ１５８と第２階層間引き復号データＤ１５７を用いて、上述した図１に示された画像信号符号化装置１４０の間引き回路１４５で間引かれた第２階層画素（すなわち図２（Ｂ）の点線で示す画素）を復元する。例えば間引きにより削除された第２階層の画素Ｙ11は、次式、
【数３】
0003781220.tif 000004
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００３４】
合成回路１７０は、このようにして生成された第２階層の復元画素データＤ１５９を第２階層間引き復号データＤ１５７中の所定の位置に挿入して合成することにより、第２階層復号画像データＤ１６０を形成する。そして、この第２階層復号画像データＤ１６０を例えば出力端子を介して表示画素数が中程度のテレビジヨンモニタに送出すると共に画素生成回路１６９に送出する。
【００３５】
画素生成回路１６９は、第２階層復号画像データＤ１６０と第１階層間引き復号データＤ１５６を用いて、上述した図１に示された画像信号符号化装置１４０の間引き回路１４２で間引かれた第１階層画素（すなわち図２（Ｃ）の点線で示す画素）を復元する。例えば間引きにより削除された第１階層画素Ｘ11は、次式、
【数４】
0003781220.tif 000005
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００３６】
合成回路１６８は、このようにして生成された第１階層の復元画素データＤ１６１を第１階層間引き復号データＤ１５６中の所定の位置に挿入して合成することにより、第１階層復号画像データＤ１６２を形成する。そして、この第１階層復号画像データＤ１６２を出力端子を介して例えば表示画素数が多いハイビジヨンテレビモニタに送出する。
【００３７】
以上の構成において画像信号符号化装置１４０は、下位階層の複数画素の平均値によつて上位階層画素を生成することにより、複数階層の画像データＤ１３１、Ｄ１３３、Ｄ１３５を生成する。
【００３８】
これに加えて、画像信号符号化装置１４０は、最上位階層すなわち第３階層を除いた階層画像データについて、同じ平均演算に用いた画素のうちの１画素は復号側で簡単な算術演算によつて復元できるので伝送画素から除外する。この結果、画像信号符号化装置１４０においては、階層構造に起因する伝送画素数の増加を伴わない階層符号化処理を実現することができる。
【００３９】
ところで、画像信号符号化装置１４０では、再量子化回路１４７〜１４９によつて各階層画像データを再量子化することで各階層におけるデータ量を圧縮する。この結果、各再量子化データＤ１３８、Ｄ１３９、Ｄ１４０は、必然的に再量子化時の量子化誤差を含む値となる。そして、この量子化誤差が大きくなるほど復号画像データＤ１５８、Ｄ１６０、Ｄ１６２は、真値と比較して誤差が大きくなり、画質が劣化することになる。
【００４０】
そこで、画像信号符号化装置１４０及び画像信号復号化装置１６０における各階層での量子化誤差の影響について考える。ここで、各画素Ｚ11、Ｙ11、……の復号値をＺ11′、Ｙ11′、……とし、真値をＺ11、Ｙ11、……とし、量子化誤差をＥ（Ｚ11）、Ｅ（Ｙ11）……とすると、例えば逆量子化回路１６７によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、次式、
【数５】
0003781220.tif 000006
となる。また、逆量子化回路１６６によつて得られる第２階層の画素Ｙ13、Ｙ31、Ｙ33の復号値Ｙ13′、Ｙ31′、Ｙ33′は、次式、
【数６】
0003781220.tif 000007
となる。
【００４１】
ところが、画素生成回路１７１によつて復元される第２階層画素Ｙ11は、（３）式に基づいて生成されるので、その復号値Ｙ11′は、次式、
【数７】
0003781220.tif 000008
となり、Ｚ11についての量子化誤差が４倍となつて影響する。
【００４２】
また、逆量子化回路１６５によつて得られる第１階層画素Ｘ12、Ｘ21、Ｘ22、Ｘ14、Ｘ23、Ｘ24の復号値Ｘ12′、Ｘ21′、Ｘ22′、Ｘ14′、Ｘ23′、Ｘ24′は、次式、
【数８】
0003781220.tif 000009
となるが、画素生成回路１６９によつて復元される第１階層画素Ｘ13、Ｘ31、Ｘ33は、（４）式に基づいて生成されるので、その復号値Ｘ13′、Ｘ31′、Ｘ33′は、次式、
【数９】
0003781220.tif 000010
となり、それぞれの復号値Ｘ13′、Ｘ31′、Ｘ33′に、空間的に対応する第２階層画素Ｙ13、Ｙ31、Ｙ33、すなわち対応する上位階層画素についての量子化誤差が４倍となつて影響する。
【００４３】
さらに、画素生成回路１７１を経て画素生成回路１６９によつて復元される第１階層画素Ｘ11においては、その復号値Ｘ11′は、次式、
【数１０】
0003781220.tif 000011
で示すように、復号値Ｘ11′に、第２階層画素Ｙ13、Ｙ31、Ｙ33についての量子化誤差が４倍となつて影響するのに加えて、第３階層画素Ｚ11についての量子化誤差が１６倍となつて影響する。
【００４４】
図５は、この各復号画素値Ｚ11′、Ｙ11′、Ｙ13′、……に対する各量子化誤差Ｅ（Ｚ11）、Ｅ（Ｙ13）、Ｅ（Ｙ31）、……の影響の大きさの様子を示している。図５を見れば明らかなように、上位階層での量子化誤差は下位階層での復号値に大きな影響を及ぼす。
【００４５】
これを考慮して、本発明の第１実施例においては、最上位階層の画素Ｚ11を量子化したときの量子化誤差の極性に基づいて、この最上位階層画素Ｚ11に空間的に対応する下位階層画素Ｙ13、Ｙ31、Ｙ33、Ｘ12、Ｘ21、Ｘ22の量子化を、その量子化誤差の極性が最上位階層の画素Ｚ11を量子化したときの量子化誤差の極性と同じになるように制御する。つまり、例えば、（７）式から明らかなように、平均演算の逆処理により第２階層画素Ｙ11を復号した際に、上位階層画素であるＺ11の量子化誤差Ｅ（Ｚ11）及び同階層（第２階層）画素（同一ブロツク内に存在する画素）であるＹ13、Ｙ31、Ｙ33の量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ31）、Ｅ（Ｙ33）が含まれることになる。しかしながら、上位階層画素であるＺ11の量子化誤差Ｅ（Ｚ11）と同階層画素であるＹ13、Ｙ31、Ｙ33の量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ31）、Ｅ（Ｙ33）との関係は、（７）式から明らかなように、相殺する関係にある。
【００４６】
よつて、上位階層画素であるＺ11の量子化誤差Ｅ（Ｚ11）と同階層画素であるＹ13、Ｙ31、Ｙ33の量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ31）、Ｅ（Ｙ33）が共に同一の極性を持つように符号化すれば、復号時に量子化誤差を低減することができる。したがつて、本発明の第１実施例によれば、（７）式から明らかなように、符号化時に最上位階層と同一の極性となるように、下位階層を量子化することにより、復号時に量子化誤差が互いに相殺されることになり、下位階層での画質劣化を低減することができる。
【００４７】
また、同様に、（１０）式から明らかなように、平均演算の逆処理により第１階層画素Ｘ11を復号した際に、最上位階層（第３階層）画素であるＺ11の量子化誤差Ｅ（Ｚ11）及び上位階層（第２階層）であるＹ13、Ｙ31、Ｙ33の量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ13）、Ｅ（Ｙ33）及び同階層（第１階層）画素（同一ブロツク内に存在する画素）であるＸ12、Ｘ21、Ｘ22の量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）が含まれることになる。しかしながら、最上位階層画素であるＺ11の量子化誤差Ｅ（Ｚ11）と、上位階層であるＹ13、Ｙ31、Ｙ33の量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ13）、Ｅ（Ｙ33）及び同階層画素であるＸ12、Ｘ21、Ｘ22の量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）との関係は、（１０）式から明らかなように、相殺する関係にある。
【００４８】
よつて、最上位階層画素であるＺ11の量子化誤差Ｅ（Ｚ11）と、上位階層であるＹ13、Ｙ31、Ｙ33の量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ13）、Ｅ（Ｙ33）及び同階層画素であるＸ12、Ｘ21、Ｘ22の量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）が共に同一の極性を持つように符号化すれば、復号時に量子化誤差を低減することができる。したがつて、本発明の第１実施例によれば、（１０）式から明らかなように、符号化時に最上位階層と同一の極性となるように、下位階層を量子化することにより、復号時に量子化誤差が互いに相殺されることになり、下位階層での画質劣化を低減することができる。
【００４９】
このように、画像信号符号化装置１４０においては、復号側で上位階層から下位階層へと伝播する量子化誤差を考慮した量子化処理を行うことができ、量子化誤差に基づく画質劣化を低減することができるようになされている。
【００５０】
以上の第１実施例の構成によれば、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データＹ11、Ｙ15、……、Ｘ11、Ｘ13、……を伝送しないようにすると共に、最上位階層画素を量子化したときの量子化誤差の極性に応じて、当該最上位階層画素に対応する下位階層画素を量子化する際の量子化特性を、量子化誤差が最上位階層画素を量子化したときの量子化誤差の極性と同じになるように制御するようにしたことにより、圧縮効率を向上し得ると共に画質劣化を低減し得る。
【００５１】
（２）第２実施例
図６は、全体として第２実施例の画像信号符号化装置１８０を示している。第１の実施例と比較して、最上位階層を除いて階層間データの残差（差分）圧縮符号化する点を除いて、図１の画像信号符号化装置１４０と同一の構成を有する。したがつて、図１と対応する部分については同一符号を付す。
【００５２】
すなわち、第１実施例の画像信号符号化装置１４０が各画素をＰＣＭ（Pulse Code Modulation ）の形式で伝送するようになされているのに対して、この第２実施例の画像信号符号化装置１８０は、各画素をＤＰＣＭ（Differential Pulse Code Modulation  ）の形式で伝送するようになされている。したがつて、画像信号符号化装置１８０は、一段と伝送情報量を低減させることができる。
【００５３】
具体的に説明すると、画像信号符号化装置１８０は、第３階層画像データＤ１３５及び第２階層ブロツク化データＤ１３４を差分回路１８１に供給する。そして、差分回路１８１によつて第３階層画像データＤ１３５と第２階層ブロツク化データＤ１３４との間で空間的に対応する画素同士の差分を演算して第２階層差分データＤ１７０を形成し、この第２階層差分データＤ１７０を間引き回路１８２に送出する。このとき、差分回路１８１は、第２階層画素Ｙ13、Ｙ31、Ｙ33の差分値ΔＹ13、ΔＹ31、ΔＹ33を、これらの画素に対応する上位階層画素Ｚ11を用いて、次式、
【数１１】
0003781220.tif 000012
のようにして求める。
【００５４】
画像信号符号化装置１８０は、同様にして、第２階層ブロツク化データＤ１３４及び第１階層ブロツク化データＤ１３２を差分回路１８３に供給する。差分回路１８３によつて第２階層ブロツク化データＤ１３４と第１階層ブロツク化データＤ１３２との間で空間的に対応する画素同士の差分を演算して第１階層差分データＤ１７１を形成し、この第１階層差分データＤ１７１を間引き回路１８４に送出する。このとき、差分回路１８３は、第１階層画素Ｘ12、Ｘ21、Ｘ22の差分値ΔＸ12、ΔＸ21、ΔＸ22を、これらの画素に対応する上位階層画素Ｙ11を用いて、次式、
【数１２】
0003781220.tif 000013
のようにして求める。
【００５５】
間引き回路１８４、１８２は、上述した図１に示される間引き回路１４２、１４５と同様に、ブロツク化回路１４１からのブロツク化データＤ１３２及びブロツク化回路１４４からのブロツク化データＤ１３４をそれぞれ受信する。そして、４画素で構成されるブロツク化データＤ１３２、Ｄ１３４に対応して各ブロツクにつき４画素で構成されている第１階層及び第２階層差分データＤ１７１、Ｄ１７０の中からそれぞれ１画素を間引き、各ブロツクにつき取り除かれた１画素を除く残り３画素によつて構成される階層差分間引きデータＤ１７２、Ｄ１７３を形成し、この階層差分間引きデータＤ１７２、Ｄ１７３を量子化回路１８５、１８６に送出する。
【００５６】
第３階層の量子化回路１８７は、平均化回路１４６からの第３階層画像データを受信し、第１実施例と同様に、各画素を歪み最小規範に従つて、例えば２ビツトに量子化する。そして、量子化回路１８７は、量子化誤差が正極性であるか負極性であるかどうかを示す量子化誤差情報信号Ｓ１１を量子化制御回路２１０に送出する。
【００５７】
ここで、第１階層の量子化回路１８５及び第２階層の量子化回路１８６は、第１実施例と同様に、第３階層（最上位階層）の量子化回路１８７の量子化誤差の極性に応じて量子化制御回路２１０から出力される量子化制御信号Ｓ１２及びＳ１３に基づいて、量子化特性が制御される。すなわち、上位階層画素の量子化回路１８７による量子化誤差の極性が正極性であつた場合には、この上位階層画素に空間的に対応する下位階層画素を量子化するときの量子化回路１８５及び１８６の量子化特性が、量子化誤差の極性が正極性となるように制御される。また、上位階層画素の量子化回路１８７による量子化誤差の極性が負極性であつた場合には、この上位階層画素に空間的に対応する下位階層画素を量子化するときの量子化回路１８５及び１８６の量子化特性が、量子化誤差の極性が負極性となるように制御される。
【００５８】
量子化回路１８５、１８６、１８７により得られた再量子化データＤ１７４、Ｄ１７５、Ｄ１７６は、可変長符号化回路（ＶＬＣ）１５０、１５１、１５２によつて可変長符号化され、 第１階層、第２階層及び第３階層符号化データＤ１７７、Ｄ１７８、Ｄ１７９として出力される。そして、これらの第１階層、第２階層及び第３階層符号化データＤ１７７、Ｄ１７８、Ｄ１７９が続く伝送フオーマツト変換回路１５３に入力され、伝送フオーマツト変換回路１５３は、伝送画像データＤ１８０を形成して、それを出力する。この出力された伝送画像データＤ１８０は、その後、通信路１８８を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体１８９に記録される。
【００５９】
このようにして形成された伝送画像データＤ１４４を復号する画像信号復号化装置１９０は、例えば、図７に示すように構成することができる。画像信号復号化装置１９０において、図４に示された画像信号復号化装置１６０との対応部分に同一符号を付している。画像信号復号化装置１９０は、通信路１８８を介して供給されるか、もしくは再生伝送路を介して記録媒体１８９から再生される伝送画像データＤ１８０をデータ分流回路１６１に入力する。データ分流回路１６１は、伝送画像データＤ１８０を第１階層、第２階層及び第３階層符号化データＤ１８１、Ｄ１８２及びＤ１８３に分流し、これらの第１階層、第２階層及び第３階層符号化データＤ１８１、Ｄ１８２及びＤ１８３は、可変長復号化回路（ＩＶＬＣ）１６２、１６３及び１６４にそれぞれ供給される。
【００６０】
可変長復号化回路（ＩＶＬＣ）１６２、１６２及び１６４のそれぞれは、第１階層、第２階層及び第３階層符号化データＤ１８１、Ｄ１８２及びＤ１８３をそれぞれ可変長復号し、再量子化データＤ１８４、Ｄ１８５、Ｄ１８６を形成し、これらの再量子化データＤ１８４、Ｄ１８５、Ｄ１８６を逆量子化回路１９１、１９２及び１９３にそれぞれ送出する。なお、可変長復号化回路（ＩＶＬＣ）１６２、１６３及び１６４は、図６で示された可変長符号化回路（ＶＬＣ）１５０、１５１及び１５２にそれぞれ対応する逆処理を実行する。
【００６１】
逆量子化回路１９１、１９２及び１９３は、１画素当り２ビツトに再量子化されてなる再量子化データＤ１８４、Ｄ１８５及びＤ１８６を１画素当り８ビツトでなるデータにそれぞれ逆量子化し、第１階層及び第２階層の階層差分間引きデータＤ１８７及びＤ１８８並びに第３階層復号画像データＤ１８９をそれぞれ生成する。なお、逆量子化回路１９１、１９２及び１９３は、図６で示された量子化回路１８５、１８６及び１８７にそれぞれ対応する逆処理を実行する。
【００６２】
第３階層復号画像データＤ１８９は、そのまま低解像度のテレビジヨンモニタ等に出力されると共に、加算回路１９４及び画素生成回路１９５に送出される。加算回路１９４は、次式、
【数１３】
0003781220.tif 000014
のような加算演算を行い、第２階層間引き復号データＤ１９０を算出する。
【００６３】
画素生成回路１９５は、第２階層差分間引きデータＤ１８８と第３階層復号画像データＤ１８９とを用いて、図６で示された間引き回路１８２で間引かれた第２階層画素Ｙ11を、次式、
【数１４】
0003781220.tif 000015
により求める。この（１４）式は、上述した（３）式と比較すると、第３階層画素Ｚ11の乗算係数が（３）式では「４」であつたのに対して、この式では「１」となつていることが分かる。このことは（１４）式において、第２階層の画素値に対する第３階層の画素値の影響が（３）式と比べて小さいことを意味する。
【００６４】
合成回路１９６は、第２階層間引き復号データＤ１９０と第２階層復元画素データＤ１９１とを合成して第２階層復号画像データＤ１９２を形成し、この第２階層復号画像データＤ１９２を出力端子を介してテレビジヨンモニタ等に出力すると共に、加算回路１９７及び画素生成回路１９８に送出する。加算回路１９７は、次式、
【数１５】
0003781220.tif 000016
のような加算演算を行い、第１階層間引き復号データＤ１９３を算出する。
【００６５】
画素生成回路１９８は、第１階層差分間引きデータＤ１８７と第２階層復号画像データＤ１９２とを用いて、図６に示された間引き回路１８４で間引かれた第１階層画素Ｘ１３、Ｘ３１、Ｘ３３を、次式、
【数１６】
0003781220.tif 000017
により求める。また、画素生成回路１９８は、間引かれた第１階層画素Ｘ１１を、次式、
【数１７】
0003781220.tif 000018
により求める。
【００６６】
合成回路１９９は、第１階層間引き復号データＤ１９３と第１階層復元画素データＤ１９４とを合成して、第１階層復号画像データＤ１９５を形成する。そして、この第１階層復号画像データＤ１９５を出力端子を介して、例えば高解像度のテレビジヨンモニタ等に出力する。
【００６７】
次に、第１実施例と同様に、この第２実施例の画像信号符号化装置１８０及び画像信号復号化装置１９０における各階層での量子化誤差の影響について考える。
逆量子化回路１９３によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、（５）式と同じとなる。また加算回路１９４によつて得られる第２階層の画素Ｙ13、Ｙ31、Ｙ33の復号値Ｙ13′、Ｙ31′、Ｙ33′は、次式、
【数１８】
0003781220.tif 000019
で示す値となる。
【００６８】
また、画素生成回路１９５によつて復元される第２階層画素Ｙ１１は、（１４）式に基づいて生成されるので、その復号値Ｙ１１′は、次式、
【数１９】
0003781220.tif 000020
で示す値となる。このように、第２実施例の画像信号符号化装置１８０は、最上位階層データを除いて、各階層間の差分データを伝送データとして伝送しており、（１９）式を上述した（７）式と比較すると、第３階層画素Ｚ１１の量子化誤差Ｅ（Ｚ１１）の乗算係数が（７）式では「４」であつたのに対して、「１」となつていることが分かる。
【００６９】
このことは、この第２実施例の符号化復号化によれば、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を１／４程度に低減させることができることを意味する。つまり、第１の実施例では、（１９）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ１１の量子化誤差は、第２階層の復号画素値Ｙ１１′、Ｙ１３′、Ｙ３１′、Ｙ３３′のすべてに反映されることになる。したがつて、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を低減させることができる。
【００７０】
また加算回路１９７によつて得られる第１階層画素Ｘ１２、Ｘ２１、Ｘ２２、Ｘ３２、Ｘ４１、Ｘ４２の復号値Ｘ１２′、Ｘ２１′、Ｘ２２′、Ｘ３２′、Ｘ４１′、Ｘ４２′は、次式、
【数２０】
0003781220.tif 000021
で示される値となり、画素生成回路１９８によつて復元される第１階層画素Ｘ３１の復号値Ｘ３１′は、次式、
【数２１】
0003781220.tif 000022
で示される値となる。
【００７１】
さらに画素生成回路１９５を経て画素生成回路１９８によつて復元される第１階層画素Ｘ１１の復号値Ｘ１１′は、次式、
【数２２】
0003781220.tif 000023
で示される値となり、Ｚ１１についての量子化誤差が等倍となつて影響し、Ｙ１３、Ｙ３１、Ｙ３３についての量子化誤差も等倍となつて影響する。しかしながらこの（２２）式と（１０）式を比較すれば明らかなように、Ｚ１１、Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差が復号値Ｘ１１′に与える影響は第１実施例の場合よりも格段に低減されている。つまり、第１の実施例では、例えば、（１０）式から明らかなように、第３階層の画素Ｚ１１の量子化誤差及び第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差は、第１階層の復号画素値Ｘ１１′のみに反映されており、第１階層の復号画素Ｘ１２′、Ｘ２１′、Ｘ２２′には反映されていない。
【００７２】
しかしながら、第２の実施例では、（２２）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ11の量子化誤差及び第２階層の画素Ｙ13、Ｙ31、Ｙ33の量子化誤差は、第１階層の復号画素Ｘ11′、Ｘ12′、Ｘ21′に反映されることになる。したがつて、第３階層画素の量子化誤差及び第２階層画素の量子化誤差が第１階層画素の復号に与える影響を低減させることができる。
【００７３】
したがつて、以上の第２実施例の画像信号符号化装置の構成によれば、入力画像データＤ１３１から平均値演算により得された複数の階層画像データの各階層データと隣接上位階層データとの階層差分データを生成し、最上位階層データＤ１３５と複数の階層差分データＤ１７２、Ｄ１７３をそれぞれ量子化して複数の階層符号化データを生成する画像信号符号化装置１８０において、最上位階層を除く各階層の画素のうち隣接下位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる差分画素データΔＹ11、ΔＹ15、……、ΔＸ11、ΔＸ13、……を伝送しないようにすると共に、最上位階層画素を量子化したときの量子化誤差の極性に応じて、その最上位階層画素に対応する下位階層画素を量子化する際の量子化特性を、量子化誤差が最上位階層画素を量子化したときの量子化誤差の極性と同じになるように制御するようにしたことにより、画質劣化を抑制した状態で圧縮効率を一段と向上し得る。
【００７４】
（３）第３実施例
図８は、全体として第３実施例の画像信号符号化装置４００を示している。この画像信号符号化装置４００は、第２実施例と比較して、適応予測回路４０１及び４０２を設けたことを除いて第２実施例の画像信号符号化装置１８０と同様の構成を有する。したがつて、図６と対応部分に同一符号を付して示している。
【００７５】
適応予測回路４０１は、第３階層画像データＤ１３５に基づいて所定の予測処理を行い、第２階層画像データＤ１３４に対応する第２階層予測データＤ４００を生成する。そして、この第２階層予測データを差分回路１８１に送出する。同様に、適応予測回路４０２は、第２階層画像データＤ１３４に基づいて所定の予測処理を行い、第１階層画像データＤ１３２に対応する第１階層予測データＤ４０１を生成する。そして、この第１階層予測データを差分回路１８３に送出する。
【００７６】
実際上、適応予測回路４０１及び４０２は、クラス分類適応処理を適用して、複数の上位階層画素から下位階層の１画素を予測する。具体的には、予測しようとする下位階層の画素をその空間的に近傍の複数の上位階層画素のレベル分布に基づいてクラス分類する。また、適応予測回路４０１及び４０２は、予め学習によつて獲得された、クラス毎に複数の予測係数あるいは１個の予測値を格納したメモリ（図示せず）を有し、上記クラス分類で決定されたクラスに対応した複数の予測係数あるいは１個の予測値をメモリから読み出す。予測値の場合は、その予測値がそのまま予測画素として使用され、予測係数の場合は、複数の予測係数と複数の画素との線形一次結合により予測値を生成する。
【００７７】
また、予測値は正規化されている場合は、この予測値に所定の処理を施して予測画素を生成する。このようなクラス分類適応処理の詳細は、例えば特願平4-155719号に開示されている。また、このようなクラス分類適応処理のアルゴリズムは、すでに知られている。また、第３の実施例の適応予測回路において、クラス分類適応処理のアルゴリズムが使用されているが、本発明はこれに限らず、現在使用されている他の予測方法を使用してもよい。
【００７８】
画像信号符号化装置４００により圧縮符号化された伝送画像データＤ１８０′を復号する画像信号復号化装置１９０′の構成を図９に示す。この画像信号復号化装置１９０′は、第２実施例の画像信号復号化装置１９０と比較して、適応予測回路４０１′及び４０２′を設けたことを除いて第２実施例の画像信号復号化装置１９０と同様の構成を有する。したがつて図７との対応部分に同一符号を付して示している。
【００７９】
この第３実施例による画像信号復号化装置１９０′において、第３階層復号データＤ１８９′を入力する第１の適応予測回路４０１′は、図８に示した適応予測回路４０１に対応するクラス分類適応処理を第３階層復号データＤ１８９′に基づいて実行し、この結果得られる第２階層予測データＤ４００′を画素生成回路１９５に送出する。画素生成回路１９５は、第２階層の逆量子化回路１９２から出力される第２階層差分間引きデータＤ１８８′と第２階層予測データＤ４００′とを用いて、図８で示された間引き回路１８２で間引かれた第２階層画素を生成する。また、第３階層復号データＤ１８９′に基づいて第１の適応予測回路４０１′によつて得られた第２階層予測データＤ４００′は、第２階層の逆量子化回路１９２から出力される第２階層差分間引きデータＤ１８８′に加算される。この加算により得られる第２階層間引き復号データＤ１９０′は、画素生成回路９５によつて生成された第２階層画素Ｄ１９１′と合成され、第２階層復号画像データＤ１９２′となる。
【００８０】
また、第２階層復号データＤ１９２′を入力する第２の適応予測回路４０２′は、図８に示した適用予測回路４０２に対応するクラス分類適応処理を第２階層復号データＤ１９２′に基づいて実行し、この結果得られる第１階層予測データＤ４０１′を画素生成回路１９８に送出する。画素生成回路１９８は、第１階層の逆量子化回路１９１から出力される第１階層差分間引きデータＤ１８７′と第１階層予測データＤ４０１′とを用いて、図８で示された間引き回路１８４で間引かれた第１階層画素を生成する。
【００８１】
また、第２階層復号データＤ１９２′に基づいて第２の適応予測回路４０２′によつて得られた第１階層予測データＤ４０１′は、第１階層の逆量子化回路１９１から出力される第１階層差分間引きデータＤ１８７′に加算される。この加算により得られる第１階層間引き復号データＤ１９３′は、画素生成回路１９８によつて生成された第１階層画素Ｄ１９４′と合成され、第１階層復号画像データＤ１９５′となる。
【００８２】
以上の第３実施例の構成によれば、最上位階層画素を量子化したときの量子化誤差の極性に応じて、当該最上位階層画素に対応する下位階層画素を量子化する際の量子化特性を、量子化誤差が最上位階層を量子化したときの量子化誤差の極性と同じになるように制御することにより、圧縮効率を向上し得ると共に画質劣化を低減し得る。また、適応予測回路４０１及び４０２を用いることによつて差分回路１８１及び１８３からそれぞれ得られる第２階層差分データＤ１７０′及び第１階層差分データＤ１７１′の残差を一段と少なくすることができるので、伝送情報量を一段と低減し得る画像信号符号化装置４００を実現できる。
【００８３】
（４）第４実施例
この第４実施例では、第１〜第３実施例において上述したように、最上位階層画素を量子化したときの量子化誤差の特性に応じて、その最上位階層画素に空間的に対応する下位階層画素を量子化する際の量子化特性を、量子化誤差が最上位階層画素を量子化したときの量子化誤差の極性と同じになるように制御することに加えて、上位階層の量子化回路ほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにする。このようにすれば、第１〜第３の実施例の効果に加えてさらに一段と復号時の画質劣化を低減し得るようになされている。
【００８４】
この第４実施例の場合、第１実施例について上述した画像信号符号化装置１４０において、量子化回路１４７で１ビツトの量子化を行い、量子化回路１４８で４ビツトの量子化を行い、量子化回路１４９で１６ビツトの量子化を行うように各量子化回路１４７〜１４９の量子化特性を制御する。この場合の量子化ビツト数は、下位階層データを復元する際の復元画素値に与える上位階層における量子化誤差の影響の程度を考慮して量子化ビツト数を選定する。
【００８５】
この結果、例えば上述した（１０）式について考えると、量子化誤差Ｅ（Ｚ11）の誤差の程度は、量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と比べて１／１６倍となり、また量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ31）、Ｅ（Ｙ33）の程度は量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と比べて１／４倍となることにより、復号時に間引かれた画素を求めるために量子化誤差Ｅ（Ｚ11）の誤差を１６倍したり、量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ31）、Ｅ（Ｙ33）を４倍しても、これから得られる誤差は逆量子化回路１６５から直接得られる量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と同程度となる。従つて、上位階層での量子化歪みに基づく下位階層画像の画質劣化を格段に低減し得る。
【００８６】
また、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、上位階層の量子化ビツト数を決定する際に、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に応じて、最下位階層に影響する量子化誤差を最小限にするような量子化ビツト数もしくはそれ以上の量子化ビツト数に設定すれば、画質劣化を低減した画像符号化装置を提供することができる。なお、このように上位階層の量子化ビツト数を多くするとその分伝送情報量も増えるように見えるが、上位階層ほど伝送画素数が少ないので量子化ビツト数を多くすることによる情報量の増加は実際上問題とならない程度に抑えられている。
【００８７】
また、第２及び第３実施例について上述した画像信号符号化装置１８０及び４００において、量子化回路１８５で１ビツトの量子化を行い、量子化回路１８６で２ビツトの量子化を行い、量子化回路１８７で４ビツトの量子化を行うように各量子化回路１８５〜１８７の量子化特性を制御する。
【００８８】
このように第１実施例の各量子化回路について割り当てた量子化ビツト数に対して、第２及び第３実施例の各量子化回路について割り当てた量子化ビツト数を少なくしたのは、第２及び第３実施例においては、最上位階層データを除いて階層間の差分データを伝送している。したがつて、上述した（３）式と（１４）式、（７）式と（１９）式、（１０）式と（２２）式を比較すれば明らかなように、間引かれた画素を復元する際に量子化誤差にかかる乗算係数が第１実施例の場合よりも第２及び第３実施例の方が小さく抑えられているためである。つまり、量子化ビツト数は、下位階層に与える量子化誤差の影響度によつて決定される。
【００８９】
（５）他の実施例
なお、上述の実施例においては、３階層分の階層画像データＤ１３１、Ｄ１３４、Ｄ１３５を生成し、これを圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、順次平均値演算を繰り返すことにより４階層や５階層分の階層画像データを生成し、これを量子化によつて圧縮符号化して伝送する場合にも適用し得る。
【００９０】
また、上述の実施例においては、下位階層の４画素を用いた平均値演算によつて上位階層の１画素を生成する場合について述べたが、本発明はこれに限らず、例えば下位階層の６画素もしくはそれ以上の画素を用いた平均値演算によつて上位階層の１画素を生成するようにして階層画像データを生成するようにしても良い。
【００９１】
また上述の第４実施例においては、量子化回路４７、４８、４９の量子化ビツト数をそれぞれ１ビツト、４ビツト、１６ビツトとし、量子化回路８５、８６、８７の量子化ビツトをそれぞれ１ビツト、２ビツト、４ビツトとする場合について述べたが、本発明はこれに限らず、要は上位階層の量子化回路ほど細かい量子化幅に制御するようにすれば良い。
【００９２】
また、上述した実施例においては、量子化器をすべて線形量子化器として記載したが、本発明はこれに限らず、非線型量子化や適応量子化、さらには、ダイナミツクレンジに応じた適用量子化などを適用してもよい。
さらに、本発明の実施例は、ブロツク図を用いて示したハードウエアによつて実現しているが、本発明はこれに限らず、ＣＰＵやメモリなどを用いてソフトウエアで実現することも可能である。
【００９３】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考え得る。従つて、本発明の要旨は、実施例に限定されるものではない。
【００９４】
【発明の効果】
上述のように本発明によれば、平均値演算により生成した複数の階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを伝送対象から除外すると共に、最上位階層の画素データを量子化したときの量子化誤差が正値又は負値のいずれであるかを表す極性に応じて、当該最上位階層画素に空間的に対応する下位階層の画素データを量子化する際の量子化誤差の極性を、最上位階層画素データを量子化したときの量子化誤差の極性と同じになるように制御したことにより、圧縮効率が向上しかつ画質劣化が低減した階層符号化を実現することができる。
【図面の簡単な説明】
【図１】第１実施例による画像信号符号化装置の構成を示すブロツク図である。
【図２】階層化及び伝送画素の説明に供する略線図である。
【図３】量子化特性の制御の説明に供する略線図である。
【図４】第１実施例による画像信号復号化装置の構成を示すブロツク図である。
【図５】各階層における量子化誤差が各階層の復元画素に与える影響を表わす図表である。
【図６】第２実施例による画像信号符号化装置の構成を示すブロツク図である。
【図７】第２実施例による画像信号復号化装置の構成を示すブロツク図である。
【図８】第３実施例による画像信号符号化装置の構成を示すブロツク図である。
【図９】第３実施例による画像信号復号化装置の構成を示すブロツク図である。
【図１０】従来の階層符号化を実現する画像信号符号化装置の構成を示すブロツク図である。
【図１１】従来の階層符号化データを復号する画像信号復号化装置の構成を示すブロツク図である。
【符号の説明】
１４０、１８０、４００……画像信号符号化装置、１４３、１４６……平均化回路、１４２、１４５、１８２、１８４……間引き回路、１４７〜１４９、１８５〜１８７……量子化回路、１６０、１９０……画像信号復号化装置、４０１、４０２、４０１′、４０２′……適応予測回路、２００……量子化制御回路、Ｄ１３１……入力画像データ、Ｄ１３３……第２階層画像データ、Ｄ１３５……第３階層画像データ、Ｄ１４１、Ｄ１７７、Ｄ１７７′……第１階層符号化データ、Ｄ１４２、Ｄ１７８、Ｄ１７８′……第２階層符号化データ、Ｄ１４３、Ｄ１７９、Ｄ１７９′……第３階層符号化データ、Ｄ１４４、Ｄ１８０、Ｄ１８０′……伝送画像データ、Ｄ１５８、Ｄ１８９……第３階層復号画像データ、Ｄ１６０、Ｄ１９２……第２階層復号画像データ、Ｄ１６２、Ｄ１９５……第１階層復号画像データ、Ｄ１７０、Ｄ１７０′……第２階層差分データ、Ｄ１７１、Ｄ１７１′……第１階層差分データ、Ｄ４００……第２階層予測データ、Ｄ４０１……第１階層予測データ、Ｓ１……量子化誤差情報信号、Ｓ２、Ｓ３……量子化制御信号、Ｚ……第３階層画素、Ｙ……第２階層画素、Ｘ……第１階層画素。
【図１】
0003781220.tif 000024
【図２】
0003781220.tif 000025
【図３】
0003781220.tif 000026
【図４】
0003781220.tif 000027
【図５】
0003781220.tif 000028
【図６】
0003781220.tif 000029
【図７】
0003781220.tif 000030
【図８】
0003781220.tif 000031
【図９】
0003781220.tif 000032
【図１０】
0003781220.tif 000033
【図１１】
0003781220.tif 000034