(57)【特許請求の範囲】
【請求項１】
解像度の最も低い最上位階層情報から解像度の最も高い最下位階層情報までの複数の階層情報からなる画像データに関し、所定の階層の上記階層情報に対する複数の画素からなる各ブロツクのブロツクアクテイビテイを判定した判定結果に基づいて、各階層の上記階層情報の各上記ブロツクの伝送又は非伝送が制御されることで得た符号化データを復号する復号装置において、
伝送がされなかつた上記ブロツクである非伝送ブロツクの階層よりも上位側の階層の上記階層情報の各上記画素のうち、上記非伝送ブロツクの画素と対応する位置の上記画素の値及びその近傍の上記画素の値を用いて平均化処理を行つて平滑化データを生成する平滑化データ生成手段と、
上記平滑化データを上記非伝送ブロツクの画素に対する復号値として出力する出力手段と
を具えることを特徴とする復号装置。
【請求項２】
上記平滑化データ生成手段は、上記非伝送ブロツクの階層よりも上位側の階層の上記階層情報の各上記画素のうち、上記非伝送ブロツクの画素と対応する位置の上記画素の値と、その近傍の各上記画素の値との差分をそれぞれ検出し、当該検出した差分が所定値以下である上記近傍の上記画素の値のみを用いて上記平均化処理を行つて上記平滑化データを生成する
ことを特徴とする請求項１に記載の復号装置。
【請求項３】
解像度の最も低い最上位階層情報から解像度の最も高い最下位階層情報までの複数の階層情報からなる画像データに関し、所定の階層の上記階層情報に対する複数の画素からなる各ブロツクのブロツクアクテイビテイを判定した判定結果に基づいて、各階層の上記階層情報の各上記ブロツクの伝送又は非伝送が制御されることで得た符号化データを復号する復号方法において、
伝送がされなかつた上記ブロツクである非伝送ブロツクの階層よりも上位側の階層の上記階層情報の各上記画素のうち、上記非伝送ブロツクの画素と対応する位置の上記画素の値及びその近傍の上記画素の値を用いて平均化処理を行つて平滑化データを生成する第１のステツプと、
上記平滑化データを上記非伝送ブロツクの画素に対する復号値として出力する第２のステツプと
を具えることを特徴とする復号方法。
【請求項４】
上記第１のステツプでは、上記非伝送ブロツクの階層よりも上位側の階層の上記階層情報の各上記画素のうち、上記非伝送ブロツクの画素と対応する位置の上記画素の値と、その近傍の各上記画素の値との差分をそれぞれ検出し、当該検出した差分が所定値以下である上記近傍の上記画素の値のみを用いて上記平均化処理を行つて上記平滑化データを生成する
ことを特徴とする請求項３に記載の復号方法。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１０及び図１１）
発明が解決しようとする課題（図１０及び図１１）
課題を解決するための手段（図８及び図９）
作用（図８及び図９）
実施例
（１）階層符号化の原理（図１〜図３）
（２）実施例の階層符号化装置（図４〜図７）
（２−１）構成
（２−２）分割処理
（３）実施例の画像復号化装置（図８及び図９）
（３−１）構成
（３−２）平滑化処理
（４）実施例の効果（図８及び図９）
（５）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は復号装置及び復号方法に関し、特に所定の画像データを解像度の異なる複数の階層データに分割して符号化された複数階層分の画像符号化データを復号する復号装置及び復号方法に適用して好適なものである。
【０００３】
【従来の技術】
従来、所定の画像データを解像度の異なる複数の画像データに分割して符号化する画像符号化装置がある。この種の画像符号化装置は、入力画像データをピラミツド符号化等の階層符号化の手法を用いて階層的に符号化するようになされている。すなわちこの画像符号化装置においては、高解像度の入力画像データを第１の階層データとして、この第１の階層データよりも解像度が低い第２の階層データ、さらに第２の階層データよりも解像度が低い第３の階層データ、……を順次再帰的に形成し、これら複数の階層データを１つの通信路や記録再生経路でなる伝送路で伝送する。
【０００４】
またこの複数の階層データを復号化する画像復号化装置では、複数の画像データについて全て復号化することに加えて、それぞれに対応するテレビジヨンモニタの解像度等により、何れかの階層データのうち所望の１つを選択して復号化し得る。これにより階層化された複数の階層データから所望の階層データのみについて復号化することにより、必要最小限の伝送データ量で所望の画像データを得ることもできる。
【０００５】
図１０に示すように、この階層符号化として例えば４階層の符号化を実現する画像符号化装置１では、それぞれ３段分の間引きフイルタ２、３、４と補間フイルタ５、６、７とを有し、入力画像データＤ１について各段の間引きフイルタ２、３、４によつて順次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると共に補間フイルタ５、６、７により縮小画像データＤ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。
【０００６】
各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ差分回路８、９、１０に入力され、これにより差分データＤ８、Ｄ９、Ｄ１０が生成される。この結果画像符号化装置１においては、階層データのデータ量を低減すると共に信号電力を低減する。ここでこの差分データＤ８〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が１、１／４  、１／１６、１／６４のサイズとなつている。
【０００７】
各差分回路８〜１０より得られる差分データＤ８〜Ｄ１０及び間引きフイルタ４より得られる縮小画像データＤ４は、各符号器１１、１２、１３、１４によつて符号化されて圧縮処理が施され、この結果各符号器１１、１２、１３、１４から解像度の異なる第１、第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１４が、所定の順序で伝送路に送出される。
【０００８】
このようにして伝送される第１〜第４の階層データＤ１１〜Ｄ１４は、図１１に示す画像復号化装置２０によつて復号される。すなわち第１〜第４の階層データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、２４によつて復号され、この結果復号器２４からは第４の階層データＤ２４が出力される。
【０００９】
また復号器２３の出力は加算回路２９において補間フイルタ２６より得られる第４の階層データＤ２４の補間データと加算され、これにより第３の階層データＤ２３が復元される。同様にして復号器２２の出力は加算回路３０において補間フイルタ２７より得られる第３の階層データＤ２３の補間データと加算され、これにより第２の階層データＤ２２が復元される。さらに復号器２１の出力は加算回路３１において補間フイルタ２８より得られる第２の階層データＤ２２の補間データと加算され、これにより第１の階層データＤ２１が復元される。
【００１０】
【発明が解決しようとする課題】
ところが、かかる階層符号化方法を実現する画像符号化装置においては、入力画像データを複数の階層データに分割して符号化するため、必然的に階層成分だけデータ量が増加し、その分階層符号化を用いない高能率符号化方式に比して圧縮効率が低下するという問題がある。また圧縮効率を向上しようとした場合、復号側で画質劣化が発生する問題がある。
【００１１】
本発明は以上の点を考慮してなされたもので、画像データを階層符号化して伝送した場合に、画質劣化を低減し得る復号装置及び復号方法を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、解像度の最も低い最上位階層情報Ｄ３５から解像度の最も高い最下位階層情報Ｄ４１までの複数の階層情報Ｄ４１〜Ｄ４４及びＤ３５からなる画像データＤ３１に関し、所定の階層の階層情報Ｄ４１〜Ｄ４４に対する複数の画素からなる各ブロツクのブロツクアクテイビテイを判定した判定結果に基づいて、各階層の階層情報Ｄ４１〜Ｄ４４の各ブロツクの伝送又は非伝送が制御されることで得た符号化データＤ５１〜Ｄ５５を復号する復号装置６０において、伝送がされなかつたブロツクである非伝送ブロツクの階層よりも上位側の階層の階層情報Ｄ５７〜Ｄ６０の各画素のうち、非伝送ブロツクの画素と対応する位置の画素の値Ｍ及びその近傍の画素の値ｍ０〜ｍ７を用いて平均化処理を行つて平滑化データＸ０〜Ｘ３を生成する平滑化データ生成手段７０〜７３と、その平滑化データＸ０〜Ｘ３を非伝送ブロツクの画素に対する復号値Ｄ６１〜Ｄ６４として出力する出力手段６６〜６９とを設けるようにした。
【００１３】
また本発明においては、平滑化データ生成手段７０〜７３が非伝送ブロツクの階層よりも上位側の階層の階層情報Ｄ５７〜Ｄ６０の各画素のうち、当該非伝送ブロツクの画素と対応する位置の画素の値Ｍと、その近傍の各画素の値ｍ０〜ｍ７との差分をそれぞれ検出し、その検出した差分が所定値以下である当該近傍の画素の値ｍ０〜ｍ７のみを用いて平均化処理を行つて平滑化データＸ０〜Ｘ３を生成するようにした。
【００１４】
さらに本発明においては、解像度の最も低い最上位階層情報Ｄ３５から解像度の最も高い最下位階層情報Ｄ４１までの複数の階層情報Ｄ４１〜Ｄ４４及びＤ３５からなる画像データＤ３１に関し、所定の階層の階層情報Ｄ４１〜Ｄ４４に対する複数の画素からなる各ブロツクのブロツクアクテイビテイを判定した判定結果に基づいて、各階層の階層情報の各ブロツクの伝送又は非伝送が制御されることで得た符号化データＤ５１〜Ｄ５５を復号する復号方法において、伝送がされなかつたブロツクである非伝送ブロツクの階層よりも上位側の階層の階層情報Ｄ５７〜Ｄ６０の各画素のうち、非伝送ブロツクの画素と対応する位置の画素の値Ｍ及びその近傍の画素の値ｍ０〜ｍ７を用いて平均化処理を行つて平滑化データＸ０〜Ｘ３を生成する第１のステツプと、平滑化データＸ０〜Ｘ３を非伝送ブロツクの画素に対する復号値Ｄ６１〜Ｄ６４として出力する第２のステツプとを設けるようにした。
【００１５】
【作用】
非伝送ブロツクが存在する場合、その非伝送ブロツクの階層よりも上位側の階層情報Ｄ５７〜Ｄ６０の各画素のうち、当該非伝送ブロツクの画素と対応する位置の画素の値Ｍ及びその近傍の画素の値ｍ０〜ｍ７を用いて平均化処理を行つて平滑化データＸ０〜Ｘ３を生成し、その平滑化データＸ０〜Ｘ３を非伝送ブロツクの画素に対する復号値Ｄ６１〜Ｄ６４として出力することで、非伝送ブロツクの階層よりも上位側の階層情報Ｄ５７〜Ｄ６０によつて当該非伝送ブロツクの画素に対する復号値Ｘ０〜Ｘ３を生成する際にその非伝送ブロツクの階層で生じる擬似輪郭を有効に回避し得、画質劣化を低減することができる。
【００１６】
また非伝送ブロツクが存在する場合、その非伝送ブロツクの階層よりも上位側の階層情報Ｄ５７〜Ｄ６０の各画素のうち、当該非伝送ブロツクの画素と対応する位置の画素の値Ｍと、その近傍の各画素の値ｍ０〜ｍ７との差分をそれぞれ検出し、その検出した差分が所定値以下である当該近傍の画素の値ｍ０〜ｍ７のみを用いて平均化処理を行つて平滑化データＸ０〜Ｘ３を生成することで、非伝送ブロツクの画素と対応する画素の近傍にエツジ等が存在した場合でも、画質劣化を有効に低減することができる。
【００１７】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１８】
（１）階層符号化の原理
図１は全体として本発明による階層符号化の原理として、例えば高品位テレビジヨン信号等の静止画像を階層符号化して圧縮する原理を示す。この階層符号化では下位階層データの単純な算術平均で上位階層データを作ることで、情報量の増加を伴わない階層構造を実現する。また上位階層から下位階層の復号についてはブロツク毎のアクテイビテイに基づいて適応的に分割を制御することで、平坦部分の情報量を削減する。さらに下位階層のために行う差分信号の符号化では、その量子化特性を上位階層のアクテイビテイに基づいて、付加コードなしにブロツク毎に切り替えることにより高能率化を実現する。
【００１９】
すなわちこの階層符号化の階層構造では、まず入力される高品位テレビジヨン信号を下位階層とし、この下位階層の２ライン×２画素の小ブロツク中の４画素Ｘ１  〜Ｘ４  について、次式
【数１】
0003585047.tif 000002
で表される算術平均を取り、その値ｍを上位階層の値とする。この下位階層では、次式
【数２】
0003585047.tif 000003
で示すように、上位階層との差分値を３画素分だけ用意することで、元々の４画素データと同じ情報量で階層構造を構成する。
【００２０】
一方下位階層の復号に際しては３画素Ｘ１  〜Ｘ３  は、次式
【数３】
0003585047.tif 000004
で表すように上位階層の平均値ｍにそれぞれの差分値ΔＸｉ  を加えて復号値Ｅ〔Ｘｉ  〕を求め、残つた１画素は、次式
【数４】
0003585047.tif 000005
で表すように上位階層の平均値ｍから下位階層の３個の復号値を引く事で復号値Ｅ〔Ｘ４  〕を決定する。ここで、Ｅ〔    〕は復号値を意味する。
【００２１】
ここでこの階層符号化においては、上位階層から下位階層に向かうに従つて１つのブロツクを４つに分割するため、これに伴つてデータ量が階層毎に４倍になるが、平坦部ではこの分割を禁止する事で冗長度を削減している。なおこの分割の有無を指示するためのフラグが１ビツト、ブロツク単位で用意される。下位階層での分割の必要性の判断は局所的なアクテイビテイとして、例えば差分データの最大値で判断する。
【００２２】
ここで階層符号化の例としてＩＴＥのＨＤ標準画像（Ｙ信号）を用い、５階層符号化した場合の適応分割結果を図２に示す。最大差分データに対する閾値を変化させた時の各階層の画素数を本来の画素数に対する割合を示すが、空間相関に基づく冗長度削減のようすが分かる。削減効率は画像によつて変わるが最大差分データに対する閾値を１〜６と変化させると、平均的な削減率は２８〜６９〔％〕になる。
【００２３】
実際上下位階層データの解像度を４分の１にして上位階層データを作り、このとき下位階層では上位階層データからの差分データを符号化することで、信号レベル幅を有効に削減できる。図２について上述した階層符号化による５階層の場合を、図３に示すが、ここでは階層を下位から数えて第１〜第５階層と名付けた。
【００２４】
原画像の８ビツトＰＣＭデータに比べて、信号レベル幅の削減が見られる。特に画素数の多い第１〜４階層は差分信号なので、大幅な削減が達成でき、以降の量子化で効率が向上する。図３の表からわかるように削減効率の絵柄への依存性は少なく、全ての絵に対して有効である。
【００２５】
また下位階層の平均値で上位階層を作る事で、エラー伝播をブロツク内にとめながら、下位階層を上位階層の平均値からの差分に変換する事で、効率の良さも合わせ持つ事ができる。実際上階層符号化では同一空間的位置での階層間のアクテイビテイには相関があり、上位階層の量子化結果から下位階層の量子化特性を決定する事で、付加コードを必要としない適応量子化器を実現できる。
【００２６】
実際上、上述した５段階の階層構造に基づいて画像を階層符号化してマルチ解像度で表現し、階層構造を利用した適応分割及び適応量子化を行う事で、各種ＨＤ標準画像（８ビツトのＹ／ＰＢ  ／ＰＲ  ）を約１／８に圧縮することができる。また適応分割のために用意されるブロツク毎の付加コードは、圧縮効率の向上のために各階層でランレングス符号化が行われる。このようにして、各階層で充分な画質の画像が得られ、最終的な最下位階層でも視覚的劣化のない良好な画像を得ることができる。
【００２７】
（２）実施例の階層符号化装置
（２−１）構成
図４において、４０は階層符号化装置を示し、入力画像データＤ３１を階層符号化して出力する階層符号化エンコーダ部４０Ａと当該階層符号化エンコーダ部４０Ａにおける発生情報量が目標値となるように制御する発生情報量制御部４０Ｂとにより構成されている。
階層符号化エンコーダ部４０Ａはデータ遅延用のメモリＭ１（図５）とエンコーダによつて構成されている。このうちメモリＭ１は発生情報量制御部４０Ｂにおいて最適制御値が決定されるまでの間、エンコード処理が実行されないようにデータを遅延できるよう入力段に設けられている。
【００２８】
一方、発生情報量制御部４０Ｂは入力画像データＤ３１を入力して処理対象データに適合した最適制御値Ｓ１を設定し、これを階層符号化エンコーダ部４０Ａに送出することにより、当該階層符号化エンコーダ部４０Ａで効率の良い符号化ができるようになされている。所謂フイードフオワード型のバツフアリング構成である。
【００２９】
階層符号化エンコーダ部４０Ａは図５に示す構成でなり、この例の場合、５階層の解像度の異なる圧縮符号化画像データＤ５１〜Ｄ５５を生成するようになされている。
まず入力画像データＤ３１がメモリＭ１を介して第１の差分回路４１及び第１の平均化回路４２に入力される。第１の平均化回路４２は、入力画像データＤ３１（すなわち第１階層データ（最下位階層データ））の４画素平均により第２階層データＤ３２を生成する。この実施例の場合、第１の平均化回路４２は、図６（Ｄ）及び（Ｅ）に示すように、入力画像データＤ３１の４画素Ｘ１（１）〜Ｘ４（１）から第２階層データＤ２の画素Ｘ１（２）  を生成する。
【００３０】
また第２階層データＤ３２の画素Ｘ１（２）に隣接する画素Ｘ２（２）〜Ｘ４（２）も同様に第１階層データＤ３１の４画素平均を求めることにより生成される。
第２階層データＤ３２は第２の差分回路４３及び第２の平均化回路４４に入力され、第２の平均化回路４４は、第２階層データＤ３２の４画素平均により第３階層データＤ３３を生成する。例えば、図６（Ｃ）及び（Ｄ）に示す第２階層データＤ３２の画素Ｘ１（２）〜Ｘ４（２）から第３階層データＤ３３の画素Ｘ１（３）が生成されると共に、画素Ｘ１（３）に隣接する画素Ｘ２（３）〜Ｘ４（３）も同様に第２階層データＤ３２の４画素により生成される。
【００３１】
第３階層データＤ３３は第３の差分回路４５及び第３の平均化回路４６に入力され、第３の平均化回路４６は上述の場合と同様に第３階層データＤ３３の４画素平均により図６（Ｂ）及び（Ｃ）に示すように、画素Ｘ１（４）〜Ｘ４（４）でなる第４階層データＤ３４を生成する。
第４階層データＤ４４は第４の差分回路４７及び第４の平均化回路４８に入力され、第４の平均化回路４８は、第４階層データＤ３４の４画素平均により最上位階層となる第５階層データＤ３５を生成する。すなわち図６（Ａ）及び（Ｂ）に示すように、第４階層データＤ３４の４画素Ｘ１（４）〜Ｘ４（４）を平均化することにより第５階層データＤ３５の画素Ｘ１（５）が生成される。
【００３２】
ここで第１〜第５階層データＤ３１〜Ｄ３５のブロツクサイズは、最下位階層である第１階層データＤ３１のブロツクサイズを１ライン×１画素とすると、第２階層データＤ３２は１／２ライン×１／２画素、第３階層データＤ３３は１／４ライン×１／４画素、第４階層データＤ３４は１／８ライン×１／８画素、最上位階層データである第５階層データＤ３５は１／１６ライン×１／１６画素となる。
【００３３】
階層符号化エンコーダ部４０Ａは、これら第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の階層データ（すなわち第５階層データＤ３５）から順に再帰的処理を繰り返して隣接する２つの階層データ間の差分を差分回路４１、４３、４５、４７において求め、差分データのみを符号器５１〜５５によつて圧縮符号化する。これにより階層符号化エンコーダ部４０Ａは伝送路に伝送される情報量を圧縮するようになされている。
このような圧縮条件を最適に保つため階層符号化エンコーダ部４０Ａは、各階層ごとに得られた圧縮符号化データＤ５１〜Ｄ５５を復号器５６〜５９によつて復号する。
【００３４】
すなわち最上位の階層に対応する復号器５９は符号器５５において圧縮符号化された圧縮符号化データＤ５５を復元して第５階層データＤ３５に対応する復号データＤ４８を得、これを第４の差分回路４７に与える。
【００３５】
これに対して復号器５８は圧縮符号化データＤ５４を復元して第４階層データＤ４４と同様の復元データＤ４７を得、これを第３の差分回路４５に与える。同様にして復号器５７は圧縮符号化データＤ５３を復元して第３階層データＤ４３と同様の復元データＤ４６を得、これを第２の差分回路４３に与える。また復号器５６は圧縮符号化データＤ５２を復元して第２階層データＤ４２と同様の復元データＤ４５を得、これを第１の差分回路４１に与える。
【００３６】
各差分回路４１、４３、４５、４７により得られた階層間差分データＤ４１〜Ｄ４４はそれぞれ符号器５１〜５４によつて圧縮符号化される。このとき各符号器５１〜５４は、各ブロツクのアクテイビテイを所定の閾値と比較する。
ここでアクテイビテイとは、上位階層データに対応する下位階層データ領域を「ブロツク」と定義した場合の、各階層間差分データＤ４１〜Ｄ４４の所定ブロツク内の最大値、平均値、絶対値和、標準偏差又はｎ乗和等を表わす相関値である。すなわちアクテイビテイが低い場合には、このブロツクは平坦なブロツクということができる。
【００３７】
このとき符号器５１〜５４は、ブロツクアクテイビテイが所定の閾値よりも高い場合には、このブロツクを分割ブロツクとし、当該ブロツクと空間的に対応する隣接下位階層ブロツクでの分割処理を選択する。例えば符号器５４において分割処理が選択されたブロツクについては、続く符号器５３でこのブロツクに対応する階層間差分データＤ４３をそのまま圧縮符号化し、同時にこのブロツクが分割ブロツクであることを表わす分割判定フラグをつけて伝送する。
【００３８】
これに対して符号器５１〜５４は、ブロツクアクテイビテイが所定未満の場合には、このブロツクを非分割ブロツクとし、当該ブロツクと空間的に対応する隣接下位階層ブロツクでの分割処理を中止する。例えば符号器５４において分割中止と判定されたブロツクについては、続く符号器５３において、このブロツクに対応する階層間差分データＤ４３に関しては符号化対象から除外し、同時にこのブロツクが非分割ブロツクであるとを表わす非分割判定フラグを付けて伝送する。この非分割ブロツクは復号装置側において上位階層データに置き換えられる。
【００３９】
（２−２）分割処理
次に階層符号化エンコーダ部４０Ａによる具体的な信号処理を説明する。
階層符号化エンコーダ部４０Ａにおいては、上述したように階層間差分データＤ４１〜Ｄ４４の所定ブロツク毎のブロツクアクテイビテイに基づいて分割選択処理を実行する。また実施例の場合、各ブロツクは２ライン×２画素より構成されるものとする。
【００４０】
ここでは各画素のデータ値をＸとし、データ値Ｘの階層をサフイツクスで表す。すなわち上位の階層データをＸｉ＋１（０）とするとき、隣接する下位階層データはＸｉ（ｊ）（ｊ＝０〜３）と表わすことができる。従つて階層間差分データ値ΔＸｉ（ｊ）は、次式、
【数５】
0003585047.tif 000006
によつて表わすことができる。
【００４１】
符号器５１〜５４は各ブロツクについてブロツクアクテイビテイと閾値とを比較し、当該比較結果に基づいてこのブロツクを下位階層で分割するか、又は分割しないかを選択する。
すなわち符号器５１〜５４においては、ブロツクアクテイビテイが閾値以上の場合には下位階層での分割を実行し、これに対してブロツクアクテイビテイが閾値未満の場合には下位階層での分割を中止する。
【００４２】
これにより階層符号化装置４０においては、ブロツクアクテイビテイが低いブロツクについてはこのブロツクに対応する隣接下位階層のデータを送らずに済み、この分伝送情報量を削減できるようになされている。因に、分割又は非分割の判定結果を示す判定フラグとしては１ビツトの判定フラグが用いらている。
【００４３】
各符号器５１〜５４でブロツクアクテイビテイ判定の際に用いられる閾値は、発生情報量制御部４０Ｂから送出される最適制御値Ｓ１に応じて設定される。すなわち閾値の値が大きくなるに従つて非分割ブロツク（非伝送ブロツク）が増えることにより伝送情報量は少なくなる。
このように階層符号化エンコーダ部４０Ａにおいては、解像度の低い上位階層データから順に圧縮符号化すると共に、このとき各階層データの所定ブロツク毎にアクテイビテイを判定し、当該アクテイビテイの低いブロツクに対しては隣接下位階層でこのブロツクに対応する画像データを送らないようになされている。
【００４４】
また実施例における階層符号化方式では、判定フラグをそれ以降の下位階層での判定には反映させない方式が用いられている（以下これを独立判定法と呼ぶ）。すなわち独立判定法では、各階層独立に、毎回閾値判定に基づく分割選択処理を行う。例えば一旦非分割判定がなされたブロツクにおいても、続く下位階層において再びアクテイビテイの判定を行い、ここで再び分割するか分割しないかを選択する。この結果独立判定法を用いた階層符号化方式においては、上位階層での下位階層の判定フラグの影響を受けないことにより、画質劣化の少ない階層符号化が実現できる。
【００４５】
ここで、図７は階層符号化装置４０による階層符号化処理のフローチヤートを示し、ステツプＳＰ２において階層番号を記憶する階層カウンタＩに「４」が登録され、この階層符号化の枠が決定される。
【００４６】
さらにステツプＳＰ３において発生情報量制御部４０Ｂが発生情報量演算をすることにより階層データが生成され、続くステツプＳＰ４において各ブロツクアクテイビテイが検出される。発生情報量制御部４０Ｂはこのアクテイビテイに基づいてステツプＳＰ５において最適制御値Ｓ１を決定する。
【００４７】
さらにステツプＳＰ６において階層符号化エンコーダ部４０Ａで最適制御値Ｓ１に基づいて階層符号化が実行される。すなわち始めに最上位階層である５階層データに対し、符号化及び復合化が行われる。この結果が下位階層における処理の初期値となり、ステツプＳＰ７において下位階層との階層間差分値が生成される。さらにステツプＳＰ８においてステツプＳＰ５において決定された最適制御値Ｓ１に基づいて下位階層での分割選択及び符号化が実行される。
【００４８】
各階層処理の後、ステツプＳＰ９において階層カウンタＩをデクリメントする。そしてステツプＳＰ１０において階層カウンタＩの内容に対し、終了判定が施される。未終了の場合は、さらに下位階層処理を続行する。全階層の処理を終了した場合、ループを抜けてステツプＳＰ１１において当該階層符号化処理を終了する。
【００４９】
（３）実施例の画像復号装置
（３−１）構成
このように分割判定フラグと共に伝送される第１〜第５階層圧縮符号化データＤ５１〜Ｄ５５は、図８に示すような画像復号装置６０によつて復号される。すなわち第１〜第５階層圧縮符号化データＤ５１〜Ｄ５５は、それぞれ符号器５７、５５、５３、５１及び４９の符号化と逆の復号手法を有する復号器６１、６２、６３、６４及び６５に入力される。この結果復号器６１〜６４でそれぞれ復号された第１〜第４階層の階層間差分データＤ５６〜Ｄ５９が、それぞれ第１〜第４の加算回路６６〜６９に入力される。
【００５０】
また第５階層圧縮符号化データＤ５５は復号器６５で復号され、この結果得られる第５階層データＤ６０が、そのまま出力されると共に第４の平滑化回路７３に送出される。第４の加算回路６９は第４の平滑化回路７３を介して入力された第５階層データＤ６０と、第４階層の階層間差分データＤ５９とを加算して第４階層データＤ６４を復元し、これを出力すると共にこれを第３の平滑化回路７２に送出する。
【００５１】
同様にして第３の加算回路６８は第３の平滑化回路７２を介して入力された第４階層データＤ６４と、第３階層の階層間差分データＤ５８とを加算して第３階層データＤ６３を復元し、これを出力すると共にこれを第２の平滑化回路７１に送出する。以下同様にして第２、第１の加算回路６７、６６によつて、第２階層データＤ６２、第１階層データＤ６１が復元され、このようにして第１〜第４階層データＤ６１〜Ｄ６４及び第５階層データＤ６５が出力される。
【００５２】
（３−２）平滑化処理
実際上画像復号装置６０においては、受信する分割判定フラグに基づいて、非分割ブロツクに対しては、各復号器６１〜６４の出力を０とすると共に上位階層データを加算器６６〜６９の出力とすることで非分割ブロツクデータを上位階層データで置き換えるようになされている。
【００５３】
ところが、この非分割ブロツクデータの復号画像において、図６に示した階層データ生成法に起因する疑似輪郭が発生することがある。
例えば、空などのレベル変化が小さい画像においては、各ブロツクが非分割判定を受けることが多い。すなわち上位階層データで置き換えられる場合が多い。このとき復元画像においては、隣接ブロツク間のレベル差が僅かであつても、ブロツク境界位置には疑似輪郭がしばしば認められ、これが大きな画質劣化となる。
【００５４】
実施例の階層符号化においては、階層符号化装置４０側では大きな分割閾値を設定するほど圧縮率を向上させることができる。しかしながら、画像復号装置６０側では、階層符号化装置４０側の分割閾値が大きい程隣接ブロツク間（すなわち分割ブロツクと非分割ブロツク間）のレベル差が拡大し、画質劣化が顕著となる。
【００５５】
その具体例を図９に示す。この例においては、中央のブロツクＭが非分割判定を受けたブロツクとする。このときブロツクＭに対応する下位階層復号データＸ０、Ｘ１、Ｘ２、Ｘ３としてすべて上位階層データＭを用いることになる。すなわち、Ｘ０＝Ｘ１＝Ｘ２＝Ｘ３＝Ｍとなる。
このようにした場合に、上述したようにＸ０〜Ｘ３とその周辺のブロツクとの間で疑似輪郭が発生し、画質が劣化するおそれがある。
【００５６】
これを回避するため、画像復号装置６０においては、非分割ブロツクの復号法として、単純に上位階層データを使用するのではなく、平滑化回路７０〜７３を介して上位階層データを平滑化処理し、これにより得られる平滑化データを用いて非分割ブロツクの復号値を求め、ブロツク境界の擬似輪郭を抑制するようになされている。
【００５７】
各平滑化回路７０〜７３は、非分割ブロツクＭ及び当該非分割ブロツクＭの空間内周辺データｍ０〜ｍ７を用いて、非分割ブロツクＭの下位階層データＸ０〜Ｘ３を、それぞれ次式、
【数６】
0003585047.tif 000007
【数７】
0003585047.tif 000008
【数８】
0003585047.tif 000009
【数９】
0003585047.tif 000010
に基づいて生成するようになされている。
【００５８】
ここでＡＶＥ（・）は閾値判定付き平均化処理関数を表す。この平均化処理関数ＡＶＥ（・）の例としては、例えば下位階層データＸ０を求める際、上位階層データＭ、ｍ０、ｍ１、ｍ７が所定の閾値Ｌに対して、次式、
【数１０】
0003585047.tif 000011
かつ
【数１１】
0003585047.tif 000012
かつ
【数１２】
0003585047.tif 000013
の関係にあるとき、下位階層データＸ０を、次式
【数１３】
0003585047.tif 000014
に基づいて算出するものが用いられている。
【００５９】
このように平滑化回路７０〜７３においては、非分割ブロツクＭ及び空間内周辺データｍ０〜ｍ６又はｍ７を用いて非分割ブロツクＭに対応する下位階層データＸ１〜Ｘ３を求める際に、単純に平均値演算を行うのではなく、空間内周辺データｍ０〜ｍ７に対して閾値判定による画素選択を行い、このとき上位階層の空間内周辺データにデータ値の大きな画素があつた場合には、この画素を平均値演算から除外するようになされている。
これにより画像復号装置６０においては、非分割ブロツクＭの近傍にエツジなどが存在する場合でも、平均値演算による画質劣化を未然に回避することができる。
【００６０】
かくして画像復号装置６０においては、分割ブロツクと非分割ブロツク間で生じる擬似輪郭を有効に回避し得、これにより画質劣化を低減することができる。
また画像復号装置６０においては、階層符号化装置４０側で大きな分割閾値を設定した場合でも、平滑化処理をすることより画質劣化を低減することができる。従つて階層符号化装置４０において分割閾値として大きな値を用いることができ、この分一段と圧縮効率を向上させることができる。
【００６１】
かくして、画像復号装置６０を用いれば、階層符号化装置４０によりブロツクアクテイビテイに基づいてブロツク分割した圧縮効率の良い画像データを、画質劣化を抑制した状態で復元することができる。
【００６２】
（４）実施例の効果
以上の構成によれば、非分割ブロツクＭを、当該非分割ブロツクＭの空間内周辺データｍ０〜ｍ７を用いて平滑化処理し、これにより得られる平滑化データＸ１〜Ｘ４を用いて非分割ブロツクＭに対応する下位階層ブロツクの復号値を求めるようにしたことにより、適応分割された圧縮効率の良い圧縮符号化データＤ５１〜Ｄ５５を、画質劣化を低減して復元することができる。
【００６３】
（５）他の実施例
なお上述の実施例においては、本発明による復号方法を、各階層独立に毎回閾値判定して分割処理を行う独立判定法によつて分割処理された圧縮符号化データＤ５１〜Ｄ５５を復号する際に適用した場合について述べたが、本発明はこれに限らず、上位階層での分割判定により一旦下位階層の分割を中止したとき、これ以降の下位階層の分割を中止する階層符号化方法により得られた複数階層分の圧縮符号化データを復号する際に適用した場合にも、上述の実施例と同様の効果を得ることができる。
また本発明はこれに限らず、階層符号化方法において、階層データ内に解像度の異なる複数のブロツクが存在するような場合に広く適用することができる。
【００６４】
【発明の効果】
上述のように本発明によれば、解像度の最も低い最上位階層情報から解像度の最も高い最下位階層情報までの複数の階層情報からなる画像データに関し、所定の階層の階層情報に対する複数の画素からなる各ブロツクのブロツクアクテイビテイを判定した判定結果に基づいて、各階層の階層情報の各ブロツクの伝送又は非伝送が制御されることで得た符号化データを復号する際に、伝送がされなかつたブロツクである非伝送ブロツクの階層よりも上位側の階層の階層情報の各画素のうち、非伝送ブロツクの画素と対応する位置の画素の値及びその近傍の画素の値を用いて平均化処理を行つて平滑化データを生成し、当該生成した平滑化データを非伝送ブロツクの画素に対する復号値として出力するようにしたことにより、非伝送ブロツクの階層よりも上位側の階層情報によつて当該非伝送ブロツクの画素に対する復号値を生成する際にその非伝送ブロツクの階層で生じる擬似輪郭を有効に回避し得、画質劣化を低減することができる。
【図面の簡単な説明】
【図１】階層符号化装置によつて生成される階層データの説明に供する略線図である。
【図２】ＨＤ標準画像における適応分割結果を示す図表である。
【図３】ＨＤ標準画像における各階層の信号レベルの標準偏差を示す図表である。
【図４】実施例による階層符号化装置を示すブロツク図である。
【図５】階層符号化エンコーダ部を示すブロツク図である。
【図６】階層構造の説明に供する略線図である。
【図７】階層符号化処理を示すフローチヤートである。
【図８】本発明による画像復号装置の一実施例を示すブロツク図である。
【図９】平滑化回路の動作の説明に供する略線図である。
【図１０】従来のピラミツド符号化方法を用いた画像符号化装置を示すブロツク図である。
【図１１】図１０の画像符号化装置により生成された圧縮符号化データを復号する従来の画像復号装置を示すブロツク図である。
【符号の説明】
４０……階層符号化装置、６０……画像復号装置、７０〜７３……平滑化回路、Ｄ５１〜Ｄ５５……圧縮符号化データ、Ｍ……非分割ブロツク、ｍ０〜ｍ７……空間内周辺データ。
【図１】
0003585047.tif 000015
【図２】
0003585047.tif 000016
【図３】
0003585047.tif 000017
【図４】
0003585047.tif 000018
【図５】
0003585047.tif 000019
【図６】
0003585047.tif 000020
【図７】
0003585047.tif 000021
【図８】
0003585047.tif 000022
【図９】
0003585047.tif 000023
【図１０】
0003585047.tif 000024
【図１１】
0003585047.tif 000025