(57)【特許請求の範囲】
【請求項１】
入力画像がライン毎に書き込まれるメモリ手段に蓄積された画像がウェーブレット変換の垂直フィルタリングに要する所定ライン数に達する毎に水平・垂直方向のウェーブレット変換を施すウェーブレット変換手段と、
上記ウェーブレット変換手段により上記所定のライン数毎にウェーブレット変換されて得られたウェーブレット変換係数の高域側から量子化する量子化手段と、
上記量子化手段から得られた量子化係数のサンプル数がエントロピー符号化に要する大きさに達したときにエントロピー符号化するエントロピー符号化手段とを有し、
上記量子化手段は、上記ウェーブレット変換の際に生成されたサブバンド毎に予め用意されたテーブルの重み係数と、画像を構成するブロック領域画像毎に求めた重み係数との少なくとも一方を用いて、量子化を行う
画像符号化装置。
【請求項２】
上記量子化手段は、上記サブバンド毎に予め用意されたテーブルの重み係数として、サブバンド分割ステージ数が大きくなる程、重み係数が大きくなって係数の優先度が増大され、逆に分割ステージ数が小さくなる程、重み係数が小さくなって係数の優先度が低減し、同一分割ステージのサブバンド同士では、低域よりも高域の方が重み係数が小さくなって、係数の優先度が低減される請求項１記載の画像符号化装置。
【請求項３】
上記量子化手段から得られた量子化係数をブロック単位に集め、該ブロック内に量子化係数が満たされた時点で、上記エントロピー符号化手段によるエントロピー符号化を行う請求項１記載の画像符号化装置。
【請求項４】
上記エントロピー符号化手段は、上記ブロック内の量子化係数をバイナリデータから成るビットプレーンに分解して、各ビットプレーンのシンボルの出現確率分布に応じて算術符号化を行い、上記確率分布の推定は予め決められたブロック内のデータに対してのみ行う請求項１記載の画像符号化装置。
【請求項５】
上記ウェーブレット変換手段により上記所定のライン数毎にウェーブレット変換されて得られたウェーブレット変換係数の低域側の変換係数をメモリに書き込んで蓄積し、蓄積された低域側の変換係数がウェーブレット変換の垂直フィルタリングに要する所定ライン数に達する毎に水平・垂直方向のウェーブレット変換を施す請求項１記載の画像符号化装置。
【請求項６】
上記入力画像は、複数フレーム又は複数フィールドの連続した画像であり、入力された連続した画像をフレーム単位又はフィールド単位で順次符号化する請求項１記載の画像符号化装置。
【請求項７】
入力画像がライン毎に書き込まれるメモリ手段に蓄積された画像がウェーブレット変換の垂直フィルタリングに要するライン数に達する毎に水平・垂直方向のウェーブレット変換を施すウェーブレット変換工程と、
上記ウェーブレット変換工程により上記所定のライン数毎にウェーブレット変換されて得られたウェーブレット変換係数の高域側から量子化する量子化工程と、
上記量子化工程により得られた量子化係数のサンプル数がエントロピー符号化に要する大きさに達したときにエントロピー符号化するエントロピー符号化工程とを有し、
上記量子化工程では、上記ウェーブレット変換の際に生成されたサブバンド毎に予め用意されたテーブルの重み係数と、画像を構成するブロック領域画像毎に求めた重み係数との少なくとも一方を用いて、量子化を行う
画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ウェーブレット変換を用いて静止画または動画像を高能率に符号化する画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式としては、ＩＳＯ（国際標準化機構：International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic Coding Experts Group） 方式がある。このＪＰＥＧ方式とは、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform） を用いて主に静止画を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には、良好な符号化・復号画像を供することが知られている。ただしこの方式においては、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近においては、画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタを組み合わせたフィルタによって複数の帯域に分割し、それらの帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴで問題とされた高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
また、動画像符号化では、ＭＰＥＧ（Moving Picture image coding Exparts Group） 方式のMPEG-1、MPEG-2、MPEG-4が知られており、特にMPEG-2は、いわゆるＤＶＤ（Digital Versatile Disc）の圧縮等に広く使われている。これらのＪＰＥＧ、ＭＰＥＧの符号化技術においては、ＤＣＴの処理単位である８×８のブロック数個から構成されるマクロブロック（通常１６×１６）毎に符号化制御が行なわれている。
【０００５】
現在、電子スチルカメラやビデオムービ等の製品では、圧縮符号化にＪＰＥＧ方式やＭＰＥＧ方式、あるいはいわゆるＤＶ（Digital Video） 方式を採用するものが多く、これらの圧縮符号化方式はいずれも変換方式にＤＣＴを用いている。今後ウェーブレット変換をベースにした上記製品が市場に出現するものと推測されるが、符号化方式の効率向上のための検討は、各研究機関で盛んに行われている。実際、ＪＰＥＧの後継とも言える次世代の静止画国際標準方式として期待されているJPEG2000（ＪＰＥＧと同じ組織であるISO/IEC/JTC1SC29/WG1によって作業中）は、2001年３月にPart-1の標準化勧告が出される予定のフォーマットである。このJPEG2000では、画像圧縮の基本である変換方式として、既存のＪＰＥＧのＤＣＴに代わり、ウェーブレット変換を採用することが決まっている。
【０００６】
【発明が解決しようとする課題】
ところで、ウェーブレット変換を用いて、静止画のみならず動画像でも高品質な符号化画像を得ようとする場合には、次に述べるような問題点を解決することが重要である。すなわち、
▲１▼ウェーブレット変換は、通常全画面に対して変換処理を施すので、ＭＰＥＧやＪＰＥＧのＤＣＴにおけるマクロブロック単位の制御のような、画面内の特定領域毎の細かい制御が不可能である。
▲２▼上記▲１▼の解決手段として、画面内をタイル（ブロックともいう。特定サイズの矩形で普通は正方形）に分け、各タイル毎に別個に符号化制御を行う（タイルを１つの画像とみなす）技術があるが、(i) タイルのサイズを小さくすると符号化効率が悪くなる、(ii)圧縮率を高くすると、隣接タイル間の不連続が顕著になり、主観画質が大きく低下する、という問題点がある。
▲３▼ウェーブレット変換符号化でもＤＣＴ符号化と同様に、画質の制御は量子化制御によって行う。一般に量子化ステップを上げれば発生ビット量は抑制される代わりに画質は劣化する。逆に量子化ステップを下げれば発生ビット量は増加する代わりに画質は向上する。この量子化制御を、上記▲２▼のタイル単位の符号化手段を用いる・用いないに関わらず、特定の画像領域単位に実現することが必要とされる。
【０００７】
本発明は、このような実情に鑑み、これまで困難とされてきた部分領域毎の画質制御をウェーブレット変換符号化器で実現でき、画質制御が正確に行え主観的画質の向上も図れ、１つの符号化装置で静止画・動画に対応できるような画像符号化装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、入力画像をウェーブレット変換に必要なライン数分だけ読み出してバッファリングし、ウェーブレット変換係数を量子化する際に、ウェーブレット変換係数に対してサブバンド毎に重み係数を掛け、画面内の特定ブロック領域の分析情報（動き情報、テキスチャの詳細度情報）を用いて重み係数を決定することを特徴としている。
【０００９】
また、本発明は、ウェーブレット変換係数を量子化して得られた量子化係数をMSBからLSBまでのビットプレーンに分解し、同一サブバンド内に存在する複数個のエントロピー符号化単位ブロックのビットプレーンを、MSBからLSBに向かって符号化する際の順番を、当該エントロピー符号化対象ブロック毎に可変にすることを特徴としている。
【００１０】
本発明は、入力画像がライン毎に書き込まれるメモリ手段に蓄積された画像がウェーブレット変換の垂直フィルタリングに要する所定ライン数に達する毎に水平・垂直方向のウェーブレット変換を施すウェーブレット変換手段と、上記ウェーブレット変換手段により上記所定のライン数毎にウェーブレット変換されて得られたウェーブレット変換係数の高域側から量子化する量子化手段と、上記量子化手段から得られた量子化係数のサンプル数がエントロピー符号化に要する大きさに達したときにエントロピー符号化するエントロピー符号化手段とを有し、上記量子化手段は、上記ウェーブレット変換の際に生成されたサブバンド毎に予め用意されたテーブルの重み係数と、画像を構成するブロック領域画像毎に求めた重み係数との少なくとも一方を用いて、量子化を行う。
【００１４】
【発明の実施の形態】
以下、本発明に係る実施の形態について、図面を参照しながら説明する。
図１は、本発明の第１の実施の形態となる画像符号化装置の構成例を示すブロック図である。
【００１５】
この図１に示する画像符号化装置は、入力された画像データ（入力画像）１００を１ライン毎に書き込んで記憶するメモリ部６と、メモリ部６に蓄積された画像がウェーブレット変換に要するライン数に達する毎に水平・垂直方向のウェーブレット変換を施すウェーブレット変換部２と、ウェーブレット変換部２から得られたウェーブレット変換係数を量子化する係数量子化部３と、係数量子化部３から得られた量子化係数のサンプル数がエントロピー符号化に要する大きさに達したときにエントロピー符号化するエントロピー符号化部４とを有して構成され、係数量子化部３は、上記ウェーブレット変換の際に生成されたサブバンド毎に予め用意されたテーブルの重み係数と、画像を構成するブロック領域画像毎に求めた重み係数のいずれか、または両方を用いて量子化を行う。また、上記入力画像１００は、画像を構成するブロック領域画像毎にブロック画像内の動き情報またはテキスチャの詳細度を分析するブロック画像分析部１にも入力されているが、このブロック画像分析部１については後述する。
【００１６】
この図１に示す画像符号化装置において、入力画像１００を最上位ラインから順番に１ライン毎に取り込んで、データ読み出しメモリ部６に入力する。メモリ部６に所定の（ウェーブレット変換に要するライン数分の）画像データが蓄積された時点で、ウェーブレット変換部２で水平・垂直方向へのウェーブレット変換フィルタ処理が施される。通常は、ウェーブレット変換のフィルタリングを行うのに用いるフィルタは複数タップのフィルタであり、このフィルタリングに必要なだけライン数が蓄積されれば、直ちに上記ウェーブレット変換フィルタ処理が実行できる。
【００１７】
図２〜図５は、上記ウェーブレット変換及びウェーブレット分割処理、さらにエントロピー符号化の具体的な動作を説明するための図である。まず図２において、ステップＳ１に示すように、入力画像のデータライン２１毎に上記図１のメモリ部６（図２のラインバッファ２２）に読み込んで蓄積してゆき、ステップＳ２に示すように、ウェーブレット変換の垂直フィルタリングに必要なだけのライン数が蓄えられたならば、図１のウェーブレット変換部２で垂直フィルタリングを行い、続いて図３のステップＳ３に示すように水平フィルタリングを行う。ウェーブレット変換されて得られたウェーブレット変換係数はバッファ部１１に蓄えられる。この時点で４つのサブバンド（LL,LH,HL,HH） のウェーブレット変換係数値が決定しており、ステップＳ４に示すように、高域側の３つのサブバンド（LH,HL,HH）の斜線部に示す量子化対象のサブバンド係数２３に対して、図１の係数量子化部３による量子化を実行する。この時、制御部５から量子化実行の制御信号１２２が係数量子化部３に送信される。なお、各サブバンド（LL,LH,HL,HH） については、後で図６を参照しながら説明する。
【００１８】
一方、最低域サブバンド（LL）のウェーブレット変換係数２４は、再びバッファに蓄積され、これはステップＳ５に示すように垂直フィルタリングに必要なだけのライン数が蓄えられるまで継続する。従って、ウェーブレット変換部２からのウェーブレット変換係数１２０は上記の１ラインづつバッファ部１１に送られて蓄積される。また、上記ステップＳ４の操作により、係数量子化部３で量子化が実行されて得られた量子化係数１０３（図３の量子化済みのサブバンド係数ライン２５のデータ）は、エントロピー符号化部４に送られる。
【００１９】
次に、上記最低域サブバンド（LL）について、バッファ部１１内に垂直フィルタリングに必要なだけのライン数が蓄えられたならば、制御部５からウェーブレット変換実行の制御信号１０５がウェーブレット変換部２に送信され、ステップＳ６に示すように、次のウェーブレット分割ステージ生成のために、垂直フィルタリングに続いて、水平フィルタリングを実行する。この結果、図４のステップＳ７に示すように、最低域サブバンドの第２ステージの４つのサブバンドのウェーブレット変換係数値がここで確定するので、直ちに後段の量子化を行い、量子化係数を出力する。
【００２０】
なお、上記図２のステップＳ２の操作のウェーブレット変換の垂直フィルタリングに必要なだけのライン数を蓄える場合（分割ステージ数が１の場合に相当）や、上記図３のステップＳ５の操作の垂直フィルタリングに必要なだけのライン数を蓄える場合（分割ステージ数が２の場合に相当）には、ウェーブレット変換係数を、図１のバッファ部１１に記憶・保持しておく。この時、各分割ステージでの１ライン毎のウェーブレット変換係数１２０がバッファ部１１に順番に送られ、ここで記憶される。
【００２１】
一方、上記図３のステップＳ３の操作やステップＳ６の操作での、垂直フィルタリングの際には、上記バッファ部１１に蓄積された必要なライン数分のウェーブレット変換係数１２１を、バッファ部１１から読み出して、これらに垂直フィルタリングを掛ける。以上の動作をすべての分割ステージが終了するまで継続するわけであるが、途中でエントロピー符号化が可能となった量子化済みの係数に対して次に説明するようなエントロピー符号化を行うことも可能である。
【００２２】
すなわち、図１の最後段に位置するエントロピー符号化部４でのエントロピー符号化は、一般に情報源符号化とも呼ばれ、データ列の出現分布の偏り等の特徴を利用して情報量を圧縮する技術であり、ハフマン符号化や算術符号化が広く使われている。データ列を入力して学習しながら符号化を行う手段は、予め決められたテーブルを用いるハフマン符号化よりも、入力データに適応化できる点で有利になる可能性がある。その場合、どの範囲内で入力データを取得するかが問題である。一般に対象となる入力データが多いほど有利であるが、画面内の特定領域に限定したい場合には、普通ある程度の大きさのブロック形状の範囲内で入力データを取得することになる。
【００２３】
本実施の形態では、いずれの場合にも対応可能であるが、全画面分の量子化係数を保持してからエントロピー符号化する場合には、それら係数を全部記憶・保持する大きなメモリ（バッファ）が必要になる。従って、メモリ容量が少なくて済むブロックベースのエントロピー符号化について、以下に説明する。
【００２４】
図３のステップＳ４や図４のステップＳ７によってウェーブレット変換係数の量子化が進み、図４のステップＳ８に示すように、第１分割ステージのサブバンド（HL,LH,HH）の量子化係数のライン数が、上述したブロックベースのエントロピー符号化の処理単位のブロックの高さ（Ｈ）に到達した時点で、制御部５からエントロピー符号化実行の制御信号１０７がエントロピー符号化部４に送信されて、エントロピー符号化単位２８毎にエントロピー符号化を実行する。
【００２５】
更に、同様にして、図５のステップＳ９に示すように、第２分割ステージのサブバンド（LL）の量子化係数のライン数が、ブロックベースのエントロピー符号化の処理単位のブロックの高さ（Ｈ）に到達した時点で、このエントロピー符号化単位２８毎にエントロピー符号化を実行する。
【００２６】
なお。図５のブロック２９は、エントロピー符号化を実行済みの量子化係数のブロックを示す。
【００２７】
以上の操作を必要なウェーブレット分割ステージまで繰り返し実行することで、全画面のウェーブレット変換と量子化＋エントロピー符号化とを完了する。
【００２８】
以上説明したような構成及び動作に加え、本発明の第１の実施の形態においては、上記ウェーブレット変換の際に生成されたサブバンド毎に予め用意されたテーブルの重み係数と、画像を構成するブロック領域画像毎に求めた重み係数のいずれか、または両方を用いて、量子化を行うようにしている。この場合の上記図１の係数量子化部３の具体的な構成とその動作について、以下説明する。
【００２９】
通常のウェーブレット変換符号化器では、ウェーブレット変換係数を直接量子化する手段を取るが、ここでは量子化係数に重み係数を掛けることで、量子化係数の値を修正することを行う。
【００３０】
例えば図６は、２次元のウェーブレット変換を示した図であり、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。すなわち図６では、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分LL、LH、HL、HHに分かれる。ここでLLは水平・垂直成分が共にＬであること、LHは水平成分がＨで垂直成分がＬであることを意味している。次に、LL成分は再度帯域分割されて、LLLL、LLHL、LLLH、LLHHが生成される。さらに、LLLL成分は再度帯域分割されて、LLLLLL、LLLLHL、LLLLLH、LLLLHHが生成される。なお、このように、低域成分を階層的に分割する以外に、全帯域を均等に分割することも行われる。図６の例では、３レベルまでウェーブレット分割を行うことにより、合計１０個のサブバンド（帯域）に分割されていることがわかる。これら１０個のサブバンド毎に、例えば重み係数をＴを乗算する。各サブバンド毎の重み係数Ｔとしては、低域側のLLLLLL成分から順に、ＴLLLLLL、ＴLLLLHL、ＴLLLLLH、ＴLLLLHH、ＴLLHL、ＴLLLH、ＴLLHH、ＴLH、ＴHL、ＴHHとしている。
【００３１】
すなわち、例えば、レベル１の高域バンドであるHH成分のすべての変換係数には、係数ＴHHの値を乗算する。同様にしてレベル１の他の帯域の成分の変換係数には、それぞれ係数ＴLH、ＴHLを乗算する。一方LL成分はレベル２の分割で、さらに４つの帯域に分割されており、同様にして、各帯域毎に予め決められた重み係数値を、変換係数に乗算する。以上の動作を所定のウェーブレット分割レベルまで繰り返し行うことで、変換係数を修正する。この場合特に、サブバンド毎に重み係数を異なる値にすることが挙げられる。
【００３２】
具体的には、低域成分の雑音、歪みは人間の目に付きやすいことから、低域のサブバンド用の重み係数（例えばＴLLLLLLやＴLLHL等）程、重みをかけて変換係数値が大きくなるように設定することが好ましい。
【００３３】
次に、画像空間の特定ブロック領域毎に量子化係数に重み係数を掛けて、細かい制御を行う技術について説明する。図７、図８は、上記図１の係数量子化部３の具体的な構成例を示すものである。
【００３４】
先ず、図７の係数量子化部は、図１のウェーブレット変換部２からのウェーブレット変換係数１０２が供給されるスカラ量子化部１３と、スカラ量子化された量子化係数１２４が送られるブロック領域重み係数変更部１４と、このブロック領域重み係数変更部１４に上述したサブバンド別の重み係数１２５を送るサブバンド別重み係数テーブル１５とを有して構成され、ブロック領域重み係数変更部１４から最終的な量子化係数１０３が出力されて、図１のエントロピー符号化部４に送られる。また、高画質にしたいブロック領域を示す分析情報１０６が、上記図１のブロック画像分析部１によりブロック領域重み係数変更部１４に送られるが、このブロック画像分析の詳細については後述する。
【００３５】
すなわち、図７において、既に説明した図１のウェーブレット変換部２で生成されたウェーブレット変換係数１０２は、代表的な量子化手段であるスカラ量子化部１３によって量子化され、得られた量子化係数１２４は、ブロック領域重み係数変更部１４に送られる。他方、サブバンド別重み係数テーブル１５からは上記図６と共に説明したようなサブバンド毎の重み係数１２５が出力される。この重み係数は、例えば、ウェーブレット分割ステージが大きくなる程、大きい値に設定されており、また逆に、分割ステージが小さくなる程、小さい値に設定されている。一方、ブロック領域の分析情報１０６を入力したブロック領域重み係数変更部１４では、対象とするブロック領域に対する当該重み係数値を計算して、変更された量子化係数１０３をブロック領域重み係数変更部１４より出力する。具体的な動作としては、所望のブロック領域を高画質にしたい場合には、重み係数を大きく設定する必要があることから、サブバンド毎の重み係数１２５を元に、サブバンド内の当該ブロック領域に相当する部分の係数を大きく設定する。
【００３６】
すなわち、図９に示すように、画面を縦横３分割づつ９個のブロックに分割した場合の中央のブロックに相当する領域（図中の網線部）が上記高画質にしたいブロック領域だとすると、この部分を高画質にするためには、図６で示した同一サブバンド内であれば同じ重み係数Ｔという規則を超え、このＴを元に、図９の該当領域（網線部）に対する重み係数値を変更することとする。例えば、サブバンドＨＬ成分の重み係数値は図６よりＴHLであるが、このサブバンドＨＬ成分の中の該当領域Ｐ1 に対して、サブバンドＨＬに対する重み係数値ＴHLに他よりも大きい値を乗算することで、図９のＬＨ成分のサブバンド中の該当領域Ｐ1 の重み係数値は、それ以外の領域に比べ大きく設定されるので、このブロック領域の画質を向上させることができる。他のサブバンドの該当領域Ｐ1 、Ｐ2 、Ｐ3 に対しても、全く同様の操作を行えばよい。
【００３７】
なお、上記のブロック領域の重み値に、サブバンド成分の重み係数値を乗算することで、当該ブロック領域の重み係数を決定し、この重み係数をスカラ量子化部１３から送出されたスカラ量子化係数に乗算して、最終的な量子化係数１０３を決定して出力することもでき、このための構成の具体例を図８に示している。この図８では、ブロック領域の分析情報１０６がブロック領域重み算出部１６に送られることで、ブロック領域重み１２３が算出されてブロック領域重み係数演算部１７に送られる。このブロック領域重み係数演算部１７では、ブロック領域重み１２３と、サブバンド別重み係数テーブル１５からのサブバンド成分の重み係数値１２５とを乗算し、当該ブロック領域の重み係数を決定し、この重み係数をスカラ量子化部１３から送出されたスカラ量子化係数１２４に乗算して、最終的な量子化係数１０３を出力する。
【００３８】
ここで、スカラ量子化部１３では、例えば下記の式１に示すようなスカラ量子化が行われる。すなわち、スカラ量子化出力Ｑは、
Ｑ ＝ ｘ／Δ     ・・・（式１）
となる。この式１において、ｘはウェーブレット変換係数値、Δは量子化インデックス値である。
【００３９】
次に、上記図１のブロック画像分析部１及びブロック領域の分析情報１０６について説明する。図１のブロック画像分析部１では、ブロック領域画像毎の動き情報またはテキスチャの詳細度を分析する分析手段によって、例えばブロック領域画像内に、被写体の大きな動きがあるとかテキスチャの詳細度が高い等の情報を抽出する。具体的には、画像処理の分野で研究された成果を用いればよく、例えば動き検出では、１つ前のフレームとの差分を求め、予め設定した閾値よりも大きければ動き有りと判定し、後者ではブロック領域画像内のすべての画素値の分散値を採取し、これが閾値よりも大きい場合には、テキスチャの詳細度が高いと判断することができる。
【００４０】
なお、上記第１の実施の形態では、ウェーブレット変換を垂直フィルタ、水平フィルタの順番で行っているが、その逆にしてもよいことは勿論である。ただし、当然であるが、データのバッファリングの方向は、水平と垂直とが逆になる。
【００４１】
第２の実施の形態
以下、本発明の第２の実施の形態を説明する。この第２の実施の形態では、図１のエントロピー符号化部４として、ブロック内の量子化係数をバイナリデータから成るビットプレーンに分解して、各サブ・ビットプレーンのシンボルの出現確率分布に応じて算術符号化を行い、かつ確率分布の推定は予め決められたブロック内のデータに対してのみ行うものを用いている。
【００４２】
ここで、ビットプレーンについて図１０を用いて説明する。図１０の（ａ）は、縦４、横４の１６個の量子化係数を示しており、＋１３、−６等は量子化後の係数値を意味している。これらの量子化係数は、その絶対値と正負の符号（＋−）とに分けられ、絶対値はＭＳＢからＬＳＢのビットプレーンに展開される。図１０の（ｂ）には絶対値の各ビットプレーンを示し、図１０の（ｃ）には符号のビットプレーンを示している。図１０の（ｂ）の絶対値の各ビットプレーン上の係数は、０か１のいずれかになり、図１０の（ｃ）の符号のビットプレーン上の係数は＋、０、−のいずれかになる。図１０の（ｂ）、（ｃ）の場合は、４つの絶対値ビットプレーンと１つの符号ビットプレーンから構成されている。従って、この後段処理として、ビットプレーン毎の２値の符号化、例えば算術符号化を行えばよい。以上が図１のエントロピー符号化部４での動作となる。
【００４３】
なお、算術符号化とは、所定の範囲内で確率分布の推定を行いながら、符号化シンボルに数値を当てはめていく手法である。この確率分布の推定は、例えば図４で説明したように、予め決められたブロックの範囲内で行われる。これにより、エントロピー符号化の独立性が保たれる。
【００４４】
第３の実施の形態
本発明の第３の実施の形態となる画像符号化装置について、図１１を参照しながら説明する。この図１１に示す画像符号化装置は、入力画像の全画面を蓄積する全画像メモリ部１８と、全画面に対し水平・垂直方向のウェーブレット変換フィルタを掛ける全画像ウェーブレット変換部７と、画像を構成するある特定のブロック領域に対応したウェーブレット変換係数を抽出するブロック係数抽出部８と、抽出されたウェーブレット変換係数を量子化するブロック係数量子化部９と、生成された量子化係数のサンプル数が所定の大きさに達した時にエントロピー符号化を行うエントロピー符号化部４とを有して構成されている。
【００４５】
既に説明した第１の実施の形態が、ウェーブレット変換をライン毎に行う構成であったのに対し、図１１に示す第３の実施の形態は、全画面分のウェーブレット変換を１度に行い、ブロック毎に量子化・エントロピー符号化等の後段の処理を行う所に差異がある。
【００４６】
図１１において、入力画像１００のすべてを全画像データ読み出しメモリ部１８に入力し記憶する。続いて、全画像ウェーブレット変換部７は、制御部５からの制御信号１０５に従い、全画像データ１０８に対してウェーブレット変換の水平・垂直フィルタリングを行う。所定のウェーブレット分割数まで変換を行い、すべてのサブバンドの変換係数１２６を生成する。次に、変換係数バッファ部１９は、１次的に変換係数１２６を記憶・保持するバッファの役割を果たす。
【００４７】
ブロック係数抽出部８では、制御部５からの制御信号１１２に従い、変換係数バッファ部１９に蓄えられた全変換係数の中から、符号化対象のブロック領域に相当するすべてのサブバンドの変換係数１０９を抽出して読み出す。なお、部分領域のサブバンドについては、既に図９と共に説明した通り（図中の網線部）である。ブロック係数抽出部８からの変換係数１１０は、次にブロック係数量子化部９において量子化が行なわれる。
【００４８】
一方、上記第１の実施の形態において説明したように、ブロック画像分析部１からは、画面を構成する矩形のブロック領域画像毎の動き情報・テキスチャ情報を含む分析情報１０６が送出される。これを受けて、ブロック係数量子化部９では、現在の符号化対象ブロックの分析情報１０６を参照して、ブロック毎に量子化を行う。この具体的な動作については、既に第１の実施の形態において、図７、図８と共に説明した通りであり、所定のブロック画像を高画質にする場合には重み係数を大きく設定し、この値に図６と共に説明した各サブバンド毎の重み係数テーブル値を演算して、更にスカラ量子化係数にこの演算値を乗算すればよい。
【００４９】
以上により、符号化ブロック毎に、きめ細かな量子化制御ができるので、結果として画質制御が適応的に実現される利点がある。
【００５０】
上記操作によって最終的に得られたブロックの量子化係数１１１は、上記第１の実施の形態で説明したように、エントロピー符号化部４において、制御信号５に従い、エントロピー符号化が行なわれ、符号化ビットストリーム１１３とされて送出される。また上記第２の実施の形態で述べたビットプレーンを用いたエントロピー符号化を適用することも可能である。
【００５１】
この第３の実施の形態では、画面を１度にバッファリング、更にウェーブレット変換し、後段ではブロック毎に量子化、エントロピー符号化を行なう構成になっており、実施形態１の構成に比べ、画像の読み出しが１回で済む利点がある一方、必要とするバッファ容量が大きくなる点に留意すべきである。
【００５２】
第４の実施の形態
本発明の第４の実施の形態は、ウェーブレット変換符号化器の前段部に、入力画像を複数個の矩形形状のタイルに分割するタイル分割手段を備え、各タイル画像内の画像データをメモリに読み出して、後段の符号化手段を備えたものである。この第４の実施の形態の画像符号化装置の構成例を図１２に示す。この図１２に示す画像符号化装置は、上記図１の画像符号化装置の前段部にタイル分割部１０を設けている点が異なっており、他は上記図１と同様であるため説明を省略する。
【００５３】
ここで図１３は、原画像を複数個のタイルに分割して、各々のタイルにウェーブレット変換を施す動作を説明するための図である。図中、実線は実際のタイルの境界を示し、破線は、後述のウェーブレット変換のフィルタリングの際に、隣接タイルまでにフィルタリングが及ぶ境界を示している。
【００５４】
すなわち、図１３の（Ａ）に示す原画像を、図１３の（Ｂ）に示すように複数個のタイルに分割し、それぞれのタイル毎に、図１３の（Ｃ）の破線に示す境界までの範囲でウェーブレット変換のフィルタリングを施し、符号化ビットストリームを生成している。
【００５５】
図１２において、タイル分割部１０からの各タイル画像１１４を、ブロック画像分析部１に入力しており、このブロック画像分析部１では、既に述べた技術により分析情報１１５を得て出力する。ここで注意すべき事としては、タイル画像１１４と上述したブロック画像とは必ずしも同一のものである必要は無いことである。すなわち、タイルの中に複数個のブロックが存在していてもよい。一般には、タイルのサイズの方が、ブロックのサイズよりも大きく設定される。ただし、符号化等の処理を簡略化するために、これらのサイズは一般に２のべき乗の比率に設定されることが多い。
【００５６】
また、図１２のタイル分割部１０からのタイル画像１１４は、メモリ部６に記憶・保持される。上記第１の実施の形態で説明したように、１ライン毎に画像データを読み出してバッファリングし、更にウェーブレット変換する場合には、メモリ部６では、タイル画像１１４内を１ラインずつ読み出してこれを蓄積する。一方、上記第３の実施の形態で述べたような全画面を１度にバッファリングする場合には、メモリ部６には当該タイル画像１１４内のすべての画像データが蓄積される。本第４の実施の形態は、上記いずれの場合にも対応することができ、この場合、後段のウェーブレット変換部１１以降での動作は、それぞれの実施の形態で説明した通りである。
【００５７】
メモリ部６から送出された画像データ１１６は、タイルベースウェーブレット変換部１１で、制御部５からの制御信号１０５に従い、ウェーブレット変換が施され、変換係数１１７が出力される。変換係数１１７は、係数量子化部３において量子化されて、量子化係数１１８がエントロピー符号化部４に送出される。エントロピー符号化部４では、制御部５からの制御信号１０５に従い、エントロピー符号化を行い、エントロピー符号化部４からは符号化ビットストリーム１１９が送出される。このとき、ブロック画像分析部１からの分析情報１１５を用いて、係数量子化をブロック毎に適応的に行う動作は、既に述べた実施の形態と同様である。
【００５８】
第５の実施の形態
この第５の実施の形態は、上記第４の実施の形態におけるタイル画像のウェーブレット変換の際の、隣接タイルまでのフィルタリング動作を具体化したものである。
【００５９】
上述のようなタイル毎にウェーブレット変換を施す場合には、符号化対象以外のタイルについても考慮に入れる必要がある。すなわち、上記各タイル毎にウェーブレット変換を行う場合に、フィルタのタップ長分だけタイルの周囲画素にもフィルタリングが及ぶため、隣接タイルとの間でオーバーラップさせながらフィルタリングを行うことになる。このように、フィルタリングの影響が及ぶ範囲まで隣接タイルの画素を読み出してウェーブレット変換するような、オーバーラップ型のタイルベース・ウェーブレット変換について、図１４を参照しながら説明する。
【００６０】
図１４は、オーバーラップ型のタイルベース・ウェーブレット変換を行う際の、符号化対象のタイル（ブロック）ＲT とフィルタリングの及ぶ範囲ＲF とを示している。この図１４中の a,b,c,d,e,f、h,i,j,k,l,m はすべて画素を表す。例えば画素ｃを水平方向にフィルタリングする時に、d,e,f の３画素を右隣りのタイル画像から読み出して、これらに所定のフィルタ係数を畳み込み演算する。同様に例えば、画素ｊを垂直方向にフィルタリングする時に、k,l,m の３画素を下のタイル画像から読み出して、これらに所定のフィルタ係数を畳み込み演算する。
【００６１】
従って、この第５の実施の形態におけるタイル分割部では、フレーム画像を複数のタイルに分割すると共に、タイルの周囲に、ウェーブレット変換手段によるフィルタリングの影響が及ぶ範囲まで、隣接タイルの画素を読み出すことで、符号化対象領域を拡大する。この際、符号化対象タイルの外部のフィルタリングの及ぶ範囲の画素をどのように得るかが問題となる。
【００６２】
この第５の実施の形態では、隣接するタイルの画像間にオーバーラップする領域を設けず、タイル外部でフィルタリングの及ぶ範囲内ではタイル内部のウェーブレット変換係数を対称拡張して畳み込み演算するようにしている。これを示したものが図１５及び図１６であり、図１５はタイル周辺の具体例を、図１６は原画像が対称拡張の畳み込み演算を施しながらウェーブレット分割を行っていく過程を、それぞれ示している。
【００６３】
すなわち、図１５は、この対象拡張を具体的に図示したものであり、符号化又は復号対象のタイルの領域ＲT 内の水平方向のc, b, a の画素列が、タイル境界を境にして、対称的にa, b, c の並び順に、フィルタリングの及ぶ範囲ＲF まで拡張されていることがわかる。同様に、垂直方向では、タイル領域ＲT 内のf, e, d の画素列が、タイル境界を境にして、対称的にd, e, f の並びにフィルタリングの及ぶ範囲ＲF まで拡張される。このような鏡像関係の対称拡張を行えば、タイル画像内部の画素数と同数だけしかウェーブレット変換係数が生成されないことが知られている。すなわち、冗長度が無い利点がある。
【００６４】
次に図１６は、対称畳み込みによるウェーブレット符号化の概念を説明するための図であり、この図１６の（Ａ）に示す原画像は、（Ｂ）に示すようにタイル画像に分割された後、各タイル画像毎に（Ｃ）の破線に示すフィルタ処理が及ぶ範囲まで、タイル外の領域に画素の対称拡張を行う。
【００６５】
続いて、図１６の（Ｃ）の対称拡張された各タイルに対して、ＷＴ（ウェーブレット変換）を掛ける。その結果、既に説明したように、例えば４つの帯域成分に分割される（図１６の（Ｄ）参照）。図１６の（Ｄ）中の斜線部は、上述した低域のLL成分である。さらに、この斜線部の低域成分（LL）のタイルは、図１６の（Ｅ）に示すように、同様に対称拡張を行い、ウェーブレット変換（ＷＴ）が施される。以後同様の操作が、所定のウェーブレット分割数まで繰り返される。以上が、この第５の実施の形態のタイル分割部及びウェーブレット変換部での、タイル毎の対称拡張を伴うウェーブレット変換の動作説明である。
【００６６】
第６の実施の形態
本発明の第６の実施の形態は、各タイル毎のウェーブレット変換の際に、タイルの外側でフィルタリングが及ぶ範囲内の画素を、タイル境界上の画素値と点対称の関係になるように対称拡張することで、タイル外部の符号化対象画素を拡張している。
【００６７】
図１７はこれを図示したものであり、図１７中の(ａ)と(ｂ)との２つの例を示している。図中、Ｘ[0],Ｘ[1],Ｘ[2],Ｘ[3],Ｘ[4],Ｘ[5],Ｘ[6],Ｘ[7] の８個のサンプル点はタイル内の画素（１次元方向のみ）を示している。
【００６８】
一方、点線で示したサンプル点の画素は、Ｘ[0] 又はＸ[7] の画素値を点対称の基準値として算出される。図１７の(ａ)の場合では、タイル境界のサンプル点Ｘ[0] のサンプル位置での画素値を示す点Ｐa を点対称の基準点としており、例えば、タイル外部のサンプル点ｘ[1] は、タイル内で点対称の位置関係のサンプル点Ｘ[1] から基準点Ｐa を通るように伸ばした延長線上の等距離の点を算出することで得られる。すなわち、基準点Ｐa を中心として、サンプル点ｘ[1] はサンプル点Ｘ[1] の点対称の位置にある。同様に、基準点Ｐa を中心として、サンプル点ｘ[2] はサンプル点Ｘ[2] の点対称の位置にあり、サンプル点ｘ[3] はサンプル点Ｘ[3] の点対称の位置にある。タイルの他方の境界でのＸ[7] のサンプル点での画素値を点対称の基準点とする場合も同様である。
【００６９】
次に、図１７の(ｂ)の場合について説明する。図１７の(ａ)の場合との相違点は、点対称の中心となる基準点Ｐb を、サンプル位置に対して半サンプル分の距離だけずらしていることである。すなわち、タイル境界のサンプル点Ｘ[0] のサンプル位置をタイル外部に半サンプル分の距離だけずらした位置における、サンプル点Ｘ[0] に等しい画素値を示す点Ｐb を、点対称の基準点としている。従って、サンプル点Ｘ[0] からタイル外部に１サンプル分だけ離れた位置のサンプル点ｘ[0] は、基準点Ｐb を中心としてサンプル点Ｘ[0] の点対称の位置にあることから、サンプル点Ｘ[0] と同じ値となる。これにより、タイル境界の内部の点（例えばＸ[0]）と外部の点（例えばｘ[0]）の各値が同一となり、タイル境界での接続を滑らかにすることができる。
【００７０】
以上、図１７の(ａ)または(ｂ)に示すいずれかの手法によって、点対称関係を用いて画素拡張を行うことにより、隣接タイルの画素値を用いずに、タイル内部の画素値をタイル外部でウェーブレット変換によるフィルタリングが行われる範囲まで拡大して、畳み込み演算を行うことができる。
【００７１】
第７の実施の形態
本発明の第７の実施の形態について説明する。この第７の実施の形態では、タイルの外側でフィルタリングが及ぶ範囲内の画素の一部だけを抽出して、畳み込み演算するようにしている。
【００７２】
すなわち、上記第５、第６の実施の形態では、いずれもフィルタリングの及ぶ範囲内の画素をすべて求めていたが、本第７の実施の形態では、この一部だけを抽出するようにしている。このように、フィルタリングが及ぶ範囲内の画素の一部だけを抽出することにすれば、畳み込み演算の回数が削減される利点がある。他方、タイル境界部での画質劣化（不連続性）が発生する可能性があるが、比較的符号化ビットレートが高い場合には大きな差異は発生しない。
【００７３】
第８の実施の形態
本発明の第８の実施の形態は、既に述べたブロック毎の量子化制御の別の形態を提案するもので、構成は上記図１と同様でよいが、係数量子化部３での動作が異なっている。ここではまず、ウェーブレット変換部２で生成されたウェーブレット変換係数を、既に述べたスカラ量子化で量子化して得られた量子化係数を、MSBからLSBまでのビットプレーンに分解する。なお、ビットプレーンの概念については、上記図１０と共に説明した通りであり、説明を省略する。
【００７４】
係数量子化部３での動作として、通常の場合には、上記第２の実施の形態で説明したように、上記ビットプレーンのMSBからLSBの方向に、各ビットプレーン単位でバイナリデータをエントロピー符号化することになる。しかし本第８の実施の形態では、同一サブバンド内に存在する複数個のサブバンド分割されたブロックのビットプレーンを所定のビット数分だけシフト操作した後、新たに生成されたビットプレーンをエントロピー符号化する手段を取る。
【００７５】
以下、図１８を参照しながら具体的に説明する。図１８の（Ａ）は、画像をウェーブレット分割してできたあるサブバンドを示しており、破線で区切られた縦横６個、計３６個のブロックは、後段のエントロピー符号化を行うブロックの単位であると仮定する。一方、図１８の（Ｂ）は、上図のサブバンド内のビットプレーンの断面図（実際は２次元であるが、これを１次元化したもの）である。この図１８の（Ｂ）では、エントロピー符号化単位の幅をＷで示している。図１８の（Ａ）のサブバンド内の網線領域が、下図の斜線領域のビットプレーンに対応している。図１８の（Ｂ）の縦軸は、MSBからLSBのビットプレーンの深さを示している。
【００７６】
ところで、原画像の画面中の１つのブロック領域は、上記図６や図と共に説明したように、１つ分割ステージが増える毎に、縦横のサイズが１／２倍になる。すなわち、図９のブロック領域Ｐ（網線部分）については、第１レベルのブロック領域Ｐ1 の縦横のサイズの１／２が第２のレベルのブロック領域Ｐ2 の縦横のサイズとなり、一般に、
（Ｐn+1の縦横サイズ）＝（Ｐnの縦横サイズ）／２
となる。よって、画像の特定領域をウェーブレット分割してできた、あるサブバンドのブロックと、上記エントロピー符号化のブロックとの大小関係を考える必要がある。
【００７７】
ここで、図１９の（Ａ）に示すように、画像の特定領域（図中の網線部分）のサブバンドブロックのサイズＷS が、エントロピー符号化ブロックのサイズＷE よりも小さい場合、すなわち、ＷS ＜ＷE の場合は、画像の特定領域のサブバンドブロックに相当するビットプレーンをＭＳＢ方向にシフトアップ（Shift-up）するか、またはＬＳＢ方向にシフトダウン（Shift-down）するかの操作を行う。更に、該エントロピー符号化ブロック内のすべてのサブバンド・ブロックのシフト操作が終了した後で、新たに生成されたビットプレーンに対しエントロピー符号化の操作を行う。なお、シフトアップ（Shift-up）操作は、当該ブロック領域の画質向上に寄与し、シフトダウン（Shift-down）操作は逆に画質低下をもたらす。これによって画質制御を実現できる。
【００７８】
また、上記対象ブロック領域以外に存在するエントロピー符号化ブロックに対して、ビットプレーンのシフトダウン（Shift-down）操作を行っても良く、上述した場合と同等の効果を奏することは明らかである。なお、デコーダ側ではこのシフト（Shift）の逆操作が必要であり、このビットシフト値は符号化ビットストリーム中に書き込む必要がある。
【００７９】
これに対して、図１９の（Ｂ）は、画像の特定領域のサブバンドブロックのサイズＷS が、エントロピー符号化ブロックのサイズＷE よりも大きいか等しい場合、すなわち、ＷS ≧ＷE の場合を示している。この場合、サブバンド分割ブロックのビットシフト操作が終了した後、そのサブバンド分割ブロック内に存在するすべてのエントロピー符号化単位ブロックをビットプレーン符号化する。
【００８０】
第９の実施の形態
本発明の第９の実施の形態に係る画像符号化装置は、入力画像をライン毎にメモリ手段に書き込んで蓄積し、メモリ手段に蓄積された画像がウェーブレット変換に要するライン数に達する毎に水平・垂直方向のウェーブレット変換を施し、ウェーブレット変換により得られたウェーブレット変換係数を量子化し、得られた量子化係数をMSBからLSBまでのビットプレーンに分解し、上記量子化係数のサンプル数が所定の大きさに達した時にエントロピー符号化を行うものであり、さらに、エントロピー符号化の際には、同一サブバンド内に存在する複数個のエントロピー符号化ブロックのビットプレーンにおいて、MSBからLSBのビットプレーンの一部分を分割・抽出し、抽出された部分ビットプレーンをMSBからLSBに向かって符号化を行った後、上記部分ビットプレーンに相当する部分符号化ビットストリームを生成するようにしたものである。
【００８１】
この第９の実施の形態は、量子化係数をMSBからLSBまでのビットプレーンに分解するまでの動作は、上記第８の実施の形態と同様である。ここで、上記第８の実施の形態では、エントロピー符号化ブロック毎に、MSBからLSBの方向に１枚づつのビットプレーンを順番にエントロピー符号化する手段を取っていた。従って各エントロピー符号化ブロックは独立していた。他方、本第９の実施の形態では、同一サブバンド内に存在するすべてのエントロピー符号化ブロックのビットプレーンに跨って符号化を行う。以下、図２０を参照しながら具体的な動作を説明する。
【００８２】
図２０は、上記図１８の（Ｂ）と同様に、サブバンド内のエントロピー符号化ブロックのビットプレーンの断面（１次元）を示す図である。この図２０において、サブバンドブロックのサイズをＷS で、エントロピー符号化ブロックのサイズをＷE でそれぞれ示しており、斜線領域のブロックを２ビットだけシフトアップ（Shift-up）したことを示している。このシフトアップ（Shift-up）操作により、網線領域のビットプレーンが新たに生成されている。その結果、同サブバンド内に存在するすべてのエントロピー符号化ブロックを、MSB（図２０ではビットプレーンBp１）からLSB（ビットプレーンBp２）まで、１ビットプレーンずつエントロピー符号化した場合、前記シフト操作により最初のビットプレーンの配置とは異なったものになるため、符号化されるビットプレーンの順番が、エントロピー符号化ブロックによって異なってくる。
【００８３】
ここで、サブバンド分割されたブロックのビットプレーンを、所定のビット数分だけシフト操作した後で、同一サブバンド内に存在するすべてのエントロピー符号化ブロックのMSBからLSBの方向に、１ビットプレーンずつ順次符号化を行うことが挙げられる。
【００８４】
なお、本実施の形態によれば、復号化器側ではMSBからLSBに順番に復号化していくことで、解像度が一定で画質が如序に、段階的に向上する画質スケラビリティ復号を実現することができる。これは、回線速度の限定されているインターネットや、無線等の回線での使用では効果を発揮する。
【００８５】
また、上記サブバンド分割されたブロックは、元来入力画像の特定の空間画像領域をウェーブレット分割して生成されたものであるが、このブロック情報は、画像を構成する空間ブロック領域画像毎に、ブロック画像内の動き情報またはテキスチャの詳細度を分析する分析手段によって供することができる。
【００８６】
なお、既に述べた通り、各ビットプレーンに分割した時、各ビットプレーンは０と１の絶対値データと正負を示す符号とに分類できる。従ってこれらの絶対値データと符号とを算術符号化することで高い圧縮率を実現することができる。
【００８７】
第１０の実施の形態
この第１０の実施の形態は、上記第９の実施の形態を拡張したものである。すなわち、すでに説明したように、上記第９の実施の形態では、サブバンド毎に独立して、MSBからLSBへのビットプレーン符号化を行っていた。しかし、画像においては、一般に低域成分により大きなエネルギーが集中しており、低域サブバンドを高域サブバンドよりも重視することで、同じビットレートでも主観画質が優れたものを供することが期待できる。
【００８８】
本第１０の実施の形態では、このような考えに基づき、符号化ビットストリームを、最も分割ステージ数の多い最低域のサブバンドから、最も分割ステージ数の少ない最高域のサブバンドの方向に、エントロピー符号化ブロックの符号化ビットストリームを並べる手段を取ることにより、同一ビットレートでの主観画質を向上させることができる。また復号化器側では、本実施形態の手段により生成された符号化ビットストリームを復号して行くに従い、復号画像の解像度が段階的に大きくなるスケラビリティ復号を実現することができる。
【００８９】
第１１の実施の形態
この第１１の実施の形態においては、入力画像がインターレース画像で、上記ブロック画像分析部から分析情報によって、対象ブロックの中の動きが大きいと判断されたブロックに対しては、上述したようなシフトアップ手段を用いて、対象ブロック領域のビットプレーンのシフトを行う。
【００９０】
ここで、インターレース画像について、図２１を参照しながら説明する。現在我々が親しんでいるテレビ放送は、飛び越し走査を用いたインターレース画像であり、奇数フィールドと偶数フィールドから構成されている。図２１はこれを図示したものあり、図中のラインＬa1,Ｌa2,・・・が奇数フィールド、斜線で示すラインＬb1,Ｌb2,・・・が偶数フィールドを意味している。
【００９１】
インターレース画像は、図２１の左のフレーム（Frame） 構造のように、奇数フィールドと偶数フィールドとが１ライン毎に交互に並べられており、これをフレーム画像のまま符号化すると効率が落ちる場合がある。すなわち、インターレース画像のフレーム（Frame） 画像の場合に、被写体の動きが大きいと、奇数フィールドと偶数フィールドとの時間差があるために、図２１の左のフレーム（Frame） 構造のように奇数フィールドと偶数フィールドとの画像の間に、ずれが生じて見える。これが後段の符号化を行う際の効率の低下に繋がる。一方、図２１の右のフィールド（Field） 構造に分けることにより、ライン毎のずれは無くなり効率の低下は防げる。
【００９２】
従って、図２１の左図のまま（Frame構造のまま）符号化する場合には、ブロック内の画質を向上させるのが得策である。なお、上記分析情報とは、既に第１の実施の形態等で説明した図１のブロック画像分析部１からの分析情報１０６を用いることができる。
【００９３】
第１２の実施の形態
この第１２の実施の形態は、上述したような分析情報によって静止領域と判断されたエントロピー符号化対象ブロックについては、上記シフトアップ手段を用いて、エントロピー符号化対象ブロック領域のビットプレーンのシフトを行うようにしたものである。これは、静止領域は一般に人間の目につきやすく、静止領域での画質劣化は比較的検知され易いことを考慮したものであり、このブロック領域のビットプレーンのシフトアップを行って画質を向上させることができる。
【００９４】
第１３の実施の形態
この第１３の実施の形態は、上述したようにタイル分割してウェーブレット変換符号化を行う場合に、各タイル画像の符号化処理を、並列処理によって高速化したものである。すなわち、上記第４の実施の形態で述べたように、画面を分割したタイルはそれぞれ独立して符号化することができるので、各タイル画像の符号化処理を、並列処理すれば、高速に符号化が完了できる。例えば、複数のＣＰＵを搭載したＬＳＩ（大規模集積回路）やコンピュータシステム等では、各ＣＰＵ１個に対して、１個のタイル画像の符号化処理を割り当て、順次タイル符号化を行なう構成を取ればよい。
【００９５】
第１４の実施の形態
本発明の第１４の実施の形態について説明する。これまでに述べた実施の形態はすべて静止画の符号化手段に関するものであったが、静止画を連続させると動画になることから、上記符号化技術は動画符号化としても応用できることは自明である。その際、連続した動画像フレームを１フレームずつ分ける手段が必要になる。一般に、ＮＴＳＣ信号の場合にはアナログからデジタルへのＡＤ変換処理を行い、デジタル信号の動画像を１フレームずつ、バッファに蓄積する構成を採用する。その後、各フレーム単位に、既に述べた静止画符号化手段によって符号化を行えばよい。
【００９６】
また、複数フレーム分だけ画像をバッファリングしてから、同該ウェーブレット変換符号化を行う構成にすることもできるが、この場合はより多くのメモリ容量を必要とする。
【００９７】
第１５の実施の形態
この第１５の実施の形態では、既に述べた手段で量子化係数をエントロピー符号化ブロック毎に符号化する際、エントロピー符号化ブロックのビットプレーンは、MSBからLSBに至るプレーン数だけ存在するが、これらの各ビットプレーンを符号化する際、各ビットプレーンを複数個のサブ・ビットプレーンに分解するようにしている。
【００９８】
図２２はこれを図示したものであり、例えばMSBに相当するビットプレーンは、３つのサブ・ビットプレーンＳＢ１，ＳＢ２，ＳＢ３から構成されている。他方、その下方（下位側）のビットプレーンでは、４つのサブ・ビットプレーンＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４から構成されている。このサブ・ビットプレーンはそれぞれ別の符号化パスの処理を行い、これは任意に設定することができる。すなわち０と１のバイナリデータから成るデータ系列の分布情報から最適な算術符号化の統計データを推定しながら、符号化することが効率的であり、同手段に関しては既に学会論文等で公知になっている技術を使えばよい。
【００９９】
ここで、上記JPEG2000規格のエントロピー符号化では、３つの符号化パスが規定されており、３つの符号化パスを全て用いれば圧縮効率は最も高くなるが演算量あるいは処理時間が嵩み、符号化パスの数が少ないほど圧縮効率は低下するが演算量あるいは処理時間が短くなり、符号化パスの数を０とするときはエントロピー符号化を行わず（処理量０）、元の量子化係数データをそのまま出力することになる。このような符号化パスを上記各サブ・ビットプレーン毎に独立に選択するわけである。
【０１００】
次に、上記サブ・ビットプレーンの符号化パスが、そのサブ・ビットプレーンが存在する母体のエントロピー符号化ブロック毎に取捨選択される手段について説明する。この選択手段の基準については、後述の実施の形態で説明する。
【０１０１】
第１６の実施の形態
この第１６の実施の形態では、取捨選択されるそのサブ・ビットプレーンの符号化パスがビットプレーン毎に可変になる手段について説明する。これは、図２２において、MSBのビットプレーンに存在する３個のサブ・ビットプレーンＳＢ１，ＳＢ２，ＳＢ３は、全ての符号化パスの処理を行うのに対し、下方向（下位側）のビットプレーンに存在する４個のサブ・ビットプレーンＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４は、例えばその内の２個しか処理しない、というような取捨選択を行うことにより、画像の劣化を抑えながら符号化効率を高めるものである。
【０１０２】
これは、画像の画質に与える影響は、MSBの方がLSBよりも大きく、有意な係数であるからに他ならない。従って、符号化ビット数を削減する手段として、上記MSBのビットプレーンに存在するサブ・ビットプレーンＳＢ１，ＳＢ２，ＳＢ３の符号化パスの処理を優先して行い、他方LSB方向のビットプレーンに存在するサブ・ビットプレーンＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４の符号化パスの幾つかまたはすべてを省略することが有効である。
【０１０３】
第１７の実施の形態
この第１７の実施の形態では、取捨選択されるそのサブ・ビットプレーンの符号化パスが、そのサブ・ビットプレーンが存在するサブバンドの帯域によって可変になることを示す。
【０１０４】
例えば、図２３は、ウェーブレット変換を３ステージ行った結果生成される各サブバンドを示している。例えば、そのサブ・ビットプレーンのビットプレーンが存在する帯域がLL-0（最低域）の場合には、そのサブ・ビットプレーンの符号化パスを優先して処理を行い、他方HH-3のように高域に存在する場合には、優先度を最も低くして、符号化パスの一部またはすべてを省略する。
【０１０５】
上記操作を、画像の特定領域に相当するサブバンドに相当する符号化ブロック毎に取り行うことで、同該画像の特定領域に個別に対応した画質制御を実現することができる。
【０１０６】
第１８の実施の形態
この第１８の実施の形態では、低域のサブバンドのエントロピー符号化ブロックは、高域のサブバンドのエントロピー符号化ブロックよりも、多数のビットプレーンを符号化するようにしている。
【０１０７】
すなわち、図２３での低域LL-0のサブバンドのエントロピー符号化ブロックは、優先して多数または存在するMSBからLSBに至るすべてのビットプレーンを符号化するのに対し、高域のサブバンドのエントロピー符号化ブロックほど、符号化するビットプレーンを少なくするまたは省略するものである。
【０１０８】
これによって、画像のエネルギーが集中している低域バンドほど、優先度を高くして符号化ビットプレーンを多く符号化するので、低域が重視された画像を供することが可能になる。また、上記操作を、画像の特定領域に相当するサブバンドに相当する符号化ブロック毎に取り行うことで、該画像の特定領域に個別に対応した画質制御を実現することができる。
【０１０９】
第１９の実施の形態
この第１９の実施の形態では、低域のサブバンドのエントロピー符号化ブロックは、高域のサブバンドのエントロピー符号化ブロックよりも、各ビットプレーンの符号化において、多くのサブ・ビットプレーンの符号化パスを処理するようにしている。
【０１１０】
すなわち、図２３で示したように、最低域LL-0のサブバンドに存在するエントロピー符号化ブロックは、図２２のMSBからLSBに至る各ビットプレーンに存在するサブ・ビットプレーンの符号化パスの多くを、またはすべてを処理する。他方、最高域HH-3に向かって高域になるほど、各ビットプレーンの符号化において、サブ・ビットプレーンの符号化パスを削減する。
【０１１１】
また、この第１９の実施の形態を、上述した第１６の実施の形態で述べたMSB方向の符号化パスを重視した技術と組み合わせることも可能であり、それによってより一層細かい画質制御を実現することができる。また、上記操作を、画像の特定領域に相当するサブバンドに相当する符号化ブロック毎に取り行うことで、同該画像の特定領域に個別に対応した画質制御を実現することができる。
【０１１２】
一方、上記第１５の実施の形態における量子化係数に、上記第１の実施の形態において説明した重み係数の乗算を施すことも可能である。この場合、既に重要な画像領域に相当するサブバンドの量子化係数には、上記第１の実施の形態で述べた重み係数が乗算されているので、その結果MSB方向に係数の分布が片寄る。従って、上記第１６の実施の形態で述べたMSBからLSBに至るビットプレーン毎のサブ・ビットプレーンの符号化パスの増減の制御を行っても、MSB方向が優先される結果、その画像領域の画質は維持されることになる。
【０１１３】
これらの第１５乃至第１９の実施の形態によれば、特定画像領域のサブバンド中に存在するエントロピー符号化ブロック毎に、MSBからLSBに至るビットプレーンの増減、MSBからLSBに至るビットプレーン毎のサブ・ビットプレーンの符号化パスの増減、低域から高域へのサブ・ビットプレーンの符号化パスの増減の手段を使い分けることで、画質制御をきめ細かく実現でき、高画質を維持できる。
【０１１４】
以上説明したような本発明の各実施の形態の具体的な応用例としては、電子カメラ、ビデオカメラ、監視画像用ビデオコーデック（CODEC:符号化・復号器）、放送用VTRのコーデック、携帯・移動体画像送受信端末（ＰＤＡ）、プリンタ、衛星画像・医療用画像等のコーデックまたはそのソフトウェアモジュール、ゲーム、３次元CGで用いるテキスチャの圧縮・伸長器またはそのソフトウェアモジュール等が挙げられる。
【０１１５】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１１６】
【発明の効果】
本発明によれば、入力画像をライン毎にメモリ手段に書き込んで蓄積し、上記メモリ手段に蓄積された画像がウェーブレット変換に要するライン数に達する毎に水平・垂直方向のウェーブレット変換を施し、上記ウェーブレット変換工程により得られたウェーブレット変換係数を量子化し、得られた量子化係数のサンプル数がエントロピー符号化に要する大きさに達したときにエントロピー符号化するようにし、上記量子化の際には、上記ウェーブレット変換の際に生成されたサブバンド毎に予め用意されたテーブルの重み係数と、画像を構成するブロック領域画像毎に求めた重み係数との少なくとも一方を用いて、量子化を行うようにしているため、画像のブロック単位での細かい画像制御が行え、画質の向上及び符号化効率の向上が図れる。
【０１１７】
また、本発明によれば、入力画像をライン毎にメモリ手段書き込んで蓄積し、上記メモリ手段に蓄積された画像がウェーブレット変換に要するライン数に達する毎に水平・垂直方向のウェーブレット変換を施し、得られたウェーブレット変換係数を量子化し、上記入力画像のブロック領域毎にブロック画像内の動き情報又はテキスチャの詳細度を分析し、上記量子化により得られた量子化係数のサンプル数がエントロピー符号化に要する大きさに達したときにエントロピー符号化することにより、ブロック画像内の動き情報又はテキスチャの詳細度に応じてブロック単位での画像制御が行え、画質及び符号化効率の向上が図れる。
【０１１８】
また、本発明によれば、入力画像をライン毎にメモリ手段に書き込んで蓄積し、上記メモリ手段に蓄積された画像がウェーブレット変換に要するライン数に達する毎に水平・垂直方向のウェーブレット変換を施し、得られたウェーブレット変換係数を量子化し、得られた量子化係数をMSBからLSBまでのビットプレーンに分解し、同一サブバンド内に存在する複数個のサブバンド分割されたブロックのビットプレーンを、所定のビット数分だけシフトし、シフト操作された量子化係数のサンプル数が所定の大きさに達した時に、エントロピー符号化ブロック毎に順番に、当該エントロピー符号化ブロックのビットプレーンをエントロピー符号化することにより、ブロック単位で量子化制御が行える。
【０１１９】
さらに、本発明は、入力画像をライン毎にメモリ手段に書き込んで蓄積し、上記メモリ手段に蓄積された画像がウェーブレット変換に要するライン数に達する毎に水平・垂直方向のウェーブレット変換を施し、上記ウェーブレット変換工程により得られたウェーブレット変換係数を量子化し、得られた量子化係数をMSBからLSBまでのビットプレーンに分解し、上記量子化係数のサンプル数が所定の大きさに達した時にエントロピー符号化を行ようにし、上記エントロピー符号化の際には、同一サブバンド内に存在する複数個のエントロピー符号化ブロックのビットプレーンにおいて、MSBからLSBのビットプレーンの一部分を分割・抽出し、抽出された部分ビットプレーンをMSBからLSBに向かって符号化を行った後、上記部分ビットプレーンに相当する部分符号化ビットストリームを生成することにより、量子化制御が実現できるので、画質制御が正確に行える。
【０１２０】
すなわち、本発明によれば、画面を構成する空間ブロックの分析情報に応じて、同ブロックをウェーブレット変換して生成されたサブバンド内の係数を操作することで、最適な量子化制御ができるので、これまで困難とされてきた部分領域毎の画質制御をウェーブレット変換符号化装置で実現できる。
【０１２１】
また、本発明によれば、上記量子化制御において、予め用意されたサブバンド毎の重み係数を量子化係数に乗算する他、量子化係数をビットプレーンに分解し、同ビットプレーンをMSBからLSBの方向に符号化する順番を、エントロピー符号化ブロック毎に可変にすることで、量子化制御が実現でき、これによって画質制御が正確に行える。
【０１２２】
また、本発明によれば、複数フレーム対応の動画像符号化装置に応用することもできるので、１つの符号化器で静止画・動画に対応できる、安価な装置の提供が可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図２】ウェーブレット変換符号化の動作を説明するための図である。
【図３】ウェーブレット変換符号化の図２に続く動作を説明するための図である。
【図４】ウェーブレット変換符号化の図３に続く動作を説明するための図である。
【図５】ウェーブレット変換符号化の図４に続く動作を説明するための図である。
【図６】２次元画像の帯域分割（分割レベル＝３）を説明するための図である。
【図７】図１の係数量子化部３の具体的な構成例を示すブロック図である。
【図８】図１の係数量子化部３の具体的な構成の他の例を示すブロック図である。
【図９】所定の空間画像ブロックの各サブバンド毎の対応領域を示す図である。
【図１０】係数をビットプレーンに展開した一例を示す図である。
【図１１】本発明の第３の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１２】本発明の第４の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１３】タイルベースのウェーブレット変換符号化の概念を説明するための図である。
【図１４】オーバーラップ型ウェーブレット符号化の際の畳み込み演算を説明するための図である。
【図１５】対称畳み込み演算の概念を説明するための図である。
【図１６】画素の対称畳み込み演算を施すウェーブレット符号化の概念を説明するための図である。
【図１７】点対称畳み込み演算の概念を説明するための図である。
【図１８】画像をウェーブレット分割してできたあるサブバンドとそのビットプレーンを示す図である。
【図１９】特定画像領域をサブバンド分割したブロックのビットプレーンのシフト操作を説明するための図である。
【図２０】サブバンド内に存在するエントロピー符号化ブロックのビットプレーン符号化を説明するための図である。
【図２１】インターレース画像の場合のフレーム画像及びフィールド画像を説明するための図である。
【図２２】ビットプレーンとその中のサブ・ビットプレーンを示す図である。
【図２３】ウェーブレット変換後に生成されるサブバンド領域を示す図である。
【符号の説明】
１  ブロック画像分析部、  ２  ウェーブレット変換部、  ３  係数量子化部、  ４  エントロピー符号化部、  ５  制御部、  ６  メモリ部、  ７  全画面ウェーブレット変換部、  ８  ブロック係数抽出部、  ９  ブロック係数量子化部、  １０  タイル分割部、  １１  バッファ部、  １２  タイルベース・ウェーブレット変換部、  １３  スカラ量子化部、  １４  ブロック領域重み係数変更部、  １５  サブバンド別重み係数テーブル、  １６  ブロック領域重み係数算出部、  １７  ブロック領域重み係数演算部、  １８  全画像データ読み出しメモリ部、  １９  変換係数バッファ部
【図１】
0004254017.tif 000002
【図２】
0004254017.tif 000003
【図３】
0004254017.tif 000004
【図４】
0004254017.tif 000005
【図５】
0004254017.tif 000006
【図６】
0004254017.tif 000007
【図７】
0004254017.tif 000008
【図８】
0004254017.tif 000009
【図９】
0004254017.tif 000010
【図１０】
0004254017.tif 000011
【図１１】
0004254017.tif 000012
【図１２】
0004254017.tif 000013
【図１３】
0004254017.tif 000014
【図１４】
0004254017.tif 000015
【図１５】
0004254017.tif 000016
【図１６】
0004254017.tif 000017
【図１７】
0004254017.tif 000018
【図１８】
0004254017.tif 000019
【図１９】
0004254017.tif 000020
【図２０】
0004254017.tif 000021
【図２１】
0004254017.tif 000022
【図２２】
0004254017.tif 000023
【図２３】
0004254017.tif 000024