(57)【要約】 【課題】  ウェーブレット変換のハードウェア構成を増加させることなく画質や圧縮率の選択の自由度を高める。【解決手段】  入力画像データ１００を最上位ラインから順番に１ライン毎、またはある特定の領域だけ読み出して、データ読み出しメモリ部１に入力する。データ読み出しメモリ部１に所定のデータが蓄積された時点で、ウェーブレット変換部５で水平・垂直方向へのウェーブレット変換フィルタ処理が施される。ウェーブレット変換部５は、データ読み出しメモリ部１からのデータを切り替え部２で切り替え制御して、固定小数点型ウェーブレット変換部３、整数型ウェーブレット変換部４のいずれか一方に送るようにしている。ウェーブレット変換部５からの出力は符号化される。【選択図】  図１
2006295954.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データを符号化する画像符号化装置において、
上記画像データの複数ラインを最上位ラインから順に記録する記録手段と、
上記記録手段から読み出された複数ライン毎にウェーブレット変換処理を施すウェーブレット変換手段と、
上記ウェーブレット変換手段の結果に対して符号化処理を施す符号化手段を有し、
上記記録手段から読み出された複数ライン毎に上記ウェーブレット変換手段及び上記符号化手段による処理を順次実行することを特徴とする画像符号化装置。
【請求項２】
上記ウェーブレット変換手段は、ビットシフト器とウェーブレット変換器とを有して構成される固定小数点型ウェーブレット変換手段と、ウェーブレット変換器のみを有して構成される整数型ウェーブレット変換手段とを備えることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
上記整数型ウェーブレット変換手段のウェーブレット変換手段と上記固定小数点型ウェーブレット変換手段のウェーブレット変換手段とは、同じ構成を有していることを特徴とする請求項２記載の画像符号化装置。
【請求項４】
可逆符号化を行う際には、上記整数型ウェーブレット変換手段を選択し、非可逆符号化を行う場合には、上記固定小数点型ウェーブレット変換手段を選択することを特徴とする請求項１記載の画像符号化装置。
【請求項５】
入力された画像データを符号化する画像符号化方法において、
上記画像データの複数ラインを最上位ラインから順に記録する記録工程と、
上記記録工程から読み出された複数ライン毎にウェーブレット変換処理を施すウェーブレット変換工程と、
上記ウェーブレット変換工程の結果に対して符号化処理を施す符号化工程を有し、
上記記録工程から読み出された複数ライン毎に上記ウェーブレット変換工程及び上記符号化工程を順次実行することを特徴とする画像符号化方法。
【請求項６】
入力された符号化画像データに対して復号処理を施す画像復号装置において、
上記符号化画像データを複数ライン毎に記録する記録手段と、
上記記録手段から読み出された複数ライン毎に復号処理を施す復号手段と、
上記復号手段の結果に対してウェーブレット逆変換処理を施すウェーブレット逆変換手段を有し、
上記記録手段から読み出された複数ライン毎に上記復号処理手段及び上記ウェーブレット逆変換処理手段による処理を順次実行することを特徴とする画像復号装置。
【請求項７】
上記ウェーブレット逆変換手段は、固定小数点型ウェーブレット逆変換手段と整数型ウェーブレット逆変換手段とを備え、
上記固定小数点型ウェーブレット逆変換手段は、ビットシフト器とウェーブレット逆変換器とを有して構成され、
上記整数型ウェーブレット逆変換手段は、ウェーブレット逆変換器のみを有して構成されていることを特徴とする請求項６記載の画像復号装置。
【請求項８】
入力された符号化画像データに対して復号処理を施す画像復号方法において、
上記符号化画像データを複数ライン毎に記録する記録工程と、
上記記録工程から読み出された複数ライン毎に復号処理を施す復号工程と、
上記復号工程の結果に対してウェーブレット逆変換処理を施すウェーブレット逆変換工程を有し、
上記記録工程から読み出された複数ライン毎に上記復号処理工程及び上記ウェーブレット逆変換処理工程を順次実行することを特徴とする画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェーブレット変換を用いて静止画または動画像を高能率に符号化する画像符号化装置及び方法並びに画像復号装置及び方法に関する。
【背景技術】
【０００２】
従来の代表的な画像圧縮方式としては、ＩＳＯ（国際標準化機構：International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic Coding Experts Group） 方式がある。このＪＰＥＧ方式とは、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform） を用いて主に静止画を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には、良好な符号化・復号画像を供することが知られている。ただしこの方式においては、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近においては、画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタを組み合わせたフィルタによって複数の帯域に分割し、それらの帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴで問題とされた高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
また、動画像符号化ではＭＰＥＧ（Moving Picture image coding Exparts Group） 方式があり、現在のところＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４が知られているが、特にＭＰＥＧ−２は、ＤＶＤ（Dgital Versatile Disc） のビデオ圧縮等に広く使われている。これらＪＰＥＧ、ＭＰＥＧの符号化手段としては、ＤＣＴの処理単位である８×８のブロック数個から構成されるマクロブロック（通常１６×１６）毎に符号化制御が行なわれている。
【０００５】
現在、電子スチルカメラやビデオムービ等の製品では、圧縮符号化にＪＰＥＧ方式やＭＰＥＧ方式、あるいはいわゆるＤＶ（Digital Video） 方式を採用するものが多く、これらの圧縮符号化方式はいずれも変換方式にＤＣＴを用いている。今後ウェーブレット変換をベースにした上記製品が市場に出現するものと推測されるが、符号化方式の効率向上のための検討は、各研究機関で盛んに行われている。実際、ＪＰＥＧの後継とも言える次世代の静止画国際標準方式として期待されているJPEG2000（ＪＰＥＧと同じ組織であるISO/IEC/JTC1SC29/WG1によって作業中）は、2000年１２月にPart-1の標準化勧告が出される予定のフォーマットである。このJPEG2000では、画像圧縮の基本である変換方式として、既存のＪＰＥＧのＤＣＴに代わり、ウェーブレット変換を採用することが決まっている。
【０００６】
このJPEG2000の規格については、非特許文献１に開示されている。
【０００７】
【非特許文献１】Osama K. Al-Shaykh, Iole Moccagatta, and Homer Chen, "JPEG-2000：A New Still Image Compression Standard", Conference Record of the Thirty-Second Asilomar Conference on Signals, Systems & Computers, 1998, 1 Nov. 1998, vol.1
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ウェーブレット変換を用いて、静止画のみならず動画像でも高品質な符号化画像を得ようとする場合には、次に述べるような問題点を解決することが重要である。すなわち、
(1) JPEG-2000のPart-1 のＦＣＤ（Final Committee Draft） において、2000年７月現在規定されているウェーブレット変換のフィルタは２つある。１つは可逆変換用の整数型（Integer）5x3フィルタであり、もう１つは非可逆の浮動小数点型（Float）7x9フィルタである。
(2) 整数型（Integer）5x3フィルタに比べて、浮動小数点型（Float）7x9フィルタの構成上の複雑度は高く、両者を併用してハードウェア化するには問題がある。しかも後者の浮動小数点精度まで保証する場合には、専用の浮動小数点演算器が必要になり、さらにハードウェアの回路規模の増大に繋がる問題がある。
(3) 他方、実験の結果、上記整数型（Integer）5x3フィルタの固定小数点精度化である固定小数点型（Fixed-point）5x3フィルタは、符号化効率が上記浮動小数点型（Float）7x9フィルタと遜色がない優れた性能を有しているだけでなく、整数型（Integer）5x3フィルタと内部の演算器の共通部分が多い。従って、両者を備えることによって、符号化効率も犠牲にせず、ハードウェア化の増加を最小限に抑えることができる効果がある。
(4) JPEG-2000のPart-1 ＦＣＤでは、上記整数型（Integer）5x3フィルタの演算式が記述されており、この手順に従えばウェーブレット変換係数を生成することができる。しかし、固定小数点型（Fixed-point）5x3フィルタの演算手段については記述が無く、両者の互換を取ることは前記回路の共通化とも関係し、非常に重要である。
【０００９】
本発明は、上述のような実情に鑑みて提案されたものであって、ウェーブレット変換のハードウェア構成を増加させることなく画質や圧縮率の選択の自由度を高め得るような画像符号化装置及び方法並びに画像復号装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の課題を解決するために、本発明は、入力された画像データを符号化する画像符号化装置において、上記画像データの複数ラインを最上位ラインから順に記録する記録手段と、上記記録手段から読み出された複数ライン毎にウェーブレット変換処理を施すウェーブレット変換手段と、上記ウェーブレット変換手段の結果に対して符号化処理を施す符号化手段を有し、上記記録手段から読み出された複数ライン毎に上記ウェーブレット変換手段及び上記符号化手段による処理を順次実行することを特徴とする。
【００１１】
ここで、上記ウェーブレット変換手段は、ビットシフト器とウェーブレット変換器とを有して構成される固定小数点型ウェーブレット変換手段と、ウェーブレット変換器のみを有して構成される整数型ウェーブレット変換手段とを備えることが好ましく、上記整数型ウェーブレット変換手段のウェーブレット変換手段と上記固定小数点型ウェーブレット変換手段のウェーブレット変換手段とは、同じ構成を有していることが好ましい。また、可逆符号化を行う際には、上記整数型ウェーブレット変換手段を選択し、非可逆符号化を行う場合には、上記固定小数点型ウェーブレット変換手段を選択することが好ましい。
【００１２】
また、本発明は、上記目的を達成するため、入力された符号化画像データに対して復号処理を施す画像復号装置において、上記符号化画像データを複数ライン毎に記録する記録手段と、上記記録手段から読み出された複数ライン毎に復号処理を施す復号手段と、上記復号手段の結果に対してウェーブレット逆変換処理を施すウェーブレット逆変換手段を有し、上記記録手段から読み出された複数ライン毎に上記復号処理手段及び上記ウェーブレット逆変換処理手段による処理を順次実行することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像データの複数ラインの最上位ラインから順に記録された記録手段から読み出された複数ライン毎にウェーブレット変換処理を施し、ウェーブレット変換の結果に対して符号化処理を施し、記録手段から読み出された複数ライン毎にウェーブレット変換処理及び符号化処理を順次実行することにより、フィルタリングに必要なだけライン数が蓄積されれば、直ちにウェーブレット変換フィルタ処理が実行でき、ハードウェア構成を簡略化できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係る画像符号化装置及び方法並びに復号装置及び方法の実施の形態について、図面を参照しながら説明する。以下の実施の形態では、特に、画像符号化装置に用いられるウェーブレット変換装置、及び画像復号装置に用いられるウェーブレット逆変換装置について詳細に説明する。
【００１５】
第１の実施の形態
本発明の第１の実施の形態となる画像符号化装置に用いられるウェーブレット変換装置の構成例を図１に示す。
【００１６】
この図１において、入力画像データ１００を所定の領域だけメモリに読み出し蓄積するデータ読み出しメモリ部１と、このデータ読み出しメモリ部１にデータが蓄積され次第これら画像領域に対し水平または垂直方向のウェーブレット変換フィルタをかけるウェーブレット変換部５とを有している。ウェーブレット変換部５は、固定小数点型ウェーブレット変換部３と、整数型ウェーブレット変換部４とを有し、データ読み出しメモリ部１からの出力を切り替え部２で切り替えてこれらの固定小数点型ウェーブレット変換部３、又は整数型ウェーブレット変換部４に送るような構成としている。
【００１７】
次に、この図１の構成を有する第１の実施の形態の動作を説明する。  
先ず、入力画像データ１００を最上位ラインから順番に１ライン毎、またはある特定の領域だけ読み出して、データ読み出しメモリ部１に入力する。データ読み出しメモリ部１に所定のデータが蓄積された時点で、ウェーブレット変換部５で水平・垂直方向へのウェーブレット変換フィルタ処理が施される。通常は、ウェーブレット変換のフィルタリングを行うのに用いるフィルタは複数タップのフィルタであり、このフィルタリングに必要なだけライン数が蓄積されれば、直ちに上記ウェーブレット変換フィルタ処理が実行できる。
【００１８】
ウェーブレット変換部５内で、固定小数点型ウェーブレット変換部３が選択された場合には、切り替え部２は被選択端子ａ側に切換接続され、データ読み出しメモリ部１からの出力データ１０１は、入力データ１０２として固定小数点型ウェーブレット変換部３に送られ、この固定小数点型ウェーブレット変換部３でウェーブレット変換処理が施され、変換係数１０７が出力される。他方、整数型ウェーブレット変換部４が選択された場合には、切り替え部２は被選択端子ｂ側に切換接続され、データ読み出しメモリ部１からの出力データ１０１は、入力データ１０３として整数型ウェーブレット変換部４に送られてウェーブレット変換処理が施され、変換係数１０８が出力される。
【００１９】
なお、第１の実施の形態を示す図１においては、固定小数点型ウェーブレット変換部３と整数型ウェーブレット変換部４とは、それぞれ独立した構成として図示しているが、実際には、両者は構成の多くを共通化することができる。この構成の共通化については後で説明する。
【００２０】
第２の実施の形態
本発明の第２の実施の形態は、上記第１の実施の形態で説明した固定小数点型ウェーブレット変換部３を具体化したものであり、この固定小数点型ウェーブレット変換部３の構成の一例を図２に示す。
【００２１】
すなわち、図２は、上記図１の構成における固定小数点型ウェーブレット変換部３の構成例を示すものであり、この図２の固定小数点型ウェーブレット変換部３は、ビットシフト器６とウェーブレット変換器７とを有して構成されている。ビットシフト器６は、入力画像データに対して１回使用されるものであり、例えば図３の（Ａ）に示すように、入力データを固定小数点精度のデータにビットシフト処理する。この図３の（Ａ）中の点Ｐが固定小数点の位置を示し、この点Ｐより上位側（図中左側）のビットが整数部、下位側（図中右側）のビットが小数部となる。図３の（Ａ）の例では、小数部が６ビットあるので、１／２６ ＝１／６４の精度で固定小数点精度が確保できることになる。また、図３の（Ａ）の例では、整数部が８ビットのデータを取り扱うものとし、全体として１６ビットの計算を行うもの（演算精度が１６ビット）としており、最上位側（図中左端側）に２ビットのガードビット（Guard-bit） を備えているが、この内の１ビットは符号（＋／−）を示し、もう１ビットはオーバーフロー（Overflow）回避のためのビットとして用意したものである。
【００２２】
これに対して、図３の（Ｂ）は、整数精度の計算の例を示し、最下位（図中右端）のビットまでが整数部として用いられるので、上記小数点を示す点Ｐは右端（最下位側）に存在する。また、この整数精度の計算では、上記符号（＋／−）を示すビットだけを備える。
【００２３】
再び図２に戻って、動作を説明する。  
この図２のビットシフト器６は、入力データ１０２が画像データのとき、すなわち、最初にウェーブレット変換を施す前の画像データに対して動作し、それ以降は動作することは無い。すなわち、複数段のウェーブレット変換を施すとき、既に少なくとも１回の（１段の）ウェーブレット変換が施されたウェーブレット変換係数としてのデータ１０２がそのままウェーブレット変換器入力１０９として用いられるように、ビットシフト器６を通過する構成になっている。
【００２４】
また、上記図１の整数型ウェーブレット変換部４は、図２のビットシフト器６を持たない、ウェーブレット変換器７のみから構成される。
【００２５】
ここで、一般的なウェーブレット変換・逆変換の構成及び動作の一例について、図面を参照しながら説明する。
【００２６】
先ず、通常のウェーブレット変換部の構成として、図４が挙げられる。この図４の例は、幾つかある手法の中で最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに亘って行う構成例を示している。なお、この図４の場合は、レベル数が３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っている。また図４では、便宜上１次元の信号（例えば画像の水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元画像信号に対応することができる。
【００２７】
図４に示すウェーブレット変換部への入力画像信号２２０は、まずローパスフィルタ２１（伝達関数Ｈ０(ｚ)）とハイパスフィルタ２２（伝達関数Ｈ１(ｚ)）とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ２３ａ、２３ｂによって、解像度がそれぞれ２分の１倍に間引かれる（レベル１）。この時の出力がＬ成分２２１とＨ成分２２６の２つである。ここで、上記ＬはLow で低域、ＨはHighで高域を示す。この図４のローパスフィルタ２１、ハイパスフィルタ２２、及び２個のダウンサンプラ２３ａ、２３ｂによってレベル１の回路部２０１が構成されている。
【００２８】
上記ダウンサンプラ２３ａ、２３ｂによりそれぞれ間引かれた信号の内の低域成分、すなわちダウンサンプラ２３ａからの信号のみが、さらに、レベル２の回路部２０２のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンプラによって、解像度をそれぞれ２分の１倍に間引かれる（レベル２）。これらのレベル２のローパスフィルタ、ハイパスフィルタ及びダウンサンプラから成る回路部２０２としては、上記レベル１のローパスフィルタ２１、ハイパスフィルタ２２及びダウンサンプラ２３ａ、２３ｂから成る回路部２０１と同様な構成が用いられる。
【００２９】
このような処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。レベル２で生成された帯域成分は、LL成分２２２とLH成分２２５である。図４はレベル３まで帯域分割する例が示されており、レベル２の回路部２０２のローパスフィルタ側のダウンサンプラからの出力が、上記回路部２０１と同様な構成のレベル３の回路部２０３に供給されている。このようにレベル３まで帯域分割した結果、LLL成分２２３、LLH成分２２４、LH成分２２５、Ｈ成分２２６が生成されている。
【００３０】
次に図５は、この図４に示すウェーブレット変換部に対して逆の動作を行うウェーブレット逆変換部の具体的な構成例を示している。
【００３１】
すなわち、上記図４で説明したウェーブレット変換部２の出力である各帯域成分２２３、２２４、２２５、２２６は、図５のウェーブレット逆変換部に入力されると、まず上記LLL成分２２３及びLLH成分２２４が、それぞれアップサンプラ２４ａ、２４ｂによって２倍の解像度にアップサンプルされる。引き続いて低域成分はローパスフィルタ２５、高域成分はハイパスフィルタ２６によってフィルタリングされて、加算器２７において、両者の帯域成分は合成される。ここまでの回路部２０６により、上記図４のレベル３の回路部２０３での変換の逆の処理としての逆変換が完了して、レベル２の低域側の帯域成分であるLL成分２２７が得られる。この処理を以後レベル１まで繰り返すことで、最終的な逆変換後の復号画像２２９が出力されることになる。すなわち、レベル２の回路部２０７及びレベル１の回路部２０８は、上記レベル３の回路部２０６と同様な構成を有し、レベル３の回路部２０６の出力がレベル２の回路部２０７の低域側の入力として、また、レベル２の回路部２０７の出力がレベル１の回路部２０８の低域側の入力として、それぞれ送られる。以上が、通常のウェーブレット逆変換部の基本構成である。
【００３２】
ここで図６は、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。この図６でのＬ及びＨの表記法は、１次元信号を扱った図４、図５でのＬ及びＨの表記法とは異なる。すなわち図６では、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分LL、LH、HL、HHに分かれる。ここでLLは水平・垂直成分が共にＬであること、LHは水平成分がＨで垂直成分がＬであることを意味している。次に、LL成分は再度帯域分割されて、LLLL、LLHL、LLLH、LLHHが生成される。さらに、LLLL成分は再度帯域分割されて、LLLLLL、LLLLHL、LLLLLH、LLLLHHが生成される。なお、図６のＴＬＬＬＬＬＬ、ＴＬＬＬＬＨＬ、ＴＬＬＬＬＬＨ、ＴＬＬＬＬＨＨ、ＴＬＬＨＬ、ＴＬＬＬＨ、ＴＬＬＨＨ、ＴＬＨ、ＴＨＬ、ＴＨＨは、各サブバンド毎の重み係数を示している。また、図６のように、低域成分を階層的に分割する以外に、全帯域を均等に分割することも行われる。
【００３３】
第３の実施の形態
次に、本発明の第３の実施の形態について説明する。この第３の実施の形態は、上記図１の整数型ウェーブレット変換部３と固定小数点型ウェーブレット変換部４とについて、内部のウェーブレット変換器の構成を同じにするものである。以下、整数型ウェーブレット変換と固定小数点型ウェーブレット変換とのそれぞれの具体的な演算について説明する。
【００３４】
先ず、図７を用いて、JPEG-2000 Part-1のＦＣＤ（Final Committee Draft） で規定されている整数精度型5x3 フィルタ（分析側）による整数型ウェーブレット変換演算について説明する。図７は、整数精度型の5x3 フィルタの演算を説明するための図であり、１次元のウェーブレット変換を行い、図中左端の入力画像データを低域成分ｓと高域成分ｄとに変換する動作を示している。以下、同図を用いて詳細動作を説明する。ここで、ｄｍｎをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。同様に、ｓｍｎをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。なお、ｎ＝０の場合は、図７にも示すように、入力画像そのものである。
【００３５】
この図７に示すように、低域成分係数ｓの算出式は、一般的に、
ｓｍ＋１ｎ＋１ ＝ ｓｍ＋１ｎ＋((ｄｍｎ＋１＋ｄｍ＋１ｎ＋１＋２)／４)・・・・・（１）
で与えられる。ここで、式中の１／４の演算は、ビットシフトによって実現でき、２ビット右シフトを「>>２」で表記するとき、上記式（１）は、
ｓｍ＋１ｎ＋１ ＝ ｓｍ＋１ｎ＋((ｄｍｎ＋１＋ｄｍ＋１ｎ＋１＋２)  >>２)・・・・・（１'）
のように表せる。なお、上記式（１）の括弧内の＋２は、右シフトの際に生じる丸め誤差に対する補償を行うためのものである。
【００３６】
また、高域成分係数ｄの算出式は、一般的に、
ｄｍｎ＋１ ＝ ｄｍｎ−((ｓｍｎ＋ｓｍ＋１ｎ)／２）        ・・・（２）
あるいは、１ビット右シフトを「>>１」で表して、
ｄｍｎ＋１ ＝ ｄｍｎ−((ｓｍｎ＋ｓｍ＋１ｎ) >>１）       ・・・（２'）
で与えられる。
【００３７】
ここで、図７の例では、入力画像データに対して初段のウェーブレット変換係数、すなわち、レベルｎ＝１の低域成分係数及び高域成分係数を計算しており、この場合の入力画像データのｓ、ｄは、低域成分係数、高域成分係数を表すものではない。また、画面の端部に相当する位置では、画面外部に相当するデータを画面外部のデータの折り返しで用いている。例えば、図７中のデータｓ０１を求めるためには、ｓ００と、ｄ０１と、さらにｄ０１の折り返しとしての同じｄ０１とを用いている。またｄ７１を求めるためにｓ７０を２つ用いるのも同様である。
【００３８】
図７中の破線で囲った部分ＳＰは、上記式（１）におけるｎ＝０，ｍ＝１に相当する低域成分係数ｓ２１を求めている部分であり、
ｓ２１ ＝ ｓ２０＋((ｄ１１＋ｄ２１＋２)／４)
の計算が行われている。また、図７中の破線で囲った部分ＤＰは、上記式（２）のｎ＝０，ｍ＝０に相当する高域成分係数ｄ０１を求めている部分であり、
ｄ０１ ＝ ｄ００−((ｓ００＋ｓ１０)／２）
の計算が行われている。ここで、１／４乗算は２ビット右シフト「>>２」により、また１／２乗算は１ビット右シフト「>>１」によりそれぞれ実現できることは、上述した通りである。
【００３９】
上述した式（１）、（２）を計算するために要する演算量は、乗算を上記シフト演算で実現するとして、乗算０、加減算５、シフト演算２となる。この動作を上から下まで同様に行うことですべての係数を算出することができる。なお、既に述べたように、画像のような２次元信号に対しては、１次元方向（例えば垂直方向）のウェーブレット変換で生成された係数群に対して、もう１方向（例えば水平方向）に、上記と同様にウェーブレット変換を施せば良い。
【００４０】
次に、図８を用いて、固定小数点精度の5x3 フィルタを用いた分析側の固定小数点型ウェーブレット変換演算について説明する。図８は、１次元のウェーブレット変換を行い、左端の入力画像データを低域成分ｓと高域成分ｄとに変換する動作を示している。以下、同図を用いて詳細動作を説明する。ここで、ｄｍｎをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。ｎ＝０の場合は、図より入力画像であることは明らかである。同様に、ｓｍｎをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。
【００４１】
この図８から明らかなように、低域成分係数ｓの算出式は、一般的に、
ｓｍ＋１ｎ＋１ ＝ ｓｍ＋１ｎ＋β×(ｄｍｎ＋１＋ｄｍ＋１ｎ＋１＋２)    ・・・（３ａ）
または、
ｓｍ＋１ｎ＋１ ＝ ｓｍ＋１ｎ＋β×(ｄｍｎ＋１＋ｄｍ＋１ｎ＋１)        ・・・（３ｂ）
で与えられる。
【００４２】
同様に、高域成分係数ｄの算出式は、一般的に、
ｄｍｎ＋１ ＝ ｄｍｎ−α×(ｓｍｎ＋ｓｍ＋１ｎ）          ・・・（４）
で与えられる。
【００４３】
ここでα＝0.5、β＝0.25 となり、高域成分にあたるｄは分析側ではNyquist gain＝２なので、Nyquist gain＝１になるようにゲイン調整する。これが高域成分係数ｄに、SＨ＝−0.5 を乗算する理由である。また、前述の整数精度5x3 フィルタの場合は、ゲイン調整をすると、可逆変換が保証されないため、ゲイン調整をしなくてよい。なお、この周辺の技術については、一般のデジタル信号処理技術として知られていることである。
【００４４】
なお、画面端部の位置のデータを算出する際に、画面外部のデータが必要になるとき、隣接する画面内部のデータを折り返して用いる（例えば図８のｓ０１を求めるためのｄ０１）ことは前述の図７の場合と同様であり、後述する図９、図１０でも同様である。
【００４５】
次に、上記式（３ａ）と（３ｂ）との違いについて述べる。固定小数点精度の5x3 フィルタでは、整数精度に比べて高精度になるので、整数精度の5x3 フィルタで説明した＋２の丸めを行う場合の式（３ａ）（互換）と、＋２を付けない式（３ｂ）（非互換）の両方が考えられる。
【００４６】
この固定小数点精度の5x3 フィルタと、上述した整数精度の5x3 フィルタとの間で、演算手段の構成を共通化する場合には、上記式（３ａ）を用いることが必要である。すなわち、固定小数点精度の5x3 フィルタに用いられるウェーブレット変換器として、上記式（３ａ）の演算を行う構成を用いる場合は、上記整数精度の5x3 フィルタに用いられるウェーブレット変換器としても共通に使用することができる。
【００４７】
このような図８と共に説明した固定小数点精度の5x3 フィルタにおいて、低域成分、高域成分の１組の係数を生成するのに要する演算量は、乗算３、加減算５（互換）、または加減算４（非互換）となる。
【００４８】
第４の実施の形態
次に、本発明の第４の実施の形態を説明する。この第４の実施の形態は、上記第３の実施の形態が、ウェーブレット変換の分析フィルタに関する内容であったのに対し、合成側のウェーブレット逆変換フィルタ（合成フィルタ）を具体化したものである。先ず、図９を用いて、JPEG-2000 のPart-１のＦＣＤで規定されている整数精度型5x3 フィルタ（合成側）の演算について説明する。
【００４９】
図９は、整数精度型の5x3 合成フィルタの演算を説明するための図であり、１次元のウェーブレット変換を行い、図中左端の低域成分ｓと中央部の高域成分ｄとから、図中右端の出力画像データを算出する様子を示している。この図９において、ｄｍｎをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。同様に、ｓｍｎをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。ここで、ｎ＝０の場合は、図９にも示すように出力画像となるものである。
【００５０】
この図９にも示すように、１つ下位レベルの低域成分係数ｓの算出式は、一般的に、
ｓｍ＋１ｎ ＝ ｓｍ＋１ｎ＋１−((dｍｎ＋１＋ｄｍ＋１ｎ＋１＋２)／４)    ・・・（５）
で与えられる。ここで、この式（５）中の１／４の乗算をビットシフトで実現し、２ビット右シフトを「>>２」で表記するとき、上記式（５）は、
ｓｍ＋１ｎ ＝ ｓｍ＋１ｎ＋１−((dｍｎ＋１＋ｄｍ＋１ｎ＋１＋２)>>２)    ・・・（５'）
のように表せる。式（５）あるいは（５'） の括弧内の＋２は、右シフトの際に生じる丸め誤差に対するものであるが、これは既に上記第３の実施の形態で述べた分析側の丸め処理と表裏一体のものである。この丸め処理が分析・合成側で一致していることが、可逆性を保持するために必要となることは勿論である。
【００５１】
同様に、高域成分係数ｄの算出式は、一般的に、
ｄｍｎ ＝ ｄｍｎ＋１＋((ｓｍｎ＋ｓｍ＋１ｎ)／２）        ・・・（６）
あるいは、１ビット右シフトを「>>１」で表して、
ｄｍｎ ＝ ｄｍｎ＋１＋((ｓｍｎ＋ｓｍ＋１ｎ) >>１）       ・・・（６'）
で与えられる。
【００５２】
ここで、図９中の破線で囲った部分ＳＰは、上記式（５）におけるｎ＝０，ｍ＝１に相当する低域成分係数ｓ２０を求めている部分であり、
ｓ２０ ＝ ｓ２１−((ｄ１１＋ｄ２１＋２)／４)
の計算が行われている。また、図７中の破線で囲った部分ＤＰは、上記式（２）のｎ＝０，ｍ＝０に相当する高域成分係数ｄ００を求めている部分であり、
ｄ００ ＝ ｄ０１＋((ｓ００＋ｓ１０)／２）
の計算が行われている。ここで、１／４乗算は２ビット右シフト「>>２」により、また１／２乗算は１ビット右シフト「>>１」によりそれぞれ実現できることは、上述した通りである。
【００５３】
上述した式（５）、（６）、特に、シフト演算を用いた式（５'）、（６'）を計算するために要する演算量、すなわち、偶数番目・奇数番目の係数の１組を生成するのに要する演算量は、乗算０、加減算５、シフト演算２となる。この動作を上から下まで同様に行うことですべての係数を算出することができる。なお、既に述べたように、画像のような２次元信号に対しては、１次元方向（例えば垂直方向）のウェーブレット逆変換（合成フィルタ処理）で生成された係数群に対して、もう１方向（例えば水平方向）に、上記と同様にウェーブレット逆変換を施せば良い。
【００５４】
次に、図１０を用いて、固定小数点精度の5x3 フィルタを用いた合成側の固定小数点型ウェーブレット逆変換演算について説明する。図１０は、１次元のウェーブレット変換（逆変換）を行い、図中左端の低域成分ｓと高域成分ｄとを図中右端の出力画素に変換する動作を示している。以下、同図を用いて詳細動作を説明する。ここで、ｄｍｎをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。同様に、ｓｍｎをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。なお、ｎ＝０のときは、ｓ、ｄはそれぞれ奇数番目、偶数番目の画素となる。
【００５５】
この図１０から明らかなように、図中右端の奇数番目の画素ｓ、あるいは低域成分係数ｓの算出式は、一般的に、
ｓｍ＋１ｎ ＝ ｓｍ＋１ｎ＋１−β×(ｄｍｎ＋１＋ｄｍ＋１ｎ＋１＋２)    ・・・（７ａ）
または、
ｓｍ＋１ｎ ＝ ｓｍ＋１ｎ＋１−β×(ｄｍｎ＋１＋ｄｍ＋１ｎ＋１)        ・・・（７ｂ）
で与えられる。
【００５６】
同様に、図中右端の偶数番目の画素ｄ、あるいは高域成分係数ｄの算出式は、一般的に、
ｄｍｎ ＝ ｄｍｎ＋１＋α×(ｓｍｎ＋ｓｍ＋１ｎ）          ・・・（８）
で与えられる。
【００５７】
ここでα＝0.5、β＝0.25 となる。上記第３の実施の形態で述べたように、高域成分にあたるｄは分析側ではNyquist gain＝２なので、Nyquist gain＝１になるようにゲイン調整しており、分析側では高域成分係数ｄに、SＨ＝−0.5 を乗算していたが、これに対して、合成側では、Nyquist gainを１から２に戻すようにする必要がある。このために、高域係数ｄにSＨ＝−2.0 を乗算した後に、上記式（８）の演算を施すようにしている。
【００５８】
次に、上記式（７ａ）と（７ｂ）との違いについて述べる。固定小数点精度の5x3 フィルタでは、整数精度に比べて高精度になるので、上述した分析側フィルタでの丸め処理と同様に、＋２の丸めを行う場合の式（７ａ）（互換）と、＋２を付けない式（７ｂ）（非互換）の両方が考えられる。
【００５９】
この固定小数点精度の5x3 フィルタと、上述した整数精度の5x3 フィルタとの間で、演算手段の構成を共通化する場合には、上記式（７ａ）を用いることが必要である。
【００６０】
このような図１０と共に説明した固定小数点精度の5x3 フィルタにおいて、低域成分、高域成分の１組の係数を生成するのに要する演算量は、乗算３、加減算５（互換）、または加減算４（非互換）となる。
【００６１】
第５の実施の形態
本発明の第５の実施の形態は、上記整数型ウェーブレット変換部４のウェーブレット変換器と上記固定小数点型ウェーブレット変換部３のウェーブレット変換器とについて、構成要素である乗算器またはシフト演算器、加減算器、レジスタを全て共通化したものである。ここで、上述したように、ウェーブレット変換器は、乗算器またはシフト演算器、加減算器から構成されることは明らかであり、実際にハードウェア化する際には、データを一時的に記憶するレジスタが必要になる。また、ウェーブレット逆変換器（合成フィルタ）についても、整数型フィルタと固定小数点型フィルタの構成を共通化できる。
【００６２】
図１１、図１２は、合成側の高域・低域成分の係数を算出するためのハードウェア構成の一例を示している。先ず、低域成分の係数値または画素値（レベル０の場合）を算出するための構成について図１１を参照しながら説明する。ここでは説明の便宜上、Ｒｍ、Ｒｎ、Ｒｄの３つのレジスタと、図中＋、＋２、−でそれぞれ示される各加算器６１、６２、６５と、×0.25の演算をする乗算器６３と、floor で示される丸め器６４とを有して構成されているものとする。またＲｍ、Ｒｎ、Ｒｄの各レジスタは、それぞれ例えばｘ、ｙ、ｚ、ｗの４つの値を格納できる構成になっており、レジスタに格納された係数値に対して、既に述べた所定のフィルタリングの演算を施すことで、１つ下位レベルの係数値または画素値（レベル０の場合）を算出する。
【００６３】
すなわち、レジスタＲｍからの４つの値（例えばｄ０１，ｄ０１，ｄ１１，ｄ２１）と、レジスタＲｎからの４つの値（例えばｄ０１，ｄ１１，ｄ２１，ｄ３１）とを、加算器６１でそれぞれ加算し、各加算結果に対して加算器６２でそれぞれ２を加算し、加算器６２からの４つの出力値に対して乗算器６３でそれぞれ0.25を乗算（あるいは２ビット右シフト）し、丸め器６４でそれぞれ丸め処理を行って得られた４つの値を加算器６５に送り、これらの４つの値をレジスタＲｄからの４つの値（例えばｓ０１，ｓ１１，ｓ２１，ｓ３１）からそれぞれ減算することで、１つ下位レベルの低域成分の係数値または画素値（例えばｓ００，ｓ１０，ｓ２０，ｓ３０）を算出している。
【００６４】
また、例えばあるビット長の整数レジスタを設ければ、既に述べた整数精度のフィルタリングを実行でき、あるビット長の固定小数点レジスタにすれば、既に述べた固定小数点精度のフィルタリングを実行できる。しかも、レジスタの精度以外では、ハードウェア構成を全く変える必要もなく、実現できる。このようにして、ハードウェア構成要素の共通化が実現できる。
【００６５】
図１１の具体例の構成では、レジスタＲｄに低域成分を格納して置き、レジスタＲｍとＲｎには高域成分を格納し、演算結果を新たにレジスタＲｄに格納している。こうすることにより、既に使用して不要になった係数に上書きするので余分のレジスタを使わないで済み、効率的である。またハードウェアの縮小にも貢献する。
【００６６】
図１１中でfloor で示される丸め器６４の丸め処理の具体例であるが、floor による切捨ては、小数点以下の切り捨てではなく、値として小さい方の整数に丸める処理を行うように定義しておく。この定義によれば、例えば、
＋２．３  →  ＋２  （正の値）
−２．３  →  −３  （負の値）
になる。
【００６７】
次に、高域成分の係数値または画素値（レベル０の場合）を算出するための構成について図１２を参照しながら説明する。ここでは説明の便宜上、Ｒｍ、Ｒｎ、Ｒｄの３つのレジスタと、各加算器７１、７５と、×0.５の演算をする乗算器７２と、floor で示される丸め器７３とを有して構成されているものとする。またＲｍ、Ｒｎ、Ｒｄの各レジスタは、それぞれ例えばｘ、ｙ、ｚ、ｗの４つの値を格納できる構成になっており、レジスタに格納された係数値に対して、既に述べた所定のフィルタリングの演算を施すことで、１つ下位レベルの係数値または画素値（レベル０の場合）を算出する。
【００６８】
すなわち、レジスタＲｎからの４つの値（例えばｓ００，ｓ１０，ｓ２０，ｓ３０）と、レジスタＲｍからの４つの値（例えばｓ１０，ｓ２０，ｓ３０，ｓ４０）とを、加算器７１でそれぞれ加算し、各加算結果に対して乗算器７２でそれぞれ0.５を乗算（あるいは１ビット右シフト）し、丸め器７３でそれぞれ丸め処理を行って得られた４つの値を加算器７４に送り、これらの４つの値をレジスタＲｄからの４つの値（例えばｄ０１，ｄ０１，ｄ１１，ｄ２１）から減算することで、１つ下位レベルの高域成分の係数値または画素値（例えばｄ００，ｄ１０，ｄ２０，ｄ３０）を算出している。ここで、レジスタＲｄの４つの値（ｄ０１，ｄ０１，ｄ１１，ｄ２１）の内、ｄ０１を２つ用いているのは、上述したように、画面の端部で画面外部に位置するデータを、画面内部の隣接データで補っている（図９のｄ０１とその折り返しとなる破線丸印参照）からである。
【００６９】
この図１２の具体例の場合も、上記図１１の具体例と同様に、各レジスタＲｍ、Ｒｎ、Ｒｄを整数レジスタとして使用するか、固定小数点レジスタとして使用するかだけで、ハードウェア構成を全く変えずに、整数型フィルタと固定小数点型フィルタの構成を共通化できる。また、図１２中でfloor で示される丸め器７３の丸め処理も、上記図１１の丸め器６４と同様に、小数点以下の切り捨てではなく、値として小さい方の整数に丸める処理を行うように定義しておく。また、図１２の具体例では、レジスタＲｍとＲｎに低域成分を格納して置き、レジスタＲｄには高域成分を格納し、演算結果を新たにＲｄのレジスタに格納する。このように既に使用して不要になった係数に上書きするので余分のレジスタを使わないで済み、効率的である。またハードウェアの縮小にも貢献する。なお、これらのレジスタの使い方はこれ以外にも存在することは自明であり、レジスタが大きければそれだけ格納できるデータ量が増えるので、同時にフィルタリングできる量も増え、処理の高速化に寄与することができる。
【００７０】
ところで、上記図１１、図１２の乗算器６３、７２はシフト演算器で代用することができる。具体的に、図１１の×0.25の乗算器６３は右２ビットシフト、図１２の×0.５の乗算器７２は右１ビットシフトに相当することは明らかである。一般に、乗算器よりもシフト演算器の方が、ハードウェア化が軽減されることが知られており、効率的である。
【００７１】
第６の実施の形態
本発明の第６の実施の形態は、上記図１に示したように整数精度型ウェーブレット変換と固定小数点精度型ウェーブレット変換とが切り替え可能な構成において、可逆符号化を行う際には、上記整数型ウェーブレット変換手段を選択し、非可逆符号化を行う際には、上記固定小数点型ウェーブレット変換手段を選択するようにしたものである。
【００７２】
すなわち、上記第５の実施の形態でも説明したように、整数精度型ウェーブレット変換と固定小数点精度型ウェーブレット変換とは、ビット精度以外では共通化ができる。しかし、固定小数点精度型では図３で示したように、小数点部分の精度のためのビットを必要とするために、整数精度型よりも大きなレジスタを要する。これはハードウェア化の増大に繋がる。ここで、JPEG-2000 Part-1のＦＤＣでもサポートされている可逆符号化（Lossless）のために必要な可逆型ウェーブレット変換を行わせようとする場合には、前述のように、分析側と合成側とで丸め処理の統一が取られていれば、整数精度型ウェーブレット変換でも、固定小数点精度型ウェーブレット変換でも問題なく実現できることを考慮して、少ないハードウェアという点で整数精度型ウェーブレット変換を選択するのが好ましいことになる。他方、非可逆符号化（Lossy） では、高精度が要求される場合が多いので、固定小数点精度型ウェーブレット変換を選択するのが得策である。
【００７３】
以上の点を考慮して、ロスレス（Lossless）の可逆符号化を選択する場合には上記整数型ウェーブレット変換に切り替え、ロッシィ（Lossy） の非可逆符号化を選択する場合には上記固定小数点型ウェーブレット変換に切り替えることにより、それぞれの符号化に最適のウェーブレット変換を実現できる。
【００７４】
第７の実施の形態
本発明の第７の実施の形態としては、上記図１に示したように整数精度型ウェーブレット変換と固定小数点精度型ウェーブレット変換とが切り替え可能な構成において、画質重視の符号化を行う場合には、上記固定小数点型ウェーブレット変換手段を選択し、ハードウェアの削減、消費電力の省力化、低ビットレート符号化を行う際には上記整数型ウェーブレット変換手段を選択するようにしたものが挙げられる。
【００７５】
これは、高精度（高画質）を目的とする場合には、精度が整数精度よりも高く維持できる固定小数点型ウェーブレット変換を選択するのが通例であることを考慮したものである。また、ハードウェアの削減、消費電力の省力化、高圧縮（低ビットレート符号化）を重視する際には、整数型ウェーブレット変換手段を選択する方が得策となる。ビット精度を高くするためにビット長の長いレジスタを必要とする固定小数点型ウェーブレット変換の方が、ハードウェアの規模が大きくなることは当然であり、それに伴い加算器等の演算器の規模も増大するからである。
【００７６】
また、圧縮率、すなわちビットレートに関しては、ウェーブレット変換後の処理としての量子化処理による影響が大きい。この量子化処理における量子化法としては、最も単純には下記の式（９）に示すように、ウェーブレット変換係数値ｘを量子化インデックス値Δで割り算して、得られた値を量子化係数Ｑとしている。すなわち、
Ｑ ＝ ｘ／Δ          ・・・（９）
ｘはウェーブレット変換係数値、Δは量子化インデックス値
である。
【００７７】
ここで、量子化インデックス値あるいは量子化ステップサイズを大きく取ればウェーブレット変換係数値を割り算して得られる量子化係数が小さくなるので圧縮率は高くなり、画質は劣化する。逆に量子化ステップサイズを小さくすればウェーブレット変換係数値を割り算して得られる量子化係数が大きくなるので圧縮率は低くなり、画質は向上する。従ってこの量子化インデックス値を制御することで、所定の圧縮率または画質を得ることができる。
【００７８】
高圧縮（低ビットレート符号化）の際には、式（９）でわかる通り、ウェーブレット変換係数値ｘは、大きめの量子化インデックス値Δで除算されるので、出力される量子化係数では元のウェーブレット変換係数の精度の差異が少なくなってしまう。つまり、固定小数点精度のウェーブレット変換係数と整数精度のウェーブレット変換係数との差が非常に小さくなってしまうことになる。
【００７９】
以上の理由より、高圧縮（低ビットレート符号化）の際には、整数型ウェーブレット変換手段を選択する方が得策である。
【００８０】
第８の実施の形態
本発明の第８の実施の形態としては、上述したような画像の符号化装置側あるいは分析側のウェーブレット変換部に対して、復号装置側あるいは合成側でのウェーブレット逆変換部を提示するものである。すなわち、図１３は、上記図１に示す画像符号化装置のウェーブレット変換装置に対応する画像復号装置のウェーブレット逆変換装置の構成を示す図である。
【００８１】
この図１３において、ウェーブレット逆変換部８は、上記図１のウェーブレット変換部５に対応するものであり、図１の固定小数点型ウェーブレット変換部３からの変換係数１０７が図１３の変換係数１１１として固定小数点型ウェーブレット逆変換部９に供給され、図１の整数型ウェーブレット変換部４からの変換係数１０８が図１３の変換係数１１２として整数型ウェーブレット逆変換部１０に供給される。固定小数点型ウェーブレット逆変換部９からの出力１１３は切り替え部１１の被選択端子ａに送られ、整数型ウェーブレット逆変換部１０からの出力１１４は切り替え部１１の被選択端子ｂに送られ、この切り替え部１１からの出力１１５がデータ書き出しメモリ部１２に送られている。
【００８２】
次に動作について説明する。ウェーブレット逆変換部８は、固定小数点型ウェーブレット逆変換部９と整数型ウェーブレット逆変換部１０とを備えており、固定小数点精度のウェーブレット変換係数１１１が入力されて来た際には、固定小数点型ウェーブレット逆変換器９で逆変換を行い、復号画像１１３を出力する。
【００８３】
他方、整数精度のウェーブレット変換係数１１２が入力されて来た際には、整数型ウェーブレット逆変換器１０で逆変換を行い、復号画像１１４を出力する。復号画像１１３もしくは復号画像１１４は、切り替え部１１のスイッチでいずれか一方が選択されて、出力１１５としてデータ書き出しメモリ部１２に入力される。このデータ書き出しメモリ部１２では、復号画像の領域分だけの画像がメモリ内に書き込まれる。
【００８４】
図１４は、固定小数点型ウェーブレット逆変換部９の構成例を示し、ウェーブレット逆変換器１３とビットシフト器１４とから構成されている。固定小数点精度については、既に図３で整数精度との差異について述べたが、分析側で左にビットシフトしているので、本実施の形態の合成側では、逆に右ビットシフトを行い、値を元のレベルまで戻す動作を行う。またビットシフトが必要なのは、最終的な復号画像（レベル０）を求めた後のみである。すなわち、ウェーブレット逆変換器１３からの出力１１６がレベル１までの変換係数のときは、ビットシフト器１４を介さず、ウェーブレット逆変換器１３からの出力１１６が最終的な復号画像（レベル０）となるときのみ、ビットシフト器１４によりビットシフト処理を行う。
【００８５】
なお、固定小数点型ウェーブレット逆変換部と、整数型ウェーブレット逆変換部での逆変換の手段については、既に図９、図１０を用いて説明したので、本実施の形態では説明を省略する。
【００８６】
第９の実施の形態
本発明の第９の実施の形態は、上記図１４のウェーブレット逆変換器１３の具体例を提示するものであり、このウェーブレット逆変換器１３は、乗算器またはシフト演算器、加減算器、レジスタから構成されているものである。このようなウェーブレット逆変換器のハードウェア構成については、上記第５の実施の形態において、図１１、図１２を参照しながら既に説明した通りである。また、合成側の整数型ウェーブレット逆変換部のウェーブレット逆変換器と固定小数点型ウェーブレット逆変換部のウェーブレット逆変換器との構成を共通化できることも、上述した通りである。さらに、合成側の演算手段が固定小数点精度と整数精度とで違わないことも既に説明した通りである。
【００８７】
第１０の実施の形態
本発明の第１０の実施の形態は、符号化側のウェーブレット変換部と復号側のウェーブレット逆変換部との間の送受信に関するものであり、整数型ウェーブレット変換手段及び／又は固定小数点型ウェーブレット変換手段を備えた符号化装置で生成された符号化ビットストリームを、整数型ウェーブレット逆変換手段及び固定小数点型ウェーブレット逆変換手段を備えた復号装置で復号する場合に、該復号装置では、符号化ビットストリームより整数型又は固定小数点型のいずれのウェーブレット変換手段で変換したかを示す情報を検知する手段を備え、整数型であった際には、高域成分係数のゲイン調整と、逆変換後のビットシフトを行うことなく、復号画像を出力し、固定小数点型であった際には、高域成分係数のゲイン調整手段と、逆変換後のビットシフト手段を行うことで、復号画像を出力するする手段を備えて成るものである。
【００８８】
図１５は、この第１０の実施の形態の要部の概略構成を示し、ビット精度検出部３１、スイッチ３２、ゲイン調整部３３、ウェーブレット逆変換器３４、ビットシフト器３５とを有して構成されている。
【００８９】
すなわち、この図１５において、符号化ビットストリーム１３０を受信したビット精度検出部３１は、該符号化ビットストリーム１３０の中から、符号化器のウェーブレット変換器においてどのビット精度でウェーブレット変換が行われたかを示すコードまたは情報を検出する。検出された情報を元に、ビット精度検出部３１からは、スイッチ３２に対して制御信号１３７が送られる。
【００９０】
この時、整数精度の変換であったことを検知した際には、スイッチ３２は被選択端子ａ側に切換接続され、逆に固定小数点精度であったことを検知した場合には、被選択端子ｂ側に切換接続される。前者の場合は、ウェーブレット逆変換器３４を経て、復号画像１３４が出力される。
【００９１】
他方、後者（固定小数点精度）の場合には、変換係数の内、高域成分の係数に対してはゲイン調整部３３でゲイン調整処理を行い、他の低域係数はそのまま通過させて出力１３３を得る。この出力１３３は、次にウェーブレット逆変換器３４で逆変換され、逆変換出力１３５は最後の復号画像（レベル０）がビットシフト部３５に送られて右ビットシフトされることにより、最終的な復号画像１３６が得られる。
【００９２】
第１１の実施の形態
本発明の第１１の実施の形態は、上述した第１０の実施の形態においてビット精度検出を行わせるための情報の一例を提示するものである。すなわち、上記図１５と共に説明した第１０の実施の形態では、復号装置内のビット精度検出部３１において、符号化ビットストリーム１３０から、符号化側のウェーブレット変換装置においてどのビット精度でウェーブレット変換が行われたかを示すコードまたは情報を検出する手段を備える手段について述べたが、実際には該符号化ビットストリーム１３０中に、そのコードまたは情報を埋め込む仕組みが無ければならない。
【００９３】
図１６は、符号化ビットストリーム中の、ウェーブレット変換の種類あるいはビット精度を示す情報の一例を示すものであり、この図１６に示す表は、上述したJPEG-2000 Part-１ ＦＤＣのTable A-19として記載されているものに、新たに"0000 0010" (5-3 irreversible wavelet transform)のコードを付加したものである。これにより、上記各実施の形態で説明した整数精度型5x3 フィルタと、固定小数点精度型5x3 フィルタとの識別が行える。
【００９４】
すなわち、図１６では、ウェーブレット変換のタイプ（Transform Type）として、８ビットコード"0000 0000" の9-7 irreversible wavelet transform（浮動小数点精度型9x7 フィルタ）と、"0000 0001" の5-3 reversible wavelet transform（整数精度型5x3 フィルタ）に加えて、"0000 0010" の5-3 irreversible wavelet transform（固定小数点精度型5x3 フィルタ）のコードを付加している。このウェーブレット変換のタイプを表す８ビットコードを、上記図１５のビット精度検出部３１で検出し識別することにより、上述したようなスイッチ３２以降でのビット精度に適合した復号処理あるいはウェーブレット逆変換処理を行わせることができる。
【００９５】
第１２の実施の形態
本発明の第１２の実施の形態は、整数精度型ウェーブレット逆変換手段のみを備えている復号装置あるいはウェーブレット逆変換装置の場合に、符号化側で固定小数点精度のウェーブレット変換が施された符号化ビットストリームが入力されたことを検出した際に、全ての復号動作を中断して復号不可能の状態になる手段または、復号不可能の状態表示を外部に対して発する手段を備えて成るものである。
【００９６】
すなわち、上記第１０の実施の形態で説明したように、復号装置側に高域成分係数のゲイン調整手段と、逆変換後のビットシフト手段を予め備えておけば、正しく逆変換と復号ができるが、本第１２の実施の形態のように、これらの手段を有していない場合には、全ての復号動作を中断して復号不可能の状態にするか、または復号不可能の状態表示を外部に対して発することが現実的である。
【００９７】
以上説明した本発明の第１〜第１２の実施の形態は、ウェーブレット変換を用いて、静止画のみならず動画像でも高品質な符号化画像を供するための問題点を、ウェーブレット変換手段の点から解決することを主眼に置いている。すなわち、上述したJPEG-2000 Part-1のＦＣＤ（Final Committee Draft） で規定されているInteger 5x3 フィルタの固定小数点精度化であるFixed-point 5x3 フィルタは、同じくＦＤＣで規定されているFloat 7x9 フィルタと比べても、符号化効率の点で遜色がない優れた性能を有しているだけでなく、Integer 5x3 フィルタと内部の演算器の共通部分が多い。従って、両者の回路または演算手段を共通化することで、符号化効率も犠牲にせず、ハードウェア化の増加を最小限に抑えるようにしている。また、本発明の実施の形態では、例えばJPEG-2000 におけるInteger 5x3 フィルタとFixed-point 5x3 フィルタを共通化して実現するようにしているが、本発明はJPEG-2000以外にも適用可能であることは言うまでもない。
【００９８】
本発明の実施の形態の構成としては、入力画像をウェーブレット変換に必要なだけ読み出してバッファリングする手段と、固定小数点精度のウェーブレット変換手段と、整数精度のウェーブレット変換手段とを備える。固定小数点精度のウェーブレット変換手段はさらに、整数精度のウェーブレット変換手段と共有化可能なウェーブレット変換器と、それ以外にはビットシフト器を備える。上記共有化可能なウェーブレット変換器は更に、乗算器またはシフト演算器、加減算器、レジスタを有して構成される。
【００９９】
このような構成の本発明の実施の形態によれば、固定小数点型ウェーブレット変換手段と、整数精度型ウェーブレット変換手段とを共通の構成で実現することで、全体のハードウェア構成の増加を抑えるという効果がある。また、画質または圧縮率に応じて、両者の選択を制御することで、常に最適なウェーブレット変換手段を実現出来る。従って、携帯電話やPDA等のモーバイル端末では狭帯域回線を用いた低ビットレートでの画像伝送を余儀なくされることから、省電力化の点で優れる整数精度型ウェーブレット変換手段を用いれば、圧縮率を犠牲にすることなく、長時間の運用が出来るという効果がある。
【０１００】
以上説明した本発明の実施の形態によれば、入力画像データを所定の領域だけメモリに読み出し蓄積し、データが蓄積され次第これら画像領域に対し水平または垂直方向のウェーブレット変換フィルタをかける画像符号化の際に、上記ウェーブレット変換は、固定小数点型ウェーブレット変換と、整数型ウェーブレット変換とのいずれかを選択することにより、整数型ウェーブレット変換と同程度のハードウェア構成により、より高精度の固定小数点型ウェーブレット変換を実現できる。
【０１０１】
また、固定小数点型ウェーブレット変換手段と、整数精度型ウェーブレット変換手段との構成を共通化することにより、全体のハードウェア構成の増加を抑えることができる。
【０１０２】
また、画質または圧縮率に応じて、両者の選択を制御することにより、常に最適なウェーブレット変換手段を実現できる。例えば、携帯電話やＰＤＡ等のモーバイル端末では、狭帯域回線を用いた低ビットレートでの画像伝送を余儀なくされることから、省電力化の点で優れる整数精度型ウェーブレット変換手段を用いれば、圧縮率を犠牲にすることなく、長時間の運用が可能となる。
【０１０３】
なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、ウェーブレット変換のフィルタのタップ数は５×３に限定されず、また、適用される規格もJPEG-2000 に限定されない。この他、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施の形態となる画像符号化装置に用いられるウェーブレット変換装置の概略構成を示すブロック図である。
【図２】図１の固定小数点型ウェーブレット変換部３の構成例を示すブロック図である。
【図３】固定小数点精度と整数精度の計算語長の例を示す図である。
【図４】通常のウェーブレット変換部の概略構成（レベル３まで）を示すブロック図である。
【図５】通常のウェーブレット逆変換部の概略構成（レベル３まで）を示すブロック図である。
【図６】２次元画像の帯域分割（分割レベル＝３）を説明するための図である。
【図７】分析側の整数精度型ウェーブレット変換フィルタの演算を説明するための図である。
【図８】分析側の固定小数点精度型ウェーブレット変換フィルタの演算を説明するための図である。
【図９】合成側の整数精度型ウェーブレット逆変換フィルタの演算を説明するための図である。
【図１０】合成側の固定小数点精度型ウェーブレット逆変換フィルタの演算を説明するための図である。
【図１１】合成側の低域成分の係数または画素値（レベル０の場合）を算出するためのハードウェア構成の一例を示す図である。
【図１２】合成側の高域成分の係数または画素値（レベル０の場合）を算出するためのハードウェア構成の一例を示す図である。
【図１３】画像復号装置のウェーブレット逆変換装置の構成の一例を示すブロック図である。
【図１４】図１３の固定小数点型ウェーブレット逆変換部９の構成の一例を示すブロック図である。
【図１５】画像復号装置のウェーブレット逆変換装置の他の構成例を示すブロック図である。
【図１６】符号化ビットストリーム中のウェーブレット変換のタイプを示す情報の一例を説明するための図である。
【符号の説明】
【０１０５】
１  データ読み出しメモリ部、  ２，１１  切り替え部、  ３  固定小数点型ウェーブレット変換部、  ４  整数型ウェーブレット変換部、  ５  ウェーブレット変換部、  ６，１４、３５  ビットシフト器、  ７  ウェーブレット変換器、  ８  ウェーブレット逆変換部、  ９  固定小数点型ウェーブレット逆変換部、  １０  整数型ウェーブレット逆変換部、  １２  データ書き出しメモリ部、  １３，３４  ウェーブレット逆変換器、  ３１  ビット精度検出部、  ３３  ゲイン調整部
【図１】
2006295954.tif 000003
【図２】
2006295954.tif 000004
【図３】
2006295954.tif 000005
【図４】
2006295954.tif 000006
【図５】
2006295954.tif 000007
【図６】
2006295954.tif 000008
【図７】
2006295954.tif 000009
【図８】
2006295954.tif 000010
【図９】
2006295954.tif 000011
【図１０】
2006295954.tif 000012
【図１１】
2006295954.tif 000013
【図１２】
2006295954.tif 000014
【図１３】
2006295954.tif 000015
【図１４】
2006295954.tif 000016
【図１５】
2006295954.tif 000017
【図１６】
2006295954.tif 000018