(57)【特許請求の範囲】
【請求項１】
入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力し、当該入力した符号列をエントロピ復号して量子化インデックスを取得する復号手段と、
前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定手段と、
前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化手段と、
前記逆量子化手段により得られた前記係数列を逆変換して画像信号に復元する逆変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記周波数変換手段は、離散ウェーブレット変換を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記補正値を設定する周波数帯域における前記量子化インデックス値の分布に応じて文書画像か、自然画であるかを判定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記量子化インデックス値の分布とは、値０の量子化インデックスの個数であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記入力した符号列は、離散ウェーブレット変換された係数をビットプレーンに分解して符号化された符号列であることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記設定手段は、前記符号列に含まれる、前記補正値を特定するための付加情報に応じて前記補正値を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力して復号する画像処理方法であって、
入力した符号列をエントロピ復号して量子化インデックスを取得する復号工程と、
前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定工程と、
前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化工程と、
前記逆量子化工程で得られた前記係数列を逆変換して画像信号に復元する逆変換工程と、
を有することを特徴とする画像処理方法。
【請求項８】
前記逆変換工程では、逆離散ウェーブレット変換を実行することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記設定工程は、前記補正値を設定する周波数帯域における前記量子化インデックス値の分布に応じて文書画像か、自然画であるかを判定することを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１０】
前記量子化インデックス値の分布とは、値０の量子化インデックスの個数であることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記入力した符号列は、離散ウェーブレット変換された係数をビットプレーンに分解して符号化された符号列であることを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
前記設定工程は、前記符号列に含まれる、前記補正値を特定する付加情報に応じて前記補正値を設定することを特徴とする請求項７に記載の画像処理方法。
【請求項１３】
請求項７乃至１２のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶した、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データを符号化した符号列を入力して復号する画像処理方法及び装置及び記憶媒体に関するものである。
【０００２】
【従来の技術】
近年のコンピュータ及びネットワークの著しい発達に伴い、文字データ、画像データ、音声データ等、多種の情報がコンピュータ内、ネットワーク内で蓄積されたり、或は伝送されるようになってきている。これらのデータの中で画像、特に多値画像は非常に多くの情報を含んでおり、その画像を蓄積・伝送する際にはデ−タ量が膨大になってしまうという問題がある。このため画像の蓄積・伝送においては、画像の持つ冗長性を除く、或いは画質の劣化が視覚的に認識し難い程度で画像の内容を変更することによって、そのデ−タ量を削減する高能率符号化が用いられる。
【０００３】
この高能率符号化方式の例としては、静止画像の国際標準符号化方式としてＩＳＯとＩＴＵ−Ｔにより勧告されたＪＰＥＧが広く用いられている。このＪＰＥＧでは、符号化対象となる画像の符号化データの使用目的に応じて数種の符号化方式が規定されているが、大別すると離散コサイン変換を利用し非可逆符号化を目的としたＤＣＴ利用型と、２次元ＤＰＣＭに基づき可逆符号化を目的とするスペイシャル方式の２つのモードを持っている。
【０００４】
更に、詳細な説明は勧告書ITU−T Recommendation T.81| ISO／IEC 10918-1等に記載されているのでここでは省略する。ここでＤＣＴ方式は量子化における量子化ステップを変更することによりビットレートを制御しているが、目標ビットレートを低く設定するためには大きな量子化ステップを与える必要がある。これに伴って、特に低ビットレートの条件下においては、量子化による再生画像の歪みが許容できない程度まで大きくなる、という問題がある。
【０００５】
また、ＪＰＥＧにおいては、ハイアラーキカル（階層）符号化が規定されている。このハイアラーキカル符号化においては、入力画像を水平・垂直方向ともそれぞれ１／２、１／４，…と、複数段階に縮小して異なる解像度の画像を複数生成し、最も解像度の低い画像を通常の画像と同じように符号化して伝送する。
【０００６】
このハイアラーキカル符号化においては、ＤＣＴ方式およびスペイシャル方式が使用可能である。ここで、ハイアラーキカル符号化を可逆符号化とする場合には、上述の段階の全てにスペイシャル方式を用いるか、最終段のみスペイシャル方式とし、それ以外をすべてＤＣＴ方式にするため、装置は２つの方式をどちらも具備しなければならず、装置が複雑化するという問題点がある。
【０００７】
これらの問題点を解決する方式として、離散ウェーブレット変換を利用した符号化方式が提案されている。このような離散ウェーブレット変換による符号化方式は、ＤＣＴ方式に対して圧縮性能が高く、またＪＰＥＧにおけるハイアラーキカル符号化を単一のシステムで実現できる、などの利点がある。
【０００８】
【発明が解決しようとする課題】
また一方、画像圧縮符号化に対する要求は以前にも増して高くなっており、従来は別方式により符号化されていた文書画像などの２値画像に対しても、復号画像の画質を確保する必要性が生じてきている。しかし現時点においては、単一の方式により、自然画像及び２値画像の両方、またはそれらが混在した画像に対して、復号画像の画質を十分な水準で確保したまま、元の画像に復元できないという問題点があった。
【０００９】
本発明は上記従来例に鑑みてなされたもので、圧縮符号化された画像を高画質に復号できる画像処理方法及び装置及び記憶媒体を提供することを目的とする。
【００１０】
また本発明の目的は、圧縮符号化された符号列で表された画像の特性に基づいて高画質に復号する画像処理方法及び装置及び記憶媒体を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力し、当該入力した符号列をエントロピ復号して量子化インデックスを取得する復号手段と、
前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定手段と、
前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化手段と、
前記逆量子化手段により得られた前記係数列を逆変換して画像信号に復元する逆変換手段と、を有することを特徴とする。
【００１２】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力して復号する画像処理方法であって、
入力した符号列をエントロピ復号して量子化インデックスを取得する復号工程と、
前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定工程と、
前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化工程と、
前記逆量子化工程で得られた前記係数列を逆変換して画像信号に復元する逆変換工程と、を有することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１４】
［実施の形態１］
図１は、本発明の実施の形態１に係る画像復号及び符号化装置の基本構成を示すブロック図である。
【００１５】
図１（ａ）は画像符号化装置の構成を示すブロック図である。図１（ａ）において、１は画像データを入力する画像入力部で、例えば原稿画像を読み取るスキャナ、或はデジタルカメラなどの撮像機、又は通信回線とのインターフェース機能を有するインターフェース部等を備えている。２は入力画像に対し二次元の離散ウェーブレット変換(Discrete Wavelet Transform)を実行する離散ウェーブレット変換部である。３は量子化部で、離散ウェーブレット変換された係数を量子化する。５はエントロピ符号化部で、量子化部４で量子化された係数をエントロピ符号化している。６は符号出力部で、符号化部５で符号化された符号を出力する。
【００１６】
なお、本実施の形態１に係る装置は、図１（ａ）に示すような専用の装置でなく、例えば汎用のＰＣやワークステーションに、この機能を実現するプログラムをロードして動作させる場合にも適用できる。
【００１７】
以下、図１（ａ）を参照して動作を順に説明する。まず、画像入力部１において、符号化対象となる画像を構成する画素信号がラスタースキャン順に入力される。こうして入力された画像は、離散ウェーブレット変換部（ＤＷＴ）２に入力される。なお、以降の説明では、画像入力部１から入力された画像信号はモノクロの多値画像で表現されているが、カラー画像等、複数の色成分を符号化する場合には、ＲＧＢ各色成分、或いは輝度、色度成分を上記単色成分として圧縮すれば良い。
【００１８】
離散ウェーブレット変換部２は、入力した画像信号に対して２次元の離散ウェーブレット変換処理を行い、変換係数を計算して出力する。
【００１９】
図２（ａ）は、離散ウェーブレット変換部２の基本構成を表した図で、画像入力部１から入力された画像信号はメモリ２０１に記憶され、処理部２０２により順次読み出されて離散ウェーブレット変換処理が行われ、再びメモリ２０１に格納される。
【００２０】
図２（ｂ）は、処理部２０２における処理の構成を説明する図である。
【００２１】
同図において、入力された画像信号は遅延素子２０３及びダウンサンプラ２０４との組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、２つのフィルタｐおよびｕによりフィルタ処理が施される。図２（ｂ）におけるｓおよびｄは、各々１次元の画像信号に対して１レベルの分解を行った際のローパス(Low-pass)係数およびハイパス(High-pass)係数を表しており、次式により計算されるものとする。
【００２２】
d(n)= x(2n + 1) - floor((x(2n) + x(2n + 2))/2)  …（式１）
s(n) = x(2n) + floor((d(n - 1) + d(n))/4)            …（式２）
但し、x(n)は変換対象となる画像信号、floor(x)はｘより小さい最大の整数を出力する関数である。
【００２３】
以上の処理により、画像信号に対する１次元の離散ウェーブレット変換処理が行われる。２次元の離散ウェーブレット変換は、１次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるので、ここでは説明を省略する。
【００２４】
図２（ｃ）は、２次元の離散ウェーブレット変換処理により得られる２レベルの変換係数群の構成例を説明する図で、画像信号は異なる周波数帯域の係数列ＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬに分解される。なお、以降の説明ではこれらの係数列をサブバンドと呼ぶ。各サブバンドの係数は後続の量子化部３に出力される。
【００２５】
量子化部３は、入力した係数を所定の量子化ステップにより量子化し、その量子化値に対するインデックスを出力する。ここで、量子化は次式により行われる。
【００２６】
q = sign (c) floor(abs(c)/ Δ)          …（式３）
sign(c) = 1; c ＞=  0                …（式４）
sign(c) = -1; c ＜ 0                  …(式５）
ここで、ｃは量子化対象となる係数、abs(c)はｃの絶対値を示す。
【００２７】
エントロピ符号化部４は、量子化部３から入力した量子化インデックスをビットプレーンに分解し、そのビットプレーン単位に２値算術符号化を行って符号列を出力する。
【００２８】
図３は、エントロピ符号化部４の動作を説明する図で、この例においては４×４の大きさを持つサブバンド内の領域において非０の量子化インデックスが３個存在しており、それぞれ“＋１３”、“−６”、“＋３”の値を持っている。エントロピ符号化部４はこの領域を走査して最大値Ｍを求め、次式により最大の量子化インデックスを表現するために必要なビット数Ｓを計算する。
【００２９】
Ｓ ＝ ceil(log2(abs(M)))              …(式６）
ここでceil(x)は、ｘ以上の整数の中で最も小さい整数値を表す。
【００３０】
図３において、最大の係数値は“１３”であるため、Ｓの値は“４”であり、シーケンス中の１６個の量子化インデックスは図３の右側に示すように４つのビットプレーンを単位として処理が行われる。最初にエントロピ符号化部４は最上位ビットプレーン(同図、ＭＳＢで表す)の各ビットを２値算術符号化し、ビットストリームとして出力する。次にビットプレーンを１レベル下げ、以下同様に対象ビットプレーンが最下位ビットプレーン（同図、ＬＳＢで表す）に至るまで、ビットプレーン内の各ビットを符号化して符号出力部５に出力する。この時、各量子化インデックスの符号は、ビットプレーン走査において最初の非０ビットが検出されると、そのすぐ後に、その量子化インデックスの符号がエントロピ符号化される。
【００３１】
図４（ａ）〜（ｄ）は、このようにして生成され出力される符号列の構成を表した概略図である。
【００３２】
同図（ａ）は、符号列の全体の構成を示した図で、ＭＨはメインヘッダ、ＴＨｉ（ｉ＝０〜ｎ−１）はタイルヘッダ、ＢＳｉ（ｉ＝０〜ｎ−１）はビットストリームである。またメインヘッダＭＨは、同図（ｂ）に示すように、符号化対象となる画像のサイズ（水平および垂直方向の画素数）、画像を複数の矩形領域であるタイルに分割した際のタイルサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報から構成されている。なお、本実施の形態では、画像はタイルに分割されていないので、タイルサイズと画像サイズは同じ値を取り、対象画像がモノクロの多値画像の場合コンポーネント数は“１”である。
【００３３】
図４（ｃ）は、タイルヘッダＴＨの構成を示す図である。
【００３４】
このタイルヘッダＴＨには、このタイルのビットストリーム長とヘッダ長を含めたタイル長、及びこのタイルに対する符号化パラメータから構成される。この符号化パラメータには、離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。
【００３５】
図４（ｄ）は、本実施の形態におけるビットストリームの構成を示し、ビットストリームはビットプレーンを単位としてまとめられ、上位ビットプレーンから下位ビットプレーンに向かう形で配置されている。ここで各ビットプレーンには、各サブバンドにおける量子化インデックスの当該ビットプレーンを符号化した結果が順次サブバンド単位で配置されている。図４（ｄ）において、Ｓは最大の量子化インデックスを表現するために必要なビット数である。このようにして生成された符号列は、符号出力部５に出力される。
【００３６】
次に、本発明の実施の形態１に係る復号装置について説明する。
【００３７】
図１（ｂ）は、本実施の形態１に係る画像復号装置の構成を表すブロック図である。図において、６は符号入力部で、例えば図１（ａ）に示す符号化装置で符号化された符号列を入力している。７はエントロピ復号部で、図１（ａ）のエントロピ符号化部４における符号化処理の逆の復号化処理を行う。８は逆量子化部、９は逆離散ウェーブレット変換部、１０は画像出力部、１１は補正値計算部である。
【００３８】
以上の構成において、符号入力部６は符号列を入力し、それに含まれるヘッダを解析して後続の処理に必要なパラメータを抽出し、必要な場合は処理の流れを制御し、或は後続の処理ユニットに対して該当するパラメータを送出する。また、この入力された符号列に含まれるビットストリームは、エントロピ復号部７に出力される。このエントロピ復号部７は、ビットストリームをビットプレーン単位で復号して出力する。この時の復号手順を図５に示す。
【００３９】
図５は、復号対象となるサブバンドの一領域をビットプレーン単位で順次復号し、最終的に量子化インデックスを復元する流れを図示したものであり、同図の左のビットプレーンにおける矢印の順に、ＭＳＢからＬＳＢに向かってビットプレーンが復号される。こうして復元された量子化インデックスは逆量子化器８に出力され、一旦、逆量子化器８の内部のバッファに所定のライン数だけ記憶される。補正値計算部１１は、逆量子化部８の内部にバッファリングされた量子化インデックスの分布状態から、逆量子化器８での逆量子化時の補正値を計算して逆量子化部８に出力する。
【００４０】
図６は、本実施の形態１に係る逆量子化器８及び補正値計算部１１の構成を示したブロック図である。
【００４１】
まず、処理部１１０１は、逆量子化器８のバッファ８０１にバッファリングされている量子化インデックスが、離散ウェーブレット変換によるＬＬサブバンドに属する場合、補正値ｒの値として“０.５”を選択し、逆量子化部８の演算部８０２に出力する。
【００４２】
一方、量子化インデックスがＬＬ以外のサブバンドに属する場合、処理部１１０１は、逆量子化部８のバッファ８０１からバッファリングされた量子化インデックスを読み出し、その中に含まれる値“０”の量子化インデックスの数をカウントする。次に処理部１１０１は、そのカウントした量子化インデックスの数を所定の閾値Ｔと比較し、その結果により補正値テーブル１１０２内に所定の方法により設定された補正値ｒを読み出して、逆量子化器８内の演算部８０２に出力する。
【００４３】
なお、本実施の形態１においては、量子化インデックスの数が閾値Ｔ以下の場合、当該領域は自然画と判断し、ｒの値として“０.５”が、また一方、閾値Ｔを超える場合は、その領域は文書画像と判断して“０.８７５”が、それぞれ補正値テーブルから読み出されるものとする。以上の動作は、逆量子化部８における逆量子化の動作と同期して行われ、各量子化インデックス毎に補正値ｒが計算して出力されるものとする。
【００４４】
逆量子化部８の演算部８０２は、バッファ８０１内の量子化インデックスを順次読み出し、その値および補正値ｒから、次式に基づいて離散ウェーブレット変換係数を復元する。
【００４５】
c' = Δ × (q + r);  q ＞ 0            …（式７）
c' = Δ × (q - r);  q ＜ 0            …（式８）
c' = 0;    q = 0                    …（式９）
ここで、ｑは量子化インデックス、Δは量子化ステップであり、Δは符号化時に用いられたものと同じ値である。またｃ'は復元された変換係数であり、符号化時では、ｓ又はｄで表される係数を復元したものである。この変換係数ｃ'は後続の逆離散ウェーブレット変換部９に出力される。
【００４６】
図７は前述した補正値計算部１１の処理部１１０１における処理を示すフローチャートである。
【００４７】
図７において、まずステップＳ１で、逆量子化部８のバッファ８０１に記憶された量子化インデックスを読み出し、その量子化インデックスが離散ウェーブレット変換によるＬＬサブバンドに属するかどうかをみる。属している場合はステップＳ３に進み、補正値ｒの値として“０.５”を選択し、逆量子化部８の演算部８０２に出力する。
【００４８】
一方、量子化インデックスがＬＬ以外のサブバンドに属する場合はステップＳ２に進み、逆量子化部８のバッファ８０１からバッファリングされた量子化インデックスを読み出し、その中に含まれる値“０”の量子化インデックスの数をカウントする。次にステップＳ４に進み、そのカウントした量子化インデックスの数を所定の閾値Ｔとを比較し、その結果に基づいて、その画像が自然画かどうかを判断する。即ち、カウントした量子化インデックスの数が閾値Ｔに等しいか、或はそれ以下の場合はその領域は自然画と判断してステップＳ５に進み、ｒの値として“０.５”を補正値テーブル１１０２から読み出して演算部８０２に出力する（ステップＳ７）。
【００４９】
また一方、閾値Ｔを超える場合は、その領域は文書画像と判断してステップＳ４からステップＳ６に進み、ｒの値として“０.８７５”を補正値テーブル１１０２から読み出して演算部８０２に出力する（ステップＳ７）。
【００５０】
図８（ａ）（ｂ）は、逆離散ウェーブレット変換部９の構成及び処理を説明するためのブロック図である。
【００５１】
図８（ａ）において、逆量子化部８から入力された変換係数はメモリ９０１に記憶される。処理部９０２は１次元の逆離散ウェーブレット変換を行い、メモリ９０１から順次変換係数を読み出して処理を行うことで、２次元の逆離散ウェーブレット変換を実行する。この２次元の逆離散ウェーブレット変換は、順変換と逆の手順により実行されるが、詳細は公知であるので説明を省略する。
【００５２】
また図８（ｂ）は処理部９０２の処理ブロックを説明する図であり、入力された変換係数はｕおよびｐの２つのフィルタ処理を施され、それぞれ７０１でアップサンプリングされた後に加算されて画像信号ｘ'として出力される。これらの処理は次式により行われる。
【００５３】
x'(2n) = s'(n) - floor ((d'(n-1) + d'(n))/4)      …（式１０）
x'(2n+1) = d'(n) + floor ((x'(2n) + x'(2n+2))/2)  （式１１）
以上の処理により画像が復元されて画像出力部１０に出力される。
【００５４】
なお、この画像出力部１０はモニタ等の画像表示装置であってもよく、或は、磁気ディスク等の記憶装置であってもよい。
【００５５】
以上述べたように本実施の形態１によれば、逆量子化の際、逆量子化対象となる量子化インデックスを含む周辺領域内において、量子化インデックスが“０”となる個数に応じて補正値ｒを求め、“０”の個数が多い場合は、その領域を文書画像と判断し、ｒの値として“０.８７５”を演算部に出力する。また“０”の個数が少ない場合は自然画としてｒを“０.５”として“０.８７５”を演算部に出力する。尚、本発明はこれに限らず、逆量子化対象となる量子化インデックスを除く、周辺領域の量子化インデックスの値に応じて補正値を決定する場合も含まれるものとする。
【００５６】
逆量子化部８において、補正値ｒの値として“０.５”を用いて逆量子化を行った場合は、復元される係数値は量子化により離散化された２つの係数値の中間値を取る。ここで対象画像が自然画である場合、復元される係数値がこの中間値を取ることで、平均的に量子化による誤差を小さく抑制することができる。
【００５７】
しかし対象画像が文書画像で、元の画像信号が２値に離散化している場合は、特に高い周波数に対応するサブバンドにおいて復元される係数を中間値に対して大きく取ることにより、画像信号中の高周波成分の損失を抑えて画質を向上させることができる。
【００５８】
更に、本実施の形態１においては、離散ウェーブレット変換によるＬＬサブバンドに対して一律に補正値ｒとして“０.５”を選択することにより、復元された画像全体の輝度レベルが平均的に最も誤差の少なくなるようにしている。
【００５９】
［実施の形態２］
前述の実施の形態１においては、量子化インデックスのビットプレーンの全てが復号されてから逆量子化を行って画像を復元したが、本発明は全てのビットプレーンを復号せずに画像を復元表示する場合においても、適用することが可能である。以下に、本発明の実施の形態２に係る復号装置における、画像を段階的に復元表示する際の動作について説明する。
【００６０】
まず画像を段階的に復元する際の画像の表示形態について図９（ａ）（ｂ）を参照して説明する。
【００６１】
図９（ａ）は、符号列の例を示したもので、これの基本的な構成は図４に基づいているが、ここでは画像全体をタイルと設定している。従って、符号列中には、ただ１つのタイルヘッダ（ＴＨ０）及びビットストリーム（ＢＳ０）が含まれている。このビットストリーム（ＢＳ０）には図に示すように、最も上位のビットプレーン(Bit S-1)から、下位のビットプレーン(Bit 0)に向かって符号が配置されている。
【００６２】
本実施の形態２に係る復号化装置はこのビットストリームを順次読みこみ、各ビットプレーンの符号を復号した時点で画像を表示する。
【００６３】
図９（ｂ）は上位のビットプレーンから順次復号が行われたとき、表示される画像の画質変化の例を示したものである。
【００６４】
図において、上位のビットプレーンのみが復号されている状態では、画像８１０で示すように、元の画像の全体的な特徴のみが表示されるが、中間のビットプレーンでは、８１１で示すように元の画像の概要が把握でき、更に下位のビットプレーンが復号されることにより、８１２で示すように元の画像に近い画像が再現される。このように、上位から下位へのビットプレーンが復号されるに従って、段階的に画質が改善されていることがわかる。
【００６５】
図１（ｂ）に示す復号装置において、このような復号過程における本実施の形態２に係る補正値計算部１１の動作について以下に説明する。尚、この実施の形態２に係る補正値計算部１１のハードウェア構成は前述の実施の形態１に係るハードウェア構成とほぼ同様であるので、その説明を省略する。
【００６６】
補正値計算部１１は、対象領域が前述の実施の形態１における方法により文書画像と判断された場合、エントロピ復号部７より現在処理の終了しているビットプレーンの番号を入力し、その値に応じて補正値テーブル１１０２に記憶されている補正値ｒを選択し、逆量子化部８の演算部８０２に出力する。ここでビットプレーン番号ｎと選択される補正値ｒの関係は、次式に基づいている。
【００６７】
r = 0.5;      n  Tp                (式１３)
ただし、Ｔpは予め所定の方法により決定された閾値である。このようにして補正値ｒを選択することにより、処理対象領域が文書画像であった場合、より下位のビットプレーンが復元されるに従い、逆量子化により復元される係数値は量子化により離散化された係数値間の中間の値を取ることになる。
【００６８】
図１０（ａ）（ｂ）は、この様子を示した図であり、２つの異なる補正値ｒを選択した場合、量子化インデックスに対応する逆量子化値（図中Ｉで表される）と、補正により最終的に得られる復元値（図中では白丸で表される）との関係を表したものである。
【００６９】
図１０において、高位ビットプレーンを復元する際は図１０（ｂ）（ｒ＝０．８７５）のように係数が復元され、下位ビットプレーンを復元する際は図１０（ａ）（ｒ＝０．５）のように係数が復元されることになる。
【００７０】
ここで下位ビットプレーンを復元することは、通常の量子化において量子化ステップを小さく設定したことと等価である。したがって、下位ビットプレーンの復元時は、その復元される係数値を隣接する逆量子化値の中間の値とすることにより、平均的に画質を向上させることができる。
【００７１】
＜実施の形態３＞
上述した実施の形態１及び２においては、逆量子化の際、補正値ｒを、逆量子化の対象となる量子化インデックスの近傍領域を参照することで選択したが、符号化時点で画像の種別を判定し、その結果に基づいて復号時に補正値ｒを選択するようにすることもできる。以下に、このような方式による実施の形態について説明する。
【００７２】
図１１（ａ）（ｂ）は、本発明の実施の形態３における画像符号化及び復号化装置の構成を示す図である。
【００７３】
同図（ａ）は符号化装置を示した図であり、基本的な構成は図１（ａ）に示す構成と同じであるが、領域判別部１２を備えている点が異なっている。即ち、画像入力部１は、入力した画像を所定の大きさの矩形領域（以降タイルと呼ぶ）に分割し、順次後続の離散ウェーブレット変換部２及び領域判別部１２に出力する。以降の処理において、領域判別部１２を除く各部分は前述の実施の形態１におけるものと同様であるので、それらの説明を省略する。
【００７４】
領域判別部１２はタイル分割された画像をタイル毎に解析し、そのタイルが自然画像であるか、文書画像であるかを判別し、その判別結果をエントロピ符号化部４が出力する符号列内のパラメータに反映させる。ここで画像が自然画であるか文書画像であるかは、タイル内の画素値の分布状態を調べるなどの公知の方法によることができる。或は、ユーザが対話的な操作により画像の特定部分を文書画像として指定するようにしてもよい。
【００７５】
判別の結果は図４（ｃ）に示す符号化パラメータの一部として各タイル毎に含められ、符号列として出力される。このようにして生成された符号列を復号する処理は、以下のように行われる。
【００７６】
図１１（ｂ）は、図１１（ａ）に示す符号化装置により生成された符号列を復号する、本発明の実施の形態３に係る復号装置の構成を示したブロック図である。
【００７７】
同図において、ヘッダ解析部１３以外は、前述の実施の形態１における構成と同様であるので、それらの説明を省略する。符号入力部６は、符号化された符号列を読みこみ、タイル単位で後続のエントロピ復号部７及びヘッダ解析部１３に出力する。ヘッダ解析部１３は、符号入力部６から入力した符号列中の領域判別結果を読み出し、その結果を補正値計算部１１に出力する。
【００７８】
補正値計算部１１はヘッダ解析部１３からの入力に基づいて補正値ｒを選択して逆量子化部８の演算部に出力する。
【００７９】
このように、逆量子化における補正値ｒ求めるためのパラメータを符号化時に生成し、符号列に含めることでも、第１および第２実施の形態と同様の効果を得ることができる。
【００８０】
＜その他の実施の形態＞
上述の実施の形態１及び２においては、逆量子化の対象となるインデックスの周辺状態、又は復号ビットプレーンから補正値ｒを決定したが、これらを組み合わせて補正値を決定してもよい。また、これらと共に量子化インデックスの値の大きさにより補正値ｒを決定することも可能である。
【００８１】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００８２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００８３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００８４】
また、この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【００８５】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【００８６】
以上説明したように本実施の形態によれば、離散ウェーブレット変換を利用して得られた符号化列を復号する逆量子化の過程において、対象画素の周辺の状態や対象ビットプレーンの状態に応じて適切な補正値を選択して補正を行うことにより、画像中に、例えば自然画と文書画像といったように、性質の異なる画像部分が含まれていても、より量子化誤差が小さくなるように画像を復元することができ、最終的な復元画像の画質を向上させることができる。
【００８７】
【発明の効果】
以上説明したように本発明によれば、圧縮符号化された画像を高画質に復号できる。
【００８８】
また本発明によれば、圧縮符号化された符号列で表された画像の特性に基づいて高画質に復号することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像符号化装置（ａ）及び復号装置（ｂ）の構成を示すブロック図である。
【図２】本実施の形態１に係る離散ウェーブレット変換部の構成及び動作を説明する図である。
【図３】本実施の形態に係るエントロピ符号化部の動作を説明する図である。
【図４】本発明の実施の形態に係る画像符号化装置の生成する符号列を説明する図である。
【図５】本実施の形態に係るエントロピ復号部の動作を説明する図である。
【図６】本実施の形態の復号装置の補正値計算部の構成を示すブロック図である。
【図７】本実施の形態の復号装置の補正値計算部における処理を示すフローチャートである。
【図８】本実施の形態の復号装置の逆離散ウェーブレット変換部を説明する図である。
【図９】本発明の実施の形態における符号列と復元画像例を説明する図である。
【図１０】本発明の実施の形態２に係る逆量子化を説明する図である。
【図１１】本発明の実施の形態３に係る画像符号化装置（ａ）および復号装置（ｂ）の構成を示すブロック図である。
【符号の説明】
１    画像入力部
２    離散ウェーブレット変換部
３    量子化部
４    エントロピ符号化部
５    符号出力部
６    符号入力部
７    エントロピ復号部
８    逆量子化部
９    逆離散ウェーブレット変換部
１０  画像出力部
１１  補正値計算部
１２  領域判別部
【図１】
0004365957.tif 000002
【図２】
0004365957.tif 000003
【図３】
0004365957.tif 000004
【図４】
0004365957.tif 000005
【図５】
0004365957.tif 000006
【図６】
0004365957.tif 000007
【図７】
0004365957.tif 000008
【図８】
0004365957.tif 000009
【図９】
0004365957.tif 000010
【図１０】
0004365957.tif 000011
【図１１】
0004365957.tif 000012