(57)【特許請求の範囲】
【請求項１】
描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別手段と、
前記描画オブジェクトを描画展開する展開手段と、
前記展開手段により描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定手段と、
前記指定手段で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記描画オブジェクトの合成が指示されると当該描画オブジェクトに対応するオブジェクト情報を合成する合成手段を更に有し、
前記展開手段は、前記合成手段により合成された描画オブジェクトを基に描画展開することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記指定手段は、描画オブジェクトに対応する前記オブジェクト情報が前記解像度優先を含まないとき前記階調優先の画像領域を指定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像データを符号化する画像処理装置の画像処理方法であって、
前記画像処理装置の判別手段が、描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別工程と、
前記画像処理装置の描画手段が、前記描画オブジェクトを描画展開する展開工程と、
前記画像処理装置の指定手段が、前記展開工程で描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定工程と、
前記画像処理装置の符号化手段が、前記指定工程で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化工程と、
を有することを特徴とする画像処理方法。
【請求項５】
前記描画オブジェクトの合成が指示されると当該描画オブジェクトに対応するオブジェクト情報を合成する合成工程を更に有し、
前記展開工程では、前記合成工程で合成された描画オブジェクトを基に描画展開することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記指定工程では、描画オブジェクトに対応する前記オブジェクト情報が前記解像度優先を含まないとき前記階調優先の画像領域を指定することを特徴とする請求項４に記載の画像処理方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶した、コンピュータにより読取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、属性情報等のオブジェクト情報を有する画像データを符号化する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
一般に画像情報は、その画像の属性などを示すオブジェクト情報をビット情報として有しており、このようなオブジェクト情報は、その画像情報を展開して描画する際の重要な情報として使用されている。
【０００３】
【発明が解決しようとする課題】
また、画像情報を符号化する際、その画像情報の有する属性情報等によって特定される画像特性に応じて符号化するのが望ましい。このため、画像情報の符号化に際しては、その画像の中のある特性の画像領域を指示して、その領域は他の領域とは異なる手法により符号化する試みもなされている。しかしながら、このような画像領域を指定するためには、人手によるか、或は予め定められた領域に固定するしかなかった。
【０００４】
本発明は上記従来例に鑑みてなされたもので、画像情報の有するオブジェクト情報が解像度優先を示している画像領域を指定し、その指定された画像領域に対して他の領域よりも低い圧縮率で符号化を行うことにより、その画像量域の品位の低下を抑制しながら画像全体の符号化効率を高めるようにした画像処理装置及びその方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別手段と、
前記描画オブジェクトを描画展開する展開手段と、
前記展開手段により描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定手段と、
前記指定手段で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化手段と、
を有することを特徴とする。
【０００６】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
画像データを符号化する画像処理装置の画像処理方法であって、
前記画像処理装置の判別手段が、描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別工程と、
前記画像処理装置の描画手段が、前記描画オブジェクトを描画展開する展開工程と、
前記画像処理装置の指定手段が、前記展開工程で描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定工程と、
前記画像処理装置の符号化手段が、前記指定工程で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化工程と、を有することを特徴とする。
【０００７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【０００８】
本実施の形態に係る特徴は、画像情報に付随している、例えばデータ形式、画像の種類、カラー／白黒、等を示す情報を基に、その画像情報における関心領域を決定し、その関心領域の圧縮率を他の領域よりも低く抑えて符号化することにより、画像情報全体の圧縮率を高めながら、かつ関心領域の符号化における画質の低下を防止することができる画像処理装置及びその方法を提供する点にある。以下、詳しく説明する。
【０００９】
図１は、本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。
【００１０】
図１において、１０１は画像データを入力する画像入力部で、例えば原稿画像を読み取るスキャナ、或はデジタルカメラなどの撮像機、又は通信回線とのインターフェース機能を有するインターフェース部等を備えている。１０２は入力画像に対し二次元の離散ウェーブレット変換(Discrete Wavelet Transform)を実行する離散ウェーブレット変換部である。１０３は量子化部で、離散ウェーブレット変換部２で離散ウェーブレット変換された係数を量子化する。１０４はエントロピ符号化部で、量子化部１０３で量子化された係数をエントロピ符号化している。１０５は符号出力部で、エントロピ符号化部１０４で符号化された符号を出力する。１０６は領域指定部で、画像入力部１０１から入力された画像の関心領域を指定する領域指定部である。
【００１１】
なお、本実施の形態１に係る装置は、図１に示すような専用の装置でなく、例えば汎用のＰＣやワークステーションに、この機能を実現するプログラムをロードして動作させる場合にも適用できる。
【００１２】
以上の構成において、まず、画像入力部１０１により符号化対象となる画像を構成する画素信号がラスタスキャン順に入力され、その出力は離散ウェーブレット変換部１０２に入力される。なお、以降の説明では画像入力部１０１から入力される画像信号はモノクロの多値画像の場合で説明するが、カラー画像等、複数の色成分を符号化するならば、ＲＧＢ各色成分、或い輝度、色度成分を上記単色成分として圧縮すればよい。
【００１３】
この離散ウェーブレット変換部１０２は、入力した画像信号に対して２次元の離散ウェーブレット変換処理を行い、その変換係数を計算して出力するものである。
【００１４】
図２（ａ）〜（ｃ）は、本実施の形態に係る離散ウェーブレット変換部１０２の基本構成とその動作を説明する図である。
【００１５】
画像入力部１０１から入力された画像信号はメモリ２０１に記憶され、処理部２０２により順次読み出されて変換処理が行われ、再びメモリ２０１に書きこまれている。
【００１６】
本実施の形態においては、処理部２０２における処理の構成を図２（ｂ）に示す。同図において、入力された画像信号は遅延素子２０４及びダウンサンプラ２０５の組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、２つのフィルタｐ及びｕによりフィルタ処理が施される。ｓおよびｄは、各々１次元の画像信号に対して１レベルの分解を行った際のローパス(Low-pass)係数及びハイパス(High-pas)係数を表しており、次式により計算されるものとする。
【００１７】
d(n)=x(2n+1)-floor[{x(2n)+x(2n+2)}/2]            （式１）
s(n)=x(2n)+floor[{d(n-1)+d(n)}/4]                （式２）
但し、ｘ（ｎ）は変換対象となる画像信号である。また、上式においてfloor{X}は、Xを超えない最大の整数値を表す。
【００１８】
以上の処理により、画像入力部１０１からの画像信号に対する１次元の離散ウェーブレット変換処理が行われる。２次元の離散ウェーブレット変換は、この１次元の離散ウェーブレット変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるので、ここでは説明を省略する。
【００１９】
図２（ｃ）は、この２次元の離散ウェーブレット変換処理により得られる２レベルの変換係数群の構成例を示す図であり、画像信号は異なる周波数帯域の係数列ＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬに分解される。なお、以降の説明ではこれらの係数列をサブバンドと呼ぶ。こうして得られた各サブバンド単位で後続の量子化部３に出力される。
【００２０】
領域指定部１０６は符号化対象となる画像内で、周囲部分と比較して高画質で復号化されるべき領域（ＲＯＩ：Region Of Interesting）を決定し、対象画像を離散ウェーブレット変換した際に、どの係数が指定領域に属しているかを示すマスク情報を生成する。
【００２１】
図３（ａ）はマスク情報を生成する際の一例を示したものである。同図左側に示す様に、所定の指示入力により画像内に星型の領域が指定された場合に、領域指定部１０６は、この指定領域を含む画像を離散ウェーブレット変換した際、該指定領域が各サブバンドに占める部分を計算する。またマスク情報の示す領域は、指定領域境界上の画像信号を復元する際に必要な、周囲の変換係数を含む範囲となっている。
【００２２】
このように計算されたマスク情報の例を図３（ａ）の右側に示す。この例においては、同図左側の画像に対し２レベルの離散ウェーブレット変換を施した際のマスク情報が図のように計算される。図において、星型の部分が指定領域であり、この領域内のマスク情報のビットは“１”、それ以外のマスク情報のビットは“０”となっている。これらマスク情報全体は２次元離散ウェーブレット変換による変換係数の構成と同じであるため、マスク情報内のビットを検査することで対応する位置の係数が指定領域内に属しているかどうかを識別することができる。このように生成されたマスク情報は量子化部１０３に出力される。
【００２３】
更に、領域指定部１０６は指定領域に対する画質を指定するパラメータを不図示の入力系から入力する。このパラメータは指定領域に割り当てる圧縮率を表現する数値、或は画質を表す数値でも良い。領域指定部１０６はこのパラメータから、指定領域における係数に対するビットシフト量Ｂを計算し、マスクと共に量子化部１０３に出力する。
【００２４】
量子化部１０３は、入力した係数を所定の量子化ステップにより量子化し、その量子化値に対するインデックスを出力する。ここで、量子化は次式により行われる。
【００２５】
ｑ＝sign(c)floor{abs(c)/Δ}            （式３）
sign(c)＝１；ｃ≧０                  （式４）
sign(c)＝−１；ｃ＜０                  （式５）
ここで、ｃは量子化対象となる係数である。abs(c)はｃの絶対値を示す。また、本実施の形態においては、量子化ステップΔの値として“１”を含むものとする。この場合、実際に量子化は行われない。
【００２６】
次に量子化部１０３は、領域指定部１０６から入力したマスクおよびシフト量Ｂに基づき、次式により量子化インデックスを変更する。
【００２７】
ｑ’＝ｑ×２^Ｂ；ｍ＝１                  （式６）
ｑ’＝ｑ        ；ｍ＝０                （式７）
ここで、ｍは当該量子化インデックスの位置におけるマスクの値である。以上の処理により、領域指定部１０６において指定された空間領域に属する量子化インデックスのみがＢビットだけ上方にシフトアップされる。
【００２８】
図３（ｂ）及び図３（ｃ）はこのシフトアップによる量子化インデックスの変化を示したものである。図３（ｂ）において、３つのサブバンドに各々３個の量子化インデックスが存在しており、網がけされた量子化インデックスにおけるマスクの値が“１”でシフト数Ｂが“２”の場合、シフト後の量子化インデックスは図３（ｃ）のようになる。
【００２９】
このように変更された量子化インデックスは後続のエントロピ符号化部１０４に出力される。
【００３０】
エントロピ符号化部１０４は、入力した量子化インデックスをビットプレーンに分解し、各ビットプレーンを単位に２値算術符号化を行ってコードストリームを出力する。
【００３１】
図４は、本実施の形態のエントロピ符号化部１０４の動作を説明する図であり、この例においては４×４の大きさを持つサブバンド内の領域において非０の量子化インデックスが３個存在しており、それぞれ「＋１３」，「−６」，「＋３」の値を持っている。エントロピ符号化部１０４は、この領域を走査して最大値Ｍを求め、次式により最大の量子化インデックスを表現するために必要なビット数Ｓを計算する。
【００３２】
Ｓ＝ceil[log2{abs(M)}]              （式８）
ここでｃｅｉｌ(ｘ)はｘ以上の整数の中で最も小さい整数値を表す。
【００３３】
図４においては、最大の係数値は「１３」であるので、ビット数Ｓは“４”であり、シーケンス中の１６個の量子化インデックスは同図に示すように４つのビットプレーンを単位として処理が行われる。最初に、エントロピ符号化部１０４は最上位ビットプレーン（同図ＭＳＢで表す）の各ビットを２値算術符号化し、ビットストリームとして出力する。次にビットプレーンを１レベル下げ、以下同様に対象ビットプレーンが最下位ビットプレーン（同図ＬＳＢで表す）に至るまで、ビットプレーン内の各ビットを符号化して符号出力部１０５に出力する。この時、各量子化インデックスの符号は、ビットプレーン走査において最初の非０ビットが検出されると、そのすぐ後に当該量子化インデックスの符号がエントロピ符号化される。
【００３４】
図５は、このようにして生成され出力される符号列の構成を表した概略図である。
【００３５】
同図（ａ）は符号列の全体の構成を示したものであり、ＭＨはメインヘッダ、ＴＨはタイルヘッダ、ＢＳはビットストリームである。メインヘッダＭＨは同図（ｂ）に示すように、符号化対象となる画像のサイズ（水平及び垂直方向の画素数）、画像を複数の矩形領域であるタイルに分割した際のタイルサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報を有している。なお、本実施の形態では、画像はタイルに分割されていないので、タイルサイズと画像サイズは同じ値を取り、対象画像がモノクロの多値画像の場合コンポーネント数は“１”である。
【００３６】
次にタイルヘッダＴＨの構成を図５（ｃ）に示す。タイルヘッダＴＨには当該タイルのビットストリーム長とヘッダ長を含めたタイル長及び当該タイルに対する符号化パラメータ、及び指定領域を示すマスク情報と当該領域に属する係数に対するビットシフト数とを含んでいる。ここで、符号化パラメータには、離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。
【００３７】
本実施の形態におけるビットストリームの構成を同図（ｄ）に示す。同図において、ビットストリームは各サブバンド毎にまとめられ、解像度の小さいサブバンドを先頭として順次解像度が高くなる順番に配置されている。さらに、各サブバンド内は上位ビットプレーン(S-1)から下位ビットプレーンに向かってビットプレーンを単位として符号が配列されている。
【００３８】
このような符号配列とすることにより、後述する図９の様な階層的復号化を行うことが可能となる。
【００３９】
上述した実施の形態において、符号化対象となる画像全体の圧縮率は量子化ステップΔを変更することにより制御することが可能である。
【００４０】
また別の方法として本実施の形態では、エントロピ符号化部１０４において符号化するビットプレーンの下位ビットを必要な圧縮率に応じて制限（廃棄）することも可能である。この場合には、全てのビットプレーンは符号化されず、上位ビットプレーンから所望の圧縮率に応じた数のビットプレーンまでが符号化され、最終的な符号列に含まれる。
【００４１】
上記下位ビットプレーンを制限する機能を利用すると、図３に示した指定領域に相当するビットのみが多く符号列に含まれることになる、即ち、上記指定領域のみ低圧縮率で高画質な画像として符号化することが可能となる。
【００４２】
次に以上述べた画像符号化装置により符号化されたビットストリームを復号化する方法について説明する。
【００４３】
図６は、本実施の形態に係る画像復号化装置の構成を表すブロック図であり、６０１が符号入力部、６０２はエントロピ復号化部、６０３は逆量子化部、６０４は逆離散ウェーブレット変換部、６０５は画像出力部である。
【００４４】
符号入力部６０１は、前述の符号化装置で符号化された符号列を入力し、それに含まれるヘッダを解析して後続の処理に必要なパラメータを抽出し、必要な場合は処理の流れを制御し、或は後続の処理ユニットに対して該当するパラメータを送出する。また、符号列に含まれるビットストリームはエントロピ復号化部６０２に出力される。
【００４５】
エントロピ復号化部６０２は、符号入力部６０１から出力されるビットストリームをビットプレーン単位で復号化して出力する。この時の復号化手順を図７に示す。
【００４６】
図７の左側は、復号対象となるサブバンドの一領域をビットプレーン単位で順次復号化し、最終的に量子化インデックスを復元する流れを図示したものであり、同図の矢印の順にビットプレーンが復号化される。復元された量子化インデックスは逆量子化器６０３に出力される。
【００４７】
逆量子化器６０３は、入力した量子化インデックスから、次式に基づいて離散ウェーブレット変換係数を復元する。
【００４８】
ｃ’＝Δ×ｑ／２^Ｕ；ｑ≠０      （式９）
ｃ’＝０          ；ｑ＝０      （式１０）
Ｕ＝Ｂ；ｍ＝１                  （式１１）
Ｕ＝０；ｍ＝０                  （式１２）
ここで、ｑは量子化インデックス、Δは量子化ステップであり、量子化ステップΔは符号化時に用いられたものと同じ値である。また、Ｂはタイルヘッダから読み出されたビットシフト数、ｍは当該量子化インデックスの位置におけるマスクの値である。ｃ’は復元された変換係数で、符号化時ではｓ又はｄで表される係数を復元したものである。変換係数ｃ’は後続の逆離散ウェーブレット変換部６０４に出力される。
【００４９】
図８は、本実施の形態の逆離散ウェーブレット変換部６０４の構成および処理のブロック図を示したものである。
【００５０】
同図（ａ）において、入力された変換係数はメモリ８０１に記憶される。処理部８０２は１次元の逆離散ウェーブレット変換を行い、メモリ８０１から順次変換係数を読み出して処理を行うことで、２次元の逆離散ウェーブレット変換を実行する。２次元の逆離散ウェーブレット変換は、順変換と逆の手順により実行されるが、詳細は公知であるので説明を省略する。また同図（ｂ）は、処理部８０２の処理ブロックを示したものであり、入力された変換係数はｕ及びｐの２つのフィルタ処理が施され、アップサンプリングされた後に重ね合わされて画像信号ｘ’が出力される。これらの処理は次式により行われる。
【００５１】
ｘ'(2n)＝ｓ'(ｎ)−floor[{ｄ'(n-1)＋ｄ'(n)}/４]         （式１３）
ｘ'(2n+1)＝ｄ'(ｎ)＋floor[{ｘ'(2n)＋ｘ'(2n＋2)}/２]    （式１４）
ここで、（式１）、（式２）、および（式１３）、（式１４）による順方向及び逆方向の離散ウェーブレット変換は完全再構成条件を満たしているため、本実施の形態において量子化ステップΔが“１”であり、ビットプレーン復号化において全てのビットプレーンが復号されていれば、復元された画像信号ｘ’は原画像の信号ｘと一致する。
【００５２】
以上の処理により画像が復元されて画像出力部６０５に出力される。この画像出力部６０５は、モニタ等の画像表示装置であってもよいし、或は磁気ディスク等の記憶装置であってもよい。
【００５３】
以上述べた手順により画像を復元表示した際の、画像の表示形態について図９を用いて説明する。
【００５４】
同図（ａ）は符号列の例を示した図で、基本的な構成は図５に基づいている。ここでは画像全体をタイルと設定されており、従って、符号列中には唯１つのタイルヘッダ及びビットストリームが含まれている。このビットストリームＢＳ０には、図に示すように、最も低い解像度に対応するサブバンドであるＬＬから順次解像度が高くなる順に符号が配置されており、さらに各サブバンド内は上位ビットプレーンから下位ビットプレーンに向かって符号が配置されている。
【００５５】
復号化装置は、このビットストリームを順次読みこみ、各ビットプレーンに対応する符号を復号した時点で画像を表示する。図９（ｂ）は各サブバンドと表示される画像の大きさの対応と、サブバンド内の符号列を復号するのに伴う画像の変化を示したものである。同図において、ＬＬに相当する符号列が順次読み出され、各ビットプレーンの復号処理が進むに従って画質が徐々に改善されているのが分かる。この時、符号化時に指定領域となった星型の部分は、その他の部分よりもより高画質に復元される。
【００５６】
これは、符号化時に量子化部において、指定領域に属する量子化インデックスをシフトアップしており、そのためビットプレーン復号化の際に当該量子化インデックスがその他の部分に対し、より早い時点で復号化されるためである。このように指定領域部分が高画質に復号化されるのは、その他の解像度についても同様である。
【００５７】
更に、全てのビットプレーンを復号化した時点では、指定領域とその他の部分は画質的に同一であるが、途中段階で復号化を打ち切った場合は、その指定領域がその他の領域よりも高画質に復元された画像が得られる。
【００５８】
上述した実施の形態において、エントロピ復号化部６０２において復号する下位ビットプレーンを制限（無視）することにより、受信或いは処理する符号化データ量を減少させ、結果的に圧縮率を制御することが可能である。この様にすることにより、必要なデータ量の符号化データのみから所望の画質の復号画像を得ることが可能である。また、符号化時の量子化ステップΔの値が“１”であり、復号時に全てのビットプレーンが復号された場合は、その復元された画像が原画像と一致する可逆符号化・復号化を実現することもできる。
【００５９】
また上記下位ビットプレーンを制限する機能を利用すると、復号対象となる符号列には、図３に示した指定領域に相当するビットのみが他領域より多く含まれていることから、結果的に上記指定領域のみを低圧縮率で、かつ高画質な画像として符号化されたデータを復号したのと同様の効果を奏することができる。
【００６０】
上述の説明では、空間スケーラブルを使用する例を示したが、ＳＮＲスケーラブルを使用する方式でも同様の効果を得られることはいうまでもない。
【００６１】
この場合、エンコーダの説明部分の図５が図１０に、デコーダの説明部分の図９を図１１に置き換わる。以下に、図１０及び図１１を参照して説明する。
【００６２】
図１０は、ＳＮＲスケーラブルで生成され出力される符号列の構成を表した概略図である。
【００６３】
同図（ａ）は符号列の全体の構成を示したものであり、ＭＨはメインヘッダ、ＴＨはタイルヘッダ、ＢＳはビットストリームである。メインヘッダＭＨは同図（ｂ）に示すように、符号化対象となる画像のサイズ（水平及び垂直方向の画素数）、画像を複数の矩形領域であるタイルに分割した際のタイルサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報を有している。なお、本実施の形態では画像はタイルに分割されていないので、タイルサイズと画像サイズは同じ値を取り、対象画像がモノクロの多値画像の場合コンポーネント数は“１”である。
【００６４】
次にタイルヘッダＴＨの構成を図１０（ｃ）に示す。タイルヘッダＴＨには、このタイルのビットストリーム長とヘッダ長を含めたタイル長及び、このタイルに対する符号化パラメータ、および指定領域を示すマスク情報と、この領域に属する係数に対するビットシフト数を有している。符号化パラメータには、離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。本実施の形態におけるビットストリームの構成を同図（ｄ）に示す。同図において、ビットストリームはビットプレーンを単位としてまとめられ、上位ビットプレーン(S-1)から下位ビットプレーンに向かう形で配置されている。各ビットプレーンには、各サブバンドにおける量子化インデックスの当該ビットプレーンを符号化した結果が順次サブバンド単位で配置されている。図において、Ｓは最大の量子化インデックスを表現するために必要なビット数である。このようにして生成された符号列は、符号出力部１０５に出力される。
【００６５】
このような符号配列とすることにより、後述する図１１の様な階層的復号化を行うことが可能となる。
【００６６】
図１１は、図１０に示す符号列を復元表示した際の画像の表示形態について説明する図である。
【００６７】
同図（ａ）は符号列の例を示したもので、基本的な構成は図１０に基づいているが、ここでは画像全体をタイルと設定されており、符号列中には唯１つのタイルヘッダおよびビットストリームが含まれている。ビットストリームＢＳ０には図に示すように、最も上位のビットプレーンから、下位のビットプレーンに向かって符号が配置されている。
【００６８】
前述の復号化装置はこのビットストリームを順次読みこみ、各ビットプレーンの符号を復号した時点で画像を表示する。同図において各ビットプレーンの復号処理が進むに従って画質が徐々に改善されているが、符号化時に指定領域となった星型の部分はその他の部分よりもより高画質に復元される。
【００６９】
これは上述したように、符号化時に量子化部において、指定領域に属する量子化インデックスをシフトアップしており、そのためビットプレーン復号化の際に当該量子化インデックスがその他の部分に対し、より早い時点で復号化されるためである。
【００７０】
更に、全てのビットプレーンを復号化した時点では指定領域とその他の部分は画質的に同一であるが、途中段階で復号化を打ち切った場合は指定領域部分がその他の領域よりも高画質に復元された画像が得られる。
【００７１】
次に、本実施の形態に係る特徴的な構成を印刷装置の場合で説明する。
【００７２】
図１２は、本実施の形態に係る印刷装置における印刷対象オブジェクトの処理を説明する図である。
【００７３】
図１２において、１１００は、本実施の形態の印刷装置の全体の動作制御を司るコントローラである。１１０１はＰＤＬ解析部で、ホストコンピュータなどの外部機器から入力されるＰＤＬデータ（印刷データ）を解析して解釈する。１１０２は印刷オブジェクトで、入力したＰＤＬデータをＰＤＬ解析部１１０１が解析して作成したオブジェクトである。１１０３はグラフィック・ライブラリで、オブジェクト１１０２をレンダリング・エンジン１１０６が解釈できる命令オブジェクト１１０４に変換し、そのオブジェクト１１０４に対して情報１１０５を付加する（この情報については図１３を参照して後述する）。レンダリング・エンジン１１０６は、オブジェクト１１０４を入力し、図１４及び図１５を参照して後述するように、ビット情報を操作して印刷用のビットマップイメージデータ１１０７を作成する。このビットマップイメージデータ１１０７は、ＲＧＢ各色８ビットのイメージデータ（１１０８）、及び３ビットの情報（ビット／ピクセル）（１１０９）を含んでいる。
【００７４】
図１３は、情報１１０５の各ビットの持つ意味を説明する図である。
【００７５】
ここでは、情報１１０５は３ビットで構成され、ビット０は、ビットマップ（Bitmap）かベクトル（Vector）グラフィックかを示すビット（Bitmapフラグと呼ぶ）で、ビットマップの場合には“０”、ベクトルの場合は“１”がセットされる。ビット１は、カラーオブジェクトか白黒オブジェクトかを示すビット（色フラグ）で、カラーの場合は“０”、白黒の場合は“１”である。ビット３は、Bitmapフラグが“０”（＝Bitmapデータ）の場合では文字か（＝１）、文字以外（＝０）かを示し、Bitmapフラグが“１”（ベクトルデータ）の場合には、階調優先（＝０）か、解像度優先（＝１）かを示すビット（文字フラグとよぶ）である。
【００７６】
図１４及び図１５は、ソース画像（Ｓ）とディスティネーション画像（Ｄ）の合成方法を説明する図である。
【００７７】
図１４において、１４０１は、合成するオブジェクトがＳのみ（ソース画像のみ。つまり、オブジェクトを上書きする場合）、又はＮｏｔＳのみ（ソース画像の０／１反転を行い、オブジェクトを上書きする場合）のいずれかの場合を示し、この場合はＳの３ビットの情報（Sflag）を、そのまま３ビットの情報１１０９として残すことを示している。また１４０２は、合成するオブジェクトがＤのみ（ディスティネーション画像のみ。つまり下地をそのまま利用する場合）、又はＮｏｔＤのみ（ディスティネーションビットの０／１反転を）のいずれかの場合を示し、この場合はＤの３ビットの情報（Dflag）を、そのまま３ビットの情報１１０９として残すことを示している。また１４０３はＳとＤの合成方法を示し、「Ｓ or Ｄ」（ＳとＤの論理和）、「Ｓ and Ｄ」（ＳとＤの論理積）、「Ｓ xor Ｄ」（ＳとＤの排他論理和）、「Ｓ α Ｄ」（ＳとＤのαオペレーション＝透明度を持つＳ及びＤのａｎｄ、ｏｒ、ｘｏｒ）を含み、この場合は、図１３に示したＳとＤのそれぞれの３ビット情報の各ビットの論理積を求め、これを合成された画像の情報として決定することを示している。
【００７８】
また図１５は、他の合成方法を説明する図で、１５０１は１４０１と同様に、合成オブジェクトがＳのみ（ソースのみ。つまり、オブジェクトを上書きする場合）、ＮｏｔＳのみ（ソースの否定演算子＝ソースビットの０／１反転を行い、オブジェクトを上書きする場合）を示し、この場合にはＳの３ビット情報をそのまま情報１１０９として残す。また１５０２は１４０２と同様に、Ｄのみ（ディスティネーションのみ。つまり、下地をそのまま利用する場合）、ＮｏｔＤのみ（ディスティネーションの否定演算子＝ディスティネーションビットの０／１の反転を行う）場合を示し、その場合にはＤの３ビット情報をそのまま情報１１０９として残す。また１５０３はＳとＤの合成方法を示したもので、「Ｓ or Ｄ」（ＳとＤの論理和）、「Ｓ and Ｄ」（ＳとＤの論理積）、「Ｓ xor Ｄ」（ＳとＤの排他論理和）、「Ｓ α Ｄ」（ＳとＤのαオペレーション＝透明度を持つＳ及びＤのａｎｄ、ｏｒ、ｘｏｒ）が存在し、この場合には、図１３に示したＳとＤの各３ビット情報の各ビットにおいて、ＳとＤが同一ならＳのビット情報（Sflag）をそのまま残し、ＳとＤが同じでないならばビット情報として０(000)（ビットマップ、カラー、文字以外）をセットすることを示している。
【００７９】
図１６は、本実施の形態の印刷装置において生成された印刷イメージデータにおける領域指定を説明する図である。
【００８０】
図１６において、１５０１は図１２のＲＧＢのイメージデータ１１０８に相当する画像データである。画像１５０２は、図１３に示す情報により規定された（属性１（例えば(000:ビットマップ、カラー、文字以外））を有する画像データエリアである。同じく画像１５０３は、図１３の情報により規定された（属性２（例えば(010:ビットマップ、白黒、文字以外））を有する画像データエリアである。また画像１５０４は、図１３の情報により規定された（属性３（例えば(001:ビットマップ、カラー、文字））を有する画像データエリアである。１５０５は、この画像データ１５０１に対応する、図１２のフラグ１１０９に相当する情報を表している。
【００８１】
本実施の形態では、前述の図１における領域指定部１０６（ＲＯＩ領域指定）において関心領域(ROI)を決定するために、この３ビットの情報を使用することを特徴としている。具体的には、図１６に示す情報１５０５（図１２のフラグ１１０９に相当）を入力し、その情報を基にＲＯＩ領域となり得るエリアを抽出し（１５０６）、これら抽出したエリアの中からレンダリング・エンジン１１０６がＲＯＩとして使用する領域を決定する。
【００８２】
このＲＯＩ領域の選定方法は、図１３に示した３ビット情報の各ビットの状態にプライオリティを設けて、画質を優先する（高圧縮では品位が耐えられない）属性を有するデータを優先するという方法で決定する。例えば、この３ビット情報が“１０１”である画像領域（ベクトル、カラー、解像度優先）を最も重要な高品位画像エリアとし、情報が“１００”である画像領域（ベクトル、カラー、階調優先）をその次の重要な高品位画像領域というように設定する。
【００８３】
尚、このプライオリティ付けに関しては、印刷エンジンの特性等も加味して決定する必要があり、ここでは特に規定を設けない。
【００８４】
図１７は、本実施の形態の印刷装置における領域指定処理を説明するフローチャートである。
【００８５】
まずステップＳ１で、ホストコンピュータなどからの印刷データを入力し、ステップＳ２で、その入力した印刷データを解析し、後続のレンダリング処理で参照できるオブジェクトを生成する。次にステップＳ３に進み、その印刷データの指示に応じて、前述の図１４及び図１５において説明したようにして画像の合成及びそれに伴う３ビット情報の生成処理を行う。
【００８６】
次にステップＳ４に進み、フラグ１１０９をチェックし、その３ビット情報が所定の属性（例えば前述したようにベクトルデータで、カラー、解像度優先）を示しているかどうかを調べ、そうであればステップＳ６に進み、そのフラグが付されている画像領域を関心領域（ＲＯＩ）として設定する。そしてステップＳ７で、このフラグ１１０９の全てをチェックするまでステップＳ５〜Ｓ７を繰り返し実行する。こうして指定領域が決定されるとステップＳ８に進み、レンダリング処理を行って、図１２に示すイメージデータ１１０８、フラグ１１０９を含むビットマップイメージデータ１１０７を生成して処理を終了する。尚、別の方法として、全データをレンダリングしてしまってから、即ち、ビットマップイメージデータ１１０７を得てから、そのイメージデータ１１０７の有するＲＧＢ各８ビットのイメージデータ１１０８を調べてＲＯＩを決定しても同様の効果が得られる。
【００８７】
尚、このような領域指定処理は、印刷装置において実行されるものに限らず、前述の図１に示すように、Ｘ線カメラ、デジタルカメラ等で撮像された映像、或は写真画像等の符号化の際にも適用できることはもちろんであり、この領域指定の手法は印刷装置に何等限定されるものではない。
【００８８】
［実施の形態２］
前述の実施の形態１ではビット情報に優先度付けを行ったが、３ビット情報が一番大きい面積をとる部分をＲＯＩとして選択してレンダリング・エンジン１１０６に通知することで、全体的に高品質な画像を得ることができる。
【００８９】
［実施の形態３］
前述の実施の形態１〜２では、ＲＯＩとして１つの領域だけを選択したが、ＲＯＩとして複数の領域を指定できる場合には、実施の形態１，２に基づいて複数のＲＯＩを指定しても良い。
【００９０】
なお、前述の実施の形態１〜３では、ＲＯＩと同等の機能を持つ圧縮方式の全てに本発明の領域指定方法を適応できることは言うまでもない。
【００９１】
［実施の形態４］
前述の実施の形態１〜３では、３ビットの情報からＲＯＩを求める例を示したが、ＲＯＩを持たない圧縮方法を複数使用する印刷装置では、このビット情報を圧縮方法の選択基準とすることも可能である。一例として、印刷装置がPackBits圧縮とＪＰＥＧ圧縮をサポートしている場合に、ビット情報を調べて、カラー画像が多い画像にはＪＰＥＧ圧縮を用い、白黒文字が多い画像には、PackBits圧縮を使用することが考えられる。なお、圧縮方法とビット情報との組み合わせは、圧縮方法の特性でほぼ自動的に決定できるものであり、ここでは全てを網羅することはしない。
【００９２】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９４】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９５】
以上説明したように本実施の形態によれば、属性情報としてビット情報を有する画像情報における関心領域を、そのビット情報を使用して決定することにより、より高品位で、かつ高圧縮な画像を得ることができる。
【００９６】
またその属性に優先度を持たせ、より優先度の高い属性を有する画像領域を関心領域として設定することにより、例えば解像度重視の領域の圧縮率を低く抑えながら、画像全体の圧縮率を低下させることなく画像を符号化できる。
【００９７】
【発明の効果】
以上説明したように本発明によれば、画像情報の有するオブジェクト情報が解像度優先を示している画像領域を指定し、その指定された画像領域に対して他の領域よりも低い圧縮率で符号化を行うことにより、その画像量域の品位の低下を抑制しながら画像全体の符号化効率を高めることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。
【図２】本実施の形態に係るウェーブレット変換部の構成及びその変換により得られるサブバンドを説明する図である。
【図３】画像中の関心領域（指定領域）の変換と、その領域の画像データのビットシフトを説明する図である。
【図４】本実施の形態におけるエントロピ符号化部の動作を説明する図である。
【図５】空間スケーラビリティにより生成され出力される符号列の構成を表した概略図である。
【図６】本実施の形態に係る画像復号化装置の構成を表すブロック図である。
【図７】本実施の形態のエントロピ復号化部によるビットプレーンとビットプレーン毎の復号化順を説明する図である。
【図８】本実施の形態のウェーブレット復号化部の構成を示すブロック図である。
【図９】空間スケーラビリティの場合の符号列の例と、それを復号する際の、各サブバンドと、それに対応して表示される画像の大きさと、各サブバンドの符号列を復号するのに伴う再生画像の変化を説明する図である。
【図１０】ＳＮＲスケーラビリティの場合の符号列の例を説明する図である。
【図１１】ＳＮＲスケーラビリティの場合の符号列と、その復号化処理を説明する図である。
【図１２】本実施の形態に係る印刷装置における印刷対象オブジェクトの処理を説明する図である。
【図１３】本実施の形態に係る３ビット情報の構成を説明する図である。
【図１４】本実施の形態に係るオブジェクトの合成とフラグの合成方法を説明する図である。
【図１５】本実施の形態に係るオブジェクトの合成とフラグの合成方法を説明する図である。
【図１６】本実施の形態に係るビット情報に基づく領域指定処理を説明する図である。
【図１７】本実施の形態の印刷装置における領域指定処理を説明するフローチャートである。
【図１】
0004412688.tif 000002
【図２】
0004412688.tif 000003
【図３】
0004412688.tif 000004
【図４】
0004412688.tif 000005
【図５】
0004412688.tif 000006
【図６】
0004412688.tif 000007
【図７】
0004412688.tif 000008
【図８】
0004412688.tif 000009
【図９】
0004412688.tif 000010
【図１０】
0004412688.tif 000011
【図１１】
0004412688.tif 000012
【図１２】
0004412688.tif 000013
【図１３】
0004412688.tif 000014
【図１４】
0004412688.tif 000015
【図１５】
0004412688.tif 000016
【図１６】
0004412688.tif 000017
【図１７】
0004412688.tif 000018