(57)【特許請求の範囲】
【請求項１】
原画像データから絵柄を表す第１の画像データと非絵柄部の形状を表す第２の画像データを含む複数の画像データを生成する画像データ生成手段と、
前記画像データ生成手段により生成された複数の画像データのそれぞれを符号化する符号化処理手段と、
前記符号化処理手段により生成された複数の画像データの符号を結合した符号データを生成する符号形成手段と
を備え、
前記符号化処理手段において、前記第１の画像データに対して輝度・色差変換を適用し、該輝度・色差変換により得られた輝度成分及び色差成分に対し周波数変換を行い、該周波数変換により得られた輝度成分及び色差成分の周波数変換係数に対してエントロピー符号化を行い、前記輝度成分及び色差成分の周波数変換係数に対し直接的な量子化、又は、周波数変換係数の下位ビットに対するエントロピー符号化の省略もしくは周波数変換係数の下位ビットのエントロピー符号の破棄による周波数変換係数に対する間接的な量子化（以下、前記直接的な量子化及び前記間接的な量子化を綜合して量子化と呼ぶ）を行う符号化装置であって、
前記第１の画像データに関する色差成分の絶対値を増加させる色差絶対値増加処理手段を有し、該色差絶対値増加処理手段による色差成分の絶対値の増加量は前記第１と第２の画像データの解像度比（＝前記第２の画像データの解像度／前記第１の画像データの解像度）と正の相関を持つことを特徴とする符号化装置。
【請求項２】
原画像データから絵柄を表す第１の画像データと非絵柄部の形状を表す第２の画像データを含む複数の画像データを生成する画像データ生成工程と、
前記画像データ生成工程で生成された複数の画像データのそれぞれを符号化する符号化処理工程と、
前記符号化処理工程により生成された複数の画像データの符号を結合した符号データを生成する符号形成工程と
を有し、
前記符号化処理工程において、前記第１の画像データに対して輝度・色差変換を適用し、該輝度・色差変換により得られた輝度成分及び色差成分に対し周波数変換を行い、該周波数変換により得られた輝度成分及び色差成分の周波数変換係数に対してエントロピー符号化を行い、前記輝度成分及び色差成分の周波数変換係数に対し直接的な量子化、又は、周波数変換係数の下位ビットに対するエントロピー符号化の省略もしくは周波数変換係数の下位ビットのエントロピー符号の破棄による周波数変換係数に対する間接的な量子化（以下、前記直接的な量子化及び前記間接的な量子化を綜合して量子化と呼ぶ）を行う符号化方法であって、
前記第１の画像データに関する色差成分の絶対値を増加させる色差絶対値増加処理工程を有し、該色差絶対値増加処理工程による色差成分の絶対値の増加量は前記第１と第２の画像データの解像度比（＝前記第２の画像データの解像度／前記第１の画像データの解像度）と正の相関を持つことを特徴とする符号化方法。
【請求項３】
請求項２に記載の符号化方法の各工程をコンピュータに実行させるプログラム。
【請求項４】
請求項２に記載の符号化方法の各工程をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの符号化装置及び符号化方法に関する。
【背景技術】
【０００２】
文書、その他の画像データは符号化（圧縮）されて扱われることが多い。画像データの符号化方式の種類は多いが、その一つがＪＰＥＧ２０００である。
【０００３】
また、絵柄と非絵柄（文字・線画）の混在した混在文書を効率的に符号化するために、非絵柄（文字・線画）部分と絵柄部分とに分離し、それぞれに対して異なる符号化を施すことが提案されている。例えば、ＭＲＣ（ミクスト・ラスター・コンテント）モデルと呼ばれる手法は、1ページの文書（原画像）を文字・線画の色情報を表す前景、文字・線画の形状情報を表すマスク、絵柄を表す背景といった３レイヤに分け、レイヤごとに符号化を行う方式である(図１９参照)。特許文献１はＭＲＣモデルの典型例である。
【０００４】
このようなMRC方式では、１つの背景に対して、複数の「前景＋マスク」を重ねあわせていく方式が一般的である。マスクとは前景を(たとえば文字の形に)切り取るための形状情報を持つものであり、マスクの値が前景の透過率(前景と背景の混合比)を持つ場合もある。また、背景、マスク、前景の解像度は任意に選択できることも多い。
【０００５】
また、ＭＲＣモデルの前景、マスク、背景の圧縮方式としてＪＰＥＧ２０００の選択を可能にしたＪＰＭ（JPEG2000  Multi  Layer）が標準化されている。このＪＰＭにおいては、背景に対して、前景とマスクのペアとして定義されるレイアウトオブジェクトを順次重ねて画像を合成する。ＪＰＭでは、背景は、レイアウトオブジェクトが描画される前の初期的なページとして扱われる。背景と前景の合成法としては
（ｉ）前景か背景のいずれかを選択する
（ii）前景の値と背景の値の加重平均をとる
の２つの場合が可能である。（ｉ）の場合はマスクを二値データとし、マスク値が１の位置で前景を、０の位置で背景を対応させて選択を行うことが可能である。（ii）の場合には、マスクに8ビットの正の値を持たせ、下記式
合成画像＝（マスク値／255）×前景＋｛（255―マスク値）／255｝×背景
により加重平均をとることが可能である。いずれの合成方法をとるかは前景とマスクのペアごとに指定可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像データの符号化において、輝度・色差変換及び周波数変換を適用し、輝度成分と色差成分の周波数変換係数に対し量子化を行う場合、人間の視覚特性を反映させるため輝度成分よりも色差成分を強く量子化することが多い。この結果、高い圧縮率で符号化された画像を復号した画像は、色が薄く見えがちである（究極的には、色味を失ってグレーになる）。
【０００７】
ＭＲＣモデルの場合においても同様に、前景や背景を高い圧縮率で圧縮するために色差成分が強く量子化されると、復号画像の色が薄く見えがちである。また、ＭＲＣモデルでは、マスクに比べ前景や背景の解像度を下げるのが通常であり、前景や背景は、重ね合わせて合成する場合にマスクの解像度に合わせるように解像度変換（拡大）されるが、このことも色が薄くなるもう一つの要因である。すなわち、前景や背景の拡大を最近傍法以外の方法で行った場合、拡大後の画素値は拡大前のいくつかの画素値の加重平均として求められるので、拡大後の画像は平滑化された形となるため原画像より色味が淡くなりがちなのである。
【０００８】
本発明の目的は、上記したような画像の色が薄くなるという問題について改善した符号化装置及び符号化方法を提供することにある。
【課題を解決するための手段】
【００１０】
また、本発明によれば、
原画像データから絵柄を表す第１の画像データと非絵柄部の形状を表す第２の画像データを含む複数の画像データを生成する画像データ生成手段と、
前記画像データ生成手段により生成された複数の画像データのそれぞれを符号化する符号化処理手段と、
前記符号化処理手段により生成された複数の画像データの符号を結合した符号データを生成する符号形成手段と
を備え、
前記符号化処理手段において、前記第１の画像データに対して輝度・色差変換を適用し、該輝度・色差変換により得られた輝度成分及び色差成分に対し周波数変換を行い、該周波数変換により得られた輝度成分及び色差成分の周波数変換係数に対してエントロピー符号化を行い、前記周波数変換係数に対し直接的な量子化、又は、前記周波数変換係数の下位ビットに対するエントロピー符号化の省略もしくは前記周波数変換係数の下位ビットのエントロピー符号の破棄による前記周波数変換係数に対する間接的な量子化（以下、前記直接的な量子化及び前記間接的な量子化を綜合して単に量子化と呼ぶ）を行う符号化装置であって、
該色差絶対値増加処理手段による色差成分の絶対値の増加量は前記第１と第２の画像データの解像度比（＝前記第２の画像データの解像度／前記第１の画像データの解像度）と正の相関を持つことを特徴とする符号化装置（請求項１）、
が提供される。
【００１２】
本発明によれば、
原画像データから絵柄を表す第１の画像データと非絵柄部の形状を表す第２の画像データを含む複数の画像データを生成する画像データ生成工程と、
前記画像データ生成手段により生成された複数の画像データのそれぞれを符号化する符号化処理工程と、
前記符号化処理工程により生成された複数の画像データの符号を結合した符号データを生成する符号形成工程と
を有し、
前記符号化処理工程において、前記第１の画像データに対して輝度・色差変換を適用し、該輝度・色差変換により得られた輝度成分及び色差成分に対し周波数変換を行い、該周波数変換により得られた輝度成分及び色差成分の周波数変換係数に対してエントロピー符号化を行い、前記周波数変換係数に対し直接的な量子化、又は、前記周波数変換係数の下位ビットに対するエントロピー符号化の省略もしくは前記周波数変換係数の下位ビットのエントロピー符号の破棄による前記周波数変換係数に対する間接的な量子化（以下、前記直接的な量子化及び前記間接的な量子化を綜合して単に量子化と呼ぶ）を行う符号化方法であって、
前記第１の画像データに関する前記色差成分の絶対値を増加させる色差絶対値増加処理工程を有し、
該色差絶対値増加処理工程による色差成分の絶対値の増加量は前記第１と第２の画像データの解像度比（＝前記第２の画像データの解像度／前記第１の画像データの解像度）と正の相関を持つことを特徴とする符号化方法（請求項２）、
が提供される。
【発明の効果】
【００１３】
前述した符号化により色が薄くなる程度は、符号化過程における量子化の程度もしくは圧縮率と正の相関があり、ＭＲＣモデルの場合には前景又は背景の解像度に対するマスクの解像度の比（＝マスクの解像度／前景又は背景の解像度、すなわち復号時の前景又は背景の拡大率）とも正の相関がある。
【００１４】
本発明に係る符号化装置及び符号化方法にあっては、符号化の過程において色差成分の絶対値の増加処理が行われるが、その増加量は、色が薄くなる程度と正の相関がある量子化の程度もしくは圧縮率と上記解像度比の一方又は両方と正の相関を持つため、彩度が適切に強調され符号化に伴う色味の問題を効果的に改善することができる。
【００１５】
なお、符号化により色が薄く見えがちになるという問題を改善するため、画像データに対し、符号化装置に入力する前に予め彩度強調を施す方法も考えられる（特許文献２に、色差信号を利用する彩度強調の例が記載されている）。しかし、彩度強調を行う場合には通常、彩度強調後の画素値は強調前の画素値の取り得る値の範囲(原画素値のレンジ)内である必要がある。例えば８ビットの画素値に彩度強調した後の値は、やはり８ビット以内でなければならず、強調の前後では非線形な変換が必要となる。
【００１６】
これに対し、本発明においては、符号化の途中で色差成分の絶対値を増加させることによって彩度強調を行う構成であり、以下の（１）〜（３）の条件が成立する場合には（通常、これら条件は成立する）、強調後の値が原画素値のレンジを越えることが許容されるので、色差成分絶対値増加に単純な線形変換も許容される。すなわち、符号化過程での彩度強調は、より簡易に行うこともできるという利点がある。また、符号化処理とは別に彩度強調のための処理を行う場合よりも、処理系が単純化される等の利点もある。
（１）原画像のビット数が途中の処理によって増える前提があり、符号化の処理系は原画像のビット数よりも大きな数を扱えるようになっている。
（２）復号側にとって、原画素のビット深さが既知である。符号化においては、クリッピング処理のために符号（のヘッダ）中に原画素のビット深さを入れるのが通常であり、この前提が成立する。
（３）復号側でクリッピング処理が行われる。復号処理においては、量子化誤差によって、復号後のデータの値が圧縮前のデータの値の上限・下限を超えてしまうことは一般的かつ想定内の現象である。そこで、復号の最終段で、これら所定範囲外の値を所定範囲内に収めるクリッピングと呼ばれる処理が行われる。クリッピングでは一般に、下限を下回った値は下限値に、上限を上回った値は上限値に、一律で置換される。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に係る符号化装置のブロック図である。
【図２】コンピュータを利用する実施形態を説明するための模式図である。
【図３】実施例１を説明するためのフローチャートである。
【図４】トランケーションテーブルの内容例を示す図である。
【図５】γ変換を利用して色差絶対値を増加させる方法の説明図である。
【図６】実施例２を説明するためのフローチャートである。
【図７】圧縮率（＝ビットレート）とエントリ番号ｎの対応表である。
【図８】実施例３を説明するためのフローチャートである。
【図９】スケーリングファクタｎを乗じて用いられるサブバンド毎の量子化ステップ数を示す図である。
【図１０】第２の実施形態に係る符号化装置のブロック図である。
【図１１】原画像とそれから生成される前景、マスク、背景を示す模式図である。
【図１２】実施例４及び実施例５を説明するためのフローチャートである。
【図１３】文字画素判別に利用されるＳｏｂｅｌオペレータを示す図である。
【図１４】ＪＰＥＧ２０００の符号化処理を説明するためのフローチャートである。
【図１５】デコンポジションレベル３までのウェーブレット変換によるサブバンド分割を示す図である。
【図１６】画像（タイル）、サブバンド、プリシンクト、コードブロックの関係を示す図である。
【図１７】５×３ウェーブレット変換によるビット数増加を示すグラフである。
【図１８】９×７ウェーブレット変換によるビット数増加を示すグラフである。
【図１９】ＭＲＣの概念図である。
【発明を実施するための形態】
【００１８】
ここで、本発明の実施形態において使用される符号化方式JPEG2000の概要を説明する。JPEG2000は、2001年に国際標準となったJPEG後継の画像符号化方式であり、その符号化処理は概ね図１４の流れで行われる。
【００１９】
まず、画像は矩形のタイルに分割される(分割数≧１)。各タイルは、例えばRGBの３コンポ−ネントで構成されるカラー画像であり、DCレベルシフトを行われた後、輝度・色差変換（コンポーネント変換、色変換）により、輝度（Ｙ）コンポーネントと、色差（Ｃｂ，Ｃｒ）コンポ−ネントとに変換される（ステップ５０１）。
【００２０】
JPEG2000のＤＣレベルシフトの変換式（順変換式）は次の通りである。
I(x,y)  ←  I(x,y)−２＾Ｓsiz(i)  
ただし、Ｓsiz(i)は原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ＝０，１，２）のビット深さから１を減じたものである。また、２＾Ｓsiz(i)は２のＳsiz(i)乗を意味し、I(x,y)は座標(x,y)における原信号値（画素値）である。
【００２１】
また、JPEG2000では、色変換として可逆変換（ＲＣＴ）と非可逆変換（ＩＣＴ）が定義されている。
【００２２】
ＲＣＴの順変換は次式で表される。
Ｙ0(x,y)＝floor((Ｉ0(x,y)+2*(Ｉ1(x,y)+Ｉ2(x,y))/4)
Ｙ1(x,y)＝Ｉ2(x,y)-Ｉ1(x,y)
Ｙ2(x,y)＝Ｉ0(x,y)-Ｉ1(x,y)
ただし、式中のＩは原信号、Ｙは変換後の信号を示し、IやYに続く０〜２はサフィックスである。ＲＧＢ信号ならばＩ信号においてI０＝Ｒ，I１＝Ｇ，I２＝Ｂと表される。Ｙ信号において、Y０＝Ｙ，Y１＝Ｃｂ，Y２＝Ｃｒと表される。floor（Ｘ）は実数Ｘを、Ｘを越えず、かつ、Ｘに最も近い整数に置換する関数である。
【００２３】
ＩＣＴの順変換は次式で表される。
Ｙ0(x,y)＝0.299*Ｉ0(x,y)+0.587*Ｉ1(x,y)+0.144*Ｉ2(x,y)
Ｙ1(x,y)＝-0.16875*Ｉ0(x,y)-0.33126*Ｉ1(x,y)+0.5*Ｉ2(x,y)
Ｙ2(x,y)＝0.5*Ｉ0(x,y)-0.41869*Ｉ1(x,y)-0.08131*Ｉ2(x,y)
ただし、式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならばＩ信号においてI０＝Ｒ，I１＝Ｇ，I２＝Ｂと表される。Ｙ信号においてI０＝Ｙ，I１＝Ｃｂ，I２＝Ｃｒと表される。
【００２４】
符号化処理の流れに戻る。各タイルの輝度（Ｙ）コンポーネントと色差（Ｃｂ，Ｃｒ）コンポーネント（タイルコンポーネントと呼ばれる）に対し、周波数変換としてウェーブレット変換が適用される（ステップ５０２）。１回の垂直方向及び水平方向のウェーブレット変換（デコンポジション）によりタイルコンポーネントはLL,HL,LH,HHと略称される４つのサブバンドに分割される。このLLサブバンドに対して再帰的にウェーブレット変換を繰り返すと、最終的に１つのLLサブバンドと複数のHL,LH,HHサブバンドが生成される。３回のウェーブレット変換を行った場合、図１５に示すようなサブバンドが生成される。図１５において、LL,HL,LH,HHの接頭の数字は、当該サブバンドの係数（ウェーブレット係数、周波数変換係数）が得られるまでに適用されたウェーブレット変換の回数（デコンポジションレベル）を示す。
【００２５】
JPEG2000では、５x３ウェーブレット変換と９x７ウェーブレット変換のいずれか一方を選択して使用することができる。５×３ウェーブレット変換とは、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。９×７ウェーブレット変換とは、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。ウェーブレット変換の手順等の詳細については説明を省略する。
【００２６】
符号化処理の流れに戻る。ウェーブレット変換の後、９×７ウェーブレット変換が選択された場合には、必要に応じて、ウェーブレット係数に対しサブバンド毎に量子化が施される（ステップ５０３）。
【００２７】
次に、各サブバンドはプリシンクトと呼ばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したもの(をＨＬ，ＬＨ，ＨＨの３つのサブバンドについて集めたもの。プリシンクトは３つで１まとまり。ただしＬＬサブバンドを分割したプリシンクトは１つで１まとまり)で、大まかには画像中の場所（Position）を表すものである。プリシンクトはサブバンドと同じサイズにできる。プリシンクトはさらにコードブロックと呼ばれる矩形に分割される。よって、物理的な大きさの序列は画像≧タイル＞サブバンド≧プリシンクト≧コードブロックとなる。図１６は、タイル（画像)、サブバンド、プリシンクト、コードブロックの関係を示した模式図である。以上の分割の後、ウェーブレット係数のエントロピー符号化（ビットプレーン単位でのＭＱ符号化）が、サブバンド単位で、コードブロック毎かつ最上位ビットプレーンから下位ビットプレーンへと順に実行される（ステップ５０４）。生成された符号をまとめヘッダを付けたパケットが生成される（ステップ５０５）。パケットヘッダには当該パケットに含まれる符号に関する情報が含まれる。各パケットは独立に扱うことができる。そして、全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）に関してパケットが並べられ、また、必要なヘッダ類が付加されたJPEG2000の符号データ（コードストリーム）が形成される（ステップ５０６）。
【００２８】
さて、ステップ５０４において、ある下位ビットブレーンまでを符号化の対象とし、当該下位ビットプレーンより下位のビットプレーンの符号化を省略することによって、符号化前にウェーブレット係数を直接的に量子化した場合と実質的に同じ効果を生じさせることができる。また、ステップ５０４では最上位ビットプレーンから最下位ビットプレーンまで全ビットプレーンを対象として符号化を実行し、ステップ５０５において、あるビットプレーンから最下位ビットプレーンまでの下位ビットプレーンに対する符号を破棄し、必要な符号のみからパケットを生成することによっても、符号化前にウェーブレット係数を直接的に量子化した場合と実質的に同じ効果を生じさせることができる。
【００２９】
あるサブバンドに関し、ステップ５０４において下位のｎ枚のビットプレーンの符号化を省略すること、あるいは、ステップ５０５において下位のｎ枚のビットプレーンの符号を破棄することは、量子化ステップ数として（２のｎ乗）を用いてウェーブレット係数を線形量子化することと等価である。同じサブバンドについてステップ５０３で量子化ステップ数Ｓを用いた線形量子化も実行されるのであれば、下位のｎ枚のビットプレーンの符号化省略もしくは符号破棄の効果を合わせると、ステップ５０３で「Ｓ×（２のｎ乗）」を量子化ステップ数として量子化が行われたこと等価である。
【００３０】
よって、本発明において、ウェーブレット係数に対する「量子化の程度」とは、ステップ５０３における「直接的な量子化」の程度と、上に述べたようなエントロピー符号化時（ステップ５０４）もしくはエントロピー符号化後（ステップ５０５）における下位ビットプレーンに対する「間接的な量子化」（下位ビットのトランケーション）の程度との両方を綜合したものである。
【００３１】
ここで、前記最上位ビットプレーンに関連して説明する。例えば原画像のビット深さを８ビット、色変換をＲＣＴ、５×３ウェーブレット変換とし、ステップ５０３での量子化を行わない場合、ウェーブレット係数のビット深さは、
原画像のビット深さ(8ビット)
＋色変換によるビット数増加(輝度成分では０ビット，色差成分では1ビット)
＋ウェーブレット変換によるビット数増加Ａ（サブバンド間で共通に増加する分
いわゆるガードビット。5x3変換の場合、通常2ビット）
＋ウェーブレット変換によるビット数増加Ｂ（サブバンド間の増加量の差で、LLを
基準とした値。LLは0ビット、HLとLHは1ビット、HHは2ビットと規定
されている）
で与えられる。（なお、ＩＣＴの場合、色変換によるビット数増加は、輝度、色差のいずれについても０ビットである。）
通常、上記ガードビットは２ビットとするため、輝度成分の場合、
LLサブバンドのウェーブレット係数のビット深さ  ８＋０＋２＋０＝１０ビット
HLサブバンドのウェーブレット係数のビット深さ  ８＋０＋２＋１＝１１ビット
HHサブバンドのウェーブレット係数のビット深さ  ８＋０＋２＋２＝１２ビット
となる。
【００３２】
輝度の場合、色変換の前にＤＣレベルシフトが加わるため、係数の絶対値の「最上位ビットプレーン」の位置は１ビット下位にシフトし、
LLサブバンド  LSBから９ビット目
HLサブバンド  LSBから１０ビット目
HHサブバンド  LSBから１１ビット目
となる。
【００３３】
ここで重要なことは、ウェーブレット変換によるビット数増加”Ｂ”は符号化仕様で規定されているのに対し、同増加”Ａ”はユーザが指定できるということである。JPEG2000においては、５×３ウェーブレット変換と９×７ウェーブレット変換とを選択可能なため、この２種類の変換によるビット数増加量の相違を前記ビット数増加”Ａ”でカバーするようにしているのである。本発明においては、色差成分の絶対値を増加させるが、それによるビット数の増加が前記ビット数増加”Ａ”に影響を与えないように色差成分絶対値の増加量を制限する。このようにすれば、色差成分絶対値を増加させても通常の符号器の符号化動作に悪影響は及ぼさない。ただし、色差成分絶対値の増加量をより自由に制御したい場合には、ガードビットを任意に指定可能な符号器を用い、色差成分絶対値の増加量に応じて適切なガードビットを指定するようにすることも可能である。
【００３４】
ここで、色差成分絶対値の許容される増加量について説明する。図１７と図１８は、非特許文献１より引用したグラフであり、５×３ウェーブレット変換と９×７ウェーブレット変換による係数のビット数増加をそれぞれ示している。
【００３５】
５×３ウェーブレット変換の場合に、ウェーブレット係数のビット数が原画像のビット数に対し最大どれだけ増えるかを見積もると、図１７より、
LL          1.55ビット
HL/LH      2.3ビット
HH          3.05ビット
となる。これらの値のうち、JPEG2000の仕様では、LL〜HHの共通の増分として大きさｇビットのガードビット、さらにHL/LHの増分として１ビット、またHHの増分としてさらに１ビットが設けられ、５×３ウェーブレット変換の場合は通常ｇ＝２とする。したがって、
LL          2ビット（＝ガードビット）
HL/LH      3ビット（＝ガードビット＋HL/LHの増分用１ビット）
HH          4ビット（＝ガードビット＋HL/LHの増分用１ビット＋HHの増
分用１ビット）
までのビット数増加があっても、符号化に支障がないことが担保される。すなわち、ウェーブレット変換以外の要因で各サブバンドの係数のビット数を増加させる場合、その増加分をそれぞれ、
LL          0.45（＝2―1.55）ビット
HL/LH      0.7（＝3−2.3）ビット
HH          0.95（＝4−3.05）ビット
以下に制限するならば、符号器における符号化に支障がない。
【００３６】
そして、本発明では色差成分の絶対値を増加させるが、その増加ビット数を上記の0.45，0.7，0.95の内の最小の0.45以下に抑えるためには、色差成分絶対値の増加比を2^(0.45)＝1.366倍以下に抑えればよい。この色差成分絶対値の１．３６６倍の値が、請求項５の発明における「所定値」の一例に相当する。
【００３７】
９×７ウェーブレット変換の場合に、ウェーブレット係数のビット数が原画像のビット数に対し最大どれだけ増えるか、図１８より、デコンポジションレベル２として見積もると、
LL        0.814ビット
HL/LH    1.80ビット
HH        2.78ビット
となる。９×７ウェーブレット変換の場合、通常ｇ＝１とするので、
LL          1ビット
HL/LH      2ビット
HH        3ビット
までのビット数増加があっても、符号化に支障がないことが担保される。
【００３８】
よって、９×７ウェーブレット変換以外の要因で各サブバンドの係数のビット数を増加させる場合、その増加分を、
LL          0.196（＝1―0.814）ビット
HL/LH      0.2（＝2−1.8）ビット
HH          0.22（＝3−2.78）ビット    （これら３つの値を値ＡＡと記す）
以下にすれば、符号化に支障がないことになる。
【００３９】
そして、色差成分絶対値を増加させた場合の増加ビット数を0.196，0.2，0.22の内の最小の0.196以下に抑えるためには、色差成分絶対値の増加比を2^(0.196)＝1.1455倍以下に抑えればよい。この色差成分絶対値の１．１４５５倍の値が、請求項５の発明における「所定値」の一例に相当する。
【００４０】
なお、９×７ウェーブレット変換を用いる場合には、さらにウェーブレット係数への線形量子化が加わり、それによって係数の絶対値自体が変わる（＝係数のビット数が変わる）ため、符号化の過程では、この線形量子化によるビット数の変化（増加又は減少）が考慮される（JPEG2000では、１未満の量子化ステップ数で線形量子化を行うことは珍しくなく、ビット数増加が当然のように起こる）。
【００４１】
ここで、該線形量子化によるビット数の変化は、ビットプレーン数として扱うべく整数値に切り上げられるため、厳密にはその切り上げの分だけ、色差成分絶対値の増加許容量を（前記値”AA”に加えて）増やすことができる。すなわち、あるサブバンドの具体的な量子化ステップ数をQとすると、前記値”AA”に
切り上げ分のビット数＝ceil（log2（１／Q））―log2（1／Q）
（ceil(ｘ)はｘ以上の最小整数）
を加えた分だけの色差成分絶対値の増加が可能となる。ただし、以下に説明する実施形態においては、簡単のために前記値”AA”の分だけを考慮するものとしている。
【００４２】
さて、符号化のための輝度・色差変換は、必ずしも彩度変換のために最適ではないが、工夫によって最適に近づけることはできる。今、彩度強調のための輝度・色差変換を周知のCIE  L*a*b*変換とし、L*a*b*空間におけるクロマを彩度と見なす。そして、符号化のための輝度・色差変換をＪＰＥＧ２０００におけるようなYCbCr変換とする。この場合、Cbの絶対値を１増加させたときのL*a*b*空間でのクロマ(√(a*^2＋b*^2))の増加は、Cr の絶対値を１増加させたときのL*a*b*空間でのクロマの増加よりも３割ほど大きい。したがって、Cb，Cr間での彩度強調のバランスをとるためには、Cbの増加量をCrの増加量よりも２５％程少なくするのが良い。これが、請求項４の発明において、色差成分絶対値の増加量を２つの色差成分間で異ならせる理由であり、後述する実施形態において、上記考察結果が反映されている。
【００４３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る符号化装置のブロック図である。この符号化装置は、図１４中の処理ステップ５０１，５０２，５０３，５０４，５０５，５０６にそれぞれ対応した処理ブロック１０２，１０２，１０３，１０４，１０５，１０６、ＤＣレベルシフト・色変換処理ブロック１０１とウェーブレット変換処理ブロック１０２の間に挿入された色差絶対値増加処理ブロック１０７、以上の各処理ブロックを制御する制御ブロック１０８から構成される。色差絶対値増加処理ブロック１０７は、ＤＣレベルシフト・色変換処理ブロック１０１の色変換（輝度・色差変換）により生成された輝度コンポーネントとＣｂ，ＣｒコンポーネントのうちのＣｂ，Ｃｒコンポーネント（色差コンポーネント）の絶対値を増加させる処理を行う手段であり、この色差絶対値増加処理ブロック１０７を含む点が本実施形態に係る符号化装置の大きな特徴である。
【００４４】
本実施形態に係る符号化装置の各ブロックの機能は、ＣＰＵやメモリ等から構成される一般的なコンピュータのハードウェア資源を利用し、プログラムによって実現することも可能である。このような符号化装置の各処理ブロックとしてコンピュータを機能させる形態について、図２を参照して簡単に説明する。
【００４５】
図２において、１１０はＣＰＵ（中央演算処理装置）、１１１はメモリ、１１２はハードディスク装置（ＨＤＤ）であり、これらはシステムバス１１３を通じてデータ等を交換することができる。このようなコンピュータを図１中の各処理ブロック１０２〜１０７及び制御ブロック１０８として機能させるためのプログラムは、例えばＨＤＤ１１２からメモリ１１１にロードされてＣＰＵ１１０により実行される。そして、例えばＨＤＤ１１２に記憶されている原画像データ（ＲＧＢデータ）は次のような流れで処理される。
（１）HDD上に記録された原画像データがＣＰＵ１１０からの命令によってメモリ１１１の領域１１４に読み込まれる。
（２）ＣＰＵ１１０はメモリ１１１の領域１１４より原画像データを読み込み、符号化処理を行う。この符号化処理には、本発明の特徴である色差成分すなわちＣｒ，Ｃｂコンポーネントの絶対値を増加させる処理が含まれる。
（３）ＣＰＵ１１０は、符号化処理によって生成された符号化データすなわちコードストリームをメモリ１１１の別の領域１１５に書き込む。
（４）ＣＰＵ１１１からの命令によって、領域１１５の符号化データがHDD１１２へ転送され記録される。
【００４６】
以下、本実施形態に係る符号化装置について、いくつかの実施例によって具体的に説明する。
【実施例１】
【００４７】
図３は、実施例１における符号化装置の動作を説明するためのフローチャートである。
【００４８】
図４は所謂トランケーションテーブルであり、エントリ番号ごとに、各コンポ−ネントの各デコンポジションレベルの各サブバンドについて、符号化を省略する下位ビットプレーン数が記載されている。例えばエントリ番号２は、
Yコンポ−ネントの2LLサブバンドは下位ビットプレーン０枚、
Yコンポ−ネントの2HLサブバンド〜2HHサブバンドは下位ビットプレーン０枚、
Yコンポ−ネントの1HLサブバンド〜１LHサブバンドは下位ビットプレーン２枚、
Yコンポ−ネントの2HHサブバンドは下位ビットプレーン４枚、
Ｃｂコンポーネントの2LLサブバンドは下位ビットプレーン０枚、
Ｃｂコンポ−ネントの2HL，2LHサブバンドは下位ビットプレーン２枚、
Ｃｂコンポ−ネントの2HH,1HL,1LHサブバンドは下位ビットプレーン３枚、
Ｃｂコンポ−ネントの1HHサブバンドは下位ビットプレーン５枚、
Ｃｒコンポーネントの2LLサブバンドは下位ビットプレーン０枚、
Ｃｒコンポ−ネントの2HL，2LHサブバンドは下位ビットプレーン１枚、
Ｃｒコンポ−ネントの2HHサブバンドは下位ビットプレーン２枚、
Ｃｒコンポ−ネントの1HL，1LHサブバンドは下位ビットプレーン３枚、
Ｃｒコンポ−ネントの1HHサブバンドは下位ビットプレーン４枚、
の符号化を省略するという内容である。
【００４９】
このトランケーションテーブルにおいて、エントリ番号が大きくなるほど、符号化が省略されるビットプレーンの総数(全コンポ−ネント分)は大きくなり、量子化の程度は大きくなるようになっている。また、Cb，Crコンポ−ネントだけに関しても、エントリ番号が大きくなるほど、符号化が省略されるビットプレーンの総数(Cb，Cr両方の和)は大きくなり、色差成分の量子化の程度は大きくなるようになっている。
【００５０】
図３に沿って、符号化装置の動作について説明する。
【００５１】
予め原画像データ（２４ビット／画素のＲＧＢ画像データとする）を入力しておく（ステップ１２００）。
【００５２】
まず、５×３ウェーブレット変換が選択され、また、色差成分の絶対値を極端に増加させたりはしないので、ガードビットは通常の２に設定される（ステップ１２０１）。
【００５３】
符号形成処理ブロック１０６でコードストリームに付加されることになるメインヘッダのＳＩＺマーカセグメント中に、ＲＧＢ各コンポーネントが８ビットであることが記載される（ステップ１２０２）。より詳しくは、ＳＩＺマーカセグメント中のSsiz(0)にＲコンポーネントのビット数である８が、Ssiz(1)にＧコンポーネントのビット数である８が、また、Ssiz(2)にＢコンポーネントのビット数である８がそれぞれ記載される。また、メインヘッダのＱＣＤマーカセグメント中のSPqcdの上位３ビットに、ガードビットの値２が記載される（ステップ１２０３）。
【００５４】
原画像データの各タイルについて、通常のＤＣレベルシフトが実行される（ステップ１２０４）。トランケーションテーブルの適用するエントリ番号ｎが選択される（ステップ１２０５）。ＲＣＴで色変換が実行される（ステップ１２０６）。
【００５５】
Ｃｂ，Ｃｒコンポーネントの絶対値が下記式により増加させられる（ステップ１２０７）。ただし、Ｃｂ’，Ｃｒ’は増加後の絶対値である。
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．２×ｎ／２０）          式（１）
Ｃｒ’＝Ｃｒ×（１＋０．２×ｎ／２０）                    式（２）
上記式において、ｎはステップ１２０５で選択されたトランケーションテーブルのエントリ番号である。前述した通り、このエントリ番号ｎが大きいほど符号化が省略される下位ビットプレーン数が多く、量子化の程度が大きい。つまり、Ｃｂ，Ｃｒの絶対値の増加量は量子化の程度が大きいほど増大するということである。また、上記式（１），（２）から明らかなように、Ｃｂの絶対値の増加量はＣｒの絶対値の増加量よりも２５％だけ少ないが、これは前述したようにＣｂ，Ｃｒ間での彩度強調のバランスをとるためである。また、Ｃｒの絶対値の増加量は最大で２０％（これは増加比で１．３６６倍以下）であるので、ガードビットは２で間に合う。よって、このようなＣｂ，Ｃｒの絶対値の増加は符号化の支障とならない。
【００５６】
次に、輝度Ｙコンポーネントと絶対値増加後のＣｂ，Ｃｒコンポーネントに対し、５×３ウェーブレット変換が実施される（ステップ１２０８）。ここでは、デコンポジションレベル２までのウェーブレット変換が行われるものとしている。なお、５×３ウェーブレット変換を選択しているので、ウェーブレット係数に対する直接的な量子化処理は行われない。
【００５７】
各サブバンドのウェーブレット係数に対しＭＱ符号化が行われるが、図４のトランケーションテーブルのエントリ番ｎに記載されているビットプレーン数だけ下位ビットプレーンの符号化は省略される（ステップ１２０９）。すなわち、この実施例では、下位ビットプレーンの符号化の省略によって、ウェーブレット係数に対する間接的な量子化が行われる。生成されたＭＱ符号をまとめてパケットが生成され、パケットを所定に順序に並べ必要なメインヘッダ、タイルヘッダ等を付加することによってＪＰＥＧ２０００の符号化データ（コードストリーム）が生成される（ステップ１２１０）。
【００５８】
なお、ステップ１２０１，１２０２，１２０３，１２０５は制御ブロック１０８が関与するステップである。ステップ１２０４，１２０６はＤＣレベルシフト・色変換処理ブロック１０１で実施されるステップである。ステップ１２０７は色差絶対値増加処理ブロック１０７で実施されるステップである。ステップ１２０８はウェーブレット変換処理ブロック１０２で実施されるステップである。ステップ１２０９はエントロピー符号化処理ブロック１０４で実施されるステップである。ステップ１２１０はパケット生成処理ブロック１０５，符号形成処理ブロック１０６で実施されるステップである。
【００５９】
さて、本発明において、量子化が除算によってなされるならば、その除算に用いられる分母(線形量子化でいうところの量子化ステップ数)を全サブバンドについて総和をとった値を「量子化の程度」として用いることができる。また、トランケーションによる間接的な量子化の場合、つまり、符号化が省略される(あるいは符号化後に符号が破棄される)下位ビットプレーン数を全てのサブバンドについて総和をとった値を「量子化の程度」として用いることができる。また、係数の除算による直接的な量子化と、トランケーションによる間接的な量子化とが併用される場合には、サブバンド毎に、符号化が省略された又は符号が破棄された下位ビットプレーン数を除算時の分母に換算し（この換算は前述した通りである）、この換算値と直接的な量子化に用いられる除算の分母との積を、全てのサブバンドについて総和をとった値を「量子化の程度」として用いることができる。
【００６０】
なお、本発明においては色味の維持を目的としているので、上記「量子化の程度」は、厳密には「色差コンポ−ネントのみについての量子化の程度」とするのが適当である。しかし、「量子化の程度」を、「輝度を含む全コンポ−ネントについての量子化の程度」としても格別の不都合はない。因みに図４に示したトランケーションテーブルにおいて、エントリ番号が大きくなればなる程、「全コンポ−ネントについての符号化が省略されるビットプレーン数の総和」も「色差コンポ−ネントのみについての符号化が省略されるビットプレーン数の総和」も共に大きくなる。
【００６１】
また、「量子化の程度」を簡易に扱う場合には、「量子化の程度」として「圧縮率（＝ビットレート）」を代用することも可能である。後述する別の実施例で明らかなように、符号化方式によっては、量子化ステップ数やトランケート数（符号化を省略する又は符号を破棄するビットプレーン数）を指定せず、圧縮率だけを指定することで符号化を行うことがあるからである。なお、圧縮率（やビットレート）は、通常、全コンポ−ネントを総括した１つの値であるため、「全コンポ−ネントについての量子化の程度」の代用ということができる。
【００６２】
なお、ステップ１２０７ではＣｂ，Ｃｒの絶対値に定数を乗じてＣｂ，Ｃｒの絶対値を増加させるという方法をとったが、例えば図５に示すような通常のγ変換を適用することも可能である。
【実施例２】
【００６３】
図６は、実施例２における符号化装置の動作を説明するためのフローチャートである。
【００６４】
図７は、本実施例における圧縮率（もしくはビットレート（bit/画素））の指定パターンを示したものであり、エントリ番号nを選択すると、それに対応した圧縮率もしくはビットレートが選択されるようになっている。図７から明らかなように、エントリ番号ｎが大きくなるほど、圧縮率は高く、ビットレートは低くなっている。圧縮率（ビットレート）は、全コンポーネントの合計値に対して規定されているが、色差コンポーネントだけをとりだしても、エントリ番号が大きくなるほど圧縮率は高く、ビットレートは低くなっている。
【００６５】
図６に沿って、本実施例の符号化装置の動作について説明する。
【００６６】
予め原画像データ（２４ビット／画素のＲＧＢ画像データとする）を入力しておく（ステップ２３００）。
【００６７】
まず、５×３ウェーブレット変換が選択され、また、色差を極端に増加させたりはしないので、ガードビットは通常の２に設定される（ステップ２３０１）。
【００６８】
メインヘッダのＳＩＺマーカセグメント中に、ＲＧＢ各コンポーネントが８ビットであることが記載される（ステップ２３０２）。また、メインヘッダのＱＣＤマーカセグメントに、ガードビットの値２が記載される（ステップ２３０３）。
【００６９】
原画像データの各タイルについて、通常のＤＣレベルシフトが実行される（ステップ２３０４）。適用される圧縮率のエントリ番号ｎが選択される（ステップ２３０５）。
【００７０】
ＲＣＴで色変換が実行される（ステップ２３０６）。Ｃｂ，Ｃｒコンポーネントの絶対値が下記式により増加させられる（ステップ２３０７）。
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．２×ｎ／２０）            式（３）
Ｃｒ’＝Ｃｒ×（１＋０．２×ｎ／２０）                      式（４）
ただし、Ｃｂ’，Ｃｒ’は増加後の絶対値である。
【００７１】
前述した通り、エントリ番号ｎが大きいほど圧縮率が高く、Ｃｂ，Ｃｒの絶対値の増加量は増大する。また、上記式から明らかなように、Ｃｂの絶対値の増加量はＣｒの絶対値の増加量よりも２５％だけ少なく、Ｃｂ，Ｃｒ間の彩度強調のバランスは良好である。また、Ｃｒの絶対値の増加量は最大で２０％（これは増加比で１．３６６倍以下）であるので、ガードビットは２で間に合う。よって、このようなＣｂ，Ｃｒの絶対値の増加は符号化の支障とならない。
【００７２】
次に、輝度Ｙコンポーネントと絶対値増加後の色差Ｃｂ，Ｃｒコンポーネントに対し、５×３ウェーブレット変換が実施される（ステップ２３０８）。ここでは、デコンポジションレベル２までのウェーブレット変換が行われるものとしている。なお、５×３ウェーブレット変換を選択しているので、ウェーブレット係数に対する直接的な量子化処理は行われない。
【００７３】
全コードブロックの全ビットプレーンについてＭＱ符号化が行われる。この際、指定された圧縮率を達成するために公知の所謂ラグランジェレート制御が行われてコードブロックごとに破棄すべき下位ビットプレーン数（あるいは残すべきビットプレーン数）が算出される（ステップ２３０９）。そして、コードブロックごとに算出された破棄すべき下位ビットプレーンのＭＱ符号が破棄され、残ったＭＱ符号からパケットが作成され、これらパケットを所定の順序で並べ、かつメインヘッダやタイルヘッダ等を付加することによってＪＰＥＧ２０００の符号化データ（コードストリーム）が生成される（ステップ２３１０）。
【００７４】
このように、本実施例では、下位ビットプレーンの符号の破棄（トランケーション）によってウェーブレット係数を間接的に量子化している。そして、その量子化の程度として圧縮率（もしくはビットレート）を代用している。
【００７５】
なお、ステップ２３０１，２３０２，２３０３，２３０５は制御ブロック１０８が関与するステップである。ステップ２３０４，２３０６はＤＣレベルシフト・色変換処理ブロック１０１で実施されるステップである。ステップ２３０７は色差絶対値増加処理ブロック１０７で実施されるステップである。ステップ２３０８はウェーブレット変換処理ブロック１０２で実施されるステップである。ステップ２３０９はエントロピー符号化処理ブロック１０４で実施されるステップである。ステップ２３１０はパケット生成処理ブロック１０５と符号形成処理ブロック１０６で実施されるステップである。
【実施例３】
【００７６】
図８は、実施例３における符号化装置の動作を説明するためのフローチャートである。
【００７７】
図９は本実施例で使用される量子化ステップ数である。ただし、ここに示された量子化ステップ数にスケーリングファクタｎを乗じた値が量子化に用いられる。スケーリングファクタｎは、１，１０，５０，１００，２００，３００，４００，６００，８００，１０００の中から選択される。
【００７８】
図８に沿って説明する。まず、予め原画像データ（２４ビット／画素のＲＧＢ画像データとする）を入力しておく（ステップ２５００）。
【００７９】
９×７ウェーブレット変換が選択され、また、色差を極端に増加させたりはしないので、ガードビットは通常の１に設定される（ステップ２５０１）。
【００８０】
メインヘッダのＳＩＺマーカセグメント中に、ＲＧＢ各コンポーネントが８ビットであることが記載される（ステップ２５０２）。また、メインヘッダのＱＣＤマーカセグメント中のSPqcdに、ガードビットの値１が記載される（ステップ２５０３）。
【００８１】
原画像データの各タイルについて、通常のＤＣレベルシフトが実施される（ステップ２５０４）。適用するスケーリングファクタｎが選ばれる（ステップ２５０５）。ＩＣＴで色変換が実施される（ステップ２５０６）。
【００８２】
色変換で生成されたＣｂ，Ｃｒコンポーネントの絶対値を下記式により増加させる処理が実施される（ステップ２５０７）。
【００８３】
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．１４５×ｎ／２０）        式（５）
Ｃｒ’＝Ｃｒ×（１＋０．１４５×ｎ／２０）                  式（６）
上記式において、Ｃｂ’，Ｃｒ’はＣｂ，Ｃｒの増加後の絶対値である。
【００８４】
スケーリングファクタｎが大きいほど、線形量子化の分母が大きくなり、全コンポーネントについての量子化の程度は大きくなり、Ｃｂ，Ｃｒコンポーネントだけについても同様に量子化の程度は大きくなる。そして、上記式から明らかなように、Ｃｂの絶対値の増加量はＣｒの絶対値の増加量よりも２５％%少ないので、色差間での彩度強調のバランスが良好である。また、Ｃｒの絶対値の増加量は最大で１４．５％（これは増加比が１．１４５５倍以下）であるので、ガードビットも１で間に合い、色差絶対値の増加は符号化に支障とはならない。
【００８５】
次に、輝度コンポーネント及び絶対値増加後のＣｂ，Ｃｒコンポーネントについて、９×７ウェーブレット変換が実施される（ステップ２５０８）。ここでは、デコンポジションレベル２まで変換を行うものとしている。
【００８６】
次に、サブバンド毎にウェーブレット係数の線形量子化が実施される（ステップ２５０９）。この線形量子化の量子化ステップ数として、図９に示した量子化ステップ数にステップ２５０５で選択されたスケーリングファクタｎを乗じた値が用いられる。各サブバンドについて、全てのビットプレーンのＭＱ符号化が実施され（ステップ２５１０）、生成されたＭＱ符号をまとめてパケットが生成され、パケットを必要な順序に並べて必要なヘッダ等を付加することによりＪＰＥＧ２０００の符号化データ（コードストリーム）が生成される（ステップ２５１１）。
【００８７】
なお、ステップ２５０１，２５０２，２５０３，２５０５は制御ブロック１０８が関与するステップである。ステップ２５０４，２５０６はＤＣレベルシフト・色変換処理ブロック１０１で実施されるステップである。ステップ２５０７は色差絶対値増加処理ブロック１０７で実施されるステップである。ステップ２５０８はウェーブレット変換処理ブロック１０２で実施されるステップである。ステップ２５０９は量子化処理ブロック１０３で実施されるステップである。ステップ２５１０はエントロピー符号化処理ブロック１０４で実施されるステップである。ステップ２５１１はパケット形成処理ブロック１０５と符号形成処理ブロック１０６で実施されるステップである。
【００８８】
ここで、本実施例の一つの変形例を挙げれば、ｎ＝１の場合の量子化ステップ数を固定的に用いるようにし、前記実施例２の場合と同様に、圧縮率を指定し、指定した圧縮率を達成するために所謂ラグランジェレート制御を行ってコードブロックごとに破棄すべき下位ビットプレーン数を算出し、破棄すべき下位ビットプレーンのＭＱ符号を破棄し、残ったＭＱ符号からパケットを作成するようにすることも可能である。
【００８９】
＜第２の実施形態＞
図１０は、本発明の第２の実施形態に係る符号化装置のブロック図である。この符号化装置は、入力される原画像データから、背景、及び、１つ以上の前景とマスクのペアを生成する前景・マスク・背景生成部２０１と、生成された前景、マスク、背景を符号化する符号化処理部２０２と、前景、マスク、背景の符号を結合し、必要なヘッダを付加したＪＰＭ符号データを形成する符号形成部２０６から構成される。符号化処理部２０２は、前景符号化部２０３、マスク符号化部２０４、背景符号化部２０５から構成される。
【００９０】
前景符号化部２０３は、前記第１の実施形態に係る図１に示した構成のＪＰＥＧ２０００符号化装置である。以下において、前景符号化部２０３に関連した説明で必要に応じ図１を援用する。
【００９１】
本実施形態に係る符号化装置の各部の機能は、例えば図２に示したようなＣＰＵやメモリ等から構成される一般的なコンピュータのハードウェア資源を利用し、プログラムによって実現することも可能である。
【００９２】
以下、本実施形態について、実施例を挙げて具体的に説明する。
【実施例４】
【００９３】
この実施例では、図１１に示すように、原画像データから背景（ＢａｓｅＰａｇｅ）、マスク１と前景１のペア、マスク２と前景２のペアを生成し、これら背景、マスク、前景の符号を結合したＪＰＭ符号データを生成する。
【００９４】
図１２は、本実施例に係る符号化装置の動作を説明するためのフローチャートである。以下、このフローチャートに沿って説明する。
【００９５】
予め原画像データ（２４ビット／画素のＲＧＢ画像データとする）を入力しておく（ステップ１８００）。
【００９６】
まず、原画像に対し、画素単位で、文字・線画を構成する画素(以下、文字画素と呼ぶ)の判別を行う。この判別は公知の像域判別技術によって行うことができるが、ここでは原画像の各画素に対し、エッジ検出オペレータとして周知のＳｏｂｅｌフィルタを作用させる。すなわち、注目画素を中心とした上下左右の９つの画素に対して図１３の（ａ）に示す第１の重みマトリクス（Ｓｏｂｅｌオペレータ）を乗算し、その和HSを算出する。同様に、図１３の（ｂ）に示す第２の重みマトリクスを乗算し、その和VSを算出する。そして、（HS^2＋VS^2）の平方根をフィルタの出力値とし、該フィルタ出力値が例えば３０以上の場合に、注目画素を文字画素であると判断する。このようにして判断した文字画素の位置の値を１にし、それ以外の画素（非文字画素）の位置の値を０にすることで、原画像と同サイズの２値のマスク２を生成する（ステップ１８０１）。なお、二値画像の場合、黒＝１，白＝０とするのが通例であり、ここでもこの通例に従っている。マスク２は、原画像の「非絵柄部（文字・線画領域）の形状を表す画像」である。
【００９７】
次に、原画像の非文字画素の色を固定値(128,128,128)で置換した前景２’を生成する（ステップ１８０２）。そして、前景２’の解像度を１／４に下げて前景２を作成する（ステップ１８０３）。
【００９８】
次に、原画像の文字画素の色を、当該画素の最も近傍に位置する非文字画素の色で置換した前景１’を生成する（ステップ１８０４）。この前景１’の解像度を１／２に下げて前景１を作成する（ステップ１８０５）。この前景１は原画像の「絵柄を表す画像」であって、これは図１９中の「背景」に相当する。
【００９９】
続いて、原画像と同じサイズの全画素値が１の画像としてマスク１を作成し（ステップ１８０６）、原画像と同じサイズの白い画像として背景を作成する（ステップ１８０７）。ここまでは、前景・マスク・背景生成部２０１の処理内容である。
【０１００】
次に、前景１、前景２が前景符号化部２０３で符号化される（ステップ１８０８，１８０９）。この符号化処理は図３のステップ１２０１〜１２１０に示す手順により実行される。ただし、ステップ１２０７では、Ｃｂ，Ｃｒの絶対値を下式により増加させる。
【０１０１】
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．２×ｎ／２０）                式（７）
(符号化対象の前景の解像度がマスクの解像度の解像度の半分を越える場合に適用)
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．２×ｎ／２０×１．０５）      式（８）
(符号化対象の前景の解像度がマスクの解像度の半分以下、１／４より大きい場合
に適用)
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．２×ｎ／２０×１．１）        式（９）
(符号化対象の前景の解像度がマスクの解像度の1/４以下である場合に適用)
Ｃｒ’＝Ｃｒ×（１＋０．２×ｎ／２０）                          式（１０）
(符号化対象の前景の解像度がマスクの解像度の半分を越える場合に適用)
Ｃｒ’＝Ｃｒ×（１＋０．２×ｎ／２０×１．０５）                式（１１）
(符号化対象の前景の解像度がマスクの解像度の半分以下、１／４より大きい場合
に適用)
Ｃｒ’＝Ｃｒ×（１＋０．２×ｎ／２０×１．１）                  式（１２）
(符号化対象の前景の解像度がマスクの解像度の1/４倍以下である場合に適用)
なお、前景１はマスク１の１／２の解像度であるので、ステップ１８０８においては前記式（８），（１１）が用いられる。前景２はマスク２の１／４の解像度であるので、ステップ１８０９においては前記式（９），（１２）が用いられる。
【０１０２】
このように、Ｃｂの増加量はＣｒの増加量よりも25%少なく、かつ量子化(トランケーション)の程度が多いほど増加量を多くすることができる。また、Crの絶対値の増加量は最大で21%であり、ガードビットも２で間に合うことになる。また、マスクの解像度に比べて前景の解像度が低いほど（マスク解像度／前景解像度の比が大きいほど）、色差絶対値の増加量が大きくなることになる。
【０１０３】
次に、マスク１とマスク２（いずれも二値画像）がマスク符号化部２０４でＭＭＲ符号化される（ステップ１８１０）。次に、背景符号化部２０２によって背景がＪＰＭ仕様で符号化される(エントロピー符号化は行わず、符号として背景色を指定する）（ステップ１８１１）。最後に、符号形成部２０６において、前景１、前景２、マスク１、マスク２、背景の符号が結合され、必要なヘッダなどが付加されてＪＰＭ符号データが生成される（ステップ１８１２）。
【０１０４】
なお、前景１，２の符号化処理を前記実施例２と同様に図６のステップ２３０１〜２３１０の手順によって実行することもできる。この場合においてもＣｂ，Ｃｒの絶対値の増加は前記式（７）〜式（１２）により行ってよい（ただし、ｎは圧縮率を指定するエントリ番号）。このような変形例も本実施形態に包含される。
【実施例５】
【０１０５】
もう一つの実施例においては、図１２に示す処理手順によって図１１に示すような背景、マスク１，２、前景１，２の符号を結合したＪＰＭ符号データを生成するが、前景１，２の符号化処理（ステップ１８０８，１８０９）は図８のステップ２５０１〜２５１１に示す手順により実行される。ただし、ステップ２５０７では、Ｃｂ，Ｃｒの絶対値を下式により増加させる。
【０１０６】
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．１３２×ｎ／２０）              式（１３）
(符号化対象の前景の解像度がマスクの解像度の半分を越える場合に適用)
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．１３２×ｎ／２０×１．０５）    式（１４）
(符号化対象の前景の解像度がマスクの解像度の半分以下、１／４より大きい場合
に適用)
Ｃｂ’＝Ｃｂ×（１＋０．７５×０．１３２×ｎ／２０×１．１）      式（１５）
(符号化対象の前景の解像度がマスク解像度の1/４以下である場合に適用)
Ｃｒ’＝Ｃｒ×（１＋０．１３２×ｎ／２０）                        式（１６）
(符号化対象の前景の解像度がマスクの解像度の半分を越える場合に適用)
Ｃｒ’＝Ｃｒ×（１＋０．１３２×ｎ／２０×１．０５）              式（１７）
(符号化対象の前景の解像度がマスクの解像度の半分以下、１．４より大きい場合
に適用)
Ｃｒ’＝Ｃｒ×（１＋０．１３２×ｎ／２０×１．１）                式（１８）
(符号化対象の前景の解像度がマスクの解像度の1/４倍以下である場合に適用)
なお、前景１はマスク１の１／２の解像度であるので、前景１の符号化処理のステップ１８０８においては前記式（１４），（１７）が用いられる。前景２はマスク２の１／４の解像度であるので、前景２の符号化処理のステップ１８０９においては前記式（１５），（１８）が用いられる。
【０１０７】
このように、Ｃｂの増加量はＣｒの増加量よりも２５％少なく、かつ量子化の程度が多いほど増加量を多くすることができる。また、Ｃｒの絶対値の増加量は最大で１４．５２％（0.132×1.1＝0.1452）であり、ガードビットも１で間に合うことになる。また、マスクの解像度に比べて前景の解像度が低い程，色差の増加量が大きくなることになる。
【０１０８】
なお、前記実施例４，５では、Ｃｂ，Ｃｒの絶対値の増加量を、量子化の程度（又は圧縮率）と正の相関を持たせ、かつ、マスクと前景の解像度比（＝マスクの解像度／前景の解像度）と正の相関を持たせたが、Ｃｂ，Ｃｒの絶対値の増加量を量子化の程度（又は圧縮率）と正の相関を持たせ、マスクと前景の解像度比（＝マスクの解像度／前景の解像度）とは相関を持たせない態様や、Ｃｂ，Ｃｒの絶対値の増加量をマスクと前景の解像度比（＝マスクの解像度／前景の解像度）と正の相関を持たせ、量子化の程度（又は圧縮率）とは相関を持たせない態様も本発明に包含されることは云うまでもない。
【０１０９】
また、前記第１の実施形態及び第２の実施形態においては、ＪＰＥＧ２０００の符号化の過程で色差成分の絶対値を増加させる態様について説明した。しかし、ＪＰＥＧ２０００以外の符号化方式を利用する場合において、色差成分の絶対値を同様に増加させる態様も当然に本発明に包含される。
【０１１０】
また、前記第２の実施形態の各実施例においては、原画像から図１１に示すような背景と、２つのマスク・前景のペアを生成したが、図１９に示すような背景（絵柄画像）と１つのマスク・前景のペアを生成し、背景の符号化処理において、色差成分の絶対値の増加量を、量子化の程度（又は圧縮率）と正の相関を持たせ、かつ、マスクと背景の解像度比（＝マスクの解像度／背景の解像度）と正の相関を持たせる態様、量子化の程度（又は圧縮率）と正の相関を持たせ、マスクと背景の解像度比（＝マスクの解像度／背景の解像度）とは相関を持たせない態様、マスクと背景の解像度比（＝マスクの解像度／背景の解像度）と正の相関を持たせ、量子化の程度（又は圧縮率）とは相関を持たせない態様も本発明に包含される。
【０１１１】
前記各実施例の処理手順の説明は、本発明の符号化方法の実施例の説明でもある。そのような処理手順をコンピュータで実行させることも可能であり、そのためのプログラム、及び、同プログラムが記録されている半導体記憶素子、磁気ディスク、光ディスク、光磁気ディスクなどのコンピュータ読み取り可能記録媒体も本発明に包含される。
【符号の説明】
【０１１２】
１０１    ＤＣレベルシフト・色変換処理ブロック
１０２    ウェーブレット変換処理ブロック
１０３    量子化処理ブロック
１０４    エントロピー符号化処理ブロック
１０５    パケット生成処理ブロック
１０６    符号形成処理ブロック
１０７    色差絶対値増加処理ブロック
１０８    制御ブロック
２０１    前景・マスク・背景生成部
２０２    符号化処理部
２０３    前景符号化部
２０４    マスク符号化部
２０５    背景符号化部
２０６    符号形成部
【先行技術文献】
【特許文献】
【０１１３】
【特許文献１】特許第３２７５８０７号公報
【特許文献２】特開２００５−１５０９０７号公報
【非特許文献】
【０１１４】
【非特許文献１】Junichi  Hara；”Guard  Bit  Requirement  for  JPEG2000  Part  1  Filters，”ISO/IEC  JTC1/SC29/WG1，wg1n2133，May  2001
【図１】
0005594011.tif 000002
【図２】
0005594011.tif 000003
【図３】
0005594011.tif 000004
【図４】
0005594011.tif 000005
【図５】
0005594011.tif 000006
【図６】
0005594011.tif 000007
【図７】
0005594011.tif 000008
【図８】
0005594011.tif 000009
【図９】
0005594011.tif 000010
【図１０】
0005594011.tif 000011
【図１２】
0005594011.tif 000012
【図１３】
0005594011.tif 000013
【図１４】
0005594011.tif 000014
【図１５】
0005594011.tif 000015
【図１７】
0005594011.tif 000016
【図１８】
0005594011.tif 000017
【図１１】
0005594011.tif 000018
【図１６】
0005594011.tif 000019
【図１９】
0005594011.tif 000020