(57)【要約】【課題】画像の特性によって、最低限必要な符号量を特定することで、最低限の画質を保証しつつ、レート制御の処理負荷を軽減する。【解決手段】符号化対象の画像から複数画素で構成されるブロックを入力すると解像度変換部はオリジナルのブロックの解像よりも低い解像度である画像を生成し、符号化部はその低解像度のブロックを符号化する。また、補間データ生成部１０４は、低解像度画像からオリジナルの解像度のブロックを復元するための複数の部分補間データで構成される補間データを生成する。そして、補間データ優先度決定部は、着目しているブロックの属性情報を入力し、各部分補間データに対して必須、必須でない場合には優先度を割り当てる。そして、レート制御部は、着目ブロックの符号化データとして、低解像度のブロックから得られた符号化データと、もし必須とされた部分補間データがあればその部分補間データ、並びに、目標レートの範囲内で許容される部分補間データを着目ブロックに対する符号化データとして出力する。【選択図】図１
2013038656.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化する画像符号化装置であって、
画像を入力する入力手段と、
該入力手段によって入力された画像を複数画素で構成されるブロックに分割する分割手段と、
該分割手段で分割して得られたブロックを、当該ブロックよりも低解像度画像に変換する解像度変換手段と、
該解像度変換手段で生成された低解像度画像に対して符号化を行う符号化手段と、
前記低解像度画像からオリジナルの解像度のブロックを復元するための補間データであって、予め設定されたランク別に分離可能な複数の部分補間データで構成される前記補間データを生成する補間データ生成手段と、
前記ブロックを単位に、ブロックの画像の属性を示す属性情報を取得する属性情報取得手段と、
該属性情報取得手段で得られた着目ブロックの属性情報に従い、当該着目ブロックから得られた前記補間データを構成する複数の部分補間データからいずれかを選択し、選択した部分補間データと、前記着目ブロックに対して前記符号化手段で得られた符号化データとを、前記着目ブロックに対する符号化データとして出力することで、符号化レートを調整するレート制御手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記属性情報が示す属性、前記ランクで特定される部分補間データに優先順位が割り当てられており、
前記レート制御手段は、
各ブロックに対して前記符号化手段で得られた、出力対象の基本となる符号化データの総量が、設定された目標符号量に満たない場合、前記目標符号量に到達するまで、前記優先順位の高い順に部分補間データを出力対象の符号化データに加えていくことで、符号化レートを調整する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記属性情報が示す属性には、周期性があるパターン画像の属性、文字線画を示す属性、グラデーション画像を示す属性が含まれることを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
前記属性情報が示す属性には、更に自然画を示す属性が含まれることを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記属性情報取得手段は、
前記補間データ生成手段で生成される、前記着目ブロックから得られた部分補間データの合計の符号量と、所定の個数の閾値とを比較する比較手段と、
該比較手段の比較結果、前記合計の符号量が、前記所定の個数の閾値で表わされるいずれの範囲に属するかによって前記着目ブロックに対する属性を判定する判定手段とを含み、
前記判定手段の判定の結果を、前記属性情報として取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
【請求項６】
前記符号化手段を第１の符号化手段としたとき、前記ブロックを周波数変換し、階層構造を持つ符号化データを生成する第２の符号化手段を更に有し、
前記レート制御手段は、前記着目ブロックの属性が自然画を示す場合、前記第２の符号化手段で得られた符号化データの各階層のいずれかの符号化データを選択し、出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
【請求項７】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の画像符号化装置として機能させるプログラム。
【請求項８】
請求項７に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【請求項９】
画像を符号化する画像符号化装置の制御方法であって、
入力手段が、画像を入力する入力工程と、
分割手段が、該入力工程によって入力された画像を複数画素で構成されるブロックに分割する分割工程と、
解像度変換手段が、該分割工程で分割して得られたブロックを、当該ブロックよりも低解像度画像に変換する解像度変換工程と、
符号化手段が、該解像度変換工程で生成された低解像度画像に対して符号化を行う符号化工程と、
補間データ生成手段が、前記低解像度画像からオリジナルの解像度のブロックを復元するための補間データであって、予め設定されたランク別に分離可能な複数の部分補間データで構成される前記補間データを生成する補間データ生成工程と、
属性情報取得手段が、前記ブロックを単位に、ブロックの画像の属性を示す属性情報を取得する属性情報取得工程と、
レート制御手段が、該属性情報取得工程で得られた着目ブロックの属性情報に従い、当該着目ブロックから得られた前記補間データを構成する複数の部分補間データからいずれかを選択し、選択した部分補間データと、前記着目ブロックに対して前記符号化工程で得られた符号化データとを、前記着目ブロックに対する符号化データとして出力することで、符号化レートを調整するレート制御工程と
を有することを特徴とする画像符号化装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化する技術に関するものである。
【背景技術】
【０００２】
画像の伝送において、画像のデータ量を柔軟に変更できる、画像圧縮のレート制御機能が注目されている。これは画像圧縮されたデータ（画像符号化データ）を、復号することなくその一部を削除することで符号量を変更できる機能であり、画像符号化データを伝送するネットワークの帯域幅に応じたデータ量の変更が容易となる。この機能を利用するのに好適な画像圧縮としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ１５４４４−１:２０００）等がある。ＪＰＥＧ２０００では、ブロック単位での符号量調整が可能な為である。
【０００３】
また、自然画や、文字・線画などが混在した画像に対して、単一方式で符号化を行うと圧縮効率良くないため、画像の特性に応じて符号化方式を適応的に切り替える方式がある。例えば、２×２画素のブロックが１〜２種類の画素値を持つ場合と、３〜４種類の画素値を持つ場合で符号化の方法を切り替え、それぞれ重要度の低い符号を削除し符号量制御する方法がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６６４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の方式では、ブロック単位に符号量の制御が可能であっても、目標の圧縮率に対して最適な画質を実現するためには、レートＲ（Rate）と歪みＤ（Distortion）の関係を考慮した制御を行う必要がある。一般的に、レートの差分△Ｒに対して歪みの変化量△Ｄが一番小さくなるような符号を破棄するために演算を行うが、処理負荷が大きい。
【０００６】
また、目標符号量に対して、歪みが小さくなるように制御を行ったとしても、指定レートによっては、画質の保証はできないため問題となる。
【０００７】
本発明は、上記点に鑑みてなされたものであり、画像の属性によって、最低限必要な符号量を特定することで、最低限の画質を保証しつつ、レート制御の処理負荷を軽減する技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像を符号化する画像符号化装置であって、
画像を入力する入力手段と、
該入力手段によって入力された画像を複数画素で構成されるブロックに分割する分割手段と、
該分割手段で分割して得られたブロックを、当該ブロックよりも低解像度画像に変換する解像度変換手段と、
該解像度変換手段で生成された低解像度画像に対して符号化を行う符号化手段と、
前記低解像度画像からオリジナルの解像度のブロックを復元するための補間データであって、予め設定されたランク別に分離可能な複数の部分補間データで構成される前記補間データを生成する補間データ生成手段と、
前記ブロックを単位に、ブロックの画像の属性を示す属性情報を取得する属性情報取得手段と、
該属性情報取得手段で得られた着目ブロックの属性情報に従い、当該着目ブロックから得られた前記補間データを構成する複数の部分補間データからいずれかを選択し、選択した部分補間データと、前記着目ブロックに対して前記符号化手段で得られた符号化データとを、前記着目ブロックに対する符号化データとして出力することで、符号化レートを調整するレート制御手段とを備える。
【発明の効果】
【０００９】
本発明によれば、画像の属性によって、最低限必要な符号量を特定することで、最低限の画質を保証しつつ、レート制御の処理負荷を軽減する技術を提供しようとするものである。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る画像符号化装置のブロック図。
【図２】解像度変換により画質変換の著しい画像の一例を示す図。
【図３】補間データの優先度を示す図。
【図４】属性情報と補間データを組み合わせた場合の優先度を示す図。
【図５】画質が問題となるパターン画像の一例を示す図。
【図６】第１の実施形態に係るレート制御部の処理手順を示すフローチャート。
【図７】属性毎の符号化データ量の一例を示す図。
【図８】タイル毎の符号化データ量を示す図。
【図９】レート制御による符号量変化の一例を示す図。
【図１０】本画像符号化装置の出力符号列のデータフォーマットを示す図。
【図１１】第１の実施形態の変形例における画像符号化手順を示すフローチャート。
【図１２】第２の実施形態に係る画像符号化装置のブロック図。
【図１３】第３の実施形態に係る画像符号化装置のブロック図。
【図１４】第１の実施形態の変形例の装置のブロック構成図。
【図１５】属性毎の画像の一例を示す図。
【図１６】画像の属性と補間データの符号量の関係を示す図。
【図１７】補間データ生成の処理手順を示すフローチャート。
【図１８】色配置の例を示す図。
【図１９】参照画素の位置の例を示す図。
【発明を実施するための形態】
【００１１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１２】
［第１の実施形態］
図１は、第１の実施形態に係る画像符号化装置のブロック構成図である。画像符号化装置は、ストライプバッファ１０１、ブロック分割部１０２、タイルバッファ１０３、補間データ生成部１０４、補間データ優先度特定部１０５、解像度変換部１０６、可逆符号化部（第１の符号化手段に相当）１０７、必須符号化データ特定部１０８を有する。更に、符号量を抑制するための、レート制御部１０９、符号列形成部１１０を備える。なお、図示において、１２０、１２１、１２２は信号線である。係る構成において、補間データと属性情報に基づいて、補間データに優先順位をつけることで、出力対象の符号化データを決定し、レート制御（レートの調整）を行う方法について以下に説明を行う。
【００１３】
まず前提として、本第１の実施形態における処理対象の画像データは、水平方向Ｗ画素、垂直方向Ｈ画素で構成されているものとする。また、画像データはモノクロ多値でも良いが、実施形態では、各画素はＲ、Ｇ、Ｂの３つのコンポーネントで構成され、それぞれが８ビット（２５６階調）の輝度値で表わされているものとする。そして、画像データの並びは点順次、すなわち、ラスタースキャン順に各画素を並べ、その各画素はＲ、Ｇ、Ｂの順番でデータを並べて構成されるものとする。
【００１４】
符号化対象の画像データは信号線１２０から、ラスタースキャン順に入力される。入力源は、デジタルカメラ、イメージスキャナ、符号化対象の画像データを記憶している記憶装置もしくは記憶媒体で良く、その種類は問わない。ストライプバッファ１０１は画像データを所定のライン数（Ｔｈ）分格納する領域を持ち、信号線１２０から入力される画像データを順次格納していく。以降、画像データをＴｈラインの幅で分割した部分的な画像データをストライプデータもしくは単にストライプと呼ぶ。ストライプバッファ１０１に必要とされる容量、即ち１ストライプのデータ量はＷ×Ｔｈ×３（ＲＧＢ分）バイトである。説明の便宜上、符号化対象の画像の垂直方向画素数ＨはＴｈの整数倍であるとし、画像の末尾で不完全なストライプが発生しないものとする。
【００１５】
ストライプバッファ１０１に１ストライプの画像データが格納されると、ブロック分割部１０２はストライプバッファ１０１に格納されるＴｈライン分の画像データを水平方向Ｔｗ画素、垂直方向Ｔｈ画素で構成される複数画素で構成される矩形ブロックに分割する。そして、分割されたブロック単位に読み出してタイルバッファ１０３へと格納する。説明の便宜上、符号化対象の画像の水平方向に並ぶ画素数ＷはＴｗの倍数であるとし、矩形ブロックに分割した場合に不完全なブロックが発生しないものとする。この水平方向Ｔｗ画素、垂直方向Ｔｈ画素で構成される矩形ブロック（着目ブロック）を、これ以降、タイルデータもしくは単にタイルと呼ぶ。
【００１６】
タイルバッファ１０３は、１タイル分の画像データを格納する領域を持ち、ブロック分割部１０２から出力されるタイルデータを順次格納していく。よって、タイルバッファ１０３に必要とされる最低容量はＴｗ×Ｔｈ×３（ＲＧＢ分）バイトである。
【００１７】
補間データ生成部１０４は、後述する解像度変換部１０６からの情報に従い、タイルバッファ１０３に格納される１タイル分の画素データを入力し、補間データの生成処理を行う。補間データとは、入力の画像データを解像度変換部１０６で低解像度に解像度変換して作成した低解像度画像データから、オリジナル解像度の画像を完全に再現するための情報を持つものである。具体的な補間データ生成の方法としては、特開２０１０−１５４４８６号公報に記されているような方法で行えばよい。例えば次の通りである。
【００１８】
まず、タイルバッファ１０３に格納された１タイル分の画像データを２×２画素で構成されるブロック（以下、ピース（Piece）という）単位にラスタースキャン順に走査する。そして、着目ピース内の画素値の種類（以下、色数）や画素配置（以下、色配置ともいう）についての情報を‘０’か‘１’のビットで表現する。また、ピース内の画素値が着目ピースの周囲の画素値と一致するか否かの情報も‘０’か‘１’のビットで表現する。更にそのビット情報を圧縮してもよい。１ピースは２×２画素であるので、着目ピースに含まれる色の種類は最小で１、最大で４である。また、ピース内の色数が多い（３〜４色）場合には、その色をそのまま画素値情報として付加する。このとき、３〜４色ピースの場合に、低解像度画像データの画素値（以下、縮小画素）を、ピース内に存在する４画素の平均値とする場合には、２×２画素の平均値と縮小画素以外の３画素からピース内の全画素（４画素）を再現可能な情報を付加するものとする。
【００１９】
上記の方法で生成された補間データを優先度に応じて大きく３種類に分類する。以下、３種類の補間データ（Interpolated data）を優先度の高い順に、ＩＤ１、ＩＤ２、ＩＤ３と表現する。
【００２０】
具体的な補間データ生成の処理フローを図１７に示し、以下に説明する。
【００２１】
まず、タイルデータを入力し（ステップＳ１７０１）、タイルデータの左上の２×２画素（ピース）について着目する。ステップＳ１７０２で着目ピース内の色数が１色（２×２画素が全て同じ色）であるか否かを判定する。１色の場合（ＹＥＳ）、ステップＳ１７０３へ処理を移し補間データとして‘１’を出力し、着目ピースの処理を終了する。一方、１色でない場合（ＮＯ）には、ステップＳ１７０４へ処理を移し‘０’を出力する。次に、ステップＳ１７０５において、着目ピース内の色数が２色であるか否かを判定する。２色である場合（ＹＥＳ）には、ステップＳ１７０６へ処理を移し‘１’を出力する。一方、２色でない場合（ＮＯ）、ステップＳ１７０７へ処理を移し‘０’を出力する。そして、ステップＳ１７１２において縮小画素以外の３画素の画素値を出力し、着目ピースの処理を終了する。ステップＳ１７０４において２色であると判定された場合には、ステップＳ１７０６に続いて、ステップＳ１７０８においてピース内の色配置についての情報を出力する。色配置情報の具体的な例を図１８に示す。図１８に示すように、ピース内が２色の場合の色配置は７種類存在しうる。この場合、色配置を示すビット情報は３ｂｉｔで表現することが可能である。例えば、図１８に示すように、左から１，２，３、・・・と番号を振っても構わないし、縮小画素以外の３画素が縮小画素と一致するか否かの情報を１ｂｉｔずつで表わしても構わない。例えば、図１８の左から１番目に示す配置であれば、解像度変換部１０６で解像度変換に使用された縮小画素に対し、それ以外の３画素が全て縮小画素と異なる画素値を持つため“０００”で表現する。図１８の左から２番目に示す配置であれば、右上上の画素は異なる画素値を持つが、他の画素は同じ画素値を持つため“０１１”と表す。他の配置に対しても、同様の方法により、フラグを付加すればよい。即ち、復号時に配置の種類を特定できる情報を付加すれば良い。
【００２２】
色配置情報の出力に続いて、ステップＳ１７０９において、第２色目（縮小画素と異なる色を持つ画素の画素値）の画素が着目ピース周辺の画素と一致するか否かを判定する。具体的には、一致するか否かを判定する対象画素の位置を予め決めておき、決められた位置の画素と第２色目の画素を比較する。例えば、図１９に示す着目ピースに隣接するａ，ｂ，ｃの位置の画素を参照画素とする場合について以下に説明を行う。先に説明したとおり、ステップＳ１７０９で第２色目の画素が周囲画素と一致するか否かを判定し、一致すると判定された場合（ＹＥＳ）、ステップＳ１７１０において一致画素の位置情報を出力する。一方、周囲画素に一致する画素がない場合（ＮＯ）には、ステップＳ１７１１において、一致しないことを表すビット情報と、第２色目の画素値を出力する。具体的には、２色目の画素がａと一致する場合“０１”、ｂと一致する場合“１０”、ｃと一致する場合には“１１”を出力し、着目ピースの処理を終了する。一方、ａ，ｂ，ｃどの位置の画素とも一致しない場合には“００”を出力し、更に第２色目の画素値を出力して着目ピースの処理を終了する。
【００２３】
着目ピースの処理が終了したら、ステップＳ１７１３において、入力されたタイルの最終ピースであるかどうか判断し、最終ピースでない場合（ＮＯ）には次のピースへ処理を遷移する（ステップＳ１７１４）。一方、最終ピースである場合（ＹＥＳ）には、タイルの処理を終了する。
【００２４】
上記の方法で生成された補間データを、優先度に応じて分離可能な３つのランクに分類する。以下、３種類の補間データ（Interpolated data）を優先度の高い順に、ＩＤ１、ＩＤ２、ＩＤ３と表現する。つまり、ＩＤ１、ＩＤ２、ＩＤ３それぞれは補間データを構成するランク別の部分補間データと言うことができる。
ＩＤ１：ピース内の色数や色配置などを表現するビット情報
具体的には以下のような情報を持つ。
・ピースの色数を表す情報
・ピースが２色で構成されている場合に、色の配置を表す情報
・ピース内の画素が周囲画素と一致するか否かを表す情報
ＩＤ２：ピースが２色で構成され、周囲に一致する画素が存在しない場合の画素値情報
ＩＤ３：ピースが３色や４色で構成され、ピース内の４画素の平均値から全画素を再現できるような情報
具体的には以下のような情報を持つ。
・縮小画素以外の３画素の画素値情報
・ピース内の４画素を完全に復元するため、平均値との誤差を表現する情報
【００２５】
生成された補間データと優先度は、補間データ優先度決定部１０５へ出力する。
【００２６】
因みに、先に説明した具体的な補間データ生成方法からもわかるように、ＩＤ１はタイル内のどのピースに対しても付加されるビット情報であり、ＩＤ２はＩＤ１で表現できない情報をプラスするために付加するビット情報である。更に、ＩＤ３はＩＤ１とＩＤ２で表現できない情報をプラスするために付加するビット情報である。
【００２７】
補間データ優先度決定部１０５は、補間データ生成部１０４で生成された補間データと、補間データの優先度を入力する。更に、図示しない装置外部から信号線１２１を介して画像データの属性情報取得を行う。これらの情報から、復号時の画質を最低限保持するために必要な補間データ内の情報を特定する。画質を最低限保持するために必要な補間データのことを、必須補間データＤｆと定義する。必須補間データＤｆの特定方法について以下に説明を行う。
【００２８】
まず、取得する属性情報は、タイルの属性を特定できる情報であればよく、画素単位に属性情報を持っているようなものでも、タイル単位に属性情報を持っているようなものでも良い。画素単位に属性情報を持っているような場合には、タイルの中で一番多くの画素データの属性を、そのタイルの属性情報とする。また、属性情報はテキスト形式や画像形式などどんな形式のものを取得しても構わない。本実施形態において、ＣＧ系の画像データを以下３種類の属性に分類する。
（１）パターン
（２）文字線画
（３）グラデーション
ここで、「パターン」とは一定の周期性を持った画像のことをいう。例えば、一定おきの画素ごとにある特定の画素値となるような画像であり、プレゼンテーション資料などの中で所定の透過率を設定してオブジェクトの半透明処理を施した場合などに生成される。このような領域ではサブサンプリングなどの解像度変換を行なうと画質の変化が著しい。
【００２９】
必須補間データＤｆは、取得した属性情報と、補間データの優先度から決定する。図３は、補間データの優先度を示す表である。図３に示す補間データの優先度と着目タイルの属性情報を組み合わせて優先度を決定した結果を図４に示す。図４に示す表は優先度が高いほど大きな数値を割り当てている。つまり、タイルの属性がグラデーションであり、補間データの分類がＩＤ３である場合が優先度１であり、最も優先度の低いデータである。逆に属性がパターンであり、補間データの分類がＩＤ１である場合などは、優先度６であり、最も優先度の高いデータである。図４に示す優先度は、画質への影響度から特定している。たとえば、グラデーションの属性を持つタイルでは、ピースが３〜４色で構成されている場合に、そのピースを平均化した画素に置き換えてもそれほど画質の劣化として目立つものではない。これは、グラデーションの画像の画素値変化が緩やかな（一画素一画素の変化量が少ない）ため、元の画素値と２×２画素の平均値との差分が小さいことが理由である。そのため、グラデーション属性の補間データＩＤ３を破棄しても、それほど画質に影響を与えないことが予想されることから、優先度を最も低く設定している。他の優先度に関しても、グラデーションの例のように、画質への影響度から特定することが可能である。図４の中で、必須補間データＤｆとするのは、優先度６を割り当てている属性と補間データの組み合わせである。
【００３０】
優先度６の情報を破棄した場合には、画質の劣化が著しく、視覚的にも目立つため、必須補間データＤｆとして保持する必要がある。例えば、属性がパターンの領域では、補間データのＩＤ３を破棄した場合、２色ピースと平均色１色に変換されたピースが混在することになり、元のパターンの周期性とは異なった周期の画素配置となってしまう可能性がある。こうなることで、原画像とは違う見えのテクスチャが発生することがあり、画質的に問題となる。問題となる画像の例を図５に示す。図５（ａ）はパターンの下地がグラデーションの画像の例である。原画像のパターンと比較し、補間データ中のＩＤ３を破棄した場合の画像ではパターンの周期性が変化していることがわかる。図５（ｂ）は文字の上にパターンがオーバーレイされている画像の例である。原画像と比較し、パターンがかかっている文字のエッジ部分で平均色のピースが発生し、文字の見えが著しく変化していることがわかる。また、パターンの周囲にアンチエリアスがかかっており、アンチエリアス部分でも平均色が発生し、パターンの内側と周囲で色味が違って見えるという現象も起きている。これらの画質変化は視覚的に目立つものであり問題となる。
【００３１】
上記方法により、必須補間データＤｆを特定したら、必須補間データＤｆの符号量Ｓｆを取得する。必須補間データ量Ｓｆは、必須符号化データ特定部１０８へ出力する。
【００３２】
なお、本実施形態では補間データを、オリジナル解像度の画像を完全に再現するための情報であるとしたが、入力画像の解像度を再現できればよく、入力画像の画素値を誤差なく正確に再現できなくてもよい。
【００３３】
更に、補間データは解像度情報を補間するデータとして説明したが、他の情報を補間するようなデータであっても構わない。例えば、解像度変換ではなく階調変換を行う場合には、オリジナルの階調情報を再現するような補間データを持てばよい。
【００３４】
解像度変換部１０６は、タイルバッファ１０３から入力された１タイル分の画素データに対して、解像度変換を行う。解像度変換処理の方法は、２×２画素内の予め設定された位置の１画素を抽出するサブサンプリングを行ってもよいし、２×２画素の平均色を使用しても構わない。
【００３５】
本実施形態では、着目ピースが１色や２色で構成されている場合や、ピース内の画素値が周囲画素で再現可能な場合には、２×２画素のうちの左上画素を低解像度画像データの１画素（縮小画素）とするようなサブサンプリングを行う。その他の構成を持つピース、つまりは３〜４色で構成されており、ピース内の画素値が周囲画素で再現できない場合には、２×２画素の平均色を縮小画素とする。これは、画像データ全体のピースに対してサブサンプリングを適用した場合には、符号量制御のために補間データを部分的に破棄した場合の画質低下が著しいためである。例えば市松模様のような画像の場合には、サブサンプリングすると、１色の平坦な画像に変化してしまう。一方、画像データ全体の２×２画素に対して平均色を縮小画素とすると、低解像度画像データに対して可逆符号化を行う際の符号化効率が著しく低下する場合がある。例えば、可逆符号化方式としてランレングス符号化を適用する場合には、平均色に変換することでランの長さが全体的に短くなってしまい、符号化効率低下につながる。例えば、図２（ａ）に示すような画像データで符号化効率の低下が著しい。図２（ｂ）の画像データは図２（ａ）をサブサンプリングで解像度変換した場合の結果であり、縮小画素が全て白になるためランレングス符号化の符号化効率が良くなる。一方、図２（ｃ）の画像データは、図２（ｂ）を２×２画素の平均色で解像度変換した場合の結果であり、１画素おきに画素値が変化しているため、ランレングス符号化の符号化効率は図２（ｂ）と比べて著しく低下する。そのため、画質の低下を抑制しつつ、符号化効率を保つために、上記のような解像度変換の方法を採用している。
【００３６】
着目ピースの平均色を縮小画素とする場合には、まず縮小画素がサブサンの場合と同様に画素値の出力を行う（２色ピースの場合は第２色目の画素値、３〜４色ピースの場合は３画素の画素値）。それにプラスして、縮小画素と平均色と他の画素から算出する平均値との差分値を２ビットで表現し、出力することにより、ピース内すべての画素値が再現可能である。または、着目ピースの画素値情報を表現するために、縮小画素となる４画素の平均値と着目画素との差分値を表現するビット情報を付加してもよい。
【００３７】
上記のようにして生成された解像度変換で生成された低解像度画像データは可逆符号化部１０７へ出力されることになる。
【００３８】
可逆符号化部１０７は、解像度変換部１０６で生成した低解像度画像データに対して、可逆符号化を行う。本実施形態では、ランレングス符号を適用する。ここで、可逆符号化方式は、ランレングス符号化に限定するものではなく、ＪＰＥＧ−ＬＳやＰＮＧなどの可逆方式を適用してもよい。可逆符号化データを必須符号化データ特定部１０８へ出力する。
【００３９】
続いて、必須符号化データ特定部１０８では、画像データ全体に対して、最低限保持すべき符号量を特定する。最低限保持すべき符号量とは、レート制御後の画質を最低限保証するために必要な符号量のことである。この最低限保持すべき基本となる符号化データのことを必須符号化データと呼ぶ。必須符号化データの総量を以下Ｓｍと表現する。これは、全タイルの必須補間データ量Ｓｆと低解像度画像データを可逆符号化した符号化データの符号量Ｓｒの合計で表現できる。
【００４０】
まず、各タイルにおいて、補間データ優先度決定部１０５で取得した必須補間データの符号量Ｓｆと可逆符号化部１０７で生成した可逆符号化データの符号量Ｓｒの合計の符号量Ｓｂｍを算出する。
Ｓｂｍ（ｉ）＝Ｓｆ＋Ｓｒ    …（１）
【００４１】
図７にタイルの属性毎の可逆符号化データと補間データを積み上げたグラフの例を示す。図７において、縦軸が符号量であり、横軸が３種類の属性のタイルである。左から、タイルＮｏ．０、１、２とし、それぞれ、パターン、文字・線画、グラデーションの属性情報を持つ例である。どの属性であっても、可逆符号化データは全てを必ず保持する。補間データは属性によって必須補間データ量Ｓｆの決め方が異なっている。タイル０は属性がパターンであり、図７の符号量ＡがＳｂｍ（０）となる。タイル１は属性が文字・線画であり、符号量ＢがＳｂｍ（１）となり、タイル２は属性がグラデーションであり、符号量ＣがＳｂｍ（２）となる。ちなみに、属性がグラデーションの場合には、Ｓｂｍ＝Ｓｒであると言える。
【００４２】
次に、着目タイルの必須補間データ量Ｓｂｍ（ｉ）（ｉ＝０〜ｎ−１、ｎはタイル数）をＳｍに足し合わせることで、画像全体での必須符号化データの符号量Ｓｍを算出する。Ｓｍ＝ΣＳｂｍ（ｉ）    …（２）
ここでΣは符号化対象のタイルの総数ｎに対する合算をし、ｉ＝０、１、…、ｎ−１である。図７の３つのタイルの例で言うと、Ｓｍ＝符号量Ａ＋符号量Ｂ＋符号量Ｃである。
【００４３】
以上の方法で、必須符号化データの符号量Ｓｍを特定することができる。算出した必須符号化データ量Ｓｍをレート制御部１０９へ出力する。
【００４４】
レート制御部１０９は、要するに、目標となるレートに到達するまで、優先度の高い部分補間データを出力対象の符号化データに加えていく。換言すれば、レート制御部１０９は、補間データ生成部１０４で生成された補間データを優先度によって削除することで、目標符号量を達成するようにレート制御する。
【００４５】
図６はレート制御部１０９の処理の流れを示すフローチャートである。以下、図６に示したフローチャートを参照して、レート制御部１０９の行う処理について説明する。
【００４６】
まず、画像全体の符号量Ｓｐを算出する（ステップＳ６０１）。画像全体の符号量Ｓｐは、全タイルの補間データ量と可逆符号化データ量の合計である。次に、目標符号量Ｓｔを取得する（ステップＳ６０２）。目標符号量Ｓｔは、図１において、図示しない設定部から信号線１２２を介してレート制御部１０９へ入力される。
【００４７】
続いて、ステップＳ６０３は、符号量Ｓｐと目標符号量Ｓｔの比較を行う。比較した結果、符号量Ｓｐが目標符号量Ｓｔ以下であった場合（Ｎｏ）には、レート制御の必要がないため、そのままレート制御処理を終了する。一方、符号量Ｓｐが目標符号量Ｓｔよりも大きい場合（Ｙｅｓ）には、ステップＳ６０４へと処理を遷移する。
【００４８】
ステップＳ６０４は、目標符号量Ｓｔと必須符号化データ量Ｓｍの比較を行う。比較を行った結果、必須符号化データ量Ｓｍが目標符号量Ｓｔ以下（Ｙｅｓ）であれば、ステップＳ６０５へと処理を移し、補間データの選択を行う。一方、必須符号化データ量Ｓｍが目標符号量Ｓｔよりも大きければ（Ｎｏ）、ステップＳ６０６の際符号化処理を遷移する。
【００４９】
ステップＳ６０５は、目標符号量Ｓｔと図１の補間データ優先度決定部１０５で決定した補間データの優先度に基づいて、補間データの取捨選択を行う。優先度に基づいた補間データ選択の詳細な方法については、以下に説明する。
【００５０】
図８はタイル単位の符号量を表すグラフである。縦軸は符号量であり、横軸はタイルのシーケンスである。横軸のタイルナンバーの下には、各タイルの属性情報を並べている。パターンはＡ、文字・線画はＭ、グラデーションはＫの記号で表現している。また、グラフの太枠で囲っている部分はタイルごとの必須符号化データであり、この符号化データについては画質を保持するために最低限必要な符号化データであるため、必ず選択される。必須符号化データ以外の補間データの優先度により符号量制御を行う。
【００５１】
まずは、先に説明した図４の優先度に従って、必須補間データ以外で最も優先度の高い、グラデーション属性（Ｋ）の補間データＩＤ１を選択し、必須符号化データＳｍに追加する。図８の例では、タイル６、７のＩＤ１の符号量を必須符号化データＳｍにプラスする。追加した結果、目標符号量Ｓｔと同じ符号量になれば処理を終了する。追加しても目標符号量Ｓｔに達しない場合には、次に優先度の高い文字・線画属性（Ｍ）の補間データＩＤ２を更に追加する。この処理を目標符号量Ｓｔに達するまで繰り返し行う。
【００５２】
優先度の高い補間データの符号量を追加している途中で目標符号量Ｓｔを超えてしまった場合には、目標符号量Ｓｔを超える直前に追加した同じ優先度を持つ符号データの中から、最も符号量の小さいデータを選択して、そのタイルの補間データのみを破棄する。この処理を目標符号量Ｓｔよりも小さくなるまで繰り返し行う。こうすることで、目標符号量Ｓｔよりも小さく、できるだけ目標符号量Ｓｔに近い符号量の符号化データを選択できることになる。
【００５３】
図９に補間データ選択時の符号量変化の具体例を示す。図９の横軸は符号量であり、５つのタイルの符号化データを左から順に積み上げたグラフになっている。図８と同様に太枠で囲った部分はタイル毎の必須符号化データである。図８の中の状態とＳｔｅｐの内容は以下の通りである。
状態１：目標符号量Ｓｔと必須符号化データＳｍを比較した結果Ｓｔよりも小さい。
Ｓｔｅｐ１：優先度５の補間データ（属性Ｋ、ＩＤ１）を追加
状態２：追加した結果が目標符号量Ｓｔよりも小さい
Ｓｔｅｐ２：優先度４の補間データ（属性Ｍ、ＩＤ２）を追加
状態３：追加した結果が目標符号量Ｓｔよりも小さい
Ｓｔｅｐ３：優先度３の補間データ（属性Ｍ、ＩＤ３）を追加
状態４：追加した結果が目標符号量Ｓｔよりも大きい
Ｓｔｅｐ４：優先度３の補間データ（属性Ｍ、ＩＤ３）の中で符号量が最少のタイル２の補間データを破棄
状態５：目標符号量Ｓｔよりも小さくなったので処理を終了
【００５４】
以上のような手順で補間データの選択を行って、破棄されなかった符号化データを符号列形成部１１０へ出力する。
【００５５】
なお、レート制御の説明を分かり易くするために、補間データの追加削除を順番に行うよう説明したが、この手順に限るものではない。例えば、補間データと可逆符号化データを別々に格納しておき、画像全体での補間データのＩＤ１、ＩＤ２、ＩＤ３それぞれのデータ量と可逆符号化データのデータ量の総和をテーブルか何かで保持しておく。目標符号量Ｓｔに対して、保持しているテーブルの中から優先度の低いデータを削除し、目標符号量Ｓｔ以下になるデータのみを出力するという手順でレート制御を行っても良い。その場合のデータ構成としては、各タイルの可逆符号化データをすべて並べ、その後ろに、各タイルの選択された補間データが連続することになる。
【００５６】
図６のステップＳ６０４の判定により、必須符号化データＳｍが目標符号量Ｓｔを超えていると判断された場合（Ｎｏ）にはレート制御はできないため、入力画像データに対して全く別の符号化方式を用いて再度符号化を行う。再符号化の際には、ＪＰＥＧ２０００のような周波数変換を用いる符号化を適用することで、レート制御を行えるものとする。本実施形態では、符号化対象画像として、ＣＧ系の画像を想定しており、ＣＧ系の画像に対して符号化効率の良い補間データ生成と予測符号化を適用することを前提としている。そのため、再符号化処理（ステップＳ６０６）の詳細な内容については説明を省略する。
【００５７】
次に、本実施形態における符号列形成部１１０を説明する。符号列形成部１１０は、レート制御部１０９から出力される符号化データを受け取り、入力画像全体に対応する符号列を形成して出力する。そのため、符号化データの先頭には、図１０に示すように、画像を復号するために必要となる情報がヘッダとして付加される。例えば、画像の水平方向画素数、垂直方向画素数（タイルサイズは固定とするので、タイル数を示す情報でもある）、コンポーネント数、各コンポーネントのビット数などの付加情報がヘッダとして付けられる。
【００５８】
各タイルでは、低解像度画像データを符号化した可逆符号化データと、補間データを持つことになるが、レート制御の結果によっては、補間データのないタイルも存在する。
【００５９】
以上、説明したように本実施形態によれば、取得する属性情報から簡単に補間データの優先度を決定することができ、最低限の画質を保持しつつも精度よくレート制御を行うことが可能である。
【００６０】
［変形例の説明］
上記実施形態では図１の構成に基づいて説明したが、上記実施形態と同等の処理をパーソナルコンピュータ（以下、ＰＣ）等で実行するコンピュータプログラム（ソフトウェア）でもって実現させても構わない。
【００６１】
図１４はソフトウェアで実現する場合の装置（ＰＣ等）の基本構成を示す図である。
【００６２】
図中、１４０１はＣＰＵで、ＲＡＭ１４０２やＲＯＭ１４０３に記憶されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する画像符号化処理、復号処理を実行する。１４０２はＲＡＭで、外部記憶装置１４０７や記憶媒体ドライブ１４０８、若しくはＩ／Ｆ１４０９を介して外部装置からダウンロードされたプログラムやデータを記憶するため、及び、ＣＰＵ１４０１が各種の処理を実行する際のワークエリアとして使用される。１４０３はＲＯＭで、ブートプログラムや本装置の設定プログラムやデータを格納する。１４０４、１４０５は夫々キーボード、マウス等のポインティングデバイスで、ＣＰＵ１４０１に対して各種の指示を入力することができる。１４０６は表示装置で、ＣＲＴや液晶画面などにより構成されており、画像や文字などの情報を表示することができる。１４０７は外部記憶装置で、ハードディスクドライブ装置等の大容量情報記憶装置である。ここにＯＳや前述の画像符号化、復号処理の為のプログラム、符号化対象の画像データ、復号対象画像の符号化データなどが保存されており、ＣＰＵ１４０１による制御によって、これらのプログラムやデータはＲＡＭ１４０２上の所定のエリアにロードされる。１４０８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出してＲＡＭ１４０２や外部記憶装置１４０７に出力するものである。なお、この記憶媒体に前述の画像符号化、復号処理の為のプログラム、符号化対象の画像データ、復号対象の画像の符号化データなどを記録しておいても良い。その場合、記憶媒体ドライブ１４０８は、ＣＰＵ１４０１による制御によって、これらのプログラムやデータをＲＡＭ１４０２上の所定のエリアにロードする。１４０９はＩ／Ｆで、このＩ／Ｆ１４０９によって外部装置を本装置に接続し、本装置と外部装置との間でデータ通信を可能にするものである。例えは符号化対象の画像データや、復号対象の画像の符号化データなどを本装置のＲＡＭ１４０２や外部記憶装置１４０７、あるいは記憶媒体ドライブ１４０８に入力することもできる。１４１０は上述の各部を繋ぐバスである。
【００６３】
上記構成において、本装置の電源をＯＮにすると、ＣＰＵ１４０１はＲＯＭ１４０３に格納されたＯＳをＲＡＭ１４０２にロードし、起動することになる。ＯＳ起動後、本変形例における画像符号化アプリケーションプログラムをＯＳを介して外部記憶装置１４０７からＲＡＭ１４０２にロードし、実行する。
【００６４】
ここでは、説明を簡単なものとするため、インターフェース１４０９にイメージスキャナが接続されていて、原稿を読み取り、その画像を符号化し、外部記憶装置１４０７にファイルとして格納される例を説明する。説明を簡単なものとするため、入力画像は上記の実施形態と同じ、Ｒ、Ｇ、Ｂ各８ビットで表わされているものとする。
【００６５】
図１１は、本変形例における符号化処理を示すフローチャートである。ステップＳ１１０１では、原稿を読み取り、ＲＡＭ１４０２に確保されたバッファに１ストライプ分の画像データを格納する。そして、ステップＳ１１０２において、１タイル分の画像データをバッファより読み出し、ステップＳ１１０３にて、補間データ生成を行う。また、補間データ生成と同時に、解像度変換により、低解像度画像データを生成し、低解像度画像データに対してランレングス符号化等の可逆符号化を行う。着目タイルの可逆符号化データの符号量をＳｒとする。このとき生成された補間データの優先度を決定し、着目タイルに対する必須補間データを特定する。必須補間データの符号量をＳｆとする。
次いで、ステップＳ１１０４にて装置外部から属性情報を取得し、ステップＳ１１０３にて生成した補間データと属性情報に基づいて、着目タイルに対する必須符号化データＳｂｍを特定する。そして、ステップＳ１１０５にて、画像全体に対する必須符号化データＳｍを算出するために、ＳｍにステップＳ１１０４で特定したＳｂｍを足しこむ。
【００６６】
ステップＳ１１１０は、注目タイルが注目ストライプの最後のタイルであるか否かを判定する。否の場合（Ｎｏ）には、ステップＳ１１０２以降の処理を繰り返す。また、注目タイルが注目ストライプの最後のタイルであると判断した場合（Ｙｅｓ）には、ステップＳ１１１１に進み、注目ストライプが画像データの最終ストライプであるか否かを判定し、否の場合（Ｎｏ）にはステップＳ１１０１以降の処理を繰り返す。
【００６７】
最終ストライプの最後のタイルであった場合（Ｙｅｓ）は、画像全体の符号化が完了したことを意味する。そのため、ステップＳ１１１３に進み、ヘッダ情報を付加し、出力バッファに格納された符号化データをファイルとして外部記憶装置１４０７に書き込み保存し、本処理を終了することになる。
【００６８】
以上説明したように、先に説明した第１の実施形態と同様の処理を、ＰＣ等の汎用の情報処理装置上で実行するアプリケーションプログラムとしても実現できることになり、同様の作用効果を得ることが可能である。
【００６９】
なお、復号処理であるが、復号処理は基本的に符号化処理とは逆の手順に従って行えばよいのは自明のことであるため、ここでの説明については省略する。また、実施形態では、符号化対象の画像データはＲ、Ｇ、Ｂ成分で表現され、各８ビットであるものとして説明したが、これに限られるものではなく、他の色空間、他のビット数でも構わない。これは以下に説明する例でも同様である。
【００７０】
［第２の実施形態］
第１の実施形態では、画像の属性情報を装置外部から入力し、符号化レート制御の際に参照する例について説明を行ったが、本第２の実施形態では、画像の属性情報を補間データの構成から判定する方法について説明を行う。
【００７１】
図１２は、本第２の実施形態に係る画像符号化装置のブロック構成図である。図１に示した第１の実施形態の画像符号化装置と同じ機能については、同じ番号を付し、その説明については省略する。
【００７２】
図１と異なる点は、補間データ生成部１２０１の処理と、補間データ優先度決定部１０５へ入力する属性情報が装置外部からではなく、補間データ生成部１２０１から入力される点のみである。そのため、本実施形態における補間データ生成部１２０１の処理について以下に説明を行う。
【００７３】
本第２の実施形態における補間データ生成部１２０１では、タイルの補間データ生成と同時に画像属性の特定を行う。画像属性の種類は、第１の実施形態と同様に、ＣＧ系の画像データをパターン、文字・線画、グラデーションの３種類に分類する。以下に、補間データのデータ量を参照することで画像の属性を特定する方法について説明する。
【００７４】
補間データの生成方法は第１の実施形態で説明したとおりであり、２×２画素ブロック（ピース）内の色数や着目ピースの画素と周囲画素との一致情報などを符号化するものである。補間データは、ピース内の色数が少ない場合や周囲画素と一致するような場合に短い符号を割り当て、逆に、ピース内の色数が多い場合や周囲画素と一致しない場合には長い符号が割り当てられる。そのため、パターン、文字・線画、グラデーションの各属性情報に対して、以下のような特徴があると言える。
パターンの場合：２色ピースの割合が高い。また周囲画素と一致する可能性も高い。
文字・線画の場合：１色ピースの割合が高い。また周囲画素と一致する可能も高い。
グラデーションの場合：２、３、４色ピースの割合が高い。周囲画素と一致する可能性は低い。
【００７５】
具体的な画像の一例を図１５（ａ）乃至（ｃ）に示す。図１５（ａ）にはパターン画像の一例を示す。この画像では、１６個のピースのうち１４個が２色ピースであり、全てのピースが白か黒で構成されているため、着目ピースの周囲画素に、一致する画素値が必ず存在する。図１５（ｂ）は文字画像の一例である。この画像では、１６個のピースのうち、８個が１色ピースであり、全てのピースが白か黒で構成されているため、着目ピースの周囲画素に、一致する画素値が必ず存在する。図１５（ｃ）は、グラデーション画像の一例である、この画像では、１色ピース：１個、２色ピース：４個、３色ピース：１１個で構成されている。
【００７６】
第１の実施形態で説明した補間データ生成の方法では、１色ピースの場合にはピースに対して１色であるという情報のみを出力する。しかしながら、ピースが２色で構成されている場合には、色数情報に加えて、色の配置を表す情報も出力される。そして、ピースが３色や４色で構成されている場合には、画素値情報も出力されることになる。
【００７７】
このことから、属性と補間データの符号量（１つのブロックから得られた部分補間データの総符号量）には、図１６に示す表のような関係があると言える。従って、所定の個数閾値を設け、その閾値との比較結果に基づき、閾値で定義されるいずれの範囲に符号量が属するかによって属性を判定できる。すなわち、補間データのデータ量が閾値Ｔｈ１よりも大きい場合にはグラデーションであると判断し、補間データのデータ量が閾値Ｔｈ１よりも小さく、閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）よりも大きい場合にはパターンであると判断する。また、データ量が閾値Ｔｈ２以下であれば、文字・線画であると判断することができる。
【００７８】
更に、補間データのデータ量に加えて、ピースの色数の比率などを参照することで、画像属性の判定精度を向上させることも可能である。以上の方法で着目タイルの属性情報を判定し、その結果を補間データ優先度決定部へ入力する。
【００７９】
上記方法によれば、第１の実施形態と同様に、最低限の画質を保持しつつ、簡易なレート制御が行える点に加えて、装置外部から属性情報が入力されない場合にも補間データ生成時に属性を特定することが可能である。
【００８０】
［第３の実施形態］
第１の実施形態、第２の実施形態では、文字・線画やグラデーションなどＣＧ系の画像に対する方法について説明を行ったが、本第３の実施形態では、自然画像が混在する画像についてのレート制御方法について説明を行う。
【００８１】
図１３は、本第３の実施形態に係る画像符号化装置のブロック構成図である。図１に示した第１の実施形態の画像符号化装置と同じ機能については、同じ番号を付し、その説明については省略する。
【００８２】
図１と異なる点は、符号化方式判定部１３０１と非可逆符号化部１３０２を設け、レート制御部１０９は、非可逆符号化部（第２の符号化手段に相当）１３０２で生成される符号化データも考慮してレート制御する点にある。
【００８３】
符号化方式判定部１３０１は、補間データ生成部１０４により生成された補間データを入力する。入力された補間データのデータ量とタイルデータのデータ量を比較し、補間データ量がある値以下の場合は、文字や線画、グラデーションのようなＣＧ系の画像であると判断する。一方、補間データ量がある値よりも大きい場合には、自然画像であると判断する。具体的には、タイルデータの１／８のデータ量を閾値として、符号化方式を判定する。例えば、タイルが３２×３２画素だとすると、タイルデータは３２×３２×３（ＲＧＢ分）で３０７２バイトである。３０７２バイトの１／８の３８４バイトを閾値とし、補間データ量が３８４バイト以下であればＣＧ画像であると判定し、３８４バイトよりも大きければ自然画であると判定する。
【００８４】
ＣＧ画像であると判断された場合には、可逆符号化で符号化を行う。この場合、着目タイルに対して、第１や第２の実施形態と同様に、解像度変換部１０６で解像度変換を行い、生成した低解像度画像データに対して、可逆符号化方式で符号化する。自然画であると判断された場合には、着目タイルに対して補間データ生成部１０４で生成した補間データは破棄する。そして、着目タイルの画像データを非可逆符号化部１３０２へ入力し、非可逆符号化方式で符号化する。ここで、非可逆符号化方式はＪＰＥＧ２０００のような、階層構造を持つ符号化データを生成可能な符号化方式を適用するものとする。本実施形態においては、非可逆符号化部１３０２で生成されたＪＰＥＧ２０００の符号化データは、レート制御部１０９へ出力される。
【００８５】
レート制御部１０９は、可逆符号化したタイルと非可逆符号化したタイルの比率から、各符号化データのタイルに割り当てる目標符号量を決定する。例えば、可逆符号化タイルが画像全体の６０％であった場合には、可逆符号化タイルに対して、画像全体の目標符号量Ｓｔの６０％の符号量を目標符号量Ｓｔ１として割り当てる。そして、目標符号量Ｓｔ１になるように、第１の実施形態で説明した方法により、補間データの選択を行う。非可逆符号化タイルに対しては、画像全体の目標符号量Ｓｔの４０％の符号量を目標符号量Ｓｔ２として割り当てる。そして、ＪＰＥＧ２０００の符号化データが、目標符号量Ｓｔ２になるように、レート制御を行う。
【００８６】
このようにして生成された符号化データを符号列形成部１１０へ出力する。上記方法によれば、自然画が混在する画像データに対しても、最低限の画質を保持しつつ、簡易にレート制御を行うことが可能である。
【００８７】
なお、本実施形他におけるレート制御に関して、説明を簡単にするために、可逆符号化タイルと非可逆符号化タイルの比率のみでそれぞれのタイルに対する目標符号量を決定する方法について説明を行った。しかしながら、可逆符号化タイルと非可逆符号化タイルに対する目標符号量の決定方法に関しては、他の方法を用いても構わない。例えば、可逆符号化タイルの必須符号化データ量Ｓｆによって、目標符号量に重みづけを行ってもよい。具体的には、可逆符号化タイルが６０％であっても、必須符号化データ量Ｓｆが可逆符号化タイルに対する目標符号量Ｓｔ１に近い符号量である場合や、超えている場合には、目標符号量Ｓｔ１を目標符号量Ｓｔの７０％の符号量にする。この場合には、非可逆符号化タイルに対する目標符号量Ｓｔ２は目標符号量Ｓｔの３０％となる。以上のように、符号量の関係によって、目標符号量Ｓｔ１やＳｔ２に重みづけを行ってもよい。
【００８８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013038656.tif 000003
【図２】
2013038656.tif 000004
【図３】
2013038656.tif 000005
【図４】
2013038656.tif 000006
【図６】
2013038656.tif 000007
【図７】
2013038656.tif 000008
【図８】
2013038656.tif 000009
【図９】
2013038656.tif 000010
【図１０】
2013038656.tif 000011
【図１１】
2013038656.tif 000012
【図１２】
2013038656.tif 000013
【図１３】
2013038656.tif 000014
【図１４】
2013038656.tif 000015
【図１５】
2013038656.tif 000016
【図１６】
2013038656.tif 000017
【図１７】
2013038656.tif 000018
【図１８】
2013038656.tif 000019
【図１９】
2013038656.tif 000020
【図５】
2013038656.tif 000021