(57)【特許請求の範囲】
【請求項１】
画像データに対して圧縮符号化を行う画像符号化装置であって、
画像データに対して変更可能な第１の圧縮符号化パラメータを用いて圧縮符号化を行う第１の圧縮符号化手段と、
前記第１の圧縮符号化パラメータよりも高い圧縮率で圧縮可能であって、変更可能な第２の圧縮符号化パラメータを用いて前記画像データに対して圧縮符号化を行う第２の圧縮符号化手段と、
前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判断する判断手段と、
前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断される度に、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換え、前記第２の圧縮符号化パラメータを更に高い圧縮率を得るためのパラメータに変更する変更手段と、
前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化手段により従前に圧縮符号化された符号化データ列を、パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化されたものとして保存する保存手段と、
前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化手段で従前に圧縮符号化されたデータを、前記変更手段によって変更した前記第２の圧縮符号化手段用のパラメータに従い再度圧縮符号化する再圧縮符号化手段と、
前記再圧縮符号化手段による再圧縮符号化処理が完了するより前に、前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断された場合、あるいは所定量以上になると予想された場合、前記第１の圧縮符号化手段による圧縮符号化処理を中断するように制御する制御手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記第１，第２の圧縮符号化パラメータは、量子化された変換係数に対するスケーリング値であることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記保存手段が保存する符号化データ列の後続の符号化データ列は、前記変更後の前記第１の圧縮符号化パラメータを用いて前記第１の圧縮符号化手段により生成されることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記再圧縮符号化手段により再圧縮符号化された符号化データ列の後続の符号化データ列は、前記変更後の前記第２の圧縮符号化パラメータを用いて前記第２の圧縮符号化手段により生成されることを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
画像データに対して圧縮符号化を行う画像符号化方法であって、
画像データに対して変更可能な第１の圧縮符号化パラメータを用いて圧縮符号化を行う第１の圧縮符号化工程と、
前記第１の圧縮符号化パラメータよりも高い圧縮率で圧縮可能であって、変更可能な第２の圧縮符号化パラメータを用いて前記画像データに対して圧縮符号化を行う第２の圧縮符号化工程と、
前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判断する判断工程と、
前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断される度に、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換え、前記第２の圧縮符号化パラメータを更に高い圧縮率を得るためのパラメータに変更する変更工程と、
前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化工程で従前に圧縮符号化された符号化データ列を、パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化されたものとして保存する保存工程と、
前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化工程で従前に圧縮符号化されたデータを、前記変更工程で変更した前記第２の圧縮符号化工程用のパラメータに従い再度圧縮符号化する再圧縮符号化工程と、
前記再圧縮符号化工程での再圧縮符号化処理が完了するより前に、前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断された場合、あるいは所定量以上になると予想された場合、前記第１の圧縮符号化工程による圧縮符号化処理を中断するように制御する制御工程と
を備えることを特徴とする画像符号化方法。
【請求項６】
情報処理装置に読み込ませることで、当該情報処理装置を請求項１乃至４のいずれか１項に記載の画像符号化装置として機能させるプログラム。
【請求項７】
コンピュータに請求項５に記載の画像符号化方法を実行させる為のプログラム。
【請求項８】
請求項６又は７に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を圧縮符号化する画像符号化装置、画像符号化方法、プログラム、並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
現在、静止画像に対する圧縮符号化処理機能は多くのデジタル・イメージング機器に搭載されている。これらデジタル・イメージング機器の代表的なものは所謂デジタル・カメラの類であるが、デジタル・カラー・コピー機も圧縮符号化処理機能を備えるデジタル・イメージング機器のひとつである。
【０００３】
デジタル・カラー・コピー機では原稿読み取り部から印刷部に対して読み取られた原稿画像データを転送する際のデータ転送量を軽減する目的で、原稿読み取り部には読み取られた原稿画像データに対する圧縮符号化処理機能が、一方の印刷部には符号化された原稿画像データ列に対する伸張復号化処理機能がそれぞれ搭載されている。
【０００４】
原稿読み取り部の後段に具備される圧縮符号化処理部によって生成される符号化された原稿画像データ列のデータ量は、圧縮符号化処理される前の原稿画像データ、すなわち読み取られた原稿画像データのデータ量に比べると数分の一から十数分の一程度に低減され得る。
【０００５】
符号化された原稿画像データ列の圧縮符号化処理される前の原稿画像データに対するデータ量の低減度、すなわち圧縮率の上限値は、符号化歪みが伸張復号化処理によって得られる再構成画像データから容易に視認できない程度の値がその許容される上限値として設定される。
【０００６】
一方、上記圧縮率の許容される下限値は、原稿読み取り部における単位時間あたりに読み込むことができる原稿画像データの最大データ量、および原稿読み取り部から印刷部に転送する際の圧縮符号化された原稿画像データ列の最大データ転送量、といったようなそのシステムにおける各種システム・パラメータによって一意に決定され得る。
【０００７】
このように圧縮率の許容される上限値および下限値が設定されたとしても、供給されるすべての原稿画像データに対する圧縮率をその範囲内に収めるように圧縮符号化処理を行なうことは容易ではない。
【０００８】
その理由は、量子化テーブルに代表される符号化パラメータとして同一のものを用いて圧縮符号化処理を行なっても、得られる符号化された原稿画像データ列のデータ量は原稿画像データ毎に不定であること、言い換えるならば、読み取られた原稿画像データ毎にその圧縮率は変わってしまうことに起因する。
【０００９】
これは、読み取られた原稿画像データ毎にその画像データが有する情報の空間周波数から見た偏りおよびその度合いが異なり、そのような原稿画像データに対する圧縮符号化処理の中では、値が０である変換係数に対するランレングス符号化および可変長符号を用いたエントロピー符号化といったような被圧縮符号化画像データが持つ冗長性を限りなく除去するための様々な手法が採用されているためである。
【００１０】
従って、すべての原稿画像データに対する圧縮率をその許容される上限値と下限値の間の範囲に収めるように圧縮符号化処理を施すためには、被圧縮符号化データすなわち供給される原稿画像データの各々に対して適用する符号化パラメータを適応的に変える必要がある。
【００１１】
一般的に圧縮率が一定になるように圧縮符号化処理を行なうためには、所謂情報量制御あるいは符号量制御と称される符号化制御を実現しなければならない。
【００１２】
上記情報量制御の具体的な実現手法としては、フィードフォワード手法とフィードバック手法の大きくふたつの手法が知られている。
【００１３】
フィードフォワード手法は圧縮符号化処理を行なう前に被圧縮符号化データとして入力される原画像データから別途ダイナミック・レンジ、電力、各種統計情報を算出して、それらの算出値を基に最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて実際の圧縮符号化処理を行なうものである。
【００１４】
これに対して、フィードバック手法は試行となる圧縮符号化処理を行なうことによって得られた符号化データ量の実測値から最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて最終的な圧縮符号化処理を行なうものである。
【００１５】
圧縮符号化処理を試行することによって得られた符号化データ量の実測値から最適な符号化パラメータを予測するフィードバック手法のほうが、実際に得られた符号化データ量を直接的に予測値算出に用いているという点で、フィードフォワード手法に比べてより高い精度で目的とする符号化データ量を生成する符号化パラメータの予測値を得ることができる。しかし、このフィードバック手法は原理的に試行となる圧縮符号化処理のために費やされる時間的なオーバーヘッドが余計にかかってしまうという欠点がある。
【００１６】
ひとつの原画像データに対して目標とする圧縮率の符号化データ列が得られるまで何回も圧縮符号化処理を繰り返してもその処理時間の増分が許容できるようなシステム、言わばリアルタイム性や性能が過度に要求されないシステムであれば、特公平８−３２０３７号公報に開示されているような有限回繰り返し試行アルゴリズムが適用可能である。
【００１７】
しかし、デジタル・カメラやデジタル・カラー・コピー機器のようなデジタル・イメージング機器では一般的にリアルタイム性および性能が要求される。したがって、最適な符号化パラメータを予測するための試行となる圧縮符号化処理に費やされる時間的なオーバーヘッドは限りなく小さく抑えることが課題とされ、さらにその予測精度として十分高いものが要求される。
【００１８】
フィードバック手法を用いた情報量制御における最適な符号化パラメータの予測精度を高めるためには、互いに異なる数多くの符号化パラメータを用いて試行となる圧縮符号化処理を複数回行ない、それらの符号化パラメータと実際に得られた符号化データ量の実測値との組み合わせ数を増やすことが効果的であることは容易に考えられる。しかし、その時間的なオーバーヘッドを最小限に抑えるためには、試行となる圧縮符号化処理の際に用いられる符号化パラメータの数と同数の演算回路あるいは処理回路を具備し、それらの回路を並列に動作させて、試行となる圧縮符号化処理を高速に行なうような工夫が必要となる。従来からこの課題を解決するいくつかの公知技術が考案されている。
【００１９】
このような言わば並列回路アーキテクチャの公知技術の一例である文献１”映像情報１９９２年１月号５１−５８ページ「６０〜１４０Ｍｂｐｓ対応のＨＤＴＶコーデック』”では、複数の符号化パラメータとしてＮ組の量子化テーブルを用いて、Ｎ個の量子化回路およびＮ個の発生符号量測定回路を具備する圧縮符号化装置から得られるＮ個の符号化データ量から曲線近似を行なうことによって最適な符号化パラメータ、すなわち最適な量子化テーブルを得ることが記載されている。
【００２０】
同様な構成でありながら回路規模の増大を抑える工夫として、特登録第０２５２３９５３号公報では３個の量子化回路を備えることによって試行となる圧縮符号化処理の際に５組の量子化テーブルを用いた量子化を並列に行ない、結果として５つの符号化データ量の値を算出することが記載されている。
【００２１】
ひとつの画像データを圧縮復号化処理するにあたって、符号化パラメータ、より具体的には量子化テーブルに対するスケーリング値を適応的に変えながら順次圧縮符号化処理を進めることができる符号化方式を採用している動画像圧縮符号化では、特登録第０２８９７５６３号公報に記載されるような符号化パラメータの逐次補正アルゴリズムが適用できる。
【００２２】
この従来例では、試行となる圧縮符号化処理の際に特定の量子化スケーリング値を用いて量子化して得られるブロック単位の符号化データ列のデータ量を算出し、その算出されたデータ量を基にＭ個の量子化スケール値で得られることが期待されるＭ個の符号化データ列のデータ量を予測し、前記Ｍ個の予測値から算出した目標符号化データ量と、実際に出力されている符号化データ列の現在までのデータ量の累積加算値との差分、すなわち予測誤差から実際に使用している量子化スケーリング値を逐次補正しながら圧縮符号化処理を進めている。
【００２３】
さらに、実際に生成された符号化データ量が予測に反して許容される上限値を超えることを回避する目的で特登録第０３０３８０２２号では、試行となる圧縮符号化処理の際に得られた符号化データ量から導出した量子化ステップ値を用いて実際に量子化および可変長符号化して得られた符号化データ列のデータ量が、ブロック単位に割り当てたデータ量を超えてしまった場合には、そのブロックにおける可変長符号化を打ち切ること（有意の変換係数の情報を廃棄すること）が記載されている。
【００２４】
【発明が解決しようとする課題】
前述したようなフィードバック手法を用いた情報量制御における従来例の思想は、試行として行なわれる圧縮符号化処理によって得られたひとつあるいは複数個の符号化データ量の実測値を基に最適な符号化パラメータ、およびその符号化パラメータによって生成される符号化データ量の予測値を導出するという点でいずれも共通している。
【００２５】
また一般的な静止画像圧縮符号化方式として今日広く採用されているＪＰＥＧ符号化方式においては、最も代表的な符号化パラメータのひとつである量子化ステップ値行列、すなわち量子化テーブルについては、そのただ一つのテーブルの組み合わせがひとつの被圧縮符号化データを構成するすべてのブロックに対して共通に適用される。従って、このような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用することが前提になっている場合、従来例のひとつとして前述した符号化パラメータの逐次補正アルゴリズムを適用することはできない。
【００２６】
さらに、もうひとつの従来例として引用した特登録第０３０３８０２２号に記載されているアルゴリズムでは、ブロック単位に割り当てたデータ量を超えてしまった時点でそのブロックに対する可変長符号化を打ち切ってしまうので、画像データを構成するすべてのブロックの圧縮符号化処理が終了した時点で得られた最終的な符号化データ列のデータ量が許容される上限値を超えない場合でも、本来廃棄する必要が無い有意の変換係数まで廃棄することになってしまい、伸張復号化処理によって得られる再構成画像において圧縮符号化歪みの局所的なばらつきが生じてしまう。したがってデジタル・イメージング機器への適用は好ましいとは言えない。
【００２７】
デジタル・イメージング機器のようにリアルタイム性および性能が要求されるシステムにおいて、予測精度の高いフィードバック手法を用いた情報量制御を実現しつつ圧縮符号化処理を行なう場合、従来例として前述した並列回路アーキテクチャは確かに有効な実現形態ではあることには間違いがない。しかし、複数の符号化処理回路を実現するための回路規模および複数個の符号化データ列を一時的に格納するためのバッファの容量としていずれも莫大なものが必要とされ、コスト的な見地からすると余りに多くの並列化を実現することは困難である。
【００２８】
これらのことから、デジタル・イメージング機器において、ＪＰＥＧ符号化方式のような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用する場合、許容範囲内の回路規模で並列化数を上げて、少しでも多くの互いに異なる符号化パラメータによって圧縮符号化処理を同時に行ない、得られた複数個の符号化データ列から、圧縮率の許容される範囲内で最も符号化歪みの小さい符号化データ列を出力とすることが最適な実現形態となる。
【００２９】
しかし並列化数が有限である以上、複数の符号化パラメータをもって生成された符号化データ列がいずれも圧縮率の許容範囲内からはずれてしまう場合もあり得る。このような場合、新たな符号化パラメータを決定して、被符号化データの先頭から再び圧縮符号化処理をやり直す必要がある。しかしこのやり直し、言わば再符号化処理に費やされる時間はそのままシステムの性能低下に繋がる。
【００３０】
本発明は以上の問題に鑑みてなされたものであり、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることを目的とする。
【００３１】
【課題を解決するための手段および作用】
本発明の目的を達成するために、例えば本発明の画像符号化装置は以下の構成を備える。
【００３２】
すなわち、画像データに対して圧縮符号化を行う画像符号化装置であって、
画像データに対して変更可能な第１の圧縮符号化パラメータを用いて圧縮符号化を行う第１の圧縮符号化手段と、
前記第１の圧縮符号化パラメータよりも高い圧縮率で圧縮可能であって、変更可能な第２の圧縮符号化パラメータを用いて前記画像データに対して圧縮符号化を行う第２の圧縮符号化手段と、
前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判断する判断手段と、
前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断される度に、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換え、前記第２の圧縮符号化パラメータを更に高い圧縮率を得るためのパラメータに変更する変更手段と、
前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化手段により従前に圧縮符号化された符号化データ列を、パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化されたものとして保存する保存手段と、
前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化手段で従前に圧縮符号化されたデータを、前記変更手段によって変更した前記第２の圧縮符号化手段用のパラメータに従い再度圧縮符号化する再圧縮符号化手段と、
前記再圧縮符号化手段による再圧縮符号化処理が完了するより前に、前記判断手段により前記第１の圧縮符号化手段による符号化データ列のデータ量が所定量以上であると判断された場合、あるいは所定量以上になると予想された場合、前記第１の圧縮符号化手段による圧縮符号化処理を中断するように制御する制御手段と
を備えることを特徴とする。
【００３３】
本発明の目的を達成するために、例えば本発明の画像符号化方法は以下の構成を備える。
【００３４】
すなわち、画像データに対して圧縮符号化を行う画像符号化方法であって、
画像データに対して変更可能な第１の圧縮符号化パラメータを用いて圧縮符号化を行う第１の圧縮符号化工程と、
前記第１の圧縮符号化パラメータよりも高い圧縮率で圧縮可能であって、変更可能な第２の圧縮符号化パラメータを用いて前記画像データに対して圧縮符号化を行う第２の圧縮符号化工程と、
前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判断する判断工程と、
前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断される度に、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換え、前記第２の圧縮符号化パラメータを更に高い圧縮率を得るためのパラメータに変更する変更工程と、
前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化工程で従前に圧縮符号化された符号化データ列を、パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化されたものとして保存する保存工程と、
前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断された場合、前記第２の圧縮符号化工程で従前に圧縮符号化されたデータを、前記変更工程で変更した前記第２の圧縮符号化工程用のパラメータに従い再度圧縮符号化する再圧縮符号化工程と、
前記再圧縮符号化工程での再圧縮符号化処理が完了するより前に、前記判断工程で前記第１の圧縮符号化工程による符号化データ列のデータ量が所定量以上であると判断された場合、あるいは所定量以上になると予想された場合、前記第１の圧縮符号化工程による圧縮符号化処理を中断するように制御する制御工程と
を備えることを特徴とする。
【００３５】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００３６】
［第１の実施形態］
図１は本実施形態における画像符号化装置の機能構成を示すブロック図である。各部における詳細は後述する。図２は図１に示した符号化部１０３の機能構成を示すブロック図である。各部における詳細については後述する。図３は図１に示した再符号化部１０６の機能構成を示すブロック図である。各部における詳細については後述する。
【００３７】
図４は、図１に示した画像符号化装置に被符号化データとして入力される第１の原画像データを、同一の量子化テーブルと４種類の量子化スケーリング値×１、×２、×３、および×４とを用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の第１の原画像データにおける相対位置（横軸）との関係を表わすグラフである。同図に示したグラフの詳細については後述する。
【００３８】
図５は、第１の原画像データを表わした図である。
【００３９】
図６は、図１に示した画像符号化装置に被符号化データとして入力される第１の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０７にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【００４０】
さらに図１０Ａ，１０Ｂは、図１に示した画像符号化装置の制御部１０１が行う処理のフローチャートである。以下、図１０Ａ，１０Ｂに示したフローチャートに従って、上記図１乃至３に示した各部において行われる処理について説明する。またその際、図４，６に示したグラフ、図５に示した第１の原画像も参照する。
【００４１】
まず、後述の圧縮符号化処理に先立って、本実施形態における画像符号化装置には予め格納されるべき情報がある。この情報について以下説明する。
【００４２】
本実施形態における画像符号化装置の制御部１０１には図４に示す被符号化データとして入力される第１の原画像データの大きさを表わす情報、より具体的には、その原画像データを構成する矩形領域の総個数が予め格納される。ここで矩形領域の大きさは、１６×１６画素とするが、これに限定されるものではない。また、本実施形態における画像符号化装置の制御部１０１には最終的に画像符号化装置から出力される符号化データ列の累積加算されたデータ量の最大許容値（ビット数あるいはバイト数）が予め格納される。制御部１０１に格納された最大許容値（最大許容符号化データ量）は図４および図６に示すグラフの上部に水平の点直線として記されている。
【００４３】
また、本実施形態における画像符号化装置の符号化部１０３内の量子化テーブル２０５には８行×８列の直交変換係数行列を構成するそれぞれの直交変換係数に対応づけられた８×８個の量子化ステップ値行列が予め格納されている。量子化ステップ値行列を構成する各要素の値は量子化ステップ信号２２４を介して量子化部２０２によって参照される。
【００４４】
また、本実施形態における画像符号化装置の符号化部１０３内の第１の可変長符号テーブル２０６および第２の可変長符号テーブル２１０には被符号化データであるシンボルのそれぞれに対応づけられた可変長符号語集が格納されている。夫々の可変長符号語は第１の可変長符号語信号２２５を介して第１のエントロピー符号化部２０４によって、および第２の可変長符号語信号２２７を介して第２のエントロピー符号化部２０９によって、それぞれ参照される。
【００４５】
また、本実施形態における画像符号化装置の再符号化部１０６内の（復号化用）可変長符号テーブル３０４および（符号化用）可変長符号テーブル３０５には符号化部１０３内の第１の可変長符号テーブル２０６および第２の可変長符号テーブル２１０に格納されたものと同一の可変長符号語集が格納されている。夫々の可変長符号語は（復号化用）可変長符号語信号３１３を介してエントロピー復号化部３０１によって、および（符号化用）可変長符号語信号３１４を介してエントロピー符号化部３０３によって、それぞれ参照される。
【００４６】
上述の通り、後述の圧縮符号化処理に先立って、本実施形態における画像符号化装置に予め情報を格納する処理、すなわち、初期化処理を行う（ステップＳ１０）。
【００４７】
実際に図５に示した被符号化データである第１の原画像データに対する一連の圧縮符号化処理が本実施形態の画像符号化装置に入力されると、制御部１０１は後述の処理を開始する。
【００４８】
まず、制御部１０１は符号化データ列バッファ１０４内を空にすべく符号化データ列バッファ１０４に対して初期化指示をバッファ制御信号１３３を介して行ない、同様に符号化データ列バッファ１０７内を空にすべく符号化データ列バッファ１０７に対して初期化指示をバッファ制御信号１３４を介して行う（ステップＳ２０）。
【００４９】
また、制御部１０１はその内部でそのデータ量を累積加算する第１の符号化データ列に対応する第１の累積値、および第２の符号化データ列に対応する第２の累積値、および第３の符号化データ列に対応する第３の累積値をいずれも０にリセットする（ステップＳ３０）。
【００５０】
さらに、制御部１０１は符号化パラメータ指示信号１３５上にスケーリングの初期値として値”×１”を、符号化パラメータ指示信号１３６上にスケーリングの初期値として値”×２”を、同様に再符号化パラメータ指示信号１３７上に再スケーリング値として値”×２”を、それぞれ出力する（ステップＳ４０）。
【００５１】
その後、制御部１０１は符号化部１０３に対して符号化処理の動作開始を符号化部動作制御信号１３１を介して指示する（ステップＳ５０）。この指示を符号化部１０３が受けることで、本実施形態の画像符号化装置は実質的に第１の原画像データに対する１回目の”符号化動作”を実行することになる。
【００５２】
図１１に、符号化部１０３が行う符号化処理のフローチャートを示す。まず、読みとられた上記第１の原画像は原画像データ入力信号１２１を介して原画像データ入力部１０２に入力され、所定の大きさである矩形領域に等分割された後、その矩形領域単位で被符号化データ入力信号１２２上に順次出力される。その際、原画像データ入力部１０２は矩形領域位置情報信号１５１上に現在被符号化データ入力信号１２２上に出力している矩形領域の原画像データにおける位置情報、より具体的には既に出力された矩形領域の個数の累計値を順次出力する（ステップＳ１１０１）。
【００５３】
原画像データ入力部１０２によって被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域単位の原画像データは、符号化部１０３内の直交変換部２０１においてさらに複数個の８行×８列サンプルのブロックに等分割された後、そのブロック単位で直交変換演算が施され、その演算結果として得られた複数個の８行×８列の直交変換係数行列が変換係数行列信号２２１上に順次出力される（ステップＳ１１０２）。
【００５４】
符号化部１０３内の量子化部２０２では、直交変換部２０１から変換係数行列信号２２１を介して供給される複数個の８行×８列の直交変換係数行列と、量子化テーブル２０５から量子化ステップ信号２２４を介して供給される８×８個の量子化ステップ値とを用いて量子化演算を行う。量子化演算結果として得られた複数個の８行×８列の量子化された直交変換係数行列は量子化された変換係数行列信号２２２上に順次出力される（ステップＳ１１０３）。
【００５５】
符号化部１０３内の第１のスケーリング部２０３では、量子化部２０２から量子化された変換係数行列信号２２２を介して供給される複数個の８行×８列の量子化された直交変換係数行列に対して、別途符号化パラメータ指示信号１３５を介して制御部１０１から指示されるスケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の８行×８列のスケーリングされた直交変換係数行列が、スケーリングされた変換係数行列信号２２３上に順次出力される（ステップＳ１１０４）。
【００５６】
さらに、符号化部１０３内の第２のスケーリング部２０８では、量子化部２０２から量子化された変換係数行列信号２２２を介して供給される複数個の８行×８列の量子化された直交変換係数行列に対して、別途符号化パラメータ指示信号１３６を介して制御部１０１から指示されるスケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の８行×８列のスケーリングされた直交変換係数行列が、スケーリングされた変換係数行列信号２２６上に順次出力される（ステップＳ１１０４）。
【００５７】
上述した第１のスケーリング部２０３および第２のスケーリング部２０８で実行されるスケーリング演算はビットシフトを基本としている。本実施形態ではスケーリング値として”×１”、”×２”、”×４”、および”×８”の４つの値のうちのいずれかが選択可能であり、その値”×Ｎ”の意味するところは直交変換係数の交流成分に対応する量子化ステップ値をすべてＮ倍した量子化テーブルで量子化することによって得られる直交変換係数行列と同等のものであることを意味している。例えばスケーリング値が”×２”であれば入力される直交変換係数の交流成分に対して右に１ビット算術シフトした値を演算結果とし、スケーリング値が”×４”であれば右に２ビット算術シフトした値、スケーリング値が”×８”であれば右に３ビット算術シフトした値、をぞれぞれ演算結果とする。但しスケーリング値が”×１”である場合は、入力される直交変換係数のすべての成分がそのまま演算結果として出力される。またいずれのスケーリング値であっても直交変換係数の直流成分に対しては何ら演算を施さない。
【００５８】
第１のスケーリング部２０３に対するスケーリング値の初期値としてはこの”×１”が設定されており、また、第２のスケーリング部２０８に対するスケーリング値の初期値としては”×２”が設定されている（ステップＳ４０）。
第１のスケーリング部２０３及び第２のスケーリング部２０８で実行されるスケーリング演算における入力値（直交変換係数の交流成分）と演算結果（スケーリングされた変換係数）を表の形式でまとめたものを表１に示す。
【００５９】
【表１】
0003893281.tif 000002
【００６０】
符号化部１０３内の第１のエントロピー符号化部２０４では、第１のスケーリング部２０３からスケーリングされた変換係数行列信号２２３を介して供給される複数個の８行×８列のスケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が０である無意の変換係数に対するランレングス符号化、さらに第１の可変長符号語テーブル２０６を参照しながらの可変長符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列出力信号１２３上に出力される（ステップＳ１１０５）。第１の符号化データ列出力信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、第１の符号化データ列バッファ１０４内に順次格納される。
【００６１】
また、第１のエントロピー符号化部２０４から第１の符号化データ列信号１２３上に出力された第１の符号化データ列は、符号化部１０３内の第１の符号化データ量計数部２０７によって個々の矩形領域に対応する符号化データ列の単位でそのデータ長が計数され、結果として得られる第１の符号化データ列のデータ量が、第１の符号化付帯情報通知信号１５２上に出力される（ステップＳ１１０６）。
【００６２】
図１０Ａに戻り、次の処理として、符号化部１０３から第１の符号化付帯情報通知信号１５２を介して制御部１０１に順次供給される個々の矩形領域に対応する第１の符号化データ列のデータ量は、制御部１０１の内部で第１の累積値として逐次累積加算される（ステップＳ６０）。
【００６３】
同様に、符号化部１０３内の第２のエントロピー符号化部２０９では、第２のスケーリング部２０８からスケーリングされた変換係数行列信号２２６を介して供給される複数個の８行×８列のスケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が０である無意の変換係数に対するランレングス符号化、さらに第１の可変長符号語テーブル２１０を参照しながらの可変長符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列出力信号１２４上に出力される（ステップＳ１１０５）。
【００６４】
第２の符号化データ列出力信号１２４上に出力された個々の矩形領域に対応する第２の符号化データ列は、第２の符号化データ列バッファ１０７内に順次格納される。
【００６５】
第２のエントロピー符号化部２０９から第２の符号化データ列信号１２４上に出力された第２の符号化データ列は、符号化部１０３内の第２の符号化データ量計数部２１１によって個々の矩形領域に対応する符号化データ列の単位でそのデータ量が計数され、結果として得られる第２の符号化データ列のデータ量が、第２の符号化付帯情報通知信号１５３上に出力される（ステップＳ１１０６）。
【００６６】
符号化部１０３から第２の符号化付帯情報通知信号１５３を介して制御部１０１に順次供給される個々の矩形領域に対応する第２の符号化データ列のデータ量は、制御部１０１の内部で第２の累積値として逐次累積加算される（ステップＳ６０）。
【００６７】
被符号化データである図５に示した第１の原画像データに対して、４つのスケーリング値”×１”、”×２”、”×４”、および”×８”を用いた圧縮符号化処理を仮想的に実行した場合に得られる個々の矩形領域に対応する４個の符号化ストリームのデータ量の累積値の推移が図４に示すグラフ上で原点から始まる４本の直線で表わされている。実際の累積値はこのように直線的に増えることは無いが、ここでは説明を簡単にするために敢えて直線で表わしている。
【００６８】
このグラフ上で、スケーリング値”×１”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は直線Ｑ１（Ａ）で表わされている。既に圧縮符号化された矩形領域の相対位置がｐ１の時点で、言いかえれば第１の原画像データ上の分割領域Ａを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値”×１”を用いた圧縮符号化処理は必要とされないことになる。
【００６９】
なお、この矩形領域の第１の原画像データにおける相対位置ｐ１は、図５に描かれている第１の原画像データ上でその二次元的な位置が示されている。また分割領域Ａは第１の原画像データ上で、最初に圧縮符号化処理された矩形領域（原画像データにおいて最も左上隅に位置する矩形領域）から相対位置ｐ１に位置する矩形領域までのすべての矩形領域の集まりとして示されている。
【００７０】
圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ａの範囲にある期間に、残り３つのスケーリング値”×２”、”×４”、および”×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ａ）、Ｑ４（Ａ）、およびＱ８（Ａ）、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ１に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬ２（Ａ）、Ｌ４（Ａ）、およびＬ８（Ａ）にそれぞれ達することが示されている。
【００７１】
従って、相対位置ｐ１以降の矩形領域に対する仮想的な圧縮符号化処理は、残り３つのスケーリング値”×２”、”×４”、および”×８”に対応する３つの符号化データ列に対するもののみに対してその動作が継続される。
【００７２】
続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ｂの範囲（ｐ１からｐ２まで）にある期間に、残り３つのスケーリング値”×２”、”×４”、および”×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ｂ）、Ｑ４（Ｂ）、およびＱ８（Ｂ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ２に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ４（Ａ＋Ｂ）、およびＬ８（Ａ＋Ｂ）にそれぞれ達することが示されている。
【００７３】
スケーリング値”×２”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第１の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまっているので、これ以降の矩形領域に対するスケーリング値”×２”を用いた圧縮符号化処理は必要とされないことになる。
【００７４】
従って、相対位置ｐ２以降の矩形領域に対する仮想的な圧縮符号化処理は、残り２つのスケーリング値”×４”、および”×８”に対応する２つの符号化データ列に対するもののみに対してその動作が継続される。
【００７５】
図４に示した第１の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ｃの範囲（ｐ２から１００％まで）にある期間に、残り２つのスケーリング値”×４”、および”×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ４（Ｃ）、およびＱ８（Ｃ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が１００％に達した時点におけるこれら２個の符号化データ列のデータ量の累積値はＬ４（Ａ＋Ｂ＋Ｃ）およびＬ８（Ａ＋Ｂ＋Ｃ）にそれぞれ達することが示されている。
【００７６】
このことから、図５に示した第１の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、２つのスケーリング値”×４”、および”×８”を用いた圧縮符号化処理によって得られる２つの符号化データ列のデータ量の最終的な累積値は、いずれも最大許容符号化データ量Ｌｌｉｍを超えないことがわかる。
【００７７】
結果としては、符号化歪みの観点からより圧縮率の低い符号化データ列であるスケーリング値”×４”を用いた圧縮符号化処理によって得られる符号化データ列が、この画像符号化装置の出力すべき最適な符号化データ列になる。
【００７８】
実際には、このように結果として得られるスケーリング値”×４”が最適な符号化パラメータであることは、図５に示した第１の原画像データに対する一連の圧縮符号化処理を開始する時点では未知である。
【００７９】
１回目の符号化動作の期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ａの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０１においてスケーリング値”×１”（初期値）を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ１（Ａ）として、およびその最終的な累積値がＬｌｉｍとして示されるが、これは図４のグラフ上で既に示された直線Ｑ１（Ａ）に相当するものである。
【００８０】
一方、同じ１回目の符号化動作の期間中に、第２の符号化データ列バッファ１０７内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値”×２”を用いた圧縮符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ２（Ａ）として、およびその最終的な累積値がＬ２（Ａ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ２（Ａ）に相当するものである。
【００８１】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データ上の分割領域Ａを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍに達したことが確認されたならば、実行中の１回目の符号化動作を終了すべきであると判断する（ステップＳ７０）。
【００８２】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作中断を符号化部動作制御信号１３１を介して指示する（ステップＳ８０）。
【００８３】
次に、制御部１０１は１回目の符号化動作期間中に第１の符号化データ列バッファ１０４内に格納された符号化データ列を廃棄すべく、第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行う（ステップＳ１００）。
【００８４】
さらに、制御部１０１は、第１の符号化パラメータ指示信号１３５を介して第１のスケーリング部２０３に対してスケーリング値として値”×２”を出力し、さらに第２の符号化パラメータ指示信号１３６を介して第２のスケーリング部２０８に対してスケーリング値として値”×４”を出力する（ステップＳ１１０）。
【００８５】
また、制御部１０１は、この時点での第２の累積値を第１の累積値として扱うべく、その内部で値の複写を行ない、第２の累積値を０にリセットする（ステップＳ１２０）。
【００８６】
その後、符号化部１０３による２回目の符号化動作を開始するべく、符号化部１０３に対してその符号化処理の動作開始を符号化部動作制御信号１３１を介して指示する（ステップＳ１３０）。
【００８７】
その後直ちに、１回目の転送動作および再符号化動作を起動すべく、制御部１０１は次のような制御を実行する。
【００８８】
制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値”×２”を出力し（ステップＳ１４０）、その後、再符号化部１０６に対してその再符号化処理の動作開始を再符号化部動作制御信号１３２を介して指示する（ステップＳ１５０）。
【００８９】
その後、制御部１０１は先行する１回目の符号化動作の期間中に符号化部１０３によって生成され、さらに第２の符号化データ列バッファ１０７に格納された、そのデータ量の累積値がＬ２（Ａ）である置換候補となる第２の符号化データ列を第１のデータ列バッファ１０４に転送すべく、第２の符号化データ列バッファ１０７に対して読み出し指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込み指示を第１のバッファ制御信号１３３を介してそれぞれ行なう（ステップＳ１６０）。
【００９０】
上記指示によって、本実施形態の画像符号化装置は実質的に１回目の転送動作および再符号化動作を開始することになる。
【００９１】
この１回目の転送動作の期間中に、第１の符号化データ列バッファ１０４内に順次格納（転送）される第２の符号化データ列は、先行する１回目の符号化動作の期間中に符号化部１０３においてスケーリング値”×２”を用いた符号化処理によって生成されたものである。したがって、この１回目の転送動作の期間中に第１の符号化データ列バッファ１０４内に順次格納（転送）される符号化データ列の累積値の推移は、図６のグラフ上で点直線Ｑ２（Ａ）として、およびその最終的な累積値がＬ２（Ａ）として示される。
【００９２】
第２の符号化データ列バッファ出力信号１２８を介して第２の符号化データ列バッファ１０７から読み出された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、第１の符号化データ列バッファ１０４内に順次格納（転送）されると同時に、再符号化部１０６にも順次供給される。
【００９３】
第２の符号化データ列バッファ出力信号１２８を介して再符号化部１０６に供給される個々の矩形領域に対応する一連の符号化データ列は、再符号化部１０６内のエントロピー復号化部３０１に入力される。
【００９４】
図１２に再符号化部１０６が行う処理のフローチャートを示す。再符号化部１０６内のエントロピー復号化部３０１では、第２の符号化データ列バッファ出力信号１２８を介して供給される個々の矩形領域に対応する符号化データ列に対して、可変長復号語テーブル３０４を参照しながらの復号化、およびランレングス復号化、さらに所定のスキャン順序による二次元化を順に施し、結果として得られた複数個の８行×８列の復号化された直交変換係数行列が復号化された変換係数行列信号３１１上に順次出力される（ステップＳ１２０１）。
【００９５】
再符号化部１０６内のスケーリング部３０２では、エントロピー復号化部３０１から復号化された変換係数行列信号３１１を介して供給される複数個の８行×８列の復号化された直交変換係数行列に対して、別途再符号化パラメータ指示信号１３７を介して制御部１０１から指示される再スケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の８行×８列の再スケーリングされた直交変換係数行列が、再スケーリングされた変換係数行列信号３１２上に順次出力される（ステップＳ１２０２）。
【００９６】
このスケーリング部３０２で実行されるスケーリング演算は前記符号化部１０３内の第１のスケーリング部２０３および第２のスケーリング部２０８で実行されるスケーリング演算と同一の演算である。スケーリング部３０２に対するスケーリング値としては特別なケースを除けば、常に固定値”×２”が設定される。
【００９７】
再符号化部１０６内のエントロピー符号化部３０３では、スケーリング部３０２から再スケーリングされた変換係数行列信号３１２を介して供給される複数個の８行×８列の再スケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が０である無意の変換係数に対するランレングス符号化、さらに可変長符号語テーブル３０５を参照しながら可変長の符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第３の符号化データ列出力信号１２７上に出力される（ステップＳ１２０３）。
【００９８】
エントロピー符号化部３０３から第３の符号化データ列出力信号１２７上に出力された置換候補となる第３の符号化データ列は、再符号化部１０６内の符号化データ量計数部３０６によって個々の矩形領域に対応する符号化データ列の単位でそのデータ量が計数され、結果として得られる第３の符号化データ列のデータ量が、再符号化付帯情報通知信号１５４上に出力される（ステップＳ１２０４）。
【００９９】
図１０Ｂに戻って、再符号化部１０６から再符号化付帯情報通知信号１５４を介して同様に制御部１０１に順次供給される個々の矩形領域に対応する置換候補となる第３の符号化データ列のデータ量は、制御部１０１の内部で第３の累積値として逐次累積加算される（ステップＳ１７０）。
【０１００】
以上、再符号化動作をまとめると、第２の符号化データ列バッファ出力信号１２８を介して再符号化部１０６に供給される個々の矩形領域に対応する一連の符号化データ列は、エントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値”×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第３の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５４上に出力される。
【０１０１】
第３の符号化データ列出力信号１２７上に出力された個々の矩形領域に対応する”次の”置換候補となる第３の符号化データ列は第２の符号化データ列バッファ１０７内に再び順次格納される。
【０１０２】
この１回目の再符号化動作の期間中に、第２の符号化データ列バッファ１０７内に第３の符号化データ列出力信号１２７を介して順次格納される”次の”置換候補となる第３の符号化データ列は、先行する１回目の符号化動作の期間中に符号化部１０３においてスケーリング値”×２”を用いた符号化処理によって生成された第２の符号化データ列に対して、さらに再符号化部１０６においてスケーリング値”×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ２（Ａ）→Ｑ４（Ａ）として、およびその最終的な累積値がＬ４（Ａ）として示される。
【０１０３】
置換候補となる第２の符号化データ列がすべて第１の符号化データ列バッファ１０４内に格納（転送）され、さらに、再符号化部１０６によって生成された”次の”置換候補となる第３の符号化データ列がすべて第２の符号化データ列バッファ１０７に格納されたことが確認されたならば、実行中の１回目の転送動作および再符号化動作が終了する（ステップＳ１８０）。また、符号化部１０３から第１の符号化付帯情報通知信号１５２を介して制御部１０１に順次供給される個々の矩形領域に対応する第１の符号化データ列のデータ量は、制御部１０１の内部で第１の累積値として逐次累積加算されると共に、第２の符号化付帯情報通知信号１５３を介して制御部１０１に順次供給される個々の矩形領域に対応する第２の符号化データ列のデータ量は、制御部１０１の内部で第２の累積値として逐次累積加算される（ステップＳ１９０）。
【０１０４】
ステップＳ１９０における処理により、第１の累積値は第１の符号化データ列バッファ１０４に格納されているデータ量を表し、第２の累積値は第２の符号化データ列バッファ１０７に格納されているデータ量を表すことになる。
【０１０５】
１回目の転送動作および再符号化動作が終了した後、制御部１０１は直ちに、再符号化部１０６に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ２１０）。
【０１０６】
さらに、制御部１０１は第２の符号化データ列バッファ１０７に対する読み出しの終了指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込みの終了指示を第１のバッファ制御信号１３３を介してそれぞれ行なう。
【０１０７】
一方、符号化部１０３による２回目の符号化動作は継続中であり、原画像データ入力部１０２は先行する１回目の符号化動作に後続する第１の原画像データにおける相対位置がｐ１の直後の矩形領域から逐次出力する。原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、先行する符号化動作の場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値”×２”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列出力信号１２３上に出力される。また、一連の符号化データ列のデータ量が再符号化付帯情報通知信号１５２上に出力される。
【０１０８】
そして、符号化部１０３から第１の再符号化付帯情報通知信号１５２を介して制御部１０１に順次供給される個々の矩形領域に対応する第１の符号化データ列のデータ量は、制御部１０１の内部で第１の累積値として逐次累積加算される（ステップＳ２２０）。
【０１０９】
第１の符号化データ列出力信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、第１の符号化データ列バッファ１０４内に順次格納される。この際に、第１の符号化データ列バッファ１０４内では、第１の符号化データ列出力信号１２３を介して入力される第１の符号化データ列の格納と、第２の符号化データ列バッファ出力信号１２８より出力される上述した１回目の転送動作による第１の原画像データ上の分割領域Ａに対応するスケーリング値”×２”の符号化データ列の格納（転送）とが同時に発生する。したがって、第１の符号化データ列バッファ１０４は、両者の符号化データを両者に対応する第１の原画像データ上の位置情報に基づいて並び替える必要がある。
【０１１０】
同時に、原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値”×４”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列出力信号１２４上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１１１】
そして、符号化部１０３から再符号化付帯情報通知信号１５３を介して制御部１０１に順次供給される個々の矩形領域に対応する第２の符号化データ列のデータ量は、制御部１０１の内部で第２の累積値として逐次累積加算される（ステップＳ２２０）。
【０１１２】
第２の符号化データ列出力信号１２４上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、第２の符号化データ列バッファ１０７内に順次格納される。この際に、第２の符号化データ列バッファ１０７内では、第２の符号化データ列出力信号１２４を介して入力される第２の符号化データ列の格納と、第３の符号化データ列出力信号１２７を介して入力される上述した１回目の再符号化動作による第１の原画像データ上の分割領域Ａに対応するスケーリング値”×４”の符号化データ列の格納とが同時に発生する。したがって、第２の符号化データ列バッファ１０７は、両者の符号化データを両者に対応する第１の原画像データ上の位置情報に基づいて並び替える必要がある。
【０１１３】
２回目の符号化動作の期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ｂの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０３においてスケーリング値”×２”を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ２（Ｂ）として、およびその最終的な累積値がＬｌｉｍとして示されるが、これは図４のグラフ上で既に示された直線Ｑ２（Ｂ）に相当するものである。
【０１１４】
一方、同じ２回目の符号化動作の期間中に、第２の符号化データ列バッファ１０７内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値”×４”を用いた圧縮符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は図６のグラフ上で実直線Ｑ４（Ｂ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ４（Ｂ）に相当するものである。
【０１１５】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍに達したことが確認されたならば、実行中の２回目の符号化動作を終了すべきであると判断する（ステップＳ２３０）。
【０１１６】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作中断を符号化部動作制御信号１３１を介して指示する（ステップＳ２４０）。
【０１１７】
次に、第１の原画像の圧縮符号化処理は未だ終了していないので、処理をステップＳ１００に戻し、制御部１０１は１回目の転送動作および２回目の符号化動作期間中に第１の符号化データ列バッファ１０４内に格納された符号化データ列を廃棄すべく、第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行なう（ステップＳ１００）。
【０１１８】
さらに、制御部１０１は、第１の符号化パラメータ指示信号１３５を介して第１のスケーリング部２０３に対してスケーリング値として値”×４”を出力し、さらに第２の符号化パラメータ指示信号１３６を介して第２のスケーリング部２０８に対してスケーリング値として値”×８”を出力する（ステップＳ１１０）。
【０１１９】
また、制御部１０１は、この時点での第２の累積値を第１の累積値として扱うべく、その内部で値の複写を行ない、第２の累積値を０にリセットする（ステップＳ１２０）。その後、符号化部１０３による３回目の符号化動作を開始するべく、符号化部１０３に対してその符号化処理の動作開始を符号化部動作制御信号１３１を介して指示する（ステップＳ１３０）。その後直ちに、２回目の転送動作および再符号化動作を起動すべく、制御部１０１は次のような制御を実行する。
【０１２０】
まず、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値”×２”を出力し（ステップＳ１４０）、その後、再符号化部１０６に対してその再符号化処理の動作開始を再符号化部動作制御信号１３２を介して指示する（ステップＳ１５０）。その後、制御部１０１は先行する１回目の転送動作および２回目の符号化動作の期間中に再符号化部１０６および符号化部１０３によって生成され、さらに第２の符号化データ列バッファ１０７に格納された、そのデータ量の累積値がＬ４（Ａ＋Ｂ）である置換候補となる第２の符号化データ列を第１のデータ列バッファ１０４に転送すべく、第２の符号化データ列バッファ１０７に対して読み出し指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込み指示を第１のバッファ制御信号１３３を介してそれぞれ行なう（ステップＳ１６０）。
【０１２１】
上記指示によって、実質的に２回目の転送動作および再符号化動作を開始することになる。
【０１２２】
この２回目の転送動作の期間中に、第１の符号化データ列バッファ１０４内に順次格納（転送）される符号化データ列は、先行する２回目の符号化動作の期間中に符号化部１０３においてスケーリング値”×４”を用いた符号化処理によって生成されたものと、先行する１回目の再符号化動作の期間中に再符号化部１０６においてスケーリング値”×２”を用いた再符号化処理によって生成されたものである。したがって、この２回目の転送動作の期間中に第１の符号化データ列バッファ１０４内に順次格納（転送）される符号化データ列の累積値の推移は、図６のグラフ上で点直線Ｑ４（Ａ＋Ｂ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ）として示される。
【０１２３】
第２の符号化データ列バッファ出力信号１２８を介して第２の符号化データ列バッファ１０７から読み出された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、第１の符号化データ列バッファ１０４内に順次格納（転送）されると同時に、再符号化部１０６にも順次供給される。
【０１２４】
そして再符号化部１０６は上記において説明したとおり再符号化処理を行う。つまり、第２の符号化データ列バッファ出力信号１２８を介して再符号化部１０６に供給される個々の矩形領域に対応する一連の符号化データ列は、エントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値”×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第３の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５４上に出力される。
【０１２５】
そして、再符号化部１０６から再符号化付帯情報通知信号１５４を介して同様に制御部１０１に順次供給される個々の矩形領域に対応する置換候補となる第３の符号化データ列のデータ量は、制御部１０１の内部で第３の累積値として逐次累積加算される（ステップＳ１７０）。
【０１２６】
第３の符号化データ列出力信号１２７上に出力された個々の矩形領域に対応する”次の”置換候補となる第３の符号化データ列は第２の符号化データ列バッファ１０７内に再び順次格納される。
【０１２７】
この２回目の再符号化動作の期間中に、第２の符号化データ列バッファ１０７内に第３の符号化データ列出力信号１２７を介して順次格納される”次の”置換候補となる第３の符号化データ列は、先行する１回目の符号化動作の期間中に符号化部１０３においてスケーリング値”×２”を用いた符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０６においてスケーリング値”×２”を用いた再符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０６においてスケーリング値”×２”を用いた再符号化処理によって生成されたものと、先行する２回目の符号化動作の期間中に符号化部１０３においてスケーリング値”×４”を用いた符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０６においてスケーリング値”×２”を用いた再符号化処理によって生成されたものとから構成されている。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ４（Ａ＋Ｂ）→Ｑ８（Ａ＋Ｂ）として、およびその最終的な累積値がＬ８（Ａ＋Ｂ）として示される。
【０１２８】
置換候補となる第２の符号化データ列がすべて第１の符号化データ列バッファ１０４内に格納（転送）され、さらに、再符号化部１０６によって生成された”次の”置換候補となる第２の符号化データ列がすべて第２の符号化データ列バッファ１０７に格納されたことが確認されたならば、実行中の２回目の転送動作および再符号化動作を終了する（ステップＳ１８０）。また、符号化部１０３から第１の符号化付帯情報通知信号１５２を介して制御部１０１に順次供給される個々の矩形領域に対応する第１の符号化データ列のデータ量は、制御部１０１の内部で第１の累積値として逐次累積加算されると共に、第２の符号化付帯情報通知信号１５３を介して制御部１０１に順次供給される個々の矩形領域に対応する第２の符号化データ列のデータ量は、制御部１０１の内部で第２の累積値として逐次累積加算される（ステップＳ１９０）。
【０１２９】
ステップＳ１９０における処理により、第１の累積値は第１の符号化データ列バッファ１０４に格納されているデータ量を表し、第２の累積値は第２の符号化データ列バッファ１０７に格納されているデータ量を表すことになる。
【０１３０】
２回目の転送動作および再符号化動作が終了した後、制御部１０１は直ちに、再符号化部１０６に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ２１０）。さらに、制御部１０１は第２の符号化データ列バッファ１０７に対する読み出しの終了指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込みの終了指示を第１のバッファ制御信号１３３を介してそれぞれ行なう。
【０１３１】
一方、符号化部１０３による３回目の符号化動作は継続中であり、原画像データ入力部１０２は先行する２回目の符号化動作に後続する第１の原画像データにおける相対位置がｐ２の直後の矩形領域から逐次出力する。原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、先行する符号化動作の場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値”×４”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列信号１２３上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５２上に出力される。
【０１３２】
そして、符号化部１０３から再符号化付帯情報通知信号１５２を介して制御部１０１に順次供給される個々の矩形領域に対応する第１の符号化データ列のデータ量は、制御部１０１の内部で第１の累積値として逐次累積加算される（ステップＳ２２０）。
【０１３３】
第１の符号化データ列信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、第１の符号化データ列バッファ１０４内に順次格納される。この際に、第１の符号化データ列バッファ１０４内では、第１の符号化データ列出力信号１２３を介して入力される第１の符号化データ列の格納と、第２の符号化データ列バッファ出力信号１２８より出力される上述した２回目の転送動作による第１の原画像データ上の分割領域Ａおよび分割領域Ｂに対応するスケーリング値”×４”の符号化データ列の格納（転送）とが同時に発生する。したがって、第１の符号化データ列バッファ１０４は、両者の符号化データを両者に対応する第１の原画像データ上の位置情報に基づいて並び替える必要がある。
【０１３４】
同時に、原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値”×８”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２４上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１３５】
そして、符号化部１０３から再符号化付帯情報通知信号１５３を介して制御部１０１に順次供給される個々の矩形領域に対応する第２の符号化データ列のデータ量は、制御部１０１の内部で第２の累積値として逐次累積加算される（ステップＳ２２０）。
【０１３６】
第２の符号化データ列出力信号１２４上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、第２の符号化データ列バッファ１０７内に順次格納される。この際に、第２の符号化データ列バッファ１０７内では、第１の符号化データ列出力信号１２４を介して入力される第２の符号化データ列の格納と、第３の符号化データ列出力信号１２７を介して入力される上述した２回目の再符号化動作による第１の原画像データ上の分割領域Ａおよび分割領域Ｂに対応するスケーリング値”×８”の符号化データ列の格納（転送）とが同時に発生する。したがって、第２の符号化データ列バッファ１０７は、両者の符号化データを両者に対応する第１の原画像データ上の位置情報に基づいて並び替える必要がある。
【０１３７】
３回目の符号化動作の期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ｃの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０３においてスケーリング値”×４”を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ４（Ｃ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ＋Ｃ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ４（Ｃ）に相当するものである。
【０１３８】
一方、同じ３回目の符号化動作の期間中に、第２の符号化データ列バッファ１０７内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値”×８”を用いた圧縮符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は図６のグラフ上で実直線Ｑ８（Ｃ）として、およびその最終的な累積値がＬ８（Ａ＋Ｂ＋Ｃ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ８（Ｃ）に相当するものである。
【０１３９】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍを超えないことが確認されたならば、実行中の３回目の符号化動作を終了すべきであると判断する（ステップＳ２３０）。このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作終了を符号化部動作制御信号１３１を介して指示する（ステップＳ２４０）。
【０１４０】
続いて、制御部１０１は先行する２回目の転送動作さらに３回目の符号化動作の期間中に第１の符号化データ列バッファ１０４に格納された、そのデータ量の累積値がＬ４（Ａ＋Ｂ＋Ｃ）である符号化データ列を画像符号化装置から出力すべく、第１の符号化データ列バッファ１０４に対して読み出し指示を第１の符号化データ列バッファ・アクセス制御信号１３３を介して行なう（ステップＳ３２０）。
【０１４１】
第１の符号化データ列バッファ１０４から第１の符号化データ列バッファ出力信号１２５を介して読み出された個々の矩形領域に対応する符号化データ列は、符号化データ列出力部１０５によって第１の原画像データ全体に対する１つの符号化データ列としてまとめられ、その符号化データ列が画像符号化装置の圧縮符号化処理の結果として符号化データ列出力信号１２６上に出力される。
【０１４２】
本実施形態における画像符号化装置は、符号化データ列出力部１０５による符号化データ列の出力処理の終了をもって、第１の原画像データに対する一連の圧縮符号化処理を終了することになる。
【０１４３】
ここでもうひとつの原画像データである第２の原画像データを用いた場合の本実施形態における画像符号化装置における動作について説明する。
【０１４４】
図７は、図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データを、同一の量子化テーブルと４種類の量子化スケーリング値×１、×２、×３、および×４を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【０１４５】
図８は、第２の原画像データを表わした図である。
【０１４６】
図９は、図１に示した画像符号化装置に対して被符号化データとして入力される第２の原画像データに対する一連の圧縮符号化処理の過程で、第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０７にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【０１４７】
本実施形態における画像符号化装置が第２の原画像データに対して行う一連の圧縮符号化処理について図１乃至３，７乃至１０を用いて以下、説明する。
【０１４８】
図８に示した第２の原画像データに対して、４つのスケーリング値”×１”、”×２”、”×４”、および”×８”を用いた圧縮符号化処理を仮想的に実行した場合に得られる個々の矩形領域に対応する４個の符号化データ量の累積値の推移が図７に示すグラフ上で原点から始まる４本の直線で表わされている。
【０１４９】
このグラフ上で、圧縮符号化対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ａの範囲にある期間に、４つのスケーリング値”×１”、”×２”、”×４”、および”×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ１（Ａ）、Ｑ２（Ａ）、Ｑ４（Ａ）、およびＱ８（Ａ）、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ１に達した時点におけるこれら４個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ２（Ａ）、Ｌ４（Ａ）、およびＬ８（Ａ）にそれぞれ達することが示されている。
【０１５０】
スケーリング値”×１”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値”×１”を用いた圧縮符号化処理は必要とされないことになる。
【０１５１】
従って、相対位置ｐ１以降の矩形領域に対する仮想的な圧縮符号化処理は、残り３つのスケーリング値”×２”、”×４”、および”×８”のいずれかが用いられることになる。
【０１５２】
続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｂの範囲（ｐ１からｐ２まで）にある期間に、残り３つのスケーリング値”×２”、”×４”、および”×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ｂ）、Ｑ４（Ｂ）、およびＱ８（Ｂ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ２に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ４（Ａ＋Ｂ）、およびＬ８（Ａ＋Ｂ）にそれぞれ達することが示されている。
【０１５３】
図７の矩形領域の相対位置ｐ１’において、直線Ｑ２（Ｂ）、Ｑ４（Ｂ）、およびＱ８（Ｂ）の傾きが急激に増加していることから、第２の原画像データの相対位置ｐ１’から１００%へ向けて画像の持つ情報量が急激に増加していることが推測できる。
【０１５４】
スケーリング値”×２”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値”×２”を用いた圧縮符号化処理は必要とされないことになる。
【０１５５】
従って、相対位置ｐ２以降の矩形領域に対する仮想的な圧縮符号化処理は、残り２つのスケーリング値”×４”、および”×８”のいずれかが用いられることになる。
【０１５６】
圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｃの範囲（ｐ２から１００％まで）にある期間に、残り２つのスケーリング値”×４”、および”×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ４（Ｃ）、およびＱ８（Ｃ）として表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が１００%に達した時点におけるこれら２個の符号化データ列のデータ量の累積値はＬ４（Ａ＋Ｂ＋Ｃ）およびＬ８（Ａ＋Ｂ＋Ｃ）にそれぞれ達することが示されている。
【０１５７】
このことから、第２の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、スケーリング値”×４”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の最終的な累積値は、最大許容符号化データ量Ｌｌｉｍを超えないことがわかる。結果としては、このスケーリング値”×４”を用いた圧縮符号化処理によって得られる符号化データ列が、この画像符号化装置の出力すべき最適な符号化データ列になる。
【０１５８】
この第２の原画像データに対して上述の一連の圧縮符号化処理を行なった場合、第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０７にそれぞれ格納される符号化データ列のデータ量の累積値の遷移は図９に示すようになる。
【０１５９】
図９において、符号化部１０３により生成される分割領域Ｂに対する第１の符号化データ列のデータ量の累積値である点直線Ｑ２（Ｂ）は、矩形領域の相対位置であるｐ１’からその傾きが増加して、最大許容符号化データ量Ｌｌｉｍに急激に接近する。矩形領域の相対位置ｐ２においては、点直線Ｑ２（Ｂ）はＬｌｉｍに至ってしまうが、この時点では実直線Ｑ２（Ａ）→Ｑ４（Ａ）で示されるところの、再符号化部１０６による先行する符号化動作で量子化スケーリング値”×２”を用いて生成された分割領域Ａに対応する符号化データ列を再符号化する再符号化動作はまだ終了していない。再符号化部１０６において再符号化処理される分割領域Ａに対応する符号化データ列は、第１の符号化データ列バッファ１０４へも転送されて格納されるが、再符号化動作と同様に、矩形領域の相対位置ｐ２においてはその転送動作は終了していない。
【０１６０】
上述した矩形領域の相対位置ｐ２において再符号化動作と、符号化データ列に対する転送動作が終了していないことから、制御部１０１は符号化部１０３に対してその符号化処理の動作中断を符号化部動作制御信号１３１を介して指示する（ステップＳ２６０）。
【０１６１】
この動作中断は、図９において分割領域Ｂと分割領域Ｃとの間に挿入された符号化動作停止期間（ｐ２からｐ２’まで）に示されるように、処理が継続中の再符号化動作と転送動作が終了するまで持続される（ステップＳ２９０）。
【０１６２】
制御部１０１は、分割領域Ｂに対する再符号化動作および転送動作が終了した時点において（ｐ２’）、再符号化部１０６に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ３００）。
【０１６３】
さらに、制御部１０１は、第２の符号化データ列バッファ１０７に対する読み出しの終了指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込みの終了指示を第１のバッファ制御信号１３３を介してそれぞれ行なう。
【０１６４】
その後、制御部１０１は直ちに分割領域Ｃに対する符号化処理を開始すべく、符号化部１０３に対して第１の符号化パラメータ指示信号１３５および第の符号化パラメータ指示信号１３６を介してそれぞれ新たなスケーリング値を指示した後（ステップＳ１００，Ｓ１１０，Ｓ１２０）、その符号化処理の動作開始を符号化部動作制御信号１３１を介して指示する（ステップＳ１３０）。
【０１６５】
以上説明してきた本実施形態における画像符号化装置についての概要を以下に説明する。
【０１６６】
入力画像データに対する一連の圧縮符号化処理に伴う所謂情報量制御を実施するにあたって、あらかじめ設定された最大許容符号化データ量、現在までに既に符号化処理がなされた矩形領域の総計が原画像データに占める割合、さらに現在までに生成された符号化データ列の累計データ量等、を基に符号化パラメータの更新指示およびそれに伴う各種動作制御が制御手段によって逐次行なわれる。
【０１６７】
制御手段によって符号化パラメータの変更指示が発行されると、画像符号化装置は変更された符号化パラメータによる符号化動作を行なうのに加えて転送動作と再符号化動作を開始する。
【０１６８】
転送動作では、それまでの符号化動作期間中に既に生成および格納された符号化データ列が第１の符号化データ列バッファ上から廃棄あるいは無効化され、更新された後の符号化パラメータに対応する新たな符号化データ列がもうひとつの第２の符号化データ列バッファから転送され、前記第１の符号化データ列バッファ上に格納される。すなわちそれまで第１の符号化データ列バッファ上に格納されていた符号化データ列がこの新たな符号化データ列によって置換されることになる。
【０１６９】
また、再符号化動作では、それまでの符号化動作期間中に前記第２の符号化データ列バッファ上に格納された符号化データ列を、前記再符号化部へ入力し異なる符号化パラメータにより再符号化を行ない、再び前記第２の符号化データ列バッファ上に格納する。
【０１７０】
本実施形態における画像符号化装置においては、次に符号化パラメータの変更指示が発行される際の更新される符号化パラメータが既知であることが前提になっている。従って、前記更新された後の符号化パラメータに対応する新たな符号化データ列を生成する処理は、先行する符号化動作期間中に行なわれる矩形領域の各々に対する符号化処理と同時に実行することが可能である。
【０１７１】
先行する符号化動作期間中に生成されるもうひとつの符号化データ列は次の置換候補の符号化データ列として第２の符号化データ列バッファに順次格納される。
【０１７２】
前記次の置換候補の符号化データ列を生成する具体的な方法として、本実施形態ではふたつの方法を適用している。
【０１７３】
そのひとつは、既に符号化手段によって符号化済みの第１の符号化データ列を再符号化手段が受けて、そこで復号化処理工程を経て得られるシンボル情報に対して次に更新される符号化パラメータを用いた再符号化処理を行ない、結果として次の置換候補の符号化データ列を作成するといったものである。
【０１７４】
もうひとつは、符号化手段において第１の符号化データ列の符号化処理時と同時に、次に更新される符号化パラメータに対応する符号化データ列の符号化処理を同時行ない、結果として次の置換候補の符号化データ列を作成するといったものである。
【０１７５】
先行する符号化動作において前記いずれかの方法で生成され、第２の符号化データ列バッファに格納される次の置換候補の符号化データ列は、制御手段による適応的な判断によって符号化パラメータの更新指示が発行された際に、第１の符号化データ列バッファに転送され、その上でそれまで格納されていた符号化データ列と置換される。
【０１７６】
さらに、その後再び再度符号化パラメータが変更されることを想定して、さらにその次に置換され得る符号化データ列の生成処理が前記転送動作と並行して同時に行なわれる。
【０１７７】
この転送動作と同時に行なわれるさらにその次の置換候補の符号化データ列を生成する所謂再符号化動作は、転送中の符号化データ列を再符号化手段が受けて、そこで復号化処理工程を経て得られるシンボル情報に対してさらにその次に更新される符号化パラメータを用いた再符号化処理を行ない、結果としてさらにその次の置換候補の符号化データ列を生成するといったものである。
【０１７８】
また、さらにその次に更新される符号化パラメータを用いて生成される置換候補の符号化データ列は、符号化手段における符号化動作によっても並行して前記説明したような方法で生成される。
【０１７９】
生成されたさらにその次の置換候補の符号化データ列は、再符号化動作で生成および格納されたさらにその次の置換候補の符号化データ列に後続する符号化データ列として第２の符号化データ列バッファ上に順次格納される。
【０１８０】
前記説明したふたつのバッファメモリ間での符号化データ列の転送動作とそれと並行して行われるさらにその次の置換候補の符号化データ列の生成処理である再符号化が終了すると、画像符号化装置としての動作は指定された符号化パラメータと更新された符号化パラメータを用いた符号化動作のみになる。
【０１８１】
これまで説明したように符号化パラメータの更新指示を発行することによって実行される画像符号化装置の転送動作の処理と、再符号化動作においてさらにその次の置換候補の符号化データ列を生成する処理と、符号化動作において並行して実行されるさらにその次の置換候補の符号化データ列を生成する処理は、あくまでも符号化パラメータの更なる更新指示をこの後再び発行しなければならない事態に陥ることを想定して言わば保険の意味で行なうものである。
【０１８２】
この保険の意味で行われる処理の内、再符号化動作においてさらにその次の置換候補の符号化データ列を生成する処理は、その時点で指定されている符号化パラメータにより符号化手段が生成する符号化データ列の累積データ量が最大許容符号化データ量を超える前に完了することが望ましい。
【０１８３】
しかし、原画像データとして本実施形態における画像符号化装置へ入力される画像データの中には、再符号化動作においてさらにその次の置換候補の符号化データ列を生成する処理が完了する前に、その時点で指定されている符号化パラメータにより符号化手段が生成する符号化データ列の累積データ量が最大許容符号化データ量を超えてしまう状況を発生するような特性を有する画像が存在しえる。この場合、再符号化動作においてさらにその次の置換候補の符号化データ列を生成する処理が完了するまで、符号化手段はその時点で指定されている符号化パラメータで符号化動作を継続し、符号化データ列を第１の符号化データ列バッファへ出力し続ける。
【０１８４】
こういった状況へ備えるために、最大許容符号化データ量は第１の符号化データ列バッファの物理的な容量よりも小さく設定し、符号化手段が最大許容符号化データ量を超えて出力してくる符号化データ列を格納する領域を確保しておく必要がある。最大許容符号化データ量を第１の符号化データ列バッファの物理的な容量に比べてどの程度小さく設定するのかについては、様々な特性を有する画像を実際に処理した結果に基づいて決定していく方法が考えられる。この方法で最大許容符号化データ量を決定する場合は、網羅できていない特性を有する画像が本実施形態における画像符号化装置へ入力された状況を想定して、より小さめに最大許容符号化データ量を設定せざるをえない。
【０１８５】
しかしながら、第１の符号化データ列バッファの物理的な容量に比べて最大許容符号化データ量をより小さく設定していくことは、本実施形態における画像符号化装置において符号化パラメータを更新する回数を増加させることに繋がる。符号化パラメータの更新回数が１回でも増えると、本実施形態における画像符号化装置によって生成された符号化データ列を伸張復号化処理することにより得られる再構成画像において、圧縮符号化歪みが増加するという結果を招く。
【０１８６】
そこで、本実施形態における画像符号化装置における圧縮符号化処理の過程において、再符号化動作による”さらにその次”の置換候補の符号化データ列を生成する処理が完了する前であり、かつ、転送動作による”次の”置換候補を第１の符号化データ列バッファへ転送する処理が完了する前に、その時点で指定されている符号化パラメータにより符号化手段が生成する符号化データ列の累積データ量が最大許容符号化データ量を超える状況が発生したあるいは超えることが予想される場合においては、符号化手段による符号化動作を中断するように制御手段により制御する。
【０１８７】
この適応的な動作制御によって、最大許容符号化データ量を第１の符号化データ列バッファの物理的な容量よりも小さく設定する必要がなくなり、最大許容符号化データ量に第１の符号化データ列バッファの物理的な容量と同じ値を設定することができる。これにより、不要な符号化パラメータの更新を排除することができ、結果的に一つの原画像データに対する符号化パラメータの更新回数を減らすことができる。
【０１８８】
以上説明してきたように、本実施形態における画像符号化装置では、制御部１０１が一連の圧縮符号化処理の過程において３つの処理動作である符号化動作、再符号化動作、および転送動作に対する開始および終了を制御している。この３つの処理動作はすべて同時に実行されており、一般的に再符号化動作および転送動作は同時に実行されている符号化動作よりも先にその処理が終了することが想定されている。
【０１８９】
しかしながら、様々な特性を有した画像の中には、第２の原画像データのように画像の途中から急激に情報量が増加するものも存在し得る。そのような原画像データに対する一連の圧縮符号化処理においては、図９の分割領域Ｂにおける３つの処理動作に示されたように、符号化動作により生成される符号化データ列のデータ量の累積値が最大許容符号化データ量に達した時点においても、同時に実行されている再符号化動作および転送動作がその処理を終了していない状況が発生する。
【０１９０】
このような状況が発生した場合、本実施形態における画像符号化装置では、符号化動作により生成される符号化データ列のデータ量の累積値が最大許容符号化データ量に達した時点において符号化動作を停止し、同時に実行されている再符号化動作および転送動作が終了するまで符号化動作の停止状態を維持する。
【０１９１】
よって、本実施形態における画像符号化装置及び画像符号化方法によって、予め定められたサイズに画像データを圧縮符号化できると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑えることができると共に、高品質な再構成画像を得ることができる。
【０１９２】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１９３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１９４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図１０Ａ乃至１２の一部もしくは全部の）フローチャートに対応するプログラムコードが格納されることになる。
【０１９５】
【発明の効果】
以上の説明により、本発明によって、予め定められたサイズに画像データを圧縮符号化できると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態における画像符号化装置の機能構成を示すブロック図である。
【図２】図１に示した符号化部１０３の機能構成を示すブロック図である。
【図３】図１に示した再符号化部１０６の機構構成を示すブロック図である。
【図４】図１に示した画像符号化装置に非符号化データとして入力される第１の原画像を、同一の量子化テーブルと４種類の量子化スケーリング値×１、×２、×３、および×４とを用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の第１の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図５】図１に示す原画像データを表した図である。
【図６】図１に示した画像符号化装置に被符号化データとして入力される第１の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０７にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図７】図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データを、同一の量子化テーブルと４種類の量子化スケーリング値×１、×２、×３、および×４を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図８】第２の原画像データを表した図である。
【図９】図１に示した画像符号化装置に対して被符号化データとして入力される第２の原画像データに対する一連の圧縮符号化処理の過程で、第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０７にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図１０Ａ】図１に示した画像符号化装置の制御部１０１が行う処理のフローチャートの前半部分である。
【図１０Ｂ】図１に示した画像符号化装置の制御部１０１が行う処理のフローチャートの後半部分である。
【図１１】符号化部１０６が行う処理のフローチャートである。
【図１２】再符号化部１０６が行う処理のフローチャートである。
【図１】
0003893281.tif 000003
【図２】
0003893281.tif 000004
【図３】
0003893281.tif 000005
【図４】
0003893281.tif 000006
【図５】
0003893281.tif 000007
【図６】
0003893281.tif 000008
【図７】
0003893281.tif 000009
【図８】
0003893281.tif 000010
【図９】
0003893281.tif 000011
【図１０Ａ】
0003893281.tif 000012
【図１０Ｂ】
0003893281.tif 000013
【図１１】
0003893281.tif 000014
【図１２】
0003893281.tif 000015