(57)【要約】【課題】  画質劣化の少ない圧縮を行う。【解決手段】  符号化された符号データを復号化する復号化手段３１と、符号データの特徴を分析する符号データ分析手段３４と、復号化手段３１で復号化された復号画像データを再符号化する再符号化手段３２と、符号データ分析手段における特徴分析結果に基づいて再符号化手段における符号化パラメータを設定する再符号化パラメータ設定手段３３と、を備え、符号データの特徴分析結果に基づいて符号化パラメータ制御する。これにより、画像の特徴を把握した上で圧縮することができるので、画質劣化の少ない圧縮を行うことができる。【選択図】    図１３
2005223407.tif 000002
【特許請求の範囲】
【請求項１】
符号化された符号データを復号化する復号化手段と、
前記符号データの特徴を分析する符号データ分析手段と、
前記復号化手段で復号化された復号画像データを再符号化する再符号化手段と、
前記符号データ分析手段における特徴分析結果に基づいて前記再符号化手段における符号化パラメータを設定する再符号化パラメータ設定手段と、
を備える画像処理装置。
【請求項２】
符号化された符号データを復号化する復号化手段と、
前記符号データの特徴を分析する符号データ分析手段と、
前記復号化手段で復号化された復号画像データを再符号化する再符号化手段と、
前記符号データ分析手段における特徴分析結果と目標圧縮率とに基づいて前記再符号化手段における符号化パラメータを設定する再符号化パラメータ設定手段と、
を備える画像処理装置。
【請求項３】
原画像データを符号化して符号データを生成する符号化手段を有し、
前記再符号化パラメータ設定手段は、前記符号化手段での原画像データの符号化時の符号化パラメータに基づいて前記再符号化手段における符号化パラメータを設定する、
請求項１または２記載の画像処理装置。
【請求項４】
符号データの特徴を分析する符号データ分析手段と、
この符号データ分析手段における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成手段と、
合成された符号データを復号化する復号化手段と、
を備える画像処理装置。
【請求項５】
合成対象となる符号データの特徴を分析する符号データ分析手段と、
この符号データ分析手段における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化手段と、
この符号化手段により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成手段と、
合成された符号データを復号化する復号化手段と、
を備える画像処理装置。
【請求項６】
符号データの特徴を分析する符号データ分析手段と、
この符号データ分析手段における特徴分析結果に基づき、前記符号データの復号画像の画質劣化を防止すべく補正を施す画質劣化防止手段と、
を備える画像処理装置。
【請求項７】
符号データの特徴を分析する符号データ分析手段と、
符号化された符号データを復号化して復号画像データを生成する復号化手段と、
前記符号データ分析手段における特徴分析結果に基づき、前記復号化手段により生成される前記復号画像データに対して画像劣化がないように復号段階でデータを補正する画質劣化防止手段と、
を備える画像処理装置。
【請求項８】
前記符号データ分析手段は、前記符号データから原画像の周波数領域の係数空間データを抽出する手段を有し、
前記画質劣化防止手段は、前記符号データと周波数領域の係数空間データとに基づいて画質劣化を防止する、
請求項６または７記載の画像処理装置。
【請求項９】
前記符号データ分析手段は、前記符号データの復号後の復号画像データを抽出する手段を有し、
前記画質劣化防止手段は、前記符号データと前記符号データの復号化後の復号画像データとに基づいて画質劣化を防止する、
請求項６または７記載の画像処理装置。
【請求項１０】
前記符号データ分析手段は、前記符号データから原画像の周波数領域の係数空間データを抽出する手段と、前記符号データの復号後の復号画像データを抽出する手段と、を有し、
前記画質劣化防止手段は、前記符号データと前記符号データの周波数領域の係数空間データと前記符号データの復号化後の復号画像データのうちの何れか２つ以上のデータに基づいて画質劣化を防止する、
請求項６または７記載の画像処理装置。
【請求項１１】
前記符号データ分析手段は、原画像の画像種を判別する画像種判別手段を有し、
前記画質劣化防止手段は、前記画像種に基づいて画質劣化を防止する、
請求項６ないし１０の何れか一記載の画質処理装置。
【請求項１２】
原画像データを符号化して符号データを生成する符号化手段を有し、
前記画像種判別手段が、前記原画像データの符号化処理で作成された周波数領域の係数空間データを使用する、
請求項１１記載の画像処理装置。
【請求項１３】
原画像の領域毎に、前記画質劣化防止手段を実行する、
請求項６ないし１２の何れか一記載の画質処理装置。
【請求項１４】
複数個の符号データを合成する符号データ合成手段と、
この符号データ合成手段により合成された合成符号データの特徴を分析する合成符号データ分析手段と、
この合成符号データ分析手段における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御手段と、
合成された符号データを復号化する復号化手段と、
を備える画像処理装置。
【請求項１５】
符号データの特徴を分析する符号データ分析手段と、
この符号データ分析手段における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成手段と、
この符号データ合成手段により合成された合成符号データの特徴を分析する合成符号データ分析手段と、
この合成符号データ分析手段における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御手段と、
合成された符号データを復号化する復号化手段と、
を備える画像処理装置。
【請求項１６】
合成対象となる符号データの特徴を分析する符号データ分析手段と、
この符号データ分析手段における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化手段と、
この符号化手段により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成手段と、
この符号データ合成手段により合成された合成符号データの特徴を分析する合成符号データ分析手段と、
この合成符号データ分析手段における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御手段と、
合成された符号データを復号化する復号化手段と、
を備える画像処理装置。
【請求項１７】
コンピュータにインストールされ、
符号化された符号データを復号化する復号化機能と、
前記符号データの特徴を分析する符号データ分析機能と、
前記復号化機能で復号化された復号画像データを再符号化する再符号化機能と、
前記符号データ分析機能における特徴分析結果に基づいて前記再符号化機能における符号化パラメータを設定する再符号化パラメータ設定機能と、
をコンピュータに実行させるプログラム。
【請求項１８】
コンピュータにインストールされ、
符号化された符号データを復号化する復号化機能と、
前記符号データの特徴を分析する符号データ分析機能と、
前記復号化機能で復号化された復号画像データを再符号化する再符号化機能と、
前記符号データ分析機能における特徴分析結果と目標圧縮率とに基づいて前記再符号化機能における符号化パラメータを設定する再符号化パラメータ設定機能と、
をコンピュータに実行させるプログラム。
【請求項１９】
原画像データを符号化して符号データを生成する符号化機能をコンピュータに実行させ、
前記再符号化パラメータ設定機能は、前記符号化機能での原画像データの符号化時の符号化パラメータに基づいて前記再符号化機能における符号化パラメータを設定する、
請求項１７または１８記載のプログラム。
【請求項２０】
コンピュータにインストールされ、
符号データの特徴を分析する符号データ分析機能と、
この符号データ分析機能における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成機能と、
合成された符号データを復号化する復号化機能と、
をコンピュータに実行させるプログラム。
【請求項２１】
コンピュータにインストールされ、
合成対象となる符号データの特徴を分析する符号データ分析機能と、
この符号データ分析機能における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化機能と、
この符号化機能により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成機能と、
合成された符号データを復号化する復号化機能と、
をコンピュータに実行させるプログラム。
【請求項２２】
コンピュータにインストールされ、
符号データの特徴を分析する符号データ分析機能と、
この符号データ分析機能における特徴分析結果に基づき、前記符号データの復号画像の画質劣化を防止すべく補正を施す画質劣化防止機能と、
をコンピュータに実行させるプログラム。
【請求項２３】
コンピュータにインストールされ、
符号データの特徴を分析する符号データ分析機能と、
符号化された符号データを復号化して復号画像データを生成する復号化機能と、
前記符号データ分析機能における特徴分析結果に基づき、前記復号化機能により生成される前記復号画像データに対して画像劣化がないように復号段階でデータを補正する画質劣化防止機能と、
をコンピュータに実行させるプログラム。
【請求項２４】
前記符号データ分析機能は、前記符号データから原画像の周波数領域の係数空間データを抽出する機能をコンピュータに実行させ、
前記画質劣化防止機能は、前記符号データと周波数領域の係数空間データとに基づいて画質劣化を防止する、
請求項２２または２３記載のプログラム。
【請求項２５】
前記符号データ分析機能は、前記符号データの復号後の復号画像データを抽出する機能をコンピュータに実行させ、
前記画質劣化防止機能は、前記符号データと前記符号データの復号化後の復号画像データとに基づいて画質劣化を防止する、
請求項２２または２３記載のプログラム。
【請求項２６】
前記符号データ分析機能は、前記符号データから原画像の周波数領域の係数空間データを抽出する機能と、前記符号データの復号後の復号画像データを抽出する機能と、を有し、
前記画質劣化防止機能は、前記符号データと前記符号データの周波数領域の係数空間データと前記符号データの復号化後の復号画像データのうちの何れか２つ以上のデータに基づいて画質劣化を防止する、
請求項２２または２３記載のプログラム。
【請求項２７】
前記符号データ分析機能は、原画像の画像種を判別する画像種判別機能をコンピュータに実行させ、
前記画質劣化防止機能は、前記画像種に基づいて画質劣化を防止する、
請求項２２ないし２６の何れか一記載のプログラム。
【請求項２８】
原画像データを符号化して符号データを生成する符号化機能をコンピュータに実行させ、
前記画像種判別機能が、前記原画像データの符号化処理で作成された周波数領域の係数空間データを使用する、
請求項２７記載のプログラム。
【請求項２９】
前記画質劣化防止機能は、原画像の領域毎に実行される、
請求項２２ないし２８の何れか一記載のプログラム。
【請求項３０】
コンピュータにインストールされ、
複数個の符号データを合成する符号データ合成機能と、
この符号データ合成機能により合成された合成符号データの特徴を分析する合成符号データ分析機能と、
この合成符号データ分析機能における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御機能と、
合成された符号データを復号化する復号化機能と、
をコンピュータに実行させるプログラム。
【請求項３１】
コンピュータにインストールされ、
符号データの特徴を分析する符号データ分析機能と、
この符号データ分析機能における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成機能と、
この符号データ合成機能により合成された合成符号データの特徴を分析する合成符号データ分析機能と、
この合成符号データ分析機能における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御機能と、
合成された符号データを復号化する復号化機能と、
をコンピュータに実行させるプログラム。
【請求項３２】
コンピュータにインストールされ、
合成対象となる符号データの特徴を分析する符号データ分析機能と、
この符号データ分析機能における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化機能と、
この符号化機能により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成機能と、
この符号データ合成機能により合成された合成符号データの特徴を分析する合成符号データ分析機能と、
この合成符号データ分析機能における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御機能と、
合成された符号データを復号化する復号化機能と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Digital Camera）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Charge Coupled Device）の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Personal Computer）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。このようなJPEG2000の仕様に基づく符号データの使用や編集に関する開示が、特許文献１においてなされている。
【０００７】
【特許文献１】特開２００２−０５７９０２公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、画像圧縮に際して圧縮率目標を達成する変換符号化を施す場合において、一般に符号化処理の過程で、データのサンプリング（色毎のサンプリング）、色変換の方法、量子化、符号列除去（トランケーション）等、複数個の符号量圧縮を達成する方法が含まれているために、これらの圧縮手段の選択や適応の方法によっては、同じ圧縮率目標を達成する場合においても、失う情報の性質とその情報量が異なる。そのため、画像の種類によっては、符号化処理の過程で圧縮を達成する方法の選択が望ましくなく必要以上の画質劣化を起こす原因となる。そのようなことから、通常の変換符号化においては、符号量圧縮の方策が複数あるが、目標とする圧縮率にするために様々な選択枝の中から画質に最適な符号量圧縮方法を選択するのは困難なものとなっている。
【０００９】
また、複数の画像データを１つの画像データに合成して出力したいという要求がある。例えば、ＦＡＸにおいて先頭列に送信者の名前や送信時刻を合成して出力する等である。そのような時、２つの画像データを合成する場合には、符号レベルで画像合成ができることが望ましい。それは、一般に画像データは大容量であるため、符号化され符号データの状態で保存されていることが多いことや、ネットワークを介して画像データが転送される時には転送容量の制約があるため符号化されたデータが転送されるからである。この符号レベルで画像合成を行う場合においては、異なる性質を持つデータを１つにまとめることになるため、しばしば合成時に合成画像のサイズや画質のアンバランスが発生する。しかし、複数の符号データを合成する場合においては、実空間におけるデータではないために、複数の符号データを合成する時の合成画像の問題を解消するのは容易ではない。
【００１０】
さらに、一般に、原信号の実空間データ、及び、変換符号化の過程で作成される周波数空間（周波数領域の係数空間）データ、符号列の全てのデータを基に画像劣化防止処理を施すことによって画質劣化の防止精度が向上することが期待できる。この時、符号列の分析に基づく画像劣化防止処理を施すことにより、符号列を周波数空間のデータやあるいは実空間データへ戻す復号化の処理をせずに画質劣化防止処理ができるため高速な画質劣化防止の実現が期待できる。なお、符号列の分析だけでは画像の分析精度に限界がるため、実空間データ、及び、周波数空間データの分析に基づいて画像劣化防止処理をすることでそれだけ精度を向上することが期待できる。しかし、その場合にあっては、逆に復号化の処理が必要となるため時間を要することになる。
【００１１】
さらにまた、符号データの合成においては、合成対象とされる符号データ間の独立性が高く、特に、符号列の構成が互いに異なるなどの理由で、レートコントロール（符号量制御）は、合成画像夫々で独立になされる。そのような場合にあっては、合成符号データの復号画像の全体的な画質のバランスを保ちつつ精度の高い符号量制御ができない。合成画像夫々で独立に処理されるので全体的な精度を高めることができないからである。より具体的には、合成後の符号データのレートコントロールは、合成前の夫々の符号データ毎に独立に制御されているのであるが、合成前の符号データが領域毎にレートコントロールされる場合、合成前の符号データの夫々の圧縮率が異なることから（符号データＡ１と符号データＡ２夫々の合成前の画質劣化状態が異なることから）、合成前の画質が要求通りではなく、２つの領域で異質なものとなり易いという問題がある。特に、合成前の夫々の符号データの符号化状態（符号の構造）が異なるような場合においては、全体的なレベルでのレートコントロールが容易ではない。
【００１２】
本発明は、画質劣化の少ない圧縮を行うことを目的とする。
【００１３】
本発明は、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成を行うことを目的とする。
【００１４】
本発明は、画像劣化防止を効率的に行うことを目的とする。
【００１５】
本発明は、合成符号データのレートコントロール機能を提供することを目的とする。
【課題を解決するための手段】
【００１６】
請求項１記載の発明の画像処理装置は、符号化された符号データを復号化する復号化手段と、前記符号データの特徴を分析する符号データ分析手段と、前記復号化手段で復号化された復号画像データを再符号化する再符号化手段と、前記符号データ分析手段における特徴分析結果に基づいて前記再符号化手段における符号化パラメータを設定する再符号化パラメータ設定手段と、を備える。
【００１７】
したがって、符号データの特徴分析結果に基づいて符号化パラメータ制御がなされる。これにより、画像の特徴を把握した上で圧縮することが可能になるので、画質劣化の少ない圧縮が可能になる。
【００１８】
請求項２記載の発明の画像処理装置は、符号化された符号データを復号化する復号化手段と、前記符号データの特徴を分析する符号データ分析手段と、前記復号化手段で復号化された復号画像データを再符号化する再符号化手段と、前記符号データ分析手段における特徴分析結果と目標圧縮率とに基づいて前記再符号化手段における符号化パラメータを設定する再符号化パラメータ設定手段と、を備える。
【００１９】
したがって、符号データの特徴分析結果と目標圧縮率とに基づいて符号化パラメータ制御がなされる。これにより、画像の特徴を把握した上で圧縮することが可能になるので、圧縮率目標を達成した画質劣化の少ない圧縮が可能になる。
【００２０】
請求項３記載の発明は、請求項１または２記載の画像処理装置において、原画像データを符号化して符号データを生成する符号化手段を有し、前記再符号化パラメータ設定手段は、前記符号化手段での原画像データの符号化時の符号化パラメータに基づいて前記再符号化手段における符号化パラメータを設定する。
【００２１】
したがって、符号化時の符号パラメータに基づいて再符号パラメータが設定されることにより、再符号パラメータの設定を効率的に行うことが可能になる。
【００２２】
請求項４記載の発明の画像処理装置は、符号データの特徴を分析する符号データ分析手段と、この符号データ分析手段における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成手段と、合成された符号データを復号化する復号化手段と、を備える。
【００２３】
したがって、符号データの特徴分析結果に基づいて複数個の符号データが合成される。これにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成が可能になる。
【００２４】
請求項５記載の発明の画像処理装置は、合成対象となる符号データの特徴を分析する符号データ分析手段と、この符号データ分析手段における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化手段と、この符号化手段により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成手段と、合成された符号データを復号化する復号化手段と、を備える。
【００２５】
したがって、合成対象となる符号データの特徴分析結果に基づいて原画像データが符号化され、符号化された符号データと合成対象となる符号データとが合成される。これにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成が可能になる。
【００２６】
請求項６記載の発明の画像処理装置は、符号データの特徴を分析する符号データ分析手段と、この符号データ分析手段における特徴分析結果に基づき、前記符号データの復号画像の画質劣化を防止すべく補正を施す画質劣化防止手段と、を備える。
【００２７】
したがって、符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正が施される。これにより、画像の特徴を把握した上で画像劣化が防止されるので、画像劣化防止を効率的に行うことが可能になる。
【００２８】
請求項７記載の発明の画像処理装置は、符号データの特徴を分析する符号データ分析手段と、符号化された符号データを復号化して復号画像データを生成する復号化手段と、前記符号データ分析手段における特徴分析結果に基づき、前記復号化手段により生成される前記復号画像データに対して画像劣化がないように復号段階でデータを補正する画質劣化防止手段と、を備える。
【００２９】
したがって、復号段階で符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正が施される。これにより、画像の特徴を把握した上で画像劣化が防止されるので、画像劣化防止を効率的に行うことが可能になる。
【００３０】
請求項８記載の発明は、請求項６または７記載の画像処理装置において、前記符号データ分析手段は、前記符号データから原画像の周波数領域の係数空間データを抽出する手段を有し、前記画質劣化防止手段は、前記符号データと周波数領域の係数空間データとに基づいて画質劣化を防止する。
【００３１】
したがって、原画像の周波数特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することが可能になる。
【００３２】
請求項９記載の発明は、請求項６または７記載の画像処理装置において、前記符号データ分析手段は、前記符号データの復号後の復号画像データを抽出する手段を有し、前記画質劣化防止手段は、前記符号データと前記符号データの復号化後の復号画像データとに基づいて画質劣化を防止する。
【００３３】
したがって、復号化後の画像の特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することが可能になる。
【００３４】
請求項１０記載の発明は、請求項６または７記載の画像処理装置において、前記符号データ分析手段は、前記符号データから原画像の周波数領域の係数空間データを抽出する手段と、前記符号データの復号後の復号画像データを抽出する手段と、を有し、前記画質劣化防止手段は、前記符号データと前記符号データの周波数領域の係数空間データと前記符号データの復号化後の復号画像データのうちの何れか２つ以上のデータに基づいて画質劣化を防止する。
【００３５】
したがって、画像の特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することが可能になる。
【００３６】
請求項１１記載の発明は、請求項６ないし１０の何れか一記載の画質処理装置において、前記符号データ分析手段は、原画像の画像種を判別する画像種判別手段を有し、前記画質劣化防止手段は、前記画像種に基づいて画質劣化を防止する。
【００３７】
したがって、画像種判別がなされることにより、画像種判別のための余分な機能を必要とせず、効率的に実施可能となる。
【００３８】
請求項１２記載の発明は、請求項１１記載の画像処理装置において、原画像データを符号化して符号データを生成する符号化手段を有し、前記画像種判別手段が、前記原画像データの符号化処理で作成された周波数領域の係数空間データを使用する。
【００３９】
したがって、符号化処理の結果を使用して画像種判別するので、画像種判別のための余分な機能を必要とせず、効率的に実施可能となる。
【００４０】
請求項１３記載の発明は、請求項６ないし１２の何れか一記載の画質処理装置において、原画像の領域毎に、前記画質劣化防止手段を実行する。
【００４１】
したがって、領域毎に最適な画質劣化防止処理を行うことにより、効率的かつ効果的に画質劣化を防止することが可能になる。
【００４２】
請求項１４記載の発明の画像処理装置は、複数個の符号データを合成する符号データ合成手段と、この符号データ合成手段により合成された合成符号データの特徴を分析する合成符号データ分析手段と、この合成符号データ分析手段における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御手段と、合成された符号データを復号化する復号化手段と、を備える。
【００４３】
したがって、複数個の符号データが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御される。これにより、合成符号データのレートコントロール機能の提供が可能になる。
【００４４】
請求項１５記載の発明の画像処理装置は、符号データの特徴を分析する符号データ分析手段と、この符号データ分析手段における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成手段と、この符号データ合成手段により合成された合成符号データの特徴を分析する合成符号データ分析手段と、この合成符号データ分析手段における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御手段と、合成された符号データを復号化する復号化手段と、を備える。
【００４５】
したがって、符号データの特徴分析結果に基づいて複数個の符号データが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御される。これにより、合成符号データのレートコントロール機能の提供が可能になる。
【００４６】
請求項１６記載の発明の画像処理装置は、合成対象となる符号データの特徴を分析する符号データ分析手段と、この符号データ分析手段における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化手段と、この符号化手段により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成手段と、この符号データ合成手段により合成された合成符号データの特徴を分析する合成符号データ分析手段と、この合成符号データ分析手段における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御手段と、合成された符号データを復号化する復号化手段と、を備える。
【００４７】
したがって、合成対象となる符号データの特徴分析結果に基づいて原画像データが符号化され、符号化された符号データと合成対象となる符号データとが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御される。これにより、合成符号データのレートコントロール機能の提供が可能になる。
【００４８】
請求項１７記載の発明のプログラムは、コンピュータにインストールされ、符号化された符号データを復号化する復号化機能と、前記符号データの特徴を分析する符号データ分析機能と、前記復号化機能で復号化された復号画像データを再符号化する再符号化機能と、前記符号データ分析機能における特徴分析結果に基づいて前記再符号化機能における符号化パラメータを設定する再符号化パラメータ設定機能と、をコンピュータに実行させる。
【００４９】
したがって、符号データの特徴分析結果に基づいて符号化パラメータ制御がなされる。これにより、画像の特徴を把握した上で圧縮することが可能になるので、画質劣化の少ない圧縮が可能になる。
【００５０】
請求項１８記載の発明のプログラムは、コンピュータにインストールされ、符号化された符号データを復号化する復号化機能と、前記符号データの特徴を分析する符号データ分析機能と、前記復号化機能で復号化された復号画像データを再符号化する再符号化機能と、前記符号データ分析機能における特徴分析結果と目標圧縮率とに基づいて前記再符号化機能における符号化パラメータを設定する再符号化パラメータ設定機能と、をコンピュータに実行させる。
【００５１】
したがって、符号データの特徴分析結果と目標圧縮率とに基づいて符号化パラメータ制御がなされる。これにより、画像の特徴を把握した上で圧縮することが可能になるので、圧縮率目標を達成した画質劣化の少ない圧縮が可能になる。
【００５２】
請求項１９記載の発明は、請求項１７または１８記載のプログラムにおいて、原画像データを符号化して符号データを生成する符号化機能をコンピュータに実行させ、前記再符号化パラメータ設定機能は、前記符号化機能での原画像データの符号化時の符号化パラメータに基づいて前記再符号化機能における符号化パラメータを設定する。
【００５３】
したがって、符号化時の符号パラメータに基づいて再符号パラメータが設定されることにより、再符号パラメータの設定を効率的に行うことが可能になる。
【００５４】
請求項２０記載の発明のプログラムは、コンピュータにインストールされ、符号データの特徴を分析する符号データ分析機能と、この符号データ分析機能における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成機能と、合成された符号データを復号化する復号化機能と、をコンピュータに実行させる。
【００５５】
したがって、符号データの特徴分析結果に基づいて複数個の符号データが合成される。これにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成が可能になる。
【００５６】
請求項２１記載の発明のプログラムは、コンピュータにインストールされ、合成対象となる符号データの特徴を分析する符号データ分析機能と、この符号データ分析機能における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化機能と、この符号化機能により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成機能と、合成された符号データを復号化する復号化機能と、をコンピュータに実行させる。
【００５７】
したがって、合成対象となる符号データの特徴分析結果に基づいて原画像データが符号化され、符号化された符号データと合成対象となる符号データとが合成される。これにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成が可能になる。
【００５８】
請求項２２記載の発明のプログラムは、コンピュータにインストールされ、符号データの特徴を分析する符号データ分析機能と、この符号データ分析機能における特徴分析結果に基づき、前記符号データの復号画像の画質劣化を防止すべく補正を施す画質劣化防止機能と、をコンピュータに実行させる。
【００５９】
したがって、符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正が施される。これにより、画像の特徴を把握した上で画像劣化が防止されるので、画像劣化防止を効率的に行うことが可能になる。
【００６０】
請求項２３記載の発明のプログラムは、コンピュータにインストールされ、符号データの特徴を分析する符号データ分析機能と、符号化された符号データを復号化して復号画像データを生成する復号化機能と、前記符号データ分析機能における特徴分析結果に基づき、前記復号化機能により生成される前記復号画像データに対して画像劣化がないように復号段階でデータを補正する画質劣化防止機能と、をコンピュータに実行させる。
【００６１】
したがって、復号段階で符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正が施される。これにより、画像の特徴を把握した上で画像劣化が防止されるので、画像劣化防止を効率的に行うことが可能になる。
【００６２】
請求項２４記載の発明は、請求項２２または２３記載のプログラムにおいて、前記符号データ分析機能は、前記符号データから原画像の周波数領域の係数空間データを抽出する機能をコンピュータに実行させ、前記画質劣化防止機能は、前記符号データと周波数領域の係数空間データとに基づいて画質劣化を防止する。
【００６３】
したがって、原画像の周波数特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することが可能になる。
【００６４】
請求項２５記載の発明は、請求項２２または２３記載のプログラムにおいて、前記符号データ分析機能は、前記符号データの復号後の復号画像データを抽出する機能をコンピュータに実行させ、前記画質劣化防止機能は、前記符号データと前記符号データの復号化後の復号画像データとに基づいて画質劣化を防止する。
【００６５】
したがって、復号化後の画像の特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することが可能になる。
【００６６】
請求項２６記載の発明は、請求項２２または２３記載のプログラムにおいて、前記符号データ分析機能は、前記符号データから原画像の周波数領域の係数空間データを抽出する機能と、前記符号データの復号後の復号画像データを抽出する機能と、を有し、前記画質劣化防止機能は、前記符号データと前記符号データの周波数領域の係数空間データと前記符号データの復号化後の復号画像データのうちの何れか２つ以上のデータに基づいて画質劣化を防止する。
【００６７】
したがって、画像の特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することが可能になる。
【００６８】
請求項２７記載の発明は、請求項２２ないし２６の何れか一記載のプログラムにおいて、前記符号データ分析機能は、原画像の画像種を判別する画像種判別機能をコンピュータに実行させ、前記画質劣化防止機能は、前記画像種に基づいて画質劣化を防止する。
【００６９】
したがって、画像種判別がなされることにより、画像種判別のための余分な機能を必要とせず、効率的に実施可能となる。
【００７０】
請求項２８記載の発明は、請求項２７記載のプログラムにおいて、原画像データを符号化して符号データを生成する符号化機能をコンピュータに実行させ、前記画像種判別機能が、前記原画像データの符号化処理で作成された周波数領域の係数空間データを使用する。
【００７１】
したがって、符号化処理の結果を使用して画像種判別するので、画像種判別のための余分な機能を必要とせず、効率的に実施可能となる。
【００７２】
請求項２９記載の発明は、請求項２２ないし２８の何れか一記載のプログラムにおいて、原画像の領域毎に、前記画質劣化防止機能を実行させる。
【００７３】
したがって、領域毎に最適な画質劣化防止処理を行うことにより、効率的かつ効果的に画質劣化を防止することが可能になる。
【００７４】
請求項３０記載の発明のプログラムは、コンピュータにインストールされ、複数個の符号データを合成する符号データ合成機能と、この符号データ合成機能により合成された合成符号データの特徴を分析する合成符号データ分析機能と、この合成符号データ分析機能における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御機能と、合成された符号データを復号化する復号化機能と、をコンピュータに実行させる。
【００７５】
したがって、複数個の符号データが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御される。これにより、合成符号データのレートコントロール機能の提供が可能になる。
【００７６】
請求項３１記載の発明のプログラムは、コンピュータにインストールされ、符号データの特徴を分析する符号データ分析機能と、この符号データ分析機能における特徴分析結果に基づいて複数個の符号データを合成する符号データ合成機能と、この符号データ合成機能により合成された合成符号データの特徴を分析する合成符号データ分析機能と、この合成符号データ分析機能における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御機能と、合成された符号データを復号化する復号化機能と、をコンピュータに実行させる。
【００７７】
したがって、符号データの特徴分析結果に基づいて複数個の符号データが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御される。これにより、合成符号データのレートコントロール機能の提供が可能になる。
【００７８】
請求項３２記載の発明のプログラムは、コンピュータにインストールされ、合成対象となる符号データの特徴を分析する符号データ分析機能と、この符号データ分析機能における特徴分析結果に基づいて原画像データを符号化して符号データを生成する符号化機能と、この符号化機能により生成された原画像データを符号化した符号データと合成対象となる符号データとを合成する符号データ合成機能と、この符号データ合成機能により合成された合成符号データの特徴を分析する合成符号データ分析機能と、この合成符号データ分析機能における特徴分析結果に基づいて前記合成符号データの符号量を制御する合成後符号量制御機能と、合成された符号データを復号化する復号化機能と、をコンピュータに実行させる。
【００７９】
したがって、合成対象となる符号データの特徴分析結果に基づいて原画像データが符号化され、符号化された符号データと合成対象となる符号データとが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御される。これにより、合成符号データのレートコントロール機能の提供が可能になる。
【発明の効果】
【００８０】
請求項１，１７記載の発明によれば、符号データの特徴分析結果に基づいて符号化パラメータ制御することにより、画像の特徴を把握した上で圧縮することができるので、画質劣化の少ない圧縮を行うことができる。
【００８１】
請求項２，１８記載の発明によれば、符号データの特徴分析結果と目標圧縮率とに基づいて符号化パラメータ制御することにより、画像の特徴を把握した上で圧縮することができるので、圧縮率目標を達成した画質劣化の少ない圧縮を行うことができる。
【００８２】
請求項３，１９記載の発明によれば、符号化時の符号パラメータに基づいて再符号パラメータを設定することにより、再符号パラメータの設定を効率的に行うことができる。
【００８３】
請求項４，２０記載の発明によれば、符号データの特徴分析結果に基づいて複数個の符号データを合成することにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成を行うことができる。
【００８４】
請求項５，２１記載の発明によれば、合成対象となる符号データの特徴分析結果に基づいて原画像データを符号化し、符号化された符号データと合成対象となる符号データとを合成することにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成を行うことができる。
【００８５】
請求項６，２２記載の発明によれば、符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正を施すことにより、画像の特徴を把握した上で画像劣化を防止するので、画像劣化防止を効率的に行うことができる。
【００８６】
請求項７，２３記載の発明によれば、復号段階で符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正を施すことにより、画像の特徴を把握した上で画像劣化を防止するので、画像劣化防止を効率的に行うことができる。
【００８７】
請求項８，２４記載の発明によれば、原画像の周波数特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することができる。
【００８８】
請求項９，２５記載の発明によれば、復号化後の画像の特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することができる。
【００８９】
請求項１０，２６記載の発明によれば、画像の特徴を把握した上で画像劣化防止処理を行うことにより、画質劣化の少ない符号データを生成することができる。
【００９０】
請求項１１，２７記載の発明によれば、画像種判別がなされることにより、画像種判別のための余分な機能を必要とせず、効率的に実施することができる。
【００９１】
請求項１２，２８記載の発明によれば、符号化処理の結果を使用して画像種判別するので、画像種判別のための余分な機能を必要とせず、効率的に実施することができる。
【００９２】
請求項１３，２９記載の発明によれば、領域毎に最適な画質劣化防止処理を行うことにより、効率的かつ効果的に画質劣化を防止することができる。
【００９３】
請求項１４，３０記載の発明によれば、複数個の符号データを合成し、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量を制御することにより、合成符号データのレートコントロール機能を提供することができる。
【００９４】
請求項１５，３１記載の発明によれば、符号データの特徴分析結果に基づいて複数個の符号データを合成し、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量を制御することにより、合成符号データのレートコントロール機能を提供することができる。
【００９５】
請求項１６，３２記載の発明によれば、合成対象となる符号データの特徴分析結果に基づいて原画像データを符号化し、符号化された符号データと合成対象となる符号データとを合成し、合成した合成符号データの特徴分析結果に基づいて合成符号データの符号量を制御することにより、合成符号データのレートコントロール機能を提供することができる。
【発明を実施するための最良の形態】
【００９６】
［JPEG2000について］
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００９７】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００９８】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００９９】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【０１００】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【０１０１】
次に、JPEG2000アルゴリズムについて説明する。
【０１０２】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【０１０３】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【０１０４】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【０１０５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【０１０６】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【０１０７】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【０１０８】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【０１０９】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【０１１０】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【０１１１】
全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。図６は、Wavelet変換の階層数（デコンポジション・レベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ、図７はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ＝サブバンドサイズであり、プリシンクトの大きさと同じ大きさのコード・ブロックを採用している。すなわち、デコンポジション・レベル２のサブバンドは４個のコード・ブロックに、デコンポジション・レベル１のサブバンドは９個のコード・ブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドを跨いだものとなる。図７中、いくつかのパケットを太線で囲んで示している。
【０１１２】
ここで、パケットは「コード・ブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はない。例えば、図６のレイヤＮｏ．９に含まれるような下位ビットプレーンの符号は、破棄するのが通常である。
【０１１３】
したがって、符号破棄による画質制御は、コード・ブロック単位（かつ、サブビットプレーン単位）で可能である（符号破棄による画質制御単位はコード・ブロックである）。なお、パケットの並びをプログレッション順序と呼ぶ。
【０１１４】
ここで、JPEG2000のトランケーションの要素であるパケットについて詳述する。図８は、JPEG2000のトランケーションの要素であるパケットを示す説明図である。JPEG2000ではパケット単位でトランケートされる。レイヤ３００は、タイルまたはタイル構成要素の１つまたは複数のコード・ブロックからの、符号化パス３０２の集合で構成されている。レイヤ３００、またはその部分は、破線矢印３０４で示されるように、パケット３０８にカプセル化されている。図８中、３１２で示されるように、パケット３０８は、タイル２１０の１つの構成要素の１つのレベルの１つのレイヤからの、パケットヘッダ３１４および符号化データ３１６を含んでいる。パケットのシーケンスが、復号および展開のために必要な符号化データとオーバーヘッド情報の両方を含んだコードストリーム３０６の一部を形成している。（コードストリームについては、後述する。）このようなパケット３０８は、圧縮されたコードストリームの基本単位である。タイル部分３２０は、破線矢印３１８で示されるように、タイルのいくらか、又は全てを構成する、コードストリーム３０６の一部分を含んでいる。タイル部分３２０は、少なくとも１つ、ないしは全てのタイルを構成するパケットを含み得る。
【０１１５】
コードストリーム３０６は、プログレッシブ方式で配置され、任意の画像構成要素、任意のレイヤ３００、および任意の解像度レベルによって表される情報が、コードストリーム３０６の連続する部分、すなわちパケット３０８の中に含まれるようになっている。通常、各タイルに対する各構成要素ごとの各解像度レベルでの各レイヤごとに、符号化データを含んでいる１つのパケットが存在する。これらのパケットがインターリーブされる順番が、「プログレッシブ順」と呼ばれる。従って、３つの画像構成要素、５つの解像度レベル、および５つのレイヤで、タイルが画像のサイズである例では、通常、７５のパケットが存在する。JPEG2000のパケット構成の例を示したのが、図９である。図９には、画像サイズ１００×１００、２レイヤ、解像度レベル３（０〜２）、３コンポーネント、プリシンクトサイズ３２×３２、ＬＲＣＰプログレッションの場合の３６個のパケットの順列（パケットの解釈される順番）を示している。図１０に示すように、JPEG2000仕様の符号は、パケットを最小単位とする符号列（コードストリーム）で構成されている。言い換えるとパケットとは、圧縮された符号列（コードストリーム）になっている。トランケーションは、このパケット単位で実行することができる。
【０１１６】
パケット３０８は、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケット３０８は、あるプログレッシブ順で、たとえば、それぞれ、画像構成要素、解像度、およびレイヤによって配列される。
【０１１７】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【０１１８】
図１０には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号化データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。
【０１１９】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【０１２０】
以上が、「JPEG2000アルゴリズム」の概要である。このようにJPEG2000符号化は、階層符号化形式をもち、種々のプログレッションオーダ（符号の階層順）をもつことに特徴があるため、本発明の有効な実施対象の符号化の一つであり、標準化されているために広く応用できる。特に、後述するトランケート情報を抽出することを容易にするだけでなく、構成を変更する機能を活用すれば、容易に種々の画像特性を得ることができる。
【０１２１】
符号化方式の中には、JPEG2000のように種々のプログレッション順序（符号の階層順）を持つことができる符号体系がある。例えば、第一階層として画像データの矩形領域毎の符号化データ、第二階層としてカラーコンポーネント毎の符号化データ、第三階層として周波数成分ごとというプログレッション順序で符号を構成することもできるし、階層順を変えて、同じ符号化データを、例えば、第一階層として画像データの矩形領域毎の符号化データ、第二階層としてカラーコンポーネント毎の符号化データ、第三階層として周波数成分ごとというプログレッションオーダで符号を構成することもできる。JPEG2000のように種々のプログレッションオーダを持つことができる符号化にあっては、プログレッションオーダに対応して種々のトランケーションがなされる（種々のトランケートパターンをもつ）。
【０１２２】
以下においては、階層符号化あるいは階層符号体系であるJPEG2000を例に説明していくが、削除された符号化データの特性が特定できれば良く、階層符号化されていないといけないというわけではない。
【０１２３】
[第一の実施の形態]
以下、本発明の第一の実施の形態について図１１ないし図１５に基づいて説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【０１２４】
本実施の形態のサーバコンピュータ及びクライアントコンピュータは、そのコンピュータにインストールされるか、あるいは解釈されて実行される画像処理プログラムによって動作制御されて画像処理を実行する。本実施の形態では、そのような画像処理プログラムを記憶する記憶媒体も紹介する。
【０１２５】
図１１は、本実施の形態におけるシステム構築例を示す模式図である。
【０１２６】
本実施の形態の画像データ処理システムでは、画像処理装置であるサーバコンピュータ２にＬＡＮ（Local Area Network）等のネットワーク３を介してクライアントコンピュータ４が複数台接続されたサーバクライアントシステム１を想定する。このサーバクライアントシステム１は、スキャナやデジタルカメラ等の画像入力装置５及びプリンタ等の画像出力装置６をネットワーク３上でシェアし得る環境が整えられている。また、ネットワーク３上には、マルチファンクションペリフェラルと称されるＭＦＰ７が接続され、このＭＦＰ７が画像入力装置５や画像出力装置６として機能するように環境が構築されていても良い。
【０１２７】
このようなサーバクライアントシステム１は、例えばイントラネット８を介して別のサーバクライアントシステム１とのデータ通信可能に構築され、インターネット通信網９を介して外部環境とデータ通信可能に構築されている。
【０１２８】
サーバコンピュータ２は、概略的には、符号データを保存しておき、クライアントコンピュータ４に配信するものである。
【０１２９】
以下においては、本発明の特長的な機能を発揮する画像処理装置であるサーバコンピュータ２について説明する。
【０１３０】
図１２は、本実施の形態における画像処理装置としてのサーバコンピュータ２のモジュール構成図である。サーバコンピュータ２は、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、ネットワーク３を介して画像入力装置５や外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングディバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。
【０１３１】
このようなサーバコンピュータ２では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【０１３２】
ここで、クライアントコンピュータ４は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、画像処理プログラムを記憶する記憶媒体として機能する。
【０１３３】
また、一般的には、サーバコンピュータ２のＨＤＤ１５等の二次記憶装置１６にインストールされる処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された処理プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【０１３４】
サーバコンピュータ２は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。サーバコンピュータ２のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【０１３５】
図１３は、サーバコンピュータ２の機能構成を示すブロック図である。図１３に示すように、サーバコンピュータ２は、原画像データをJPEG2000規格に符号化する符号化手段である符号化処理部３０と、符号データを復号化する復号化手段である復号化処理部３１と、復号化処理部３１で復号化された復号画像データを再符号化する再符号化手段である再符号化処理部３２と、復号画像データを再符号化する際の再符号化処理部３２における符号化パラメータを設定する再符号化パラメータ設定手段である再符号化パラメータ設定部３３とを備えている。すなわち、概略的には、符号化処理部３０で符号化された符号データは、復号化処理部３１で復号化されることにより復号画像データに生成される。次いで、復号画像データが、再符号化パラメータ設定部３３で設定された符号化パラメータに基づいて再符号化処理部３２で再符号化されることになる。
【０１３６】
ここで、再符号化パラメータ設定部３３について詳述する。再符号化パラメータ設定部３３は、符号データ分析手段である符号データ分析部３４を有している。符号データ分析部３４は、符号データの構文すなわちヘッダ部に記述されているデータを構文解析手段３４ａ（図１４参照）により読取り、符号データを分析するものである。この符号データ分析部３４は、JPEG2000規格の符号データの分析をパケット単位で行なう。パケットは、上述したように夫々独立して領域、解像度、レイヤ及び色成分に対する符号データであるため、パケット単位で符号量の分布（ヒストグラム）を調べることで、領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分毎の原画像がもっている情報量の分布を計算することができる。また、パケットは夫々互いに独立して扱うことができるため処理は容易である。つまり、符号データはパケット単位に独立し、パケットの区切り単位に画像の特徴が対応している。より具体的には、符号データは、解像度、位置、色成分、画質の少なくとも一つの尺度で分類される構成要素単位で構成され整列されている。ここでの画像の特徴とは、例えば、解像度、位置、色成分、画質である。
【０１３７】
ここで、図１４は構文解析手段３４ａによるヘッダ部情報の読み取りを示す説明図である。図１４に示すように、ペイロード部のデータ量、すなわち、「パケット長」は、周波数変換係数値の数の和（周波数変換係数値の符号量）であって、ヘッダ部に記述されている。ここでは、周波数変換係数値はウェーブレット係数値である。そして、構文解析手段３４ａは、このヘッダ部情報を読み取って符号データを分析する。
【０１３８】
再符号化パラメータ設定部３３は、符号データ分析部３４における符号データの分析結果に基づいて再符号化パラメータの設定、即ち、サブサンプリングパラメータ設定３５、色変換方式設定３６、量子化パラメータ設定３７、トランケーション方式設定３８を行う。
【０１３９】
次に、再符号化処理部３２について詳述する。再符号化処理部３２は、再符号化パラメータ設定部３３のサンプリングパラメータ設定３５に従い色毎にサブサンプリングを行い、再符号化パラメータ設定部３３の色変換方式設定３６に従い色空間変換をした後周波数変換を行い、再符号化パラメータ設定部３３の量子化パラメータ設定３７に従い周波数領域の係数の量子化を行った後、量子化係数の符号化を行って符号列を生成する。この符号列生成時に、再符号化パラメータ設定部３３のトランケーション方式設定３８に従い符号列が一部削除されて符号列は生成される。なお、本実施の形態においては、符号化パラメータとして、データのサンプリング（色毎のサンプリング）パラメータ、色変換の方法、量子化パラメータ、符号列除去（トランケーション）パラメータを明示しているが、符号パラメータはこれらに限定されるわけではない。符号化の方法によって符号化パラメータの内容が異なることは言うまでもない。また、これらの全てのパラメータが設定可能である必要もない。符号化する場合に符号量制御するための符号化パラメータであれば良い。
【０１４０】
上述したような再符号化処理の流れについて図１５に示すフローチャートを参照して説明する。図１５に示すように、サーバコンピュータ２のＣＰＵ１１は、符号データを読み込み（ステップＳ１）、読み込んだ符号データの符号量削減目標値を設定する（ステップＳ２）。ここで、符号データの符号量削減目標値は、元々の符号データ夫々の符号量と、符号量目標値の差である。符号データの符号量は、直接計算しても良いし、符号データのヘッダに書き込まれている場合にあっては、その値を読み込めば良い。
【０１４１】
次いで、画像の特性（色、画質レベル、周波数成分など）毎に符号量分布を調べる（ステップＳ３）。画像の特性（色、画質レベル、周波数成分など）は、符号データの規定によって、符号データを分析することで容易につかめる範囲のものである。例えば、JPEG2000では、符号データはパケットを構成単位とする構造になっており、色、画質レベルあるいは解像度成分について、パケットを順次調べることで符号量分布を調べることが可能である。
【０１４２】
続くステップＳ４では、符号量削減目標値に基づき符号量制御するように、再符号化パラメータを設定する。例えば、周波数成分を調べ、高周波成分が多い場合（テキスト領域を推定されるような場合）は、高周波成分の保存と輝度の保存を重要視すべく、高周波成分と輝度成分の符号量削減量を少なくする。また、色成分の分布を調べ、色が広く分布している時（原画像が自然画であると推定される場合）は、再圧縮時にサブサンプリングしない、または、可逆な色変換処理をして色変換処理時に色成分がなるべく失われないようにする。
【０１４３】
最後に、再符号化し（ステップＳ５）、処理を終了する。
【０１４４】
なお、図１５に示す処理フローでは、ある規則に基づいて符号パラメータを決めることとしているが、ここに列記したものに限られない。例えば、対話を通して直接符号パラメータを設定する機能を持たせ、試行錯誤で符号化パラメータを決めるという構成でも良い。このように、符号データの分析に基づいて符号パラメータを設定するので、画質に最適な符号化が可能となる。
【０１４５】
本実施の形態の符号量制御では、符号データ分析結果に基づいて再圧縮時の符号データの符号量を制御するところに特徴がある。このように、符号データを分析することにより、解像度、位置、色成分、画質などの符号データの特徴毎の構成要素の性質を把握し再圧縮時の符号量を制御する。さらに、ここでは明示を省くが、画像種など画像または符号列の特徴を把握する手段を持つことで、画像または符号列の分析結果に基づいて再圧縮時の符号データの符号量を削減することもできる。なお、画像または符号列の特徴を符号ヘッダに書き込む手段をもつことで、符号ヘッダの内容に基づいて再圧縮時の符号データの符号量を削減することが容易に実現できる。
【０１４６】
特に、階層符号のように体系的に構成された符号にあっては、階層毎に符号が構成されているため前述した符号の特性が容易に識別しやすい。階層符号化とは、階層的に体系化された符号化のことである。例えば、第一階層として画像データの矩形領域毎の符号データ、第二階層としてカラーコンポーネント毎の符号データ、第三階層として周波数成分ごとの符号データという具合に階層化された符号化である。より具体的には、例えば、画像データの矩形領域がＡ１，Ａ２であり、カラーコンポーネントがＢ１，Ｂ２，Ｂ３であり、周波数成分がＣ１，Ｃ２である時、符号は、Ａ１Ｂ１Ｃ１の値，Ａ１Ｂ１Ｃ２の値，Ａ１Ｂ２Ｃ１の値，Ａ１Ｂ２Ｃ２の値，Ａ１Ｂ３Ｃ１の値，Ａ１Ｂ３Ｃ２の値，Ａ２Ｂ１Ｃ１の値，Ａ２Ｂ１Ｃ２の値，Ａ２Ｂ２Ｃ１の値，Ａ２Ｂ２Ｃ２の値，Ａ２Ｂ３Ｃ１の値，Ａ２Ｂ３Ｃ２の値という順番に並べて符号化される。階層符号化においては、体系に基づいてある性質の符号化データを特定することができるところに特徴がある。階層毎に符号の性質が区分されているからである。例えば、前述した例においては、ある画像データの特定矩形領域の、ある特定カラーコンポーネントの、ある特定周波数成分の符号データを特定することが可能である。本発明はかかる性質に着目したものであり、画像の特徴が符号レベルで識別容易な階層符号化された符号データに対してより効果的な符号レベルの分析が期待できる。
【０１４７】
ここに、符号データの特徴分析結果に基づいて符号化パラメータ制御がなされることにより、画像の特徴を把握した上で圧縮することが可能になるので、画質劣化の少ない圧縮が可能になる。
【０１４８】
なお、本実施の形態においては、符号データの分析結果に基づいて再符号化パラメータを設定するようにしたが、目標圧縮率（目標削減符号量）に基づいて再符号化パラメータを設定しても良い。符号量制御では、特に、符号化時に符号情報が失われないようにロスレスで符号化することによって、画像の特徴をより正確に把握することができる。すなわち、ロスレスでの符号列形成後、画像の特徴分析結果に基づいて圧縮率目標を達成する符号化パラメータを最適化して画質劣化の少ない再符号化が期待できる。
【０１４９】
また、本実施の形態においては、画像の特徴分析に関して、符号データを分析する場合について言及したが、符号データ生成以前（符号化処理の時）に得られた画像の特徴を表す情報を使用するのでもかまわない。例えば、画像種を表す情報、テキスト領域を表す領域に関する情報である。このように、原画像の特徴を把握した結果を利用することで、より的確な再符号パラメータの設定が可能となる。
【０１５０】
[第二の実施の形態]
次に、本発明の第二の実施の形態を図１６ないし図１９に基づいて説明する。なお、前述した第一の実施の形態と同じ部分は同じ符号で示し説明も省略する（以下の実施の形態についても同様とする）。
【０１５１】
本実施の形態においては、符号化時の符号化パラメータに基づいて再符号化パラメータを設定する場合について説明する。
【０１５２】
図１６は、本実施の形態のサーバコンピュータ２の機能構成を示すブロック図である。図１６に示すように、本実施の形態のサーバコンピュータ２は、原画像データをJPEG2000規格に符号化する符号化手段である符号化処理部４０と、符号データを復号化する復号化手段である復号化処理部４１と、復号化処理部４１で復号化された復号画像データを再符号化する再符号化手段である再符号化処理部４２と、復号画像データを再符号化する際の再符号化処理部４２における符号化パラメータを設定する再符号化パラメータ設定手段である再符号化パラメータ設定部４３と、再符号データを用いて符号データを編集する符号データ編集部４４とを備えている。
【０１５３】
符号化パラメータ設定部４３は、符号データ分析手段である符号データ分析部４５を有している。符号データ分析部４５は、符号データの構文すなわちヘッダ部に記述されているデータを読取り、符号データを分析するものである。そして、符号化パラメータ設定部４３は、符号化処理部４０における原画像データの符号化時の符号化パラメータＡと符号データ分析部４５における符号データの分析結果に基づいて再符号化パラメータＢを設定する。
【０１５４】
また、符号データ編集部４４は、再符号化処理部４２で再符号化された再符号データを用いて符号データを編集する構成になっている。このような構成により、例えば、再符号データと符号データを比較することで再符号化の結果を評価することができるので、評価結果に従って、再符合化パラメータＢを再設定し、再度再符号化して符号データを生成することもできる。また、符号データ編集部４４においては、符号量削減目標に従って一部符号列を削減するようにしても良い。
【０１５５】
すなわち、本実施の形態においては、符号化時の符号化パラメータに基づいて決定した再符号化パラメータを用いて再符号化するところに特徴がある。
【０１５６】
なお、再符号化は符号の一部（ブロック）であってもかまわない。そのような場合、再符号化した再符号データを利用して、符号データの一部と入れ替える処理をする。図１６に示す機能構成によれば、このような符号データの全部あるいは一部のデータを復号化することなく、後で再符号化された符号と合成し符号化することができる。この合成処理は、符号データ編集部４４で行なう。特に、ある特定領域に対応する符号データの符号化状態を変更する時には有効であり、領域毎に異なる再符号化パラメータＢで再符号化するよりも効率的に処理ができる場合がある。なお、領域毎に異なる符号化を施す場合においては、関心領域の圧縮率がそれ以外の領域に比べて圧縮率が低くなるように符号化パラメータを設定することが有効である。
【０１５７】
上述したような再符号化処理の流れについて図１７に示すフローチャートを参照して説明する。図１７に示すように、サーバコンピュータ２のＣＰＵ１１は、符号データを読み込み（ステップＳ１１）、読み込んだ符号データの符号量削減目標値を設定する（ステップＳ１２）。ここで、符号データの符号量削減目標値は、元々の符号データ夫々の符号量と、符号量目標値の差である。符号データの符号量は、直接計算しても良いし、符号データのヘッダに書き込まれている場合にあっては、その値を読み込めば良い。
【０１５８】
続くステップＳ１３では、符号データを領域毎に区分した構成にする。特に、階層構造を持った符号列である場合においては、階層順を変えて符号列を構成することが可能である。図１８には、階層符号の構造を入れ替える場合の一例を示している。図１８の例は、階層符号が解像度、画質で構成されている時に、画質順に並んでいた階層符号を解像度順に変換する場合を示している。もちろん、本実施の形態においては、階層構造がこのような場合に限定されない。さらに、順番が多重になる符号列でも同様に変換が可能であることは言うまでもない。
【０１５９】
次いで、領域毎に画像の特性（色、画質レベル、周波数成分など）について符号量分布を調べる（ステップＳ１４）。画像の特性（色、画質レベル、周波数成分など）は、符号データの規定によって、符号データを分析することで容易につかめる範囲のものである。例えば、JPEG2000では、符号データはパケットを構成単位とする構造になっており、色、画質レベルあるいは解像度成分について、パケットを順次調べることで符号量分布を調べることが可能である。
【０１６０】
続くステップＳ１５では、符号量分布に従い、領域毎に符号量削減目標値を割り振る。
【０１６１】
その後、符号量削減目標値に基づき符号量制御するように、再符号化パラメータを設定する（ステップＳ１６）。例えば、符号構成要素を一部削除するなどである。
【０１６２】
ここで、図１９は符号量制御（レートコントロール）の処理概念を例示的に示すものである。本実施の形態のレートコントロールは、図１９に示すように、合成前の符号データの夫々が別の構造であったとしても目的に応じて同一の構成にした後、レートコントロールしているところに特徴がある。図１９においては、ＡＢＣ夫々の符号データが各画像領域に対応しており、領域毎に略同一の符号量を削除する制御と全体のレイヤ（画質レベル）を略均一にするという２つの典型的なレートコントロールの方法を例示している。特に、前者の領域毎に略同一の符号量を削除するレートコントロールでは、ＡＢＣの領域毎に独立にレートコントロールすることも容易であるが、後者のように全体のレイヤ（画質レベル）を略均一にするというレートコントロールでは、ＡＢＣの領域毎に独立にレートコントロールするというやり方では実現しづらい。このようにして、領域全体に渡って統一的にレートコントロールを行うところに、本実施の形態の特徴があるのである。勿論、ここで示したレートコントロールだけに方法は限定されるわけではない。例えば、領域毎の符号量の差を少なくする符号量制御することによって、領域毎の符号量の差をなくし全体の画質を均質にすることを狙ってもよい。また、領域毎に符号量制御することもできる。例えば、注目領域の圧縮率がそれ以外の領域に比べて圧縮率が低くなるように再符号化し、注目領域の画質劣化を防止する。
【０１６３】
つまり、符号データの構成と符号量の分析を踏まえて、符号構成要素を一部削除するなどして、符号量を制御するところに本実施の形態の特徴がある。また、色毎に符号パラメータの設定を変えてもかまわない。
【０１６４】
最後に、再符号化し（ステップＳ１７）、処理を終了する。
【０１６５】
ここに、符号化時の符号パラメータに基づいて再符号パラメータが設定されることにより、再符号パラメータの設定を効率的に行うことが可能になる。
【０１６６】
[第三の実施の形態]
次に、本発明の第三の実施の形態を図２０ないし図２３に基づいて説明する。
【０１６７】
本実施の形態においては、符号データの分析結果に基づいて符号列の特徴を把握し、符号列の状態で複数の符号データを合成する場合について説明する。
【０１６８】
図２０は、本実施の形態のサーバコンピュータ２の機能構成を示すブロック図である。図２０に示すように、本実施の形態のサーバコンピュータ２は、符号データを分析して当該符号データの特徴を識別する符号データ分析手段である符号データ分析部５０と、複数の符号データを合成する符号データ合成手段である符号データ合成部５１と、符号データ合成部５１で合成された符号データを復号化する復号化手段である復号化処理部５２とを備えている。
【０１６９】
符号データ分析部５０は、符号のヘッダ部を分析し、あるいは、符号構成要素（パケット）の構成を分析することにより、符号データの特徴を識別して符号データ合成部５１に出力する。
【０１７０】
符号データ合成部５１は、符号データ分析部５０で識別した特徴情報を使用して複数の符号データ（符号データＡ、符号データＢ）を合成する。このような符号データ合成部５１は、合成（処理）部に加えて編集（処理）部を有しており、後述するように符号データを合成する前に符号データの符号構成を一致させてから合成データを合成したり、あるいは、合成前に一部符号データを削除してから合成することもできる。そして、合成された符号データは、復号化処理部５２で復号化され、復号画像が生成される。
【０１７１】
すなわち、本実施の形態における特徴は、符号データの構成要素である符号列構成要素（パケット）レベルの特徴識別をした結果を活用し、符号データ同士を合成することにある。
【０１７２】
上述したような複数符号データ合成処理の流れについて図２１に示すフローチャートを参照して説明する。図２１に示すように、サーバコンピュータ２のＣＰＵ１１は、複数の符号データ（符号データＡ、符号データＢ）のヘッダを調べて符号列の構成を比較する（ステップＳ２１）。符号データのヘッダを調べる手法については図１４で説明したので、ここでの説明は省略する。符号列の構成とは、構成要素の性質、あるいは、階層順である。
【０１７３】
続くステップＳ２２においては、複数の符号データ（符号データＡ、符号データＢ）の符号列の構成が異なると判断した場合に、並び替えて同じ構成にする。特に、階層構造を持った符号列である場合においては、階層順を変えて符号列を構成することが可能である。その場合、同じ画像データであっても構造が異なる場合が起こり得る。符号の並べ方が変更されているだけで符号から生成される復号画像は同じである場合があるからである。このようなことから、符号データの合成では符号データを同じ構造体系にしてから合成することが望ましい。前述した図１８に、階層符号の構造を入れ替える場合の一例を示している。図１８の例は、階層符号が解像度、画質で構成されている時に、画質順に並んでいた階層符号を解像度順に変換する場合を示している。もちろん、階層構造がこのような場合に限定されるものではない。さらに、順番が多重になる符号列でも同様に変換が可能であることは言うまでもない。
【０１７４】
次いで、構成要素を順次比較し（ステップＳ２３）、各構成要素の数（レベル）を順次比較する（ステップＳ２４）。構成要素及び各構成要素の数（レベル）は、領域毎、色毎、解像度成分毎に順次比較する。
【０１７５】
そして、比較の結果差があった時は、合成した時に互いに整合がとれるように符号データの構成を変更する（ステップＳ２５）。符号データの構成の変更は、符号データ（符号列）編集機能によって実現できる。ここで、図２２は符号データ（符号列）の編集加工を例示的に示す説明図である。図２２に示すように、符号データ（符号列）編集機能によれば、符号データを編集して同一の解像度となるように修正し（ａ）、符号データを編集してカラーがモノクロになるように修正し（ｂ）、符号データを編集して画質が同一レベルとなるように符号データを変更し（ｃ）、横幅などのサイズが合わない時は符号データを編集してサイズが合うように修正し（ｄ）、空白部分であると推定される部分は符号データを編集して削除する（ｅ）、などの加工をすることが可能である。なお、編集加工においては、これらの複数個の組み合わせであってもかまわない。
【０１７６】
最後に、符号列の編集によって各符号データを合成して（ステップＳ２６）、処理を終了する。
【０１７７】
ここに、符号データの特徴分析結果に基づいて複数個の符号データが合成されることにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成が可能になる。
【０１７８】
ここで、図２３は本実施の形態のサーバコンピュータ２の機能構成の変形例を示すブロック図である。図２３に示すサーバコンピュータ２の機能構成と図２０に示すサーバコンピュータ２の機能構成との違いは、符号データＢが原画像データの符号化によって得られていることである。すなわち、図２３に示すサーバコンピュータ２は、原画像データをJPEG2000規格に符号化する符号化手段である符号化処理部５３を有している点で、図２０に示すサーバコンピュータ２の機能構成とは異なっている。なお、図２３に示すサーバコンピュータ２は、原画像データを作成する原画像データ作成部５４も有している。
【０１７９】
符号データ分析部５０は、符号データＡのヘッダ部を分析し、あるいは、符号構成要素（パケット）の構成を分析することにより、符号データＡの特徴を識別して符号データ合成部５１に出力するとともに、符号化処理部５３に出力する。
【０１８０】
符号化処理部５３は、符号データ分析部５０で識別した符号データＡの特徴情報を使用し、合成した場合に互いに整合がとれるようにパラメータを制御し、原画像データを符号データＢに符号化する。ここで、パラメータは、上述したように、同一の解像度となるように、あるいは、カラーがモノクロになるように、あるいは、画質が同一レベルとなるように制御される。
【０１８１】
すなわち、この構成例では、符号データ分析部５０により得られた符号データの特徴情報を用い、合成した時に互いに整合がとれるように符号化処理パラメータを設定し、原画像データを符号化するところに特徴がある。
【０１８２】
ここに、合成対象となる符号データの特徴分析結果に基づいて原画像データが符号化され、符号化された符号データと合成対象となる符号データとが合成されることにより、例えば合成画像のサイズや画質のアンバランスを解消した符号データ同士の合成が可能になる。
【０１８３】
なお、本実施の形態においては、画像処理装置としてサーバコンピュータ２を適用して説明したが、これに限るものではない。例えば、画像処理装置としてＦＡＸ装置を適用するようにしても良い。ＦＡＸ装置に適用した場合には、日付、送信者等の画像データを原画像データ作成部５４で作成し符号化処理部５３で符号化された符号データと、予め保存してある符号データ、あるいは、受信された符号データとを合成して送信することが可能である。この時、既存に保存されている符号データとうまく整合するように調整して新たな符号データを合成するところに特徴がある。このようなことから、ＦＡＸ装置において転送する日時あるいは送信者名を付して符号データを送信する機能を容易に実現することができる。
【０１８４】
[第四の実施の形態]
次に、本発明の第四の実施の形態を図２４ないし図２７に基づいて説明する。
【０１８５】
本実施の形態においては、符号データの特徴分析結果に基づいて生成される画像の画像劣化を防止する場合について説明する。
【０１８６】
図２４は、本実施の形態のサーバコンピュータ２の機能構成を示すブロック図である。図２４に示すように、本実施の形態のサーバコンピュータ２は、復号化手段である復号化処理部６０と、画質劣化防止手段である画像劣化防止処理部６１と、を備えている。
【０１８７】
復号化処理部６０は、典型的な変換符号の復号化処理を前提として量子化係数の復号化、周波数領域の係数の逆量子化、周波数逆変換により構成されている。勿論、この構成以外であってもかまわない。例えば、色空間逆変換が周波数逆変換の後でなされても良い。本構成の例では、符号列データは、量子化係数の復号化と周波数領域の係数の逆量子化とを経た後、周波数逆変換によって復号画像データに復号される。また、周波数領域の係数の逆量子化の際には、周波数領域のデータ（周波数領域データ）が求められる。
【０１８８】
画像劣化防止処理部６１は、符号データに対して復号画像の画質劣化がないように補正を施す画質劣化防止処理と、復号化処理部６０により生成される復号画像データに対して画質劣化がないように復号段階でデータを補正する画質劣化防止処理とを行なうものである。このような画像劣化防止処理部６１は、データ選択手段（図示せず）を有しており、画質劣化防止処理で使用するデータは、符号データと当該符号データの周波数領域データと当該符号データの復号画像データとを選択的に用いる。これにより、適応的に画像劣化防止処理ができ、効率的かつ効果的に画像劣化防止することができる。
【０１８９】
上述したような画質劣化防止処理の流れについて図２５に示すフローチャートを参照して説明する。図２５に示すように、サーバコンピュータ２のＣＰＵ１１は、まず、符号データを分析する（ステップＳ３１）。符号データの分析は、具体的には、符号量分布を求めることである。例えば、JPEG2000では、符号データはパケットを構成単位とする構造になっており、領域、色成分、画質レベルあるいは解像度成分について、パケットを順次調べることで符号量分布を調べることが可能である。
【０１９０】
続くステップＳ３２においては、符号データに対して画質劣化防止処理を施す。例えば、画質劣化の原因となっていると推定される符号列を一部削除したり、より望ましい符号列に置き換えたり、補間したりする。また、必要であれば、以下の処理を行なう。
【０１９１】
次に、符号データに対して量子化係数の復号化と周波数領域の係数の逆量子化を施し周波数領域データを求め（ステップＳ３３）、周波数領域データを分析する（ステップＳ３４）。ここで、周波数領域データの分析は、周波数空間における周波数分布を求めることである。
【０１９２】
次いで、周波数領域データに対して画質劣化防止処理を施す（ステップＳ３５）。例えば、エッジを強調するために高周波成分の値を少し大きくするなどの周波数領域データを補正する。あるいは、ノイズ領域を推定し、ノイズ対象のデータを除去するなどである。また、必要であれば以下の処理を行なう。
【０１９３】
続いて、周波数領域データに対して周波数逆変換処理を施し復号画像データを求め（ステップＳ３６）、復号画像データを分析し（ステップＳ３７）、復号画像データに対して画質劣化防止処理を施す（ステップＳ３８）。なお、ここでの画質劣化防止処理は、例えばポストフィルタ処理を施し全体をぼかすなどの処理である。
【０１９４】
周波数領域データに対する画質劣化防止処理や、復号画像データに対する画質劣化防止処理は、その前段での処理結果に基づいて処理をするかしないか決めても良い。符号データを分析することで、画像劣化防止処理の対象データや画像処理方法を決める。すなわち、原画像の解像度毎、領域毎、色成分毎、画質レベル毎の特徴（符号の分布状態）に基づいて、原画像の特徴に対する画像劣化防止処理を施すことができるのである。また、周波数領域データを分析することで、周波数空間毎に画質劣化防止処理を施すことができるのである。
【０１９５】
なお、上述した処理フロー中の、必要であれば以下の処理をするという判定では、許容する時間内で処理ができる場合に以下の処理を進めるとしても良い。許容する時間内で、最大限の画質劣化防止処理を施す制御が可能となる。
【０１９６】
ここに、符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正が施されることにより、画像の特徴を把握した上で画像劣化が防止されるので、画像劣化防止を効率的に行うことが可能になる。
【０１９７】
ここで、図２６は本実施の形態のサーバコンピュータ２の機能構成の変形例を示すブロック図である。図２６に示すサーバコンピュータ２の機能構成と図２４に示すサーバコンピュータ２の機能構成との違いは、復号化処理部６０により復号化された復号画像データを符号化する符号化手段である符号化処理部６２を備えている点である。すなわち、符号データは、復号化処理部６０により一部復号された後で再符号化されることにより、再構築されるところに特徴がある。
【０１９８】
上述したような画質劣化防止処理の流れについて図２７に示すフローチャートを参照して説明する。図２７に示すように、ステップＳ３１〜Ｓ３５については、図２５に示したフローと何ら変わるものではないので、その説明は省略する。
【０１９９】
サーバコンピュータ２のＣＰＵ１１は、周波数領域データに対して画質劣化防止処理を施した後（ステップＳ３５）、修正された周波数流域データに対して符号化処理（周波数領域の係数の量子化、量子化係数の符号化）を施し再符号化する（ステップＳ３９）。
【０２００】
そして、サーバコンピュータ２のＣＰＵ１１は、必要であれば、ステップＳ３６〜Ｓ３８の処理を行なう。ステップＳ３６〜Ｓ３８については、図２５に示したフローと何ら変わるものではないので、その説明は省略する。
【０２０１】
最後に、画質劣化防止処理を施した復号画像データに対して符号化処理を施し再符号化する（ステップＳ４０）。
【０２０２】
すなわち、図２５に示したフローとの違いは、符号データの修正を目的としているところである。符号データは一部復号された後で再符号化され符号データを再構築するところに特徴がある。
【０２０３】
ここに、復号段階で符号データの特徴分析結果に基づいて符号データの復号画像の画質劣化を防止すべく補正が施されることにより、画像の特徴を把握した上で画像劣化が防止されるので、画像劣化防止を効率的に行うことが可能になる。
【０２０４】
[第五の実施の形態]
次に、本発明の第五の実施の形態を図２８ないし図３０に基づいて説明する。
【０２０５】
本実施の形態においては、符号データの特徴分析結果に基づいて生成される画像の画像劣化を防止する画像劣化防止処理を領域別に処理する場合について説明する。
【０２０６】
画像処理においては、一般に処理を施す部分を精度よく特定することが課題となる。典型的には、原稿種の特定である。本実施の形態では、符号データを分析することで領域を特定する。
【０２０７】
図２８は、本実施の形態のサーバコンピュータ２の機能構成を示すブロック図である。図２８に示すように、本実施の形態のサーバコンピュータ２は、復号化手段である復号化処理部７０と、画質劣化防止手段である画像劣化防止処理部７１と、を備えている。
【０２０８】
復号化処理部７０は、典型的な変換符号の復号化処理を前提として量子化係数の復号化、周波数領域の係数の逆量子化、周波数逆変換により構成されている。勿論、この構成以外であってもかまわない。例えば、色空間逆変換が周波数逆変換の後でなされても良い。本構成の例では、符号列データは、量子化係数の復号化と周波数領域の係数の逆量子化とを経た後、周波数逆変換によって復号画像データに復号される。また、周波数領域の係数の逆量子化の際には、周波数領域のデータ（周波数領域データ）が求められる。
【０２０９】
画像劣化防止処理部７１は、符号データに対して復号画像の画質劣化がないように補正を施す画質劣化防止処理と、復号化処理部７０により生成される復号画像データに対して画質劣化がないように復号段階でデータを補正する画質劣化防止処理とを行なうものである。このような画像劣化防止処理部７１は、データ選択手段（図示せず）を有しており、データ選択手段（図示せず）を有しており、画質劣化防止処理で使用するデータは、符号データと当該符号データの周波数領域データと当該符号データの復号画像データとを選択的に用いる。これにより、適応的に画像劣化防止処理ができ、効率的かつ効果的に画像劣化防止することができる。
【０２１０】
また、画像劣化防止処理部７１は、符号化処理から得られた領域情報を用いて画像種を判別する。符号化処理の結果を使用して画像種判別するので、画像種判別のための余分な機能を必要とせず、効率的に実施可能となる。
【０２１１】
なお、このような領域の特定は、周波数領域データを分析して領域を特定することもできるし、復号画像データを直接分析して領域を特定することもできる。ここで、図２９はデータ分析の概念を示す説明図である。図２９に示すように、符号データに基づいて符号量分布を求め、周波数領域データに基づいて周波数空間における周波数分布を求め、あるいは、復号画像データに基づいて実空間における画像分布を求める。さらに、符号データの領域情報をも加えて、領域情報を求める。符号データの分析は、符号データの符号の構成によって決まるが、階層符号化のように小さな符号列単位（以下、パケットと記す）で階層的に構成されているような場合、パケット毎に符号量の分布を把握するのは容易である。特に、通常パケットの区切り単位に画像の特徴が対応しているため、符号データを分析するだけでも、原画像の特徴（符号の分布状態）を容易に把握できる。画像の特徴とは、例えば、解像度、位置、色成分、画質である。つまり、符号データを分析することにより、解像度、位置、色成分、画質などの符号データを把握することができる。
【０２１２】
このような画像劣化防止処理部７１は、図２８に示すように、領域復号化処理部７１ａを有しており、特定された領域に対して特定の処理を施す。例えば、テキスト領域に対してエッジ強調の処理を施すなどである。
【０２１３】
上述したような領域別の画像劣化防止処理の流れについて図３０に示すフローチャートを参照して説明する。図３０に示すように、サーバコンピュータ２のＣＰＵ１１は、まず、符号処理において得られた画像種領域情報を抽出する（ステップＳ４１）。画像データあるいは符号データやそのヘッダの中に画像種領域情報が記されていたり、あるいは符号処理の際に画像種領域情報が推定されたりする場合がある。それらから画像種領域情報を抽出する。それが正確である場合には以下の処理は不要である。つまり、不明瞭である領域についてだけ以下の処理を進める。必要であれば必要な領域について以下の処理を行なう。
【０２１４】
次に、符号データを領域毎に区分した構成にする（ステップＳ４２）。特に、階層構造を持った符号列である場合においては、階層順を変えて符号列を構成することが可能である。図１８において、階層符号の構造を入れ替える場合の一例を示している。図１８の例は、階層符号が解像度、画質で構成されている時に、画質順に並んでいた階層符号を解像度順に変換する場合を示している。もちろん、本実施の形態においては、階層構造がこのような場合に限定されない。さらに、順番が多重になる符号列でも同様に変換が可能であることは言うまでもない。
【０２１５】
続くステップＳ４３においては、符号データを分析する。ここでは、符号データによって符号量分布を求める。前述したように、原画像の解像度毎、色成分毎、画質レベル毎の特徴（符号の分布状態）を計算する。
【０２１６】
その後、符号データに基づいて画像種毎の領域を抽出する（ステップＳ４４）。色成分の分布が連続的でない領域はＣＧ画像領域、バラエティな領域は自然画像であると推定する。また、必要であれば必要な領域について以下の処理を行なう。
【０２１７】
次に、符号データに対して量子化係数の復号化と周波数領域の係数の逆量子化を施し周波数領域データを求め（ステップＳ４５）、周波数領域データを分析する（ステップＳ４６）。ここでは、周波数空間における周波数分布を求める。
【０２１８】
続くステップＳ４７では、周波数領域データに基づいて画像種毎の領域を抽出する。典型的には、高周波成分が多く含まれている領域はテキスト（文字）領域であると推定する。また、必要であれば必要な領域について以下の処理を行なう。
【０２１９】
次に、周波数領域データに対して周波数逆変換処理を施し復号画像データを求め（ステップＳ４８）、復号画像データを分析し（ステップＳ４９）、復号画像データに基づいて画質劣化防止処理を施す（ステップＳ５０）。
【０２２０】
このように画像データあるいは符号データの分析を対象画像領域を絞り込んで行うことで、画像劣化防止処理をより効果的かつ効率的に画質劣化防止処理を施すことができる。勿論、その場合、符号データを領域を絞り込んで復号することもできる。復号処理の過程で周波数領域データが計算されるので、余分な機能を必要とせず、効率的に実施可能となる。また、領域毎の画像劣化処理においては、予め注目領域（ＲＯＩ領域）が特定されているような場合は、その領域についてのみ上述の画質劣化処理を施すのであっても良い。
【０２２１】
[第六の実施の形態]
次に、本発明の第六の実施の形態を図３１ないし図３３に基づいて説明する。
【０２２２】
本実施の形態においては、符号データの特徴分析結果に基づいて符号データを合成し符号量制御する場合について説明する。
【０２２３】
図３１は、本実施の形態のサーバコンピュータ２の機能構成を示すブロック図である。図３１に示すように、本実施の形態のサーバコンピュータ２は、複数の符号データを符号レベルで合成する符号データ合成手段である符号データ合成部８０と、合成後の符号データの符号データ構造や符号量を分析する合成符号データ分析手段である符号データ分析部８１と、符号データ分析部８１における符号データ分析結果に基づいて合成後の符号データの符号量を制御する合成後符号量制御手段である合成後符号量制御部８２と、合成された符号データを復号化する復号化手段である復号化処理部８３とを備えている。
【０２２４】
合成後符号量制御部８２は、符号データ分析部８１における符号データ分析結果に基づいて合成後の符号データの符号量を制御するところに特徴がある。符号データを分析することにより、解像度、位置、色成分、画質などの符号データの特徴毎の構成要素の性質を把握し符号量を制御することで、合成符号の性質をも制御することができる。さらに、ここでは明示を省くが、画像種など画像または符号列の特徴を把握する手段を備えることで、画像または符号列の分析結果に基づいて合成符号データの符号量を削減することもできる。なお、画像または符号列の特徴を符号ヘッダに書き込む手段を備えることで、符号ヘッダの内容に基づいて合成符号データの符号量を削減することが容易に実現できる。
【０２２５】
上述したような合成符号データの符号量制御処理の流れについて図３２に示すフローチャートを参照して説明する。図３２に示すように、サーバコンピュータ２のＣＰＵ１１は、まず、複数の符号データ（符号データＡ、符号データＢ）を合成した場合の合成符号データの符号量削減目標値を設定する（ステップＳ５１）。合成符号データの符号量削減目標値は、合成符号データ夫々の符号量の総和と、合成後の符号量目標値の差である。符号データ夫々の符号量は、直接計算してもよいし、符号データのヘッダに書き込まれている場合にあっては、その値を読み込めば良い。
【０２２６】
続くステップＳ５２では、ヘッダを調べ符号列の構成を比較する。符号データのヘッダを調べる手法については図１４で説明したので、ここでの説明は省略する。符号列の構成とは、構成要素の性質、あるいは、階層順である。
【０２２７】
その後、複数の符号データ（符号データＡ、符号データＢ）の符号列の構成が異なると判断した場合に、並び替えて同じ構成にする（ステップＳ５３）。特に、階層構造を持った符号列である場合においては、階層順を変えて符号列を構成することが可能である。その場合、同じ画像データであっても構造が異なる場合が起こり得る。符号の並べ方が変更されているだけで符号から生成される復号画像は同じである場合があるからである。このようなことから、符号データの合成では符号データを同じ構造体系にしてから合成することが望ましい。前述した図１８に、階層符号の構造を入れ替える場合の一例を示している。図１８の例は、階層符号が解像度、画質で構成されている時に、画質順に並んでいた階層符号を解像度順に変換する場合を示している。もちろん、階層構造がこのような場合に限定されるものではない。さらに、順番が多重になる符号列でも同様に変換が可能であることは言うまでもない。
【０２２８】
そして、複数の符号データ（符号データＡ、符号データＢ）の符号列の構成を並び替えて同じ構成にした後、符号列の編集によって各符号データを合成する（ステップＳ５４）。
【０２２９】
最後に、符号量削減目標値に基づき符号量制御して（ステップＳ５５）、処理を終了する。例えば、符号構成要素を一部削除する。符号量制御（レートコントロール）の例は、前述した図１９に例示している通りである。
【０２３０】
以上のように、合成後の符号データの構成と符号量の分析を踏まえて符号構成要素を一部削除するなどして、全体的に符号量を制御するところに本実施の形態の特徴がある。
【０２３１】
ここに、複数個の符号データが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御されることにより、合成符号データのレートコントロール機能の提供が可能になる。
【０２３２】
ここで、図３３は本実施の形態のサーバコンピュータ２の機能構成の変形例を示すブロック図である。図３３に示すサーバコンピュータ２の機能構成は、符号データを分析して当該符号データの特徴を識別する符号データ分析手段である符号データ分析部８４を有している点で、図３１に示すサーバコンピュータ２の機能構成とは異なっている。
【０２３３】
符号データ分析部８４は、符号のヘッダ部を分析し、あるいは、符号構成要素（パケット）の構成を分析することにより、符号データの特徴を識別して符号データ合成部８０に出力する。
【０２３４】
符号データ合成部８０は、符号データ分析部８４で識別した特徴情報を使用して複数の符号データ（符号データＡ、符号データＢ）を合成する。このような符号データ合成部８０は、合成（処理）部に加えて編集（処理）部を有しており、符号データを合成する前に符号データの符号構成を一致させてから合成データを合成したり、あるいは、合成前に一部符号データを削除してから合成することもできる。つまり、合成後の符号データを分析し符号量制御しても良いし、合成時に符号量制御しても良い。
【０２３５】
ここに、符号データの特徴分析結果に基づいて複数個の符号データが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御されることにより、合成符号データのレートコントロール機能の提供が可能になる。
【０２３６】
[第七の実施の形態]
次に、本発明の第七の実施の形態を図３４及び図３５に基づいて説明する。
【０２３７】
本実施の形態においては、符号データの特徴分析結果に基づいて符号データを合成し符号量制御する場合について説明する。
【０２３８】
第六の実施の形態では、ステップＳ５３において合成後の符号データの符号列の構成を統一してから、全体的に符号量制御するようにしたが、本実施の形態においては、符号データの加工を伴って符号データが合成される場合にあっては、符号データの加工に伴う符号量制御をしながら合成するようにしたものである。
【０２３９】
ここで、図３４は本実施の形態のサーバコンピュータ２の機能構成を示すブロック図である。図３４に示すように、本実施の形態のサーバコンピュータ２は、複数の符号データを符号レベルで合成する符号データ合成手段である符号データ合成部９０と、符号データ合成部９０における合成の際に符号データの符号データ構造や符号量を分析する合成符号データ分析手段である符号データ分析部９１と、符号データ分析部９１における符号データ分析結果に基づいて合成の際の符号データの符号量を制御する合成後符号量制御手段である合成後符号量制御部９２と、符号データ合成部９０で合成された符号データを復号化する復号化手段である復号化処理部９３とを備えている。また、本実施の形態のサーバコンピュータ２は、符号データを分析して当該符号データの特徴を識別する符号データ分析手段である符号データ分析部９４と、原画像データをJPEG2000規格に符号化する符号化手段である符号化処理部９５と、原画像データを作成する原画像データ作成部９６とを備えている。
【０２４０】
符号データ分析部９４は、符号データＡのヘッダ部を分析し、あるいは、符号構成要素（パケット）の構成を分析することにより、符号データＡの特徴を識別して符号データ合成部９０に出力するとともに、符号化処理部９５に出力する。
【０２４１】
符号化処理部９５は、符号データ分析部９４で識別した符号データＡの特徴情報を使用し、合成した場合に互いに整合がとれるようにパラメータを制御し、原画像データを符号データＢに符号化する。ここで、パラメータは、上述したように、同一の解像度となるように、あるいは、カラーがモノクロになるように、あるいは、画質が同一レベルとなるように制御される。
【０２４２】
符号データ合成部９０は、符号データ分析部９４で識別した特徴情報を使用して複数の符号データ（符号データＡ、符号データＢ）を合成する。このような符号データ合成部９０は、合成（処理）部に加えて編集（処理）部を有しており、符号データを合成する前に符号データの符号構成を一致させてから合成データを合成したり、あるいは、合成前に一部符号データを削除してから合成することもできる。
【０２４３】
合成後符号量制御部９２は、符号データ分析部９１における符号データ分析結果に基づいて合成の際の符号データの符号量を制御するところに特徴がある。符号データを分析することにより、解像度、位置、色成分、画質などの符号データの特徴毎の構成要素の性質を把握し符号量を制御することで、合成符号の性質をも制御することができる。
【０２４４】
上述したような合成符号データの符号量制御処理の流れについて図３５に示すフローチャートを参照して説明する。図３５に示すように、サーバコンピュータ２のＣＰＵ１１は、まず、複数の符号データ（符号データＡ、符号データＢ）を合成した場合の合成符号データの符号量削減目標値を設定する（ステップＳ６１）。合成符号データの符号量削減目標値は、合成符号データ夫々の符号量の総和と、合成後の符号量目標値の差である。符号データ夫々の符号量は、直接計算してもよいし、符号データのヘッダに書き込まれている場合にあっては、その値を読み込めば良い。
【０２４５】
続くステップＳ６２では、ヘッダを調べ符号列の構成を比較する。符号データのヘッダを調べる手法については図１４で説明したので、ここでの説明は省略する。符号列の構成とは、構成要素の性質、あるいは、階層順である。
【０２４６】
その後、複数の符号データ（符号データＡ、符号データＢ）の符号列の構成が異なると判断した場合に、並び替えて同じ構成にする（ステップＳ６３）。特に、階層構造を持った符号列である場合においては、階層順を変えて符号列を構成することが可能である。その場合、同じ画像データであっても構造が異なる場合が起こり得る。符号の並べ方が変更されているだけで符号から生成される復号画像は同じである場合があるからである。このようなことから、符号データの合成では符号データを同じ構造体系にしてから合成することが望ましい。前述した図１８に、階層符号の構造を入れ替える場合の一例を示している。図１８の例は、階層符号が解像度、画質で構成されている時に、画質順に並んでいた階層符号を解像度順に変換する場合を示している。もちろん、階層構造がこのような場合に限定されるものではない。さらに、順番が多重になる符号列でも同様に変換が可能であることは言うまでもない。
【０２４７】
そして、複数の符号データ（符号データＡ、符号データＢ）の符号列の構成を並び替えて同じ構成にした後、符号データの加工に伴い符号量削減目標値に基づき符号量制御を行なう（ステップＳ６４）。例えば、符号構成要素を一部削除する。符号量制御（レートコントロール）の例は、前述した図１９に例示している通りである。なお、符号データの加工については、図２２に例示した通りである。
【０２４８】
最後に、符号列の編集によって各符号データを合成して（ステップＳ６５）、処理を終了する。
【０２４９】
ここに、合成対象となる符号データの特徴分析結果に基づいて原画像データが符号化され、符号化された符号データと合成対象となる符号データとが合成され、合成された合成符号データの特徴分析結果に基づいて合成符号データの符号量が制御されことにより、合成符号データのレートコントロール機能の提供が可能になる。
【０２５０】
なお、本実施の形態においては、画像処理装置としてサーバコンピュータ２を適用して説明したが、これに限るものではない。例えば、画像処理装置としてＦＡＸ装置を適用するようにしても良い。ＦＡＸ装置に適用した場合には、日付、送信者等の画像データを原画像データ作成部９６で作成し符号化処理部９５で符号化された符号データと、予め保存してある符号データ、あるいは、受信された符号データとを合成して送信することが可能である。この時、既存に保存されている符号データとうまく整合するように調整して新たな符号データを合成するところに特徴がある。このようなことから、ＦＡＸ装置において転送する日時あるいは送信者名を付して符号データを送信する機能を容易に実現することができる。
【０２５１】
なお、各実施の形態は、パーサ（符号列編集部）によりトランケート処理がなされる場合にも応用することができる。JPEG2000におけるパーサ（符号列編集部）は、符号化データを符号レベルで加工し（符号の構成要素であるパケットのトランケーション処理をし）、別の符号化データを生成する機能を有するものである。
【０２５２】
図３６は、パーサ（符号列編集部）が行なう具体的処理を説明する機能ブロック図である。このパーサ（符号列編集部）は、画像読込部２０１、ヘッダ・符号データ分割処理部２０２、ヘッダ処理部２０３、符号データ合成部２０４からなる。
【０２５３】
まず、画像読込部２０１は、各第１の符号データａ１〜ａＮを順次読み込む。読み込まれた最初の符号データａ１は、ヘッダ・符号データ分割処理部２０２で、ヘッダ部分と、符号部分とに分割される。続いて、第２の符号データの２番目のフレーム、３番目のフレーム、…についても同様の処理を行なう。このように、画像読込部２０１で第１の符号データを読込み、ヘッダ・符号データ分割処理部２０２でヘッダと符号データを分割し、ヘッダ処理部２０３で、メインヘッダをタイルパートヘッダに変更する。その際、順次、タイルインデックスが付与される。すべての第１の符号データのヘッダを処理し終えると、符号データ合成部２０４で、JPEG2000準拠の第２の符号データに合成され、第１の符号データａ１〜ａＮを合成した単一の符号データである第２の符号データに変換する。また、パーサ（符号列編集部）は、画像読込部２０１、ヘッダ・符号データ分割処理部２０２、ヘッダ処理部２０３、符号データ合成部２０４が行なう前述の処理に準じた処理を行なうことにより、第２の符号データを第１の符号データに再度変換することもできる。
【０２５４】
図３７は、パーサ（符号列編集部）で処理する前の複数の第１の符号データａ１〜ａＮのデータ構成を説明するための図で、合成される１つ目の第１の符号データａ１のメインヘッダ２１１、タイルパートヘッダ２１２、ビットストリーム（ＬＬ１成分〜ＨＨ３成分）２１３、ＥＯＣマーカ４２１４、２つ目の第１の符号データａ２のメインヘッダ２１１、タイルパートヘッダ２１２、ビットストリーム２１３、ＥＯＣマーカ２１４、…、Ｎ番目の第１の符号データａＮのメインヘッダ２１１、タイルパートヘッダ２１２、ビットストリーム２１３、ＥＯＣマーカ２１４、を示している。なお、ここでは便宜上、パーサ（符号列編集部）に入力されるすべての第１の符号データが同サイズの１タイル構成である場合を図示している。
【０２５５】
図３８は、パーサ（符号列編集部）で変換後の第２の符号データｂのデータ構成を説明するための図で、第２の符号データｂのメインヘッダ２１５、タイルパートヘッダ２１６、ビットストリーム２１７、ＥＯＣマーカ２１８を示している。ここでも便宜上、第２の符号データの各フレームが１タイル構成である場合を図示している。この例では、各第１の符号データのうち４枚の静止画を１フレームに集約した例を示していて、４つの第１の符号データから、所定の解像度のデータだけを選択する。すなわち、この例では、それぞれＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１の成分（デコンポジション・レベル１のＬＬ，ＨＬ，ＬＨ，ＨＨの成分）だけを取り出して、各フレーム（この例では前述のように単一のタイル）のビットストリーム２１７としている。
【０２５６】
以上のように、JPEG2000準拠に基づく符号データであれば、先に説明した本発明の符号データの特徴抽出を容易に行うことができる。
【図面の簡単な説明】
【０２５７】
【図１】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】Wavelet変換の階層数が２として、プリシンクトサイズをサブバンドサイズとしたときのレイヤの例の説明図である。
【図７】図３のレイヤに含まれるパケットの例の説明図である。
【図８】JPEG2000のトランケーションの要素であるパケットを示す説明図である。
【図９】JPEG2000のパケット構成の例を示す説明図である。
【図１０】符号列データの１フレーム分の概略構成を示す説明図である。
【図１１】本発明の第一の実施の形態のシステム構築例を示す模式図である。
【図１２】画像処理装置としてのサーバコンピュータのモジュール構成図である。
【図１３】サーバコンピュータの機能構成を示すブロック図である。
【図１４】構文解析手段によるヘッダ部情報の読み取りを示す説明図である。
【図１５】再符号化処理の流れを示すフローチャートである。
【図１６】本発明の第二の実施の形態のサーバコンピュータの機能構成を示すブロック図である。
【図１７】再符号化処理の流れを示すフローチャートである。
【図１８】階層符号の構造を入れ替える場合の一例を示す説明図である。
【図１９】符号量制御（レートコントロール）の処理概念を例示的に示す説明図である。
【図２０】本発明の第三の実施の形態のサーバコンピュータの機能構成を示すブロック図である。
【図２１】複数符号データ合成処理の流れを示すフローチャートである。
【図２２】符号データ（符号列）の編集加工を例示的に示す説明図である。
【図２３】サーバコンピュータの機能構成の変形例を示すブロック図である。
【図２４】本発明の第四の実施の形態のサーバコンピュータの機能構成を示すブロック図である。
【図２５】画質劣化防止処理の流れを示すフローチャートである。
【図２６】サーバコンピュータの機能構成の変形例を示すブロック図である。
【図２７】画質劣化防止処理の流れを示すフローチャートである。
【図２８】本発明の第五の実施の形態のサーバコンピュータの機能構成を示すブロック図である。
【図２９】データ分析の概念を示す説明図である。
【図３０】領域別の画像劣化防止処理の流れを示すフローチャートである。
【図３１】本発明の第六の実施の形態のサーバコンピュータの機能構成を示すブロック図である。
【図３２】合成符号データの符号量制御処理の流れを示すフローチャートである。
【図３３】サーバコンピュータ２の機能構成の変形例を示すブロック図である。
【図３４】本発明の第七の実施の形態のサーバコンピュータの機能構成を示すブロック図である。
【図３５】合成符号データの符号量制御処理の流れを示すフローチャートである。
【図３６】パーサ（符号列編集部）が行なう具体的処理を説明する機能ブロック図である。
【図３７】パーサ（符号列編集部）で処理する前の複数の第１の符号データａ１〜ａＮのデータ構成を説明するための図である。
【図３８】パーサ（符号列編集部）で変換後の第２の符号データｂのデータ構成を説明するための図である。
【符号の説明】
【０２５８】
２      画像処理装置
３０，４０      符号化手段
３１，４１      復号化手段
３２，４２      再符号化手段
３３，４３      再符号化パラメータ設定手段
３４，４５      符号データ分析手段
５０      符号データ分析手段
５１      符号データ合成手段
５２      復号化手段
５３      符号化手段
６０，７０      復号化手段
６１，７１      画質劣化防止手段
６２      符号化手段
８０，９０      符号データ合成手段
８１，９１      合成符号データ分析手段
８２，９２      合成後符号量制御手段
８３，９３      復号化手段
８４，９４      符号データ分析手段
９５      符号化手段
【図１】
2005223407.tif 000003
【図２】
2005223407.tif 000004
【図３】
2005223407.tif 000005
【図４】
2005223407.tif 000006
【図５】
2005223407.tif 000007
【図６】
2005223407.tif 000008
【図７】
2005223407.tif 000009
【図８】
2005223407.tif 000010
【図９】
2005223407.tif 000011
【図１０】
2005223407.tif 000012
【図１１】
2005223407.tif 000013
【図１２】
2005223407.tif 000014
【図１３】
2005223407.tif 000015
【図１４】
2005223407.tif 000016
【図１５】
2005223407.tif 000017
【図１６】
2005223407.tif 000018
【図１７】
2005223407.tif 000019
【図１８】
2005223407.tif 000020
【図１９】
2005223407.tif 000021
【図２０】
2005223407.tif 000022
【図２１】
2005223407.tif 000023
【図２２】
2005223407.tif 000024
【図２３】
2005223407.tif 000025
【図２４】
2005223407.tif 000026
【図２５】
2005223407.tif 000027
【図２６】
2005223407.tif 000028
【図２７】
2005223407.tif 000029
【図２８】
2005223407.tif 000030
【図２９】
2005223407.tif 000031
【図３０】
2005223407.tif 000032
【図３１】
2005223407.tif 000033
【図３２】
2005223407.tif 000034
【図３３】
2005223407.tif 000035
【図３４】
2005223407.tif 000036
【図３５】
2005223407.tif 000037
【図３６】
2005223407.tif 000038
【図３７】
2005223407.tif 000039
【図３８】
2005223407.tif 000040