(57)【要約】【課題】  トランケーションを行った符号化データに対して復号化処理を施した復号後の画像の画質劣化を防止することができる画像処理装置を提供する。【解決手段】  符号化手段２３において転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報を、復号化手段２４での復号後の画像処理に用いる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことができ、トランケーションを行った符号化データに対して復号化処理を施した復号後の画像の画質劣化を防止することができる。【選択図】    図１０
2005130244.tif 000002
【特許請求の範囲】
【請求項１】
画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報に基づいて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項２】
画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号の画像領域とに基づいて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項３】
画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号量とに基づいて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項４】
画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号の画像領域とトランケートされた符号量とに基づいて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項５】
前記トランケートされた符号量は、量子化処理に基づいて決まる、
ことを特徴とする請求項３または４記載の画像処理装置。
【請求項６】
前記画像処理手段における画像処理が、トランケートされた符号の画像領域毎に異なる、
ことを特徴とする請求項２または４記載の画像処理装置。
【請求項７】
画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報に基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項８】
画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号量とに基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項９】
画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報と圧縮率とに基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項１０】
画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、
この符号化手段で符号化された符号化データを復号する復号化手段と、
この復号化手段で復号された画像データを画像処理する画像処理手段と、
を備え、
前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号量と圧縮率とに基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う、
ことを特徴とする画像処理装置。
【請求項１１】
矩形領域間の画質の連続性の判断は、矩形領域境界周辺について行う、
ことを特徴とする請求項７ないし１０のいずれか一記載の画像処理装置。
【請求項１２】
前記画像処理手段による画像処理は、画像データに対してポストフィルタをかけることであり、矩形領域間の画質の連続性に応じて前記ポストフィルタの強度が決まる、
ことを特徴とする請求項７ないし１１のいずれか一記載の画像処理装置。
【請求項１３】
前記画像処理手段は、前記符号化手段での符号化処理における量子化処理に基づいて画像処理を行う、
ことを特徴とする請求項１ないし１２のいずれか一記載の画像処理装置。
【請求項１４】
トランケートされた符号の特性情報とは、画像の解像度である、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項１５】
トランケートされた符号の特性情報とは、レイヤである、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項１６】
トランケートされた符号の特性情報とは、画像の周波数成分情報である、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項１７】
トランケートされた符号の特性情報とは、画像の色情報である、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項１８】
符号が階層符号である、
ことを特徴とする請求項１ないし１７のいずれか一記載の画像処理装置。
【請求項１９】
符号化処理の際にトランケートする、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項２０】
符号処理後の符号化データレベルでの編集でトランケートする、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項２１】
符号化処理の際、及び符号処理後の符号化データレベルでの編集でトランケートする、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項２２】
符号はJPEG2000の仕様に基づく、
ことを特徴とする請求項１ないし１３のいずれか一記載の画像処理装置。
【請求項２３】
トランケートされた符号の特性情報が、JPEG2000のプログレッションオーダである、
ことを特徴とする請求項２２記載の画像処理装置。
【請求項２４】
トランケートに関する情報を記憶保持する画像サーバを有し、
この画像サーバに記憶保持されたトランケートに関する情報は、ネットワークを介して前記画像処理手段に対して転送される、
ことを特徴とする請求項１ないし２３のいずれか一記載の画像処理装置。
【請求項２５】
トランケートに関する情報は、符号化データの一部に保持される、
ことを特徴とする請求項２４記載の画像処理装置。
【請求項２６】
符号化データを構成する一部または全部の符号をトランケートすることで符号が再構成された符号化データを復号した画像データについて画像処理する画像処理方法であって、
トランケートされた符号の特性情報に基づいて画像処理を行う、
ことを特徴とする画像処理方法。
【請求項２７】
矩形領域単位毎に独立に符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで符号が再構成された符号化データを復号した画像データについて画像処理をする画像処理方法であって、
トランケートされた符号の特性情報に基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Digital Camera）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Charge Coupled Device）の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Personal Computer）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
このようなJPEG2000の仕様に基づく符号化においては、転送容量制約や処理の容量制約等により符号量を減らすべく、符号化データの特定部分を削除するトランケーションが実行可能になっている（例えば、特許文献１参照）。
【０００８】
【特許文献１】特開２００１−３２０５８８公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述したようなトランケーションを行った符号化データに対して復号化処理を施した復号後の画像においては、トランケーションを行った結果として画質劣化が生じるという問題がある。
【００１０】
本発明は、トランケーションを行った符号化データに対して復号化処理を施した復号後の画像の画質劣化を防止することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１記載の発明の画像処理装置は、画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報に基づいて画像処理を行う。
【００１２】
ここで、トランケートとは、符号化データの特定部分の削除を指す。
【００１３】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報が、復号後の画像処理に用いられる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。
【００１４】
請求項２記載の発明の画像処理装置は、画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号の画像領域とに基づいて画像処理を行う。
【００１５】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報とトランケートされた符号の画像領域とが、復号後の画像処理に用いられる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。
【００１６】
請求項３記載の発明の画像処理装置は、画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号量とに基づいて画像処理を行う。
【００１７】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報とトランケートされた符号量とが、復号後の画像処理に用いられる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。
【００１８】
請求項４記載の発明の画像処理装置は、画像データが符号化された符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号の画像領域とトランケートされた符号量とに基づいて画像処理を行う。
【００１９】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報とトランケートされた符号の画像領域とトランケートされた符号量とが、復号後の画像処理に用いられる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。
【００２０】
請求項５記載の発明は、請求項３または４記載の画像処理装置において、前記トランケートされた符号量は、量子化処理に基づいて決まる。
【００２１】
したがって、きめ細かい画質制御（画質補正）を施すことが可能になる。
【００２２】
請求項６記載の発明は、請求項２または４記載の画像処理装置において、前記画像処理手段における画像処理が、トランケートされた符号の画像領域毎に異なる。
【００２３】
したがって、画像の領域毎に最適な画像処理を施すことが可能になる。
【００２４】
請求項７記載の発明の画像処理装置は、画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報に基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う。
【００２５】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報に基づいて矩形領域間の画質の連続性が判断され、この矩形領域間の画質の連続性に応じて復号後の画像処理が行われる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。殊に、矩形領域毎に独立に符号化処理がなされるような場合にあって、矩形領域毎に互いに同じような傾向の符号化データが削除されていない場合には互いの矩形領域の連続性が損なわれた可能性があると推定し、この推定結果に基づいて画像補正を行うことが可能になる。
【００２６】
請求項８記載の発明の画像処理装置は、画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号量とに基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う。
【００２７】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報とトランケートされた符号量とに基づいて矩形領域間の画質の連続性が判断され、この矩形領域間の画質の連続性に応じて復号後の画像処理が行われる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。殊に、矩形領域毎に独立に符号化処理がなされるような場合にあって、矩形領域毎に互いに同じような傾向の符号化データが削除されていない場合には互いの矩形領域の連続性が損なわれた可能性があると推定し、この推定結果に基づいて画像補正を行うことが可能になる。
【００２８】
請求項９記載の発明の画像処理装置は、画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報と圧縮率とに基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う。
【００２９】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報と圧縮率とに基づいて矩形領域間の画質の連続性が判断され、この矩形領域間の画質の連続性に応じて復号後の画像処理が行われる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。殊に、矩形領域毎に独立に符号化処理がなされるような場合にあって、矩形領域毎に互いに同じような傾向の符号化データが削除されていない場合には互いの矩形領域の連続性が損なわれた可能性があると推定し、この推定結果に基づいて画像補正を行うことが可能になる。
【００３０】
請求項１０記載の発明の画像処理装置は、画像データが符号化され、かつ、矩形領域単位毎に独立に当該符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで、符号を再構成する機能を有する符号化手段と、この符号化手段で符号化された符号化データを復号する復号化手段と、この復号化手段で復号された画像データを画像処理する画像処理手段と、を備え、前記画像処理手段は、トランケートされた符号の特性情報とトランケートされた符号量と圧縮率とに基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う。
【００３１】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報とトランケートされた符号量と圧縮率とに基づいて矩形領域間の画質の連続性が判断され、この矩形領域間の画質の連続性に応じて復号後の画像処理が行われる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。殊に、矩形領域毎に独立に符号化処理がなされるような場合にあって、矩形領域毎に互いに同じような傾向の符号化データが削除されていない場合には互いの矩形領域の連続性が損なわれた可能性があると推定し、この推定結果に基づいて画像補正を行うことが可能になる。
【００３２】
請求項１１記載の発明は、請求項７ないし１０のいずれか一記載の画像処理装置において、矩形領域間の画質の連続性の判断は、矩形領域境界周辺について行う。
【００３３】
したがって、画像の領域毎に最適な画像処理を施すことが可能になる。
【００３４】
請求項１２記載の発明は、請求項７ないし１１のいずれか一記載の画像処理装置において、前記画像処理手段による画像処理は、画像データに対してポストフィルタをかけることであり、矩形領域間の画質の連続性に応じて前記ポストフィルタの強度が決まる。
【００３５】
したがって、画像の領域毎に最適な画像処理を施すことが可能になる。
【００３６】
請求項１３記載の発明は、請求項１ないし１２のいずれか一記載の画像処理装置において、前記画像処理手段は、前記符号化手段での符号化処理における量子化処理に基づいて画像処理を行う。
【００３７】
したがって、量子化率も考慮した画像処理が可能になる。
【００３８】
請求項１４記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、トランケートされた符号の特性情報とは、画像の解像度である。
【００３９】
したがって、解像度に関するトランケート情報を使用した最適な画像処理を施すことが可能になる。
【００４０】
請求項１５記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、トランケートされた符号の特性情報とは、レイヤである。
【００４１】
したがって、レイヤ（１単位の符号を構成するビット数）に関するトランケート情報を使用した最適な画像処理を施すことが可能になる。
【００４２】
請求項１６記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、トランケートされた符号の特性情報とは、画像の周波数成分情報である。
【００４３】
したがって、周波数成分に関するトランケート情報を使用した最適な画像処理を施すことが可能になる。
【００４４】
請求項１７記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、トランケートされた符号の特性情報とは、画像の色情報である。
【００４５】
したがって、色情報に関するトランケート情報を使用した最適な画像処理を施すことが可能になる。ここで、色情報としては、色成分情報、輝度成分情報、色差成分情報がある。
【００４６】
請求項１８記載の発明は、請求項１ないし１７のいずれか一記載の画像処理装置において、符号が階層符号である。
【００４７】
したがって、符号が階層的に体系化されていることにより、トランケート情報を簡易に用意することが可能になる。
【００４８】
請求項１９記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、符号化処理の際にトランケートする。
【００４９】
したがって、符号化処理の際になされた処理からトランケート情報が得られることにより、確実にトランケート情報を得ることが可能になる。
【００５０】
請求項２０記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、符号処理後の符号化データレベルでの編集でトランケートする。
【００５１】
したがって、パーサでトランケート情報が得られることにより、確実にトランケート情報を得ることが可能になる。
【００５２】
請求項２１記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、符号化処理の際、及び符号処理後の符号化データレベルでの編集でトランケートする。
【００５３】
したがって、符号化処理の際になされた処理からトランケート情報が得られるとともに、パーサでトランケート情報が得られることにより、トランケート前後の符号化データ（符号量）を簡単に比較することが可能になり、確実にトランケート情報を得ることが可能になる。
【００５４】
請求項２２記載の発明は、請求項１ないし１３のいずれか一記載の画像処理装置において、符号はJPEG2000の仕様に基づく。
【００５５】
したがって、標準化された仕様で符号化されるために広く応用可能であり、特にトランケート情報を容易に抽出することが可能になる。
【００５６】
請求項２３記載の発明は、請求項２２記載の画像処理装置において、トランケートされた符号の特性情報が、JPEG2000のプログレッションオーダである。
【００５７】
したがって、プログレッションオーダを変更する機能を活用すれば、容易に種々の画像特性を得ることが可能になる。
【００５８】
請求項２４記載の発明は、請求項１ないし２３のいずれか一記載の画像処理装置において、トランケートに関する情報を記憶保持する画像サーバを有し、この画像サーバに記憶保持されたトランケートに関する情報は、ネットワークを介して前記画像処理手段に対して転送される。
【００５９】
したがって、符号化処理と復号化処理がネットワーク接続された別々の機器でなされるような場合であっても、トランケートに関する情報がネットワークを介して確実に転送され、画像処理手段において当該トランケートに関する情報を踏まえた画像処理を施すことが可能になる。
【００６０】
請求項２５記載の発明は、請求項２４記載の画像処理装置において、トランケートに関する情報は、符号化データの一部に保持される。
【００６１】
したがって、トランケートに関する情報を容易に画像処理手段に転送し使用することが可能になる。
【００６２】
請求項２６記載の発明の画像処理方法は、符号化データを構成する一部または全部の符号をトランケートすることで符号が再構成された符号化データを復号した画像データについて画像処理する画像処理方法であって、トランケートされた符号の特性情報に基づいて画像処理を行う。
【００６３】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報が、復号後の画像処理に用いられる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。
【００６４】
請求項２７記載の発明の画像処理方法は、矩形領域単位毎に独立に符号化がなされた符号化データを構成する一部または全部の符号をトランケートすることで符号が再構成された符号化データを復号した画像データについて画像処理をする画像処理方法であって、トランケートされた符号の特性情報に基づいて矩形領域間の画質の連続性を判断し、この矩形領域間の画質の連続性に応じて画像処理を行う。
【００６５】
したがって、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報に基づいて矩形領域間の画質の連続性が判断され、この矩形領域間の画質の連続性に応じて復号後の画像処理が行われる。これにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。殊に、矩形領域毎に独立に符号化処理がなされるような場合にあって、矩形領域毎に互いに同じような傾向の符号化データが削除されていない場合には互いの矩形領域の連続性が損なわれた可能性があると推定し、この推定結果に基づいて画像補正を行うことが可能になる。
【発明の効果】
【００６６】
本発明によれば、トランケーションを行った符号化データに対して復号化処理を施した復号後の画像の画質劣化を防止することができる。
【発明を実施するための最良の形態】
【００６７】
［JPEG2000について］
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００６８】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００６９】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００７０】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００７１】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００７２】
次に、JPEG2000アルゴリズムについて説明する。
【００７３】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【００７４】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００７５】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００７６】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００７７】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００７８】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００７９】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００８０】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００８１】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００８２】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００８３】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号化データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。
【００８４】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００８５】
ここで、JPEG2000のトランケーションの要素であるパケットについて詳述する。図７は、JPEG2000のトランケーションの要素であるパケットを示す説明図である。JPEG2000ではパケット単位でトランケートされる。レイヤ３００は、タイルまたはタイル構成要素の１つまたは複数のコード・ブロックからの、符号化パス３０２の集合で構成されている。レイヤ３００、またはその部分は、破線矢印３０４で示されるように、パケット３０８にカプセル化されている。図７中、３１２で示されるように、パケット３０８は、タイル２１０の１つの構成要素の１つのレベルの１つのレイヤからの、パケットヘッダ３１４および符号化データ３１６を含んでいる。パケットのシーケンスが、復号および展開のために必要な符号化データとオーバーヘッド情報の両方を含んだコードストリーム３０６の一部を形成している。（コードストリームについては、図６でも説明した。）このようなパケット３０８は、圧縮されたコードストリームの基本単位である。タイル部分３２０は、破線矢印３１８で示されるように、タイルのいくらか、又は全てを構成する、コードストリーム３０６の一部分を含んでいる。タイル部分３２０は、少なくとも１つ、ないしは全てのタイルを構成するパケットを含み得る。
【００８６】
コードストリーム３０６は、プログレッシブ方式で配置され、任意の画像構成要素、任意のレイヤ３００、および任意の解像度レベルによって表される情報が、コードストリーム３０６の連続する部分、すなわちパケット３０８の中に含まれるようになっている。通常、各タイルに対する各構成要素ごとの各解像度レベルでの各レイヤごとに、符号化データを含んでいる１つのパケットが存在する。これらのパケットがインターリーブされる順番が、「プログレッシブ順」と呼ばれる。従って、３つの画像構成要素、５つの解像度レベル、および５つのレイヤで、タイルが画像のサイズである例では、通常、７５のパケットが存在する。JPEG2000のパケット構成の例を示したのが、図８である。図８には、画像サイズ１００×１００、２レイヤ、解像度レベル３（０〜２）、３コンポーネント、プリシンクトサイズ３２×３２、ＬＲＣＰプログレッションの場合の３６個のパケットの順列（パケットの解釈される順番）を示している。図８に示すように、JPEG2000仕様の符号は、パケットを最小単位とする符号列（コードストリーム）で構成されている。言い換えるとパケットとは、圧縮された符号列（コードストリーム）になっている。トランケーションは、このパケット単位で実行することができる。
【００８７】
パケット３０８は、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケット３０８は、あるプログレッシブ順で、たとえば、それぞれ、画像構成要素、解像度、およびレイヤによって配列される。
【００８８】
以上が、「JPEG2000アルゴリズム」の概要である。このようにJPEG2000符号化は、階層符号化形式をもち、種々のプログレッションオーダ（符号の階層順）をもつことに特徴があるため、本発明の有効な実施対象の符号化の一つであり、標準化されているために広く応用できる。特に、後述するトランケート情報を抽出することを容易にするだけでなく、構成を変更する機能を活用すれば、容易に種々の画像特性を得ることができる。
【００８９】
符号化方式の中には、JPEG2000のように種々のプログレッション順序（符号の階層順）を持つことができる符号体系がある。例えば、第一階層として画像データの矩形領域毎の符号化データ、第二階層としてカラーコンポーネント毎の符号化データ、第三階層として周波数成分ごとというプログレッション順序で符号を構成することもできるし、階層順を変えて、同じ符号化データを、例えば、第一階層として画像データの矩形領域毎の符号化データ、第二階層としてカラーコンポーネント毎の符号化データ、第三階層として周波数成分ごとというプログレッションオーダで符号を構成することもできる。JPEG2000のように種々のプログレッションオーダを持つことができる符号化にあっては、プログレッションオーダに対応して種々のトランケーションがなされる（種々のトランケートパターンをもつ）。
【００９０】
以下においては、階層符号化あるいは階層符号体系であるJPEG2000を例に説明していくが、削除された符号化データの特性が特定できれば良く、階層符号化されていないといけないというわけではない。
【００９１】
[第一の実施の形態]
以下、本発明の第一の実施の形態について説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００９２】
図９は本発明が適用されるデジタル複写機１の概略構成を示すブロック図である。図９に示すように、本発明の画像処理装置が適用されるデジタル複写機１は、コピー機能、ファクシミリ（ＦＡＸ）機能、プリント機能、スキャナ機能及び入力画像（スキャナ機能による読み取り原稿画像やプリンタあるいはＦＡＸ機能により入力された画像）を配信する機能等を複合したいわゆるＭＦＰ（Multi Function Peripheral）と称されるデジタルカラー複合機である。
【００９３】
このデジタル複写機１は、周知の電子写真プロセスにより用紙上などに画像形成を行なうプリンタエンジン２と、原稿の画像を読み取るスキャナ３とを備えている。このデジタル複写機１は、マイクロコンピュータを有するコントローラ５を備えている。このコントローラ５は、具体的には、デジタル複写機１の全体を制御するメインコントローラと、メインコントローラの各部をそれぞれ制御する複数のサブコントローラとからなるが、ここでは、単一のコントローラ５として図示する。このコントローラ５のＣＰＵ（Central Processing Unit）は、記憶媒体であるＲＯＭ（Read Only Memory）に記憶されている制御プログラムに基づいて後述する処理を実行する。
【００９４】
プリンタエンジン２は、それぞれ感光体、現像装置、クリーニング装置、帯電装置を有していて、Ｋ，Ｍ，Ｃ，Ｙ（ブラック、マゼンタ、シアン、イエロー）各色の乾式トナー像を形成するためのプロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙと、転写ベルト１２と、定着装置１３と、プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙの各感光体にＫ，Ｍ，Ｃ，Ｙ各色の画像の静電潜像を光書込みする光書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙとを備えている。また、デジタル複写機１は、カラー画像を記録されるための転写材（記録用紙やＯＨＰ用紙など）を収納する給紙トレイ１５ａ〜１５ｃを備えている。各プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙは、Ｋ，Ｍ，Ｃ，Ｙ各色のトナー像を転写ベルト１２に重ね合わせて形成し、この重ね合わされたトナー像は、給紙トレイ１５ａ〜１５ｃから供給される転写材に転写されて、定着装置１３により定着される。
【００９５】
また、デジタル複写機１は、バンドバッファ２２、符号化部２３、復号化部２４、ページメモリ２５からなる、画像処理手段として機能する画像処理部２６を備えている。なお、画像処理部２６は、コントローラ５のＣＰＵがＲＯＭに記憶されている制御プログラムに基づいて動作することにより実現される機能である。
【００９６】
図９において、バンドバッファ２２は、１ページ分の画像データを構成する複数のバンドのうち、一つのバンドに含まれる画素のデータを格納するためのバッファである。ここでバンドとは、所定数の画素ラインから構成される画像データの一領域である。
【００９７】
デジタル複写機１は、ＬＡＮ（Local Area Network）などの所定のネットワーク４から図示しない通信インターフェイスを介して画像データを受け取ることができる。ＲＩＰ部２１は、ネットワーク４を介して入力された画像データがＰＤＬ（ページ記述言語）形式のデータであるとき、これをバンド単位に描画処理してビットマップ形式に変換して、画像処理部２６に出力する。
【００９８】
符号化手段となる符号化部２３はバンドバッファ２２に格納された画像データを符号化するための符号化装置である。復号化手段となる復号化部２４は、圧縮符号を復号するための復号化装置である。本実施の形態では、符号化部２３で使用する符号化として静止画圧縮の国際標準であるJPEG2000を使用している。したがって、その符号化後の符号列は、静止画像を１又は複数の領域（タイル）に分割し、この各領域を独立して階層的に圧縮符号化するものである。かかる符号化、復号化の詳細については前述のとおりである。
【００９９】
ページメモリ２５は所定ページ分の画像データを圧縮符号として格納（記憶）するためのメモリである。本例のページメモリ２５は、Ａ４サイズの画像データ１ページ分の圧縮符号列を格納可能とする。ハードディスク２７はページメモリ２５に格納された圧縮符号列を取得して格納し、必要に応じてその圧縮符号列をページメモリ２５に再格納するために設けられたメモリである。
【０１００】
ＲＧＢ→ＣＭＹＫ変換部２８は、バンドバッファ２２からバンド単位でＲＧＢ（レッド、グリーン、ブルー）色の信号で表現された画像データを受け取り、これをＣＭＹＫ信号に変換する。Ｋ，Ｍ，Ｃ，Ｙ色階調処理部２９Ｋ，２９Ｍ，２９Ｃ，２９Ｙは、それぞれＫ，Ｍ，Ｃ，Ｙ色の多値データを少値化して書込データに変換する機能を果たす。本例では、バンドバッファ２２では１画素８ビットの６００ｄｐｉ画像データを格納し、これをＫ，Ｍ，Ｃ，Ｙ色階調処理部２９Ｋ，２９Ｍ，２９Ｃ，２９Ｙで１画素１ビットの１２００ｄｐｉ画像データへと変換する。
【０１０１】
Ｋ，Ｍ，Ｃ色の書込みデータは、画像形成開始タイミングを調節するためにラインメモリ１６Ｋ，１６Ｍ，１６Ｃに格納され、各色の画像が転写材上で重なり合うようにタイミングを合わせてＫ，Ｍ，Ｃ，Ｙ，の光書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙに送られる。
【０１０２】
ここで、画像処理手段として機能する画像処理部２６における処理について説明する。図１０は、画像処理部２６の機能構成を示すブロック図である。図１０に示すように、画像処理部２６は、符号化部２３における符号化処理時のトランケート情報を抽出し、このトランケート情報を復号化部２４での復号（伸長）後の画像処理に使用する。ここでは、符号化の際にトランケートする構成を示している。
【０１０３】
ここで、トランケート情報は、典型的には、図１１に示すように、領域、画像特性、トランケートされた符号量の構成を持っている。トランケート情報の項目は、この構成であることに限らず、これらの構成要素の一部であっても構わないし、あるいは、トランケーションに係る別の画像特性であっても構わない。トランケート情報は、この形態に限定されることなく符号処理でトランケートされた符号の特性を示すものであれば構わない。ここで、画像特性とは、例えば周波数成分であるとか、色情報（色成分情報、輝度成分情報、色差成分情報）とか、解像度特性である。複数個の特性情報をもっていても構わない。これらの画像特性は、簡単に抽出できることが望ましく、階層符号の特性をそのまま反映させたものであることが望ましい。例えば、階層符号が色情報と、解像度特性の階層をもっている場合にあっては、画像特性は色情報と、解像度特性であることが望ましい。しかし、それ以外の性質であっても、符号列を解析することによりトランケート情報が抽出される場合であっても構わない。
【０１０４】
また、符号化時にトランケートされた情報を抽出する方法としては、典型的には、以下の２つの方法があるが、この方法に限らず、例えば、使用者からの指示によって得ることでも構わない。
【０１０５】
１）予め決められている処理ルールに基づいて抽出する方法
２）トランケート前後の符号化データを比較する方法
後者の方法が有力であるのは、予めトランケートされることなくロスレスで符号化されるような場合である。階層符号化されているので、トランケート前後の符号化データ（符号量）を比較することによりトランケートされた画像の性質をつかむことができるからである。
【０１０６】
また、符号化時のトランケート情報の形態は、先に述べたように符号のヘッダに持たせても良いし、あるいは、別途記憶装置に記録しておいても、後段の画像処理において使用できる状態であればかまわない。
【０１０７】
例えば、トランケートされた情報がヘッダ情報に書き加えられる場合にあっては、符号化処理時にトランケート情報を符号のヘッダに書き込む手段が必要であり、復号（伸長）処理時にそのトランケート情報を取り出す手段が必要である。
【０１０８】
ここで、画像処理部２６における処理について、図１２に示すフローチャートを参照しつつ説明する。
【０１０９】
まず、符号化部２３における符号化処理時のトランケート情報を抽出する（ステップＳ１）。次に、復号化部２４での復号（伸長）後に、トランケート情報を基に画像処理を行う（ステップＳ２）。
【０１１０】
ここで、トランケート情報に基づく画像処理について図１３を参照しつつ詳述する。画像処理としては、まず、トランケート情報を調べる（ステップＳ１１）。次に、トランケート情報に対する対応処理方法を抽出した後（ステップＳ１２）、前記対応処理方法に基づいて画像補正する（ステップＳ１３）。
【０１１１】
これにより、削除された符号の特性を調べて情報が欠如された部分を特定し、画質劣化を予想し、当該画質劣化を防止あるいは目立たなくするような画像補正を施すことが可能になる。もちろん、このような画質向上を図るための画像処理は、高画質が要求された時にのみ処理するようにしてもかまわない。例えば、具体的な図示はしないが、デジタル複写機１が高画質モードで処理できる指定機能を持っていて、高画質モードで処理することが要求された時にだけ、このような画質向上を図るための画像処理を行うというものである。
【０１１２】
なお、トランケート情報のみならず、トランケートされた符号量やトランケートされた画像領域に基づいて画像処理を実行するようにしても良い。図１４に、トランケート情報のみならず、符号量や画像領域に基づく画像処理の流れを示す。図１４に示すように、まず、トランケート情報を調べ（ステップＳ１１）、トランケート情報に対する対応処理方法を抽出した後（ステップＳ１２）、符号量又は画像領域のいずれかを使用して画像補正する。
【０１１３】
符号量を使用する場合には（ステップＳ１４のＹ）、典型的には、符号量によって対処処理の程度を変え、画像補正する（ステップＳ１５）。例えば、トランケートされた符号量がある程度以上の場合に画像補正を行う。また、画像領域を使用する場合には（ステップＳ１４のＮ、ステップＳ１６のＹ）、典型的には、トランケートされた符号の画像領域に基づいて対処処理方法を変更し、画像補正する（ステップＳ１７）。
【０１１４】
図１５は、本発明のトランケート情報（符号化処理の際に削除された符号要素に関する情報）を使用して画像処理をするという方法を説明するための図である。画像データは符号化され、復号化された後、画像補正が施されることを示す。画像補正の際に、図１１に示したようなトランケート情報として領域、周波数成分、削減符号量、カラー情報等を使用するところに特徴がある。画像処理の画像補正の目的に対応して使用するトランケート情報の種類は異なる。トランケート情報を調べ、削除された符号要素の特性を調べることにより符号要素が削除されたために起こった画像劣化を防止するのである。
【０１１５】
ここで、図１１に示したようなトランケート情報を使用して画像補正を行う典型例について以下において説明する。
【０１１６】
１．領域毎に高周波成分がトランケート（削減）された符号量を調べ、その量に比例してエッジ強調処理を行う場合
【０１１７】
図１６に、トランケート（削減）された符号量に比例したエッジ強調処理の流れを示す。図１６に示すように、画像データが入力され（ステップＳ２１）、トランケート情報が読み込まれると（ステップＳ２２）、ステップＳ２３に進む。
【０１１８】
ステップＳ２３においては、領域毎に以下の処理を実行する。まず、高周波成分が削減された符号量を読み込む。その領域の画像に対して、“α／読み込んだ符号量”の強度を持つエッジ強調処理を施す。
【０１１９】
ステップＳ２３の処理は全領域に対して実行され、全領域の処理が完了した場合に（ステップＳ２４のＹ）、処理を終了する。
【０１２０】
なお、ここでは領域毎に符号量を調べ、その量に比例してエッジ強調処理を行うようにしたが、コンポーネント（色）毎に符号量を調べ、その量に比例してエッジ強調処理を行うようにしても良い。
【０１２１】
２．解像度レベルのトランケート（削減）量に応じて解像度補間処理を制御する場合
【０１２２】
図１７に、解像度レベルのトランケート（削減）量に応じた解像度補間処理の流れを示す。図１７に示すように、画像データが入力され（ステップＳ３１）、トランケート情報が読み込まれると（ステップＳ３２）、ステップＳ３３に進む。
【０１２３】
ステップＳ３３においては、画像全体に対して以下の処理を実行する。まず、解像度成分毎に削減された符号量を読み込む。解像度成分で削減された符号量＜予め定めた基準量の時、その解像度の解像度補間処理（その解像度のビットマップイメージを補間する処理）を施す。
【０１２４】
ステップＳ３３の処理は画像全体に対して実行され、画像全体の処理が完了した場合に（ステップＳ３４のＹ）、処理を終了する。
【０１２５】
なお、ここでは画像全体に対する解像度補間処理について説明したが、領域毎に解像度補間処理を行うようにしても良い。
【０１２６】
３．領域毎にトランケート（削減）された符号量を調べ、その量に比例してぼかしフィルタ処理を行う場合
【０１２７】
図１８に、トランケート（削減）された符号量に比例したぼかしフィルタ処理の流れを示す。図１８に示すように、画像データが入力され（ステップＳ４１）、トランケート情報が読み込まれると（ステップＳ４２）、ステップＳ４３に進む。
【０１２８】
ステップＳ４３においては、領域毎に以下の処理を実行する。まず、削減された符号量を読み込む。その領域の画像に対して、“β×削減された符号量”の強度を持つぼかしフィルタ処理を施す。すなわち、レイヤ情報によって劣化した度合いを推定し（多くのレイヤ情報がなくなった領域は劣化度合いが大きいと推定し）、劣化が大きいところにはフィルタをかけ劣化をぼかすものである。
【０１２９】
ステップＳ４３の処理は全領域に対して実行され、全領域の処理が完了した場合に（ステップＳ４４のＹ）、処理を終了する。
【０１３０】
４．色情報によって彩度が劣化した度合いを推定し、劣化が大きい場合には彩度強調処理を行う場合
【０１３１】
図１９に、色味成分がトランケート（削減）された符号量に応じた彩度強調処理の流れを示す。図１９に示すように、画像データが入力され（ステップＳ５１）、トランケート情報が読み込まれると（ステップＳ５２）、ステップＳ５３に進む。
【０１３２】
ステップＳ５３においては、画像全体に対して以下の処理を実行する。まず、色味成分が削減された符号量を読み込む。色味成分が削減された符号量＜予め定めた基準量の時、彩度強調処理を施す。
【０１３３】
ステップＳ５３の処理は画像全体に対して実行され、画像全体の処理が完了した場合に（ステップＳ５４のＹ）、処理を終了する。
【０１３４】
５．トランケート情報を使用してブロック間の連続性を損なう画像劣化を防止する場合
【０１３５】
図２０に、ブロック間フィルタ処理の流れを示す。図２０に示すように、画像データが入力され（ステップＳ６１）、ブロック毎にトランケート情報が読み込まれると（ステップＳ６２）、ステップＳ６３に進む。なお、トランケート情報以外に、トランケートされた符号量、圧縮率、量子化率などの情報を含んでいてもかまわない。
【０１３６】
ステップＳ６３においては、各ブロックに対して以下の処理を実行する。まず、各ブロック間でトランケート情報を比較する。そして、ブロック間でトランケート情報が大きく異なる時は、両者の境界領域にぼかしフィルタ処理を施す。ここで、トランケート情報の評価項目は、例えば次のような量である。
【０１３７】
１）解像度レベルのトランケート（削減）量
２）レイヤ情報によって劣化した度合い
３）色情報によって彩度が劣化した度合い
４）周波数成分特性
【０１３８】
ステップＳ６３の処理は全領域に対して実行され、全領域の処理が完了した場合に（ステップＳ６４のＹ）、処理を終了する。
【０１３９】
なお、ここでは領域毎にフィルタ処理を実行する場合について説明したが、画像全体に対してフィルタ処理を行うようにしても良い。また、ブロック間でトランケート情報の両者の差の程度に応じてフィルタの強度を変えるようにしても良い。例えば、両者の差の程度に比例してフィルタの強度を強くして境界を大きくぼかす等である。
【０１４０】
タイル境界は、高い圧縮率で画像を圧縮して伸長した時に、はっきりと見えてくる傾向にある。原因としては、２次元ウェーブレット変換処理にあると考えられる。すなわち、水平方向のローパスフィルタ／ハイパスフィルタ、垂直方向のローパスフィルタ／ハイパスフィルタが、それぞれフィルタ演算をする時、演算の対象領域が、画像データの存在しないタイルの外側にはみ出してしまうからである。この割合は、デコンポジション・レベルが深くなるに従い大きくなる。
【０１４１】
このようにJPEG2000仕様で符号化された符号化データを原画像に復号化する時に生ずるタイル（ブロック）境界の顕在化のことをタイリング境界歪みという。タイル間での画像の連続性が損なわれる画質劣化の例である。
【０１４２】
ここで、図２１はミラーリング法を用いた画素拡張の一例を示す説明図である。図２１に示すように、注目するタイル１１２のある列に「Ｒ，Ｉ，Ｃ，Ｏ，Ｈ」という文字が並んでいる場合を考える。各文字が１画素の値に対応し、最初の文字「Ｒ」がｋ番目、最後の文字「Ｈ」がｍ番目の画素であるとする。ウェーブレット変換をこのタイル１１２に対して行う時には、ｋ番目以前の画素とｍ番目以降の画素が各々数個必要になるので、図２１に示すように、ミラーリング法によってタイル境界１１２ａの外に画素を拡張する必要がある。画素１１３は拡張された画素を示している。この例に示すように、ウェーブレット変換係数を求める時に使用するローパスフィルタ／ハイパスフィルタの計算では、タイルの外側のデータが必要なのだが、その誤差がタイル境界がはっきりと見えてくる原因となっているのである。すなわち、符号が削除されることによりそれだけ誤差の影響が大きくなるため、タイル境界における境界は圧縮率が高いほど目立ちやすくなる。
【０１４３】
そこで、かかるJPEG2000におけるタイル（ブロック）境界部の画質劣化にも係り、ブロック境界周辺の符号特性（削除（トランケート）された符号の特性情報、削除された符号量、圧縮率）に基づいてブロック間で連続性が損なわれていることを推定し、ブロック間の画質の連続性に係る画質劣化を防止するようにしたものである。図２２は、本発明のトランケート情報（符号化処理の際に削除された符号要素に関する情報）を使用してブロック間の画質連続性に基づく画像処理をするという方法を説明するための図である。
【０１４４】
なお、上述した本発明は、パーサ（符号列編集装置）によりトランケート処理がなされる場合にも応用することができる。JPEG2000におけるパーサ（符号列編集装置）は、符号化データを符号レベルで加工し（符号の構成要素であるパケットのトランケーション処理をし）、別の符号化データを生成する機能を有するものである。
【０１４５】
図２３は、パーサ（符号列編集装置）５０によりトランケートする場合の画像処理部２６の機能構成を示すブロック図である。図２３に示すように、画像処理部２６は、符号化部２３で符号化処理されてパーサ（符号列編集装置）５０によりトランケート処理が実行されたトランケート情報をパーサ（符号列編集装置）５０から取得し、このトランケート情報を復号化部２４での復号（伸長）後の画像処理に使用する。典型的には、画像処理部２６は、パーサ（符号列編集装置）５０にてトランケートされた情報を抽出し、使用する構成を持つ。この場合、トランケート情報は、符号化部２３で抽出された情報を基に、パーサ（符号列編集装置）５０でのトランケート結果を追加することであってもかまわない。パーサ処理は符号レベルで実行できるため、一般に、トランケーションは高速に実現できる。
【０１４６】
先に説明したように、JPEG2000の符号化データは、符号列レベルでパケット単位で削除（トランケート）し、再構成（再符号化）することができる。また、あるパケットがトランケートされた時は、トランケートされた符号が、解像度レベルあるいはサブバンド要素、画像の矩形領域（タイル、プレシンクト）要素、コンポーネント（例えば、輝度あるいは色差）、レイヤが何であるかを特定することができる。
【０１４７】
ここで、画像処理部２６が実行する処理について、図２４に示すフローチャートを参照しつつ説明する。
【０１４８】
まず、パーサ（符号列編集装置）５０においてトランケート情報を抽出する（ステップＳ６１）。次に、復号化部２４での復号（伸長）後に、トランケート情報を基に画像処理を行う（ステップＳ６２）。トランケート情報に基づく画像処理については、図１３に示した処理と同様であるので、ここでの説明は省略する。
【０１４９】
ここに、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報が、復号後の画像処理に用いられることにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になり、トランケーションを行った符号化データに対して復号化処理を施した復号後の画像の画質劣化を防止することができる。
【０１５０】
また、転送容量制約や処理の容量制約等により符号量を減らしてトランケートされた符号の特性情報に基づいて矩形領域間の画質の連続性が判断され、この矩形領域間の画質の連続性に応じて復号後の画像処理が行われることにより、画質劣化の傾向を予め推定することが可能になり、復号（伸長）後のデータの画質補正を符号の圧縮状態に適応して（符号体系に応じた性質に応じて）有効に施すことが可能になるので、きめ細かい画質制御（画質補正）を施すことが可能になる。殊に、矩形領域毎に独立に符号化処理がなされるような場合にあって、矩形領域毎に互いに同じような傾向の符号化データが削除されていない場合には互いの矩形領域の連続性が損なわれた可能性があると推定し、この推定結果に基づいて画像補正を行うことが可能になる。
【０１５１】
ここで、画像データの矩形領域がＡ１，Ａ２であり、カラーコンポーネントがＢ１，Ｂ２，Ｂ３であり、周波数成分がＣ１，Ｃ２であり、符号が、Ａ１Ｂ１Ｃ１の値，Ａ１Ｂ１Ｃ２の値，Ａ１Ｂ２Ｃ１の値，Ａ１Ｂ２Ｃ２の値，Ａ１Ｂ３Ｃ１の値，Ａ１Ｂ３Ｃ２の値，Ａ２Ｂ１Ｃ１の値，Ａ２Ｂ１Ｃ２の値，Ａ２Ｂ２Ｃ１の値，Ａ２Ｂ２Ｃ２の値，Ａ２Ｂ３Ｃ１の値，Ａ２Ｂ３Ｃ２の値という順番に並べて符号化されている場合における処理について、具体的に説明する。このような場合において、Ａ１Ｂ３Ｃ２の値がトランケート（削除）された場合は、画像データの矩形領域がＡ１であり、カラーコンポーネントがＢ３であり、周波数成分がＣ２である符号化データが削除されたことになるため（削除された符号の特性とは、画像データの矩形領域Ａ１とか、カラーコンポーネントＢ３とか、周波数成分Ｃ２である。）、例えば、周波数成分Ｃ２を強調するとか、画像データの矩形領域Ａ１は目立たない様にするとか、削除された符号の特性によって画質劣化対応を施すことによって、画質向上が期待できる。
【０１５２】
なお、本実施の形態においては、画像処理装置としてデジタル複写機１が適用されたが、これに限るものではない。例えば、表示装置であっても良いし、プリンタやデジタルカメラ等であっても良い。
【０１５３】
[第二の実施の形態]
次に、本発明の第二の実施の形態を図２５に基づいて説明する。なお、前述した第一の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【０１５４】
第一の実施の形態においては、デジタル複写機１のように単体の機器の中で符号化処理と復号化処理とが実行される場合について説明した。本実施の形態においては、符号化データがネットワークを介して送受信されるようなシステムにおいて、符号化処理と復号化処理が別々の機器でなされるような場合について説明する。
【０１５５】
図２５は、符号化データがネットワークを介して送受信される画像処理システムにおける機能構成を示すブロック図である。図２５に示すように、トランケートに関する情報がネットワークＮを介して符号化部２３で符号化処理を行う画像サーバＳから復号化部２４で復号化処理を行う画像処理装置Ｃへ転送される構成を持つことに特徴がある。画像サーバＳにおいては、パーサ（符号列編集装置）５０によるトランケート情報を記憶装置に記録しておく。そして、トランケート情報は、画像サーバＳから画像処理装置Ｃへの転送に際し、画像処理装置Ｃの画像処理部２６が実行する画像処理において使用できる状態になるように設定される。
【０１５６】
ここで、符号化時のトランケート情報は、符号のヘッダに持たせても良い。その場合、トランケート情報は、符号化データに付加されて転送される。ヘッダは、図６の符号化データの例で示したように、符号化データの構成要素の一つとなっているものである。勿論、符号化データに書き込まれていれば、符号化データのヘッダ領域である必要もない。また、符号化時のトランケート情報は、符号列の中に記載されていてもかまわない。さらに、書き込まれ方も形式は特に規定するものではなく、電子透かし情報として書き込まれるものであったり、暗号化されていてもかまわないことは言うまでもない。
【図面の簡単な説明】
【０１５７】
【図１】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】JPEG2000のトランケーションの要素であるパケットを示す説明図である。
【図８】JPEG2000のパケット構成の例を示す説明図である。
【図９】本発明の第一の実施の形態が適用されるデジタル複写機の概略構成を示すブロック図である。
【図１０】画像処理部の機能構成を示すブロック図である。
【図１１】トランケート情報の構成を例示的に示す説明図である。
【図１２】画像処理部における処理の流れを示すフローチャートである。
【図１３】トランケート情報に基づく画像処理の流れを示すフローチャートである。
【図１４】トランケート情報のみならず、符号量や画像領域に基づく画像処理の流れを示すフローチャートである。
【図１５】トランケート情報を使用して画像処理をするという方法を説明するための図である。
【図１６】トランケートされた符号量に比例したエッジ強調処理の流れを示すフローチャートである。
【図１７】解像度レベルのトランケート量に応じた解像度補間処理の流れを示すフローチャートである。
【図１８】トランケートされた符号量に比例したぼかしフィルタ処理の流れを示すフローチャートである。
【図１９】色味成分がトランケートされた符号量に応じた彩度強調処理の流れを示すフローチャートである。
【図２０】ブロック間フィルタ処理の流れを示すフローチャートである。
【図２１】ミラーリング法を用いた画素拡張の一例を示す説明図である。
【図２２】トランケート情報を使用してブロック間の画質連続性に基づく画像処理をするという方法を説明するための図である。
【図２３】パーサによりトランケートする場合の画像処理部の機能構成を示すブロック図である。
【図２４】画像処理部における処理の流れを示すフローチャートである。
【図２５】本発明の第二の実施の形態が適用される画像処理システムの機能構成を示すブロック図である。
【符号の説明】
【０１５８】
１，Ｃ      画像処理装置
２３      符号化手段
２４      復号化手段
２６      画像処理手段
Ｎ        ネットワーク
Ｓ        画像サーバ
【図１】
2005130244.tif 000003
【図２】
2005130244.tif 000004
【図３】
2005130244.tif 000005
【図４】
2005130244.tif 000006
【図５】
2005130244.tif 000007
【図６】
2005130244.tif 000008
【図７】
2005130244.tif 000009
【図８】
2005130244.tif 000010
【図９】
2005130244.tif 000011
【図１０】
2005130244.tif 000012
【図１１】
2005130244.tif 000013
【図１２】
2005130244.tif 000014
【図１３】
2005130244.tif 000015
【図１４】
2005130244.tif 000016
【図１５】
2005130244.tif 000017
【図１６】
2005130244.tif 000018
【図１７】
2005130244.tif 000019
【図１８】
2005130244.tif 000020
【図１９】
2005130244.tif 000021
【図２０】
2005130244.tif 000022
【図２１】
2005130244.tif 000023
【図２２】
2005130244.tif 000024
【図２３】
2005130244.tif 000025
【図２４】
2005130244.tif 000026
【図２５】
2005130244.tif 000027