(57)【要約】【課題】ウェーブレット変換のように処理量の大きな周波数変換処理を含む場合、処理を簡略化しながら一定の画像品質を維持し、高速な処理が可能な画像処理装置及び画像処理方法を提供する。【解決手段】周波数変換のように処理量の大きな処理手段を、ほぼ同等の画像品質が得られる複数の処理初段を備え、処理状況等に応じて、適宜いずれか一つの処理を選択して実行する。【選択図】図５
2008228115.tif 000002
【特許請求の範囲】
【請求項１】
画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化のうちの少なくとも一つの符号化処理を行い、圧縮した符号化データを生成する符号化処理手段を備えた画像処理装置において、
前記符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、前記第一符号化処理手段と異なる計算式を用いて、前記第一符号化処理手段とほぼ同程度の符号化処理結果を得る第二符号化処理手段と、
前記第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、
前記符号化選択手段により、前記第一符号化処理手段と、前記第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする画像処理装置。
【請求項２】
画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを生成する符号化処理手段を備えた画像処理装置において、
前記符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、前記第一符号化処理手段と異なる計算式を用いて、前記第一符号化処理手段と比較して視覚的な画質がほぼ同程度の符号化処理結果を得る第二符号化処理手段と、
前記第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、
前記符号化選択手段により、前記第一符号化処理手段と、前記第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする画像処理装置。
【請求項３】
画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを生成する符号化処理手段を備えた画像処理装置において、
前記符号化処理手段は、所望の画質とほぼ同程度の符号化処理結果が得られる複数の符号化処理手段と、
前記複数の符号化処理手段のいずれか一つを選択する符号化処理選択手段と、を有し、
前記符号化選択手段により、複数の符号化処理手段のいずれかを選択し、選択した符号化処理を実施することを特徴とする画像処理装置。
【請求項４】
画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを復号する符号化処理手段を備えた画像処理装置において、
前記符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、前記第一符号化処理手段と異なる計算式を用いて、第一符号化処理手段とほぼ同程度の符号化処理結果を得る第二符号化処理手段と、
前記第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、
前記符号化選択手段により、設定した所要条件に対応して、前記第一符号化処理手段と、前記第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする画像処理装置。
【請求項５】
画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを復号する符号化処理手段を備えた画像処理装置において、
前記符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、前記第一符号化処理手段と異なる計算式を用いて、前記第一符号化処理手段と比較して視覚的な画質がほぼ同程度の符号化処理結果を得る第二符号化処理手段と、
前記第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、前記符号化選択手段により、第一符号化処理手段と、第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする画像処理装置。
【請求項６】
画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを複合する符号化処理手段を備えた画像処理装置において、
前記符号化処理手段は、所望の画質とほぼ同程度の符号化処理結果が得られる複数の符号化処理手段と、前記複数の符号化処理手段のいずれか一つを選択する符号化処理選択手段と、を有し、前記符号化選択手段により、複数の符号化処理手段のいずれかを選択し、選択した符号化処理を実施することを特徴とする画像処理装置。
【請求項７】
請求項１乃至６の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、少なくとも１回実施される符号化処理毎に、符号化処理手段を選択すること特徴とする画像処理装置。
【請求項８】
請求項１乃至７の何れか一項に記載の画像処理装置において、前記符号化処理がウェーブレット変換処理を含み、その処理に含まれる周波数変換処理が各請求項に記載されたように、ほぼ同程度の符号化処理結果を得る複数の周波数変換処理として備えられ、前記符号化処理選択手段が、これら複数の周波数変換処理の一つを選択して実行することを特徴とする画像処理装置。
【請求項９】
請求項１乃至８の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、サブバンド毎に符号化処理手段を選択すること特徴とする画像処理装置。
【請求項１０】
請求項１乃至９の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、矩形領域毎に符号化処理手段を選択すること特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、色成分毎に符号化処理手段を選択すること特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、解像度毎に符号化処理手段を選択すること特徴とする画像処理装置。
【請求項１３】
請求項1乃至１２の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、レイヤー毎に周波数変換手段を選択すること特徴とする画像処理装置。
【請求項１４】
請求項１乃至１３の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、周波数分解された画像を矩形領域に分割した領域毎に周波数変換手段を選択すること特徴とする画像処理装置。
【請求項１５】
請求項１乃至１４の何れか一項に記載の画像処理装置において、前記符号化処理選択手段は、プレシンクト毎に前記周波数変換手段を選択すること特徴とする画像処理装置。
【請求項１６】
請求項１乃至３、又は７乃至１５の何れか一項に記載の画像処理装置によって、複数の画像データからなる動画像データの圧縮データを生成する画像処理装置において、前記符号化処理選択手段は、フレーム毎に前記符号化処理手段もしくは周波数変換手段を選択すること特徴とする画像処理装置。
【請求項１７】
請求項４乃至１５の何れか一項に記載の画像処理装置によって、複数の画像データからなる動画像データの圧縮データを復号する画像処理装置において、前記符号化処理選択手段は、フレーム毎に前記符号化処理手段もしくは周波数変換手段を選択すること特徴とする画像処理装置。
【請求項１８】
請求項１乃至１７の何れか一項に記載の画像処理装置において、生成する符号はＪＰＥＧ２０００方式に準拠したものであることを特徴とする画像処理装置。
【請求項１９】
請求項１乃至１８の何れか一項に記載の画像処理装置において実現される画像処理方法。
【請求項２０】
請求項１９記載の画像処理方法を実現するコンピュータプログラム。
【請求項２１】
請求項２０記載のコンピュータプログラムを記憶した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、詳しくは、画像圧縮装置、画像伸張装置、画像圧縮伸張装置、画像圧縮方法、画像伸張方法、画像圧縮伸張方法、プログラム、及びそれらを記憶したコンピュータが読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、複写機、スキャナー、プリンタ、デジタルカメラ、各種コンピュータ機器を始めとして、各種の生活用品に画像処置技術が多用されるようになった。例えば、デジタルカメラを例にすれば、高性能な電荷結合素子（ＣＣＤ）の低価格化が進み、１０００万画素数を越える製品も出回るようになり、また、更に大容量のメモリ装置の小型化低価格化が進み、携帯型の画像処理装置も普及するようになった。特に、パーソナルコンピュータ（ＰＣ）やインターネットを始めとするネットワーク関連技術の発達により、高画質の動画や高速連写画像信号の伝送や表示・蓄積も頻繁に行なわれている。更に、携帯電話やノートパソコンを始めとするモバイル機器にも同様の機能が備えられるようになり、比較的小容量のバッテリィで、長時間使用が可能なように、画像処理においても消費電力の低減が求められている。
こうした事情を背景に、画像圧縮／伸長技術に対する高性能化及び高速処理化の要求は、ますます高まっている。
このような画像圧縮／伸長アルゴリズムとしては、現在、ＭＰＥＧ（Motion Photographic Experts Group）やＪＰＥＧ（Joint Photographic Experts Group）等の符号化圧縮／伸張技術（あるいは画像符号化／復号化技術、以下、それらを総称して画像符号化技術、あるいは画像符号化処理と云う）が標準化されており、また、２００１年に国際標準としてＪＰＥＧ２０００が規格化された。
【０００３】
ＪＰＥＧ２０００は、ＪＰＥＧよりも更に高性能なアルゴリズムを有し、並行して大幅な多機能を導入したもので、ＪＰＥＧ後継の次世代の高精細画像圧縮／伸長フォーマットとして、期待されている。
しかし、ＪＰＥＧ２０００は、画像信号を周波数に分解する場合に、ウェーブレット変換技術を使用する関係上、処理量が大きくなり、迅速な処理が困難となる場合があった。
これに対応する手段として、例えば、特許文献１に記載されているように、動画をフレームベースで符号化する際、規定時間内に所要データの処理が完了しない場合に、そのフレームの残存する処理を、簡略化した処理に切換えて処理する方法が提案されている。この方法によって、規定時間内に夫々のフレームについて一応の画像処理が完了すれば、コマ落ち等の著しい画像劣化の発生を回避することが可能である。
【特許文献１】特許第３５４８１６３号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているような従来の画像処理方法では一応のフレーム毎の画像符号化処理は可能であるものの、画質への影響が避け得ないものであった。即ち、特許文献１には、解像度レベルでの制御、ビットプレーン単位での制御が開示されているが、より細かい制御、特に画質への影響は考慮されていなかった。
本発明は、従来の画像符号化処理に関する事情に鑑みてなされたものであって、例えばウェーブレット変換のように処理量の大きな周波数変換処理を含む場合であっても、その処理を簡略化しつつ、ほぼ画質が等しい処理結果が得られる複数の処理手段を選択可能にすることによって、一定の画像品質を維持しながら、高速な処理が可能な画像処理装置及び画像処理方法を提供することを目的としたものである。
【課題を解決するための手段】
【０００５】
上述した目的を達成するため、本発明では、請求項１記載の画像処理装置では、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを生成する符号化処理手段を備えた画像処理装置において、符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、第一符号化処理手段と異なる計算式を用いて、第一符号化処理手段とほぼ同程度の符号化処理結果を得る第二符号化処理手段と、第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、上記符号化選択手段により、第一符号化処理手段と、第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする。
即ち、ＪＰＥＧ２０００を例にすれば、標準の画質を下げ、処理速度を上げる方法としては、（１）ビットプレーンを減らす（量子化、低ビット破棄）（１）解像度を下げる、（３）色種や階調数を減らす、（４）計算精度を落とす、等が考えられるが、本発明では、これらの方法に加え、更に、画像データの周波数変換処理の特徴を利用して、処理速度の向上や、画質の低下を抑えつつ処理速度を向上させる方法を実現するものである。例えば、ウェーブレット変換において、使用するウェーブレット係数が９タップの場合、端の係数ほどエネルギーの集中が小さく、その部分の画質への寄与が小さいことが知られている。そこで、必要に応じて、それらの係数（端の係数）に関する部分の処理を省略することによって処理量を減らし、大きな画質への影響が生じることなく迅速な画像符号化処理を可能にしたものである。更に、省略する係数の数を選択・制御することにより、標準で用意されている処理速度に加え、状況に対応した細かい制御が可能となる。
【０００６】
以下の請求項記載の発明についても、同様の考え方に基づいたものである。
即ち、請求項２記載の画像処理装置は、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを生成する符号化処理手段を備えた画像処理装置において、上記符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、第一符号化処理手段と異なる計算式を用いて、第一符号化処理手段と比較して視覚的な画質がほぼ同程度の符号化処理結果を得る第二符号化処理手段と、第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、前記符号化選択手段により、第一符号化処理手段と、第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする。
請求項３記載の画像処理装置は、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを生成化する符号化処理手段を備えた画像処理装置において、上記符号化処理手段は、所望の画質とほぼ同程度の符号化処理結果が得られる複数の符号化処理手段と、複数の符号化処理手段のいずれか一つを選択する符号化処理選択手段と、を有し、上記符号化選択手段により、複数の符号化処理手段のいずれかを選択し、選択した符号化処理を実施することを特徴とする。
【０００７】
請求項４記載の画像処理装置は、復号化処理に関するもので、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを復号する符号化処理手段を備えた画像処理装置において、上記符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、第一符号化処理手段と異なる計算式を用いて、第一符号化処理手段とほぼ同程度の符号化処理結果を得る第二符号化処理手段と、第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、上記符号化選択手段により、第一符号化処理手段と、第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする。
請求項５記載の画像処理装置は、復号化処理に関するもので、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを復号する符号化処理手段を備えた画像処理装置において、上記符号化処理手段は、第一の符号化処理を実施する第一符号化処理手段と、第一符号化処理手段と異なる計算式を用いて、第一符号化処理手段と比較して視覚的な画質がほぼ同程度の符号化処理結果を得る第二符号化処理手段と、第一符号化処理手段と第二符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を有し、上記符号化選択手段により、第一符号化処理手段と、第二符号化処理手段を選択し、選択した符号化処理を実施することを特徴とする。
【０００８】
請求項６記載の画像処理装置は、復号化処理に関するもので、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化の少なくとも一つの符号化処理を行い、圧縮した符号化データを複合する符号化処理手段を備えた画像処理装置において、上記符号化処理手段は、所望の画質とほぼ同程度の符号化処理結果が得られる複数の符号化処理手段と、上記複数の符号化処理手段のいずれか一つを選択する符号化処理選択手段と、を有し、前記符号化選択手段により、複数の符号化処理手段のいずれかを選択し、選択した符号化処理を実施することを特徴とする。
請求項７記載の発明は、請求項１乃至６の何れか一項に記載の画像処理装置において、上記符号化処理選択手段は、少なくとも１回実施される符号化処理毎に、符号化処理手段を選択すること特徴とする。
請求項８記載の発明は、請求項１乃至７の何れか一項に記載の画像処理装置において、上記符号化処理がウェーブレット変換処理を含み、その処理に含まれる周波数変換処理が各請求項に記載されたように、ほぼ同程度の符号化処理結果を得る複数の周波数変換処理として備えられ、上記符号化処理選択手段が、これら複数の周波数変換処理の一つを選択して実行することを特徴とする。
【０００９】
請求項９記載の発明は、請求項１乃至８記載の画像処理装置において、上記符号化処理選択手段は、サブバンド毎に符号化処理手段を選択すること特徴とする。
請求項１０記載の発明は、請求項１乃至９の何れか一項に記載の画像処理装置において、上記符号化処理選択手段は、矩形領域毎に符号化処理手段を選択すること特徴とする。
請求項１１記載の発明は、請求項１乃至１０の何れか一項に記載の画像処理装置において、上記符号化処理選択手段は、色成分毎に符号化処理手段を選択すること特徴とする。
請求項１２記載の発明は、請求項１乃至１１の何れか一項に記載の画像処理装置において、上記符号化処理選択手段は、解像度毎に符号化処理手段を選択すること特徴とする。
請求項１３記載の発明は、請求項１乃至１２の何れか一項に記載の画像処理装置において、上記符号化処理選択手段は、レイヤー毎に周波数変換手段を選択すること特徴とする。
請求項１４記載の発明は、請求項１乃至１３の何れか一項に記載の画像処理装置において、上記符号化処理選択手段は、周波数分解された画像を矩形領域に分割した各領域毎に周波数変換手段を選択すること特徴とする。
請求項１５記載の発明は、請求項１乃至１４の何れか一項に記載の画像処理装置において、上記符号化処理選択手段は、プレシンクト毎に前記周波数変換手段を選択すること特徴とする。
【００１０】
請求項１６記載の発明は、請求項１乃至３、又は、７乃至１５の何れか一項の画像処理装置によって、複数の画像データからなる動画像データの圧縮データを生成する画像処理装置において、上記符号化処理選択手段は、フレーム毎に符号化処理手段もしくは周波数変換手段を選択すること特徴とする。
請求項１７記載の発明は、請求項４乃至１５の何れか一項に記載の画像処理装置によって、複数の画像データからなる動画像データの圧縮データを復号する画像処理装置において、上記符号化処理選択手段は、フレーム毎に上記符号化処理手段もしくは周波数変換手段を選択すること特徴とする。
請求項１８記載の発明は、請求項１乃至１７の何れか一項に記載の画像処理装置において、生成する符号はＪＰＥＧ２０００方式であることを特徴とする。
請求項１９記載の発明は画像処理方法に関するものであって、請求項１乃至１８の何れか一項に記載の画像処理装置において実現される画像処理方法であることを特徴とする。
請求項２０記載の発明はコンピュータプログラムに関するものであり、請求項１９記載の画像処理方法を実現するものであることを特徴とする。
請求項２１記載の発明は記録媒体であり、請求項２０記載の画像処理方法を実現するプログラムを記憶したことを特徴とする。
【発明の効果】
【００１１】
本発明は上述したように構成し又は処理するので、夫々以下のような効果が得られる。
先ず、請求項１記載の画像処理装置では、画像データ圧縮／伸張処理を行なう際の画像処理として、第一の符号化処理手段と、その処理手段と異なる計算式を用いて、ほぼ同程度の符号化処理結果を得る第二符号化処理手段と、上記二つの符号化処理手段のいずれか一方を選択する符号化処理選択手段と、を備えることによって、所要条件に対応して、第一符号化処理手段と、第二符号化処理手段を選択して符号化処理を実施するので、上記二つの符号化処理手段として、処理演算量や処理速度が異なるが、両者ともほぼ同様の画質を得られる処理を設定するとともに、適宜、処理状況に対応して二つの処理を切換えて実施することによって、画質を大幅に損なうことなく迅速な画像処理が可能となる。
即ち、処理速度を上げる方法としては、（１）ビットプレーンを減らす（量子化、低ビット破棄）（１）解像度を下げる、（３）色種や階調数を減らす、（４）計算精度を落とす等の他に、例えば、ウェーブレット変換において、ウェーブレット係数のうち、端の係数に関する部分の処理を省略することによって処理量を減らした処理を選択する。また、これらの省略する係数の数を選択・制御することにより、標準で用意されている処理速度に加え、更に、状況に対応した細かい制御が可能となる。
【００１２】
請求項２記載の画像処理装置は、第一、第二の二つの符号化処理手段は、ともに視覚的な画質がほぼ同程度の符号化処理結果を得るように設定したので、両者ともほぼ同様の画質を得られる処理となり、適宜、処理状況に対応して切換えることによって、画質を大幅に損なうことなく、迅速な画像処理が可能となる。
請求項３記載の画像処理装置は、符号化処理手段として、所望の画質とほぼ同程度の符号化処理結果が得られる複数の符号化処理手段を備え、複数の符号化処理手段のいずれかを選択するので、選択し得る処理の種類が多く設定できる。従って、処理対象画像や状況に応じて適宜、最適な処理を選択することによって、画質を大幅に損なうことなく、更に迅速な画像処理が可能となる。
請求項４乃至６記載の画像処理装置は、上述した請求項１乃至３に対応する復号化処理に関するもので、画像処理装置の復号処理において、既に説明したように請求項１乃至３記載の発明と同様の効果を得ることが可能である。
なお、復号化処理に関する発明において符号化処理というとき、画像データを圧縮する符号化処理（符号圧縮処理）と、それを伸張（逆変換処理）する復号化処理（符号伸張処理）の両者を含むものとする。従って、本発明の復号処理において複数備える符号化処理は、符号化処理（符号圧縮処理）と伸張（逆変換処理）のいずれであってもよく、復号対象の画像データ圧縮処理が、本発明に基づいて圧縮されたもの、あるいは、復号化処理において、複数の復号化処理を備え、それらを選択する場合も含んでいるものとする。
【００１３】
請求項７記載の発明は、請求項１乃至６記載の画像処理装置において、符号化処理選択手段は、少なくとも１回実施される符号化処理毎に符号化処理手段を選択するので、処理対象画像や処理状況に応じて、細かな制御が可能である。
請求項８記載の発明は、請求項１乃至７記載の画像処理装置において、符号化処理がウェーブレット変換処理を含む場合、その周波数変換処理を、各請求項に記載されたように、ほぼ同程度の符号化処理結果を得る複数の周波数変換処理として備えたものであるので、ウェーブレット変換の特徴を生かして、処理対象画像や状況に応じて適宜、最適な周波数変換処理を選択することによって、画質を大幅に損なうことなく、更に迅速な画像処理が可能となる。
請求項９記載の発明は、請求項１乃至８記載の画像処理装置において、符号化処理選択手段は、サブバンド毎に符号化処理手段を選択するので、サブバンド毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、画質と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
【００１４】
請求項１０記載の発明は、請求項１乃至９記載の画像処理装置において、上記符号化処理選択手段は、矩形領域毎に符号化処理手段を選択するので、矩形領域毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、画質と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
請求項１１記載の発明は、請求項１乃至１０記載の画像処理装置において、符号化処理選択手段は、色成分毎に符号化処理手段を選択するので、色成分毎処理対象画像や処理状況に応じて、細かな制御が可能である。また、色画質と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
請求項１２記載の発明は、請求項１乃至１１記載の画像処理装置において、上記符号化処理選択手段は、解像度毎に符号化処理手段を選択するので、解像度毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、解像度と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
【００１５】
請求項１３記載の発明は、請求項１乃至１２記載の画像処理装置において、符号化処理選択手段は、レイヤー毎に周波数変換手段を選択するので、レイヤー毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、画質と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
請求項１４記載の発明は、請求項１乃至１３記載の画像処理装置において、符号化処理選択手段は、周波数分解された画像を矩形領域に分割した領域毎に周波数変換手段を選択するので、領域毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、画質と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
請求項１５記載の発明は、請求項１乃至１４記載の画像処理装置において、符号化処理選択手段は、プレシンクト毎に前記周波数変換手段を選択するので、プレシンクト毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、画質と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
【００１６】
請求項１６記載の発明は、請求項１乃至３、又は、７乃至１５の画像処理装置によって、複数の画像データからなる動画像データの圧縮データを生成する画像処理装置において、前記符号化処理選択手段は、フレーム毎に前記符号化処理手段もしくは周波数変換手段を選択するので、フレーム毎に処理対象画像や処理状況に応じて、細かな制御が可能である。なお、本発明において動画には、連写した静止画像も含まれるものとする。
請求項１７記載の発明は、請求項４乃至１５記載の画像処理装置によって、複数の画像データからなる動画像データの圧縮データを復号する画像処理装置において、前記符号化処理選択手段は、フレーム毎に上記符号化処理手段もしくは周波数変換手段を選択するので、フレーム毎に復号化処理における処理対象画像や処理状況に応じて、細かな制御が可能である。また、画質と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
【００１７】
請求項１８記載の発明は、請求項１乃至１７記載の画像処理装置において、生成する符号はＪＰＥＧ２０００方式であるので、近年、標準仕様となって広く使用される画像符号化処理に本発明を適用することが可能となる。
請求項１９記載の画像処理方法、及び、それをプログラムとして構成した請求項２０記載では、請求項１乃至１８記載の画像処理装置において実現される画像処理方法であるので、本発明の各請求項に示した画像処理装置を、処理手順として実現可能となり、これらの処理手順を実行するようにフトウエア手段によるプログラムを作成することにより、ＣＰＵや所要のメモリを備えたコンピュータ機能を持った電子機器に、ソフトウエアをインストールすることによって、本発明が実現可能となる。
請求項２１記載の発明は、請求項２０記載の画像処理方法を実現したコンピュータプログラムを、ＦＤ、ＲＯＭ、ＲＡＭ等の記憶媒体に記憶したので、これら記憶媒体を持ち運ぶことにより、又は、これらの記憶媒体を流通させ、コンピュータ機能を備えた電子機器に装着して内蔵するプログラムやデータを読み込ませることが可能となり、本発明を広く普及させる上で便利である。なお、各種通信手段を利用して、本発明に係るプログラムやデータを伝送して、電子機器にインストールし、若しくは、記録媒体に読み込ませることも可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を図示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明に係る画像処理装置の一実施態様例を示す要部ブロック図である。この例に示す画像処理装置は、ＣＰＵ１００、メモリ１０２、ディスプレイ装置１０４、ハードディスク等の補助記憶装置１０６、キーボードやポインティングデバイスなどの入力装置１０８、通信インターフェース１１０、入出力インターフェース１１２、各種記録媒体（磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など）の読み書きのための記憶媒体ドライブ装置１１４等を備え、それらの各ブロックがシステムバス１１６を介して相互接続されたものである。なお、このような構成は、一般的なパーソナル・コンピュータ（ＰＣ）が備えている構成であるので、そのような機能をもった電子装置に、以下詳細に説明するような機能を実行するプログラム等のソフトウエアをインストールすることによって、本発明を実現することができる。
【００１９】
先ず、以下に詳細に説明する（請求項１乃至１８又は請求項２０に記載した）本発明に係る画像処理を実施するためのプログラム１２０（以下、画像処理プログラムと称する）が、それが記録された記録媒体を記録媒体ドライブ装置１１４に装着して読み込まれ、あるいは通信ネットワーク等を介して受信し、通信インターフェース１１０を介して装置内に取り込まれ、補助記憶装置１０６に格納されている。
その状態において画像処理装置が起動されると、画像処理プログラム１２０は、補助記憶装置１０６よりメモリ１０２にロードされるとともに、プログラムに基づいてＣＰＵ１００が制御され、コンピュータ機能によって本発明の画像処理装置又は画像処理方法が実行される。なお、携帯情報端末等の機器では、画像処理プログラム１２０はＲＯＭの形で実装されることや、無線回線を介して取得することもあり、このような態様も本発明に含まれる。また、画像処理プログラム１２０と、これが記録された各種記録媒体（上記ＲＯＭなどの半導体記憶素子も含む）、画像処理プログラム１２０によりコンピュータ上で実現される画像処理装置も、本実施形態に包含される。
処理対象となる静止画像信号又は動画像信号の符号化データは、例えば、ネットワーク上のサーバー等から通信インターフェース１１０を通じて取り込まれ、又は、入出力インターフェース１１２に接続された記憶装置やデジタルカメラ等の画像入力装置から取り込まれ、あるいは、補助記憶装置１０６より取り込まれて処理される。
【００２０】
１つの典型的な実施態様によれば、画像処理プログラム１２０は、ビューア、ブラウザなどと呼ばれる静止画又は動画閲覧のためのプログラム１２２（以下、ビューア／ブラウザと称する）と連携して動作する場合が一般であるが、ビューア／ブラウザ１２２と画像処理プログラム１２０とを統合することも可能であり、そのような統合された形のプログラム、及びそれが記録された記録媒体、同プログラムによりコンピュータ上で実現される画像処理システムも本実施形態に包含される。
ビューア／ブラウザ１２２は、ディスプレイ装置１０４の画面上に、例えば、画像表示ウィンドウを開き、そこに動画又は静止画を表示させ、また、画面領域要所に設けたコントロール領域には、ユーザが各種の指定を行うためのボタンやスライドバーなどを表示することもできる。通常、表示させる画像の指定（ファイル名やＵＲＬの指定）の他、ユーザ入力装置１０８に含まれるマウスなどのポインティングデバイスの操作により、画像表示ウィンドウの縦横サイズの指定／変更、画像の表示倍率の指定／変更、画像表示ウィンドウより大きな画像のスクロール、特定領域（位置）の指定／変更等の制御が可能である。
画像表示ウィンドウの縦横サイズ、画像表示倍率、画像の領域の位置等の条件は画像処理プログラム１２０、又は、ＣＰＵ１００を含む図示を省略した制御部（例えば、後述する図５の制御部５２）に通知される。また、コントロール領域に表示されたボタンやスライドバー等により、動画又は静止画に関する様々な条件の指定を行うことができる。ビューア／ブラウザ１２２は、このような解像度、画質、色成分、位置、重要領域、フレームレート、符号量、処理時間等に関わる諸条件を画像処理プログラム１２０又は、図示を省略した制御部（例えば、後述する図５の制御部５２）に通知する機能を備えている。
【００２１】
以下、画像処理の具体的な処理例について、説明する。図１に示す画像処理プログラム１２０は、その符号／復号処理能力や画像表示ウィンドウのサイズ等々の条件に応じて、あるいはユーザの指示操作（意向）に基づいて静止画又は動画を表示できる。処理対象の静止画又は動画像、又はその符号化データを選択的に復号して画像データを再生し、この画像データをビューア／ブラウザ１２２が画像表示ウィンドウに表示させる。このように、符号化データの符号の選択的な復号処理は画像処理プログラム１２０で行われるが、ディスプレイ装置１０４の画面への画像表示の制御はビューア／ブラウザ１２２により行われる。
以下、具体的な処理フローについて説明する。
図２は、本発明に係る画像処理方法を、ＪＰＥＧ２０００のアルゴリズムに対応して実施する場合の処理手順の概要を示す処理ブロック図であり、各ブロックは、符号化処理（圧縮化処理）と復号化処理（伸張処理）とを夫々逆処理する機能をもったブロックとして記載しており、符号化処理（圧縮化処理）の場合は、図２の図面左から右方向に順番に処理し、復号化処理（伸張処理）の場合は、図面の右側方から、左方向に図面の括弧内の処理機能が順番に処理されることになる。
図２を用いて、具体的な処理手順について説明する。なお、この例に示す実施例においては、ＪＰＥＧ２０００の静止画符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データを対象とするが、本発明はこれに限定されるものではない。
周知のとおり、ＪＰＥＧ２０００では、画像を矩形領域（以後タイル）に分割し、タイル毎に独立に符号化処理が行われるが、各タイルは、図２に示すように、画像データ圧縮時（符号化時）には、色空間変換、ウェーブレット変換、量子化、エントロピー符号化、タグ処理の順番で符号化を行ない、夫々の処理機能をもった色空間変換部１、ウェーブレット変換部２、量子化部３、エントロピー符号化部４、タグ処理部５によって夫々符号化が行なわれる。なお、実際の処理は、一般的にはＣＰＵやＤＳＰ等によって処理されるので、図示したように明確に機能ブロックが区別されるものに限定されない。
【００２２】
次に、具体的な処理の例について説明する。請求項１〜１９に係る発明は、パソコンなどの汎用コンピュータや、画像表示機能を有する携帯情報端末、携帯電話等の情報処理機器の内蔵マイクロコンピュータにおいてプログラムの形で実現されるのが、一つの典型的な態様である。
［実施例１］
図３は、本発明に基づく静止画像の符号化処理の一例を示す画像処理プログラム１２０の概略処理フローチャートである（請求項１、他）。即ち、この例は、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化等のいずれかの符号化処理を用いて圧縮する符号化処理手段を備えた画像処理装置及び処理に関する処理であり、この例では符号処理手段として、第一の符号化処理（第一符号化処理）と、それと異なる計算式を用い、第一符号化処理とほぼ同程度の復号処理結果を得る第二の符号化処理（第二符号化処理）と、これらの「第一復号化処理」、又は「第二復号化処理」の一方を選択する符号化処理選択処理と、選択した符号化処理によって、符号化処理を実行するものである。
以下、図３に示した処理フローに沿って、各ステップ番号（ＳＴＥＰ  Ｎｏ．）を参照しながら説明するが、説明を簡便にするため、本発明に係るパラメータの設定に関連する部分についてのみ説明する。
【００２３】
（ＳＴＥＰ１）
ユーザの設定情報の参照、デフォルト設定、符号化パラメータや符号化条件を設定する。例えば、処理中の画像のタイル番号Ｔ１、解像度レベルＲ、プレシンクトＴ２、色成分Ｃ、レイヤー番号Ｌ、の夫々を初期値に設定する。更に、夫々のパラメータについて、より具体的な設定値として、例えば表−１に示すように、解像度分割レベル数ＲＭ、色成分数ＣＭ、プレシンクト分割数ＰＭ、レイヤー数ＬＭ等を、タイル番号Ｔ、ＲＭ、ＣＭ、ＰＭ、ＬＭの組み合わせ態様により、選択する「第一符号処理手段」、または、「第二符号化処理手段」の関係をリストなどにより記録しておく。
［表１］  符号化処理手段リスト
2008228115.tif 000003
なお、ここでは、使用する符号化処理手段の全組み合わせについて、選択すべき符号化処理手段が判別できればよく、パラメータと符号化処理手段のすべての組み合わせに対するリストに用意する必要はない。
簡単な、符号化処理手段の選択が、１つのパラメータのみで決定される場合は、1次元のリスト、乃至は、配列、関数などでもよく、符号化処理手段の選択を決定するパラメータの変化によって、記録方法は種々のものが多数考えられる。また、符号化処理手段の選択方法は、複数用意される符号化処理手段毎に、画質、速度の性能差があるため、画質優先、速度優先、又は、解像度優先、輝度優先など、所望の画質が選択できるように、優先順序と性能とから、選択することも一つの方法である。
なお、符号化処理を開始する前に、最適の符号化処理を選択することが困難な場合が多いので、動画像等においては、処理中の前のフレームあるいは、過去のフレーム処理時間との状況に基づいて、符号化処理手段の選択を途中で変更することも可能である。
【００２４】
以下、上述した処理例に従って、例えば、以下のように処理を行なう。
（ＳＴＥＰ２）：符号化対象画像データの読み込みを行う。なお、本ステップは、後述するＳＴＥＰ９、ＳＴＥＰ１０の時点で実施してもよいし、特定のサイズ毎に、分割して符号処理の前に実施してもよい。
（ＳＴＥＰ３）：符号化処理タイル数Ｔ１に達したか判断し、達した場合は（Ｔ１＝ＴＭでＮｏの場合）ＥＮＤへ、未達の場合（Ｔ１＜ＴＭでＹｅｓの場合）は、次の処理ＳＴＥＰ４へ移行する。
（ＳＴＥＰ４）：解像度レベル数ＲＭに達したか判断し、達した場合は（Ｒ＝ＲＭでＮｏの場合）ＳＴＥＰ１１へ、未達の場合（Ｒ＜ＲＭでＹｅｓの場合）はＳＴＥＰ５に移行する。
（ＳＴＥＰ５）：プレシンクト数ＰＭに達したか判断し、達した場合（Ｔ２＝ＰＭでＮｏの場合）はＳＴＥＰ１２へ、未達の場合（Ｔ２＜ＰＭでＹｅｓの場合）はＳＴＥＰ６に移行する。
（ＳＴＥＰ６）：色成分数ＣＭに達したか判断し、達した場合（Ｃ＝ＣＭでＮｏでＮｏの場合）はＳＴＥＰ１３へ、未達の場合（Ｃ＜ＣＭでＹｅｓの場合）はＳＴＥＰ７に移行する。
（ＳＴＥＰ７）：レイヤー数ＬＭに達したか判断し、達した場合（Ｌ＝ＬＭでＮｏでＮｏの場合）はＳＴＥＰ１４へ、未達の場合（Ｌ＜ＬＭでＹｅｓの場合）はＳＴＥＰ８に移行する。
【００２５】
（ＳＴＥＰ８）：Ｔ、ＴＭ、ＣＭ、ＰＭ、ＬＭの組み合わせより、使用する符号化処理手段を決定する。符号化処理手段１の場合はＳＴＥＰ９へ、符号化処理手段２の場合はＳＴＥＰ１０に移行する。
（ＳＴＥＰ９）：符号化処理手段１を用いた符号化処理を実行し、ＳＴＥＰ１５へ。
（ＳＴＥＰ１０）：符号化処理手段２を用いた符号化処理を実行し、ＳＴＥＰ１５へ。
（ＳＴＥＰ１１）:解像度レベルＲを初期値Ｒ０に、タイル番号Ｔ１を１つインクリメントする。
（ＳＴＥＰ１２）:プレシンクト番号Ｔ２を初期値Ｐ０に、解像度レベルＲを１つインクリメントする。
（ＳＴＥＰ１３）:色成分番号Ｃを初期値Ｃ０に、プレシンクト番号Ｔ２を１つインクリメントする。
（ＳＴＥＰ１４）:レイヤー番号Ｌを初期値Ｌ０に、色成分番号Ｃを１つインクリメントする。
（ＳＴＥＰ１５）:レイヤー番号Ｌを１つインクリメントして、ＳＴＥＰ７に戻る。なお、符号化した後のデータは、フローの所要部からメモリ等に出力されるが、部分的に符号化したデータは、全ての画像信号について符号化が終了するまで、一時的にメモリ等に記憶しておく。
【００２６】
［復号化処理の例］
次に、復号処理手段について示す。復号処理手段は、図２を図面右側から、左側方向の処理手順を実施するもので、タグ処理、エントロピー復号、逆量子化、ウェーブレット逆変換、色逆変換を実施する。復号処理手段は、少なくとも２つ用意され、ＳＴＥＰ１０８で選択的に適した復号処理手段が用いられる。複数備える各復号処理手段は、ウェーブレット逆変換が異なっており、そのいくつかの例を次に示すので、これらのなかから二つ以上を用いることができるが、本発明はこの例に限るものではない。
［ウェーブレット変換実施形態１］
ＪＰＥＧ２０００標準規定の９ｘ７ウェーブレット逆変換であり、以下の計算式により、逆変換実施する。
Ｘ（２ｎ）＝ＫＹ（２ｎ）                            （ＳＴＥＰ２１）
Ｘ（２ｎ＋１）＝（１／Ｋ）Ｙ（２ｎ＋１）            （ＳＴＥＰ２２）
Ｘ（２ｎ）＝Ｘ（２ｎ）−δ（Ｘ（２ｎ−１）＋Ｘ（２ｎ＋１））    （ＳＴＥＰ２３）
Ｘ（２ｎ＋１）＝Ｘ（２ｎ＋１）−γ（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））      （ＳＴＥＰ２４）
Ｘ（２ｎ）＝Ｘ（２ｎ）−β（Ｘ（２ｎ−１）＋Ｘ（２ｎ＋１））    （ＳＴＥＰ２５）
Ｘ（２ｎ＋１）＝Ｘ（２ｎ＋１）−α（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））      （ＳＴＥＰ２６）
なお、式中のパラメータは、発明の本質とは直接関係がないので、説明を省略する。
【００２７】
［ウェーブレット変換実施形態２］
実施形態１と等しい結果を得るために、例えば、実施例１と異なる次の計算式を用いることができる。
Ｘ（２ｎ）＝Ｌ３・Ｙ（２ｎ−３）＋Ｌ２・Ｙ（２ｎ−２）＋Ｌ１・Ｙ（２ｎ−１）＋Ｌ０・Ｙ（２ｎ）＋Ｌ１・Ｙ（２ｎ＋１）＋Ｌ２・Ｙ（２ｎ＋２）＋Ｌ３・Ｙ（２ｎ＋３）Ｘ（２ｎ＋１）＝Ｈ４・Ｙ（２ｎ−３）＋Ｈ３・Ｙ（２ｎ−２）＋Ｈ２・Ｙ（２ｎ−１）＋Ｈ１・Ｙ（２ｎ）＋Ｈ０・Ｙ（２ｎ＋１）＋Ｈ１・Ｙ（２ｎ＋２）＋Ｈ２・Ｙ（２ｎ＋３）＋Ｈ３・Ｙ（２ｎ＋４）＋Ｈ４・Ｙ（２ｎ＋５）
ただし、計算精度などの問題により、等価な式であっても計算結果が異なることもある。
［ウェーブレット変換実施形態３］
実施形態１の計算式を簡略化したもので、計算結果は異なる。視覚的な劣化を許容すれば、処理速度を向上する面から、多数の実施形態が考えられる。
この実施例では、処理の高速化を優先するために、高周波成分Ｙを０とみなした処理の実施例である。
また、すべての高周波係数を０とせず、０とする係数を選択し、画質劣化をある程度抑える方法も可能である。
Ｘ（２ｎ）＝ＫＹ（２ｎ）          （ＳＴＥＰ３３）
Ｘ（２ｎ＋１）＝Ｘ（２ｎ＋１）−γ（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））      （ＳＴＥＰ３４）
Ｘ（２ｎ）＝Ｘ（２ｎ）−β（Ｘ（２ｎ−１）＋Ｘ（２ｎ＋１））    （ＳＴＥＰ３５）
Ｘ（２ｎ＋１）＝Ｘ（２ｎ＋１）−α（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））      （ＳＴＥＰ３６）
【００２８】
［ウェーブレット変換実施形態４ａ］
実施形態２の計算式を簡略化したもので、計算結果は異なるものとなる。
視覚的な劣化と、処理速度の面から、多数の実施形態が考えられるが、この実施例では、高速化のため、ウェーブレット変換実施形態２の式において、Ｘ（２ｎ＋１）の値を計算する際、高周波成分Ｈ４・Ｙ（２ｎ−３）、Ｈ４・Ｙ（２ｎ＋５）、Ｌ３・Ｙ（２ｎ−３）、Ｌ３・Ｙ（２ｎ＋３）を０とみなした実施例である。
Ｘ（２ｎ）＝Ｌ２・Ｙ（２ｎ−２）＋Ｌ０・Ｙ（２ｎ）＋Ｌ２・Ｙ（２ｎ＋２）＝Ｌ２・（Ｙ（２ｎ−２）＋Ｙ（２ｎ＋２））＋Ｌ０・Ｙ（２ｎ）
Ｘ（２ｎ＋１）＝Ｈ３・Ｙ（２ｎ−２）＋Ｈ１・Ｙ（２ｎ）＋Ｈ１・Ｙ（２ｎ＋２）＋  Ｈ３・Ｙ（２ｎ＋４）＝Ｈ３・（Ｙ（２ｎ−２）＋Ｙ（２ｎ＋４））＋Ｈ１・（Ｙ（２ｎ）＋Ｙ（２ｎ＋２））
また、０とする高周波係数を増やすほど、処理速度は向上するが、画質が劣化する。そこで、画質劣化を極力抑え、高速化を実現するには、計算対象とする位置から離れた係数から順番に、省略していくことが画質を同一に保つ上で肝要である。更には、高周波と、低周波を別々に制御し、かつ、係数の端からいくつ処理を省略するかを選定制御することにより、処理の速度化と画質維持の制御の組み合わせを設定すれば、極めて多くの選択幅が確保可能である。
高周波係数を選択的に０にする場合の他の実施形態を示す。
［ウェーブレット変換実施形態４ｂ］
ここでは、高周波の両端の係数のみ省略している。
Ｘ（２ｎ）＝Ｌ３・Ｙ（２ｎ−３）＋Ｌ２・Ｙ（２ｎ−２）＋Ｌ１・Ｙ（２ｎ−１）＋Ｌ０・Ｙ（２ｎ）＋Ｌ１・Ｙ（２ｎ＋１）＋Ｌ２・Ｙ（２ｎ＋２）＋Ｌ３・Ｙ（２ｎ＋３）Ｘ（２ｎ＋１）＝Ｈ３・Ｙ（２ｎ−２）＋Ｈ２・Ｙ（２ｎ−１）＋Ｈ１・Ｙ（２ｎ）＋Ｈ０・Ｙ（２ｎ＋１）＋Ｈ１・Ｙ（２ｎ＋２）＋Ｈ２・Ｙ（２ｎ＋３）＋Ｈ３・Ｙ（２ｎ＋４）＋Ｈ４・Ｙ（２ｎ＋５）
【００２９】
［実施例２］
図４は、本発明に基づく画像の再生処理の一例を示す（画像処理プログラム１２０の）概略処理フローチャートである（請求項４、他記載）。
即ち、この例は、画像データを、矩形領域分割、色空間変換、ＤＣレベルシフト、周波数変換、量子化、算術符号化等のいずれかの符号化処理を用いて圧縮した符号化データを、復号する符号化処理手段を備えた画像処理装置に関する処理であり、この例では復号処理（符号化処理）として、第一の復号処理と、それと異なる計算式を用い、第一符号化処理（第一復号化処理）と、それとほぼ同程度の復号処理結果を得る第二符号化処理（第二復号化処理）と、これらの「第一復号化処理」、又は「第二復号化処理」の一方を選択する符号化処理選択処理と、設定した所要条件に対応して選択した符号化処理によって、復号処理を実行するものである。
図４に示す、本発明に係る復号処理は、基本的には上述した符号化処理の逆変換処理を行なうことになので、処理のフローは符号化処理とほぼ同様の手順となるが、市販の画像データ等のように、全ての画像データに対して、解像度を優先して高い解像度が得られるような符号化処理が施された画像データを再生する場合には、再生時の環境に応じて、以下に示すように複数の符号化処理手段を適宜選択しながら再生することもできる。再生環境が異なる場合としては、例えば、携帯電話や無線ＬＡＮ、その他の移動無線通信回線等のように、その時々で、電波環境が異なる状況で、画像データを受信しながら再生する場合、通信回線の電波状態や回線の混み具合に応じて、伝送量が変動することが多いので、本発明のように、複数の復号化手段を選択できれば、動画再生や静止画の連写画像再生等において極めて有用であろう。
【００３０】
図４に示したフローチャートを参照して説明する。
（ＳＴＥＰ１０１）：ユーザの設定情報の参照、デフォルト設定、符号化パラメータや符号化条件を設定する。例えば、処理中の画像のタイル番号Ｔ１、解像度レベルＲ、プレシンクトＴ２、色成分Ｃ、レイヤー番号Ｌ、の夫々を初期値に設定する。また、既に説明した表−１に示したように、符号化処理におけるパラメータについての情報が、画像データとともに入手できれば、それらに基づいて、解像度分割レベル数ＲＭ、色成分数ＣＭ、プレシンクト分割数ＰＭ、レイヤー数ＬＭ等を、タイル番号Ｔ、ＲＭ、ＣＭ、ＰＭ、ＬＭの組み合わせ態様により、選択する「第一符号処理手段」、または、「第二符号化処理手段」の関係を取得しておくことも、処理効率を向上する上で有効であろう。
なお、図４のＳＴＥＰ１０２乃至ＳＴＥＰ１０７、及び、ＳＴＥＰ１１１乃至ＳＴＥＰ１１５に関しては、既に説明した図３の符号化処理において、各ＳＴＥＰ1乃至７、及びＳＴＥＰ１１乃至ＳＴＥＰ１５の「符号化処理」を「復号化処理」に読み替えるとともに、ＳＴＥＰ８の「符号選択」を「復号選択」に、ＳＴＥＰ９の「第１符号化」を「第１復号化」に、ＳＴＥＰ１０の「第２符号化」を「第２復号化」夫々、読み替えたものとほぼ同様であるので、詳細な説明は省略する。
また、ＳＴＥＰ１０８において、符号化処理はＴ、ＴＭ、ＣＭ、ＰＭ、ＬＭの組み合わせにより、使用する符号化処理手段を決定したが、復号化に際しては、上記各パラメータの他に、復号化処理に許容される時間、例えば一つのフレーム復号化処理に要する時間に制限がある場合、その残り時間と、所望する画質との兼ね合いから、復号化手段を選択することができる。
【００３１】
［実施例３］
図５は、本発明に係る画像処理装置（特に、復号化処理装置）の具体的な一実施例を示すブロック図であるが、各逆変換部や復号部を符号化処理に適合する機能や処理に置き換えたものは、本発明の符号化処理装置として使用可能である。
この例に示す画像処理装置は、上述した図１乃至図２と同一機能ブロックには同一符号を付し、重複する説明は省略する。この例に示す構成は、色空間逆変換部１として、第１色空間逆変換部１１と第２色空間逆変換部１２の二つを備え、ウェーブレット逆変換部２として、第１ウェーブレット逆変換部２１と第２ウェーブレット逆変換部２２の二つを備え、逆量子変換部３として、第１逆量子変換部３１と第２逆量子変換部３２の二つを備え、エントロピー復号部４として、第１エントロピー復号部４１と第２エントロピー復号部４２の二つを備えた点が特徴的である。
また、以上のブロックに他に、上記各機能ブロックとの間でデータの授受を行なうとともに、メモリ１０２、ハードディスク等の補助記憶装置１０６、各種記録媒体（磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子等）の読み書き可能な記憶媒体ドライブ装置１１４等を備えるとともに、復号した画像データを外部装置に出力するデータ記憶部５０と、装置全体を制御する、ＣＰＵ１００やディスプレイ装置１０４、キーボードやポインティングデバイスなどの入力装置１０８を含む制御部５２を備えている。
【００３２】
なお、この装置によって、符号化された画像データを復号化する手順は、既に説明したとおりであり、制御部５２によって、符号化された画像データを復号化する際、各処理単位の処理に許容された時間と、所望する画質との兼ね合いに応じて、夫々の処理ブロックに備えた二つの処理部のいずれか一方を選択しながら、画像の処理を行なう。いずれの処理手段を選択するかの判断は、処理途中に判断する場合や、処理対象の画像データの処理単位毎に、処理開始前にそれらの画像の性質等に基づいて判断する場合等、種々の方法が考えられる。
即ち、時分割的に、先行する画像データの復号処理を行いつつ、後続する画像データの性質、例えば、動き量の大小や、色調範囲の大小、繊細画像の多少等を予め判断した上で、選択すべき処理を判断する方法も、迅速な処理を行なう上で有効であろう。
【００３３】
本発明は、以上説明した実施例に限る必要はなく、種々変形が可能である。例えば、請求項７記載の発明のように、符号化処理／復号化処理の選択を、少なくとも１回実施される符号化処理毎に、その時の状況に応じて符号化処理手段を選択することもできる。この方法によれば、処理対象画像や処理状況に応じた広い選択制御が可能である。また、請求項９記載の発明のように、符号化処理選択手段は、サブバンド毎に符号化処理手段を選択することもできる。この方法では、サブバンド毎に処理対象画像や処理状況に応じて、細かな制御が可能であり、画質と高速化のレベルとの兼ね合いを細かく制御することも可能である。そして、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することも画像処理装置の機能向上を図る上で有用である。
更に、請求項１０記載の発明にように、符号化処理選択手段が、矩形領域毎に符号化処理手段を選択すれば、矩形領域毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、請求項１１記載の発明のように、符号化処理選択手段が、色成分毎に符号化処理手段を選択するものでは、色成分毎処理対象画像や処理状況に応じて、細かな制御が可能であるし、請求項１２記載の発明のように、符号化処理選択手段が、解像度毎に符号化処理手段を選択するものでは、解像度毎に処理対象画像や処理状況に応じて、細かな制御が可能である。また、解像度と高速化のレベルとの兼ね合いを細かく制御することも可能であり、その制御をユーザの指示操作や、プログラム処理要求に応答するものとして構成することが可能である。
【００３４】
また、請求項１３記載の発明のように、符号化処理選択手段において、レイヤー毎に周波数変換手段を選択するもの、あるいは、請求項１４記載の発明のように、符号化処理選択手段は、周波数分解された画像を矩形領域に分割した領域毎に周波数変換手段を選択するもの、又は、請求項１５記載の発明のように、符号化処理選択手段がプレシンクト毎に前記周波数変換手段を選択するものであってもよく、夫々の変形実施例によれば、細かに状況に対応した符号化処理選択が可能となる。
更に、請求項１６や請求項１７記載の発明のように、複数の画像データからなる動画像データや静止画像の連写画像の圧縮データを生成する画像処理装置において、符号化処理選択手段が、フレーム毎に、又は連続する静止画像毎に、符号化処理手段もしくは周波数変換手段を選択すれば、同様に、処理対象画像や処理状況に応じて、細かな制御が可能である。
更に、請求項２０記載の発明のように、本発明に係る画像処理方法をプログラムとして構成することも可能である。また、請求項２１記載の発明にように、画像処理方法を実現したコンピュータプログラムを、ＦＤ、ＲＯＭ、ＲＡＭ等の記憶媒体に記憶することみできる。このように本発明の画像処理方法をプログラムかし、更に、可搬型記憶媒体に記憶させれば、これら記憶媒体を持ち運ぶことにより、又は、これらの記憶媒体を流通させ、コンピュータ機能を備えた電子機器に装着して内蔵するプログラムやデータを読み込ませることが可能となり、本発明を広く普及させる上で便利である。
なお、以上説明した実施例では、ウェーブレット変換やその逆変換部における周波数変換手段を複数用意して、所望する処理速度や画質との兼ね合いに基づいて、いずれかの周波数変換処理手段を選択する場合を示したが、この例に限る必要はなく、周波数変換処理以外の、他の処理を複数備えて、適宜、選択することや、実施例の一部の処理フローを省略するものであっても構わない。また、画像の符号化／復号化処理において、周波数変換を行なう必要のある部分について、上述した処理を同様に適用することも可能である。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態例に係る画像処理装置の概要ブロック図。
【図２】ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図。
【図３】本発明の画像処理装置の処理手順の例を示すフローチャート。
【図４】本発明の画像処理装置の処理手順の他の例を示すフローチャート。
【図５】本発明の画像処理装置の一例を示すブロック図。
【符号の説明】
【００３６】
１  色空間変換（逆変換）部、２  二次ウェーブレット変換（逆変換）部、３  量子化（逆量子化）部、４  エントロピー符号化（復号化）部、５  タグ処理部、１１、１２  色空間逆変換部、２１、２２  ウェーブレット逆変換部、３１、３２  逆量子化部、４１、４２  エントロピー復号化部、５１  データ記憶部、５２  制御部、１００  ＣＰＵ、１０２  メモリ、１０４  ディスプレイ装置、１０６  補助記憶装置、１０８  ユーザ入力装置、１１０  通信インターフェース、１１２  入出力インターフェース、１１４  媒体ドライブ装置、１２０  画像処理プログラム、１２２  ビューア／ブラウザ
【図１】
2008228115.tif 000004
【図２】
2008228115.tif 000005
【図３】
2008228115.tif 000006
【図４】
2008228115.tif 000007
【図５】
2008228115.tif 000008