(57)【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段、
前記画像入力手段により入力された画像（以下、原画像と記す）から該原画像を平行移動させた１又は複数の平行移動画像を生成する画像生成手段、
前記原画像及び前記平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを生成する符号化処理手段、
を有することを特徴とする画像処理装置。
【請求項２】
前記符号化処理手段は、前記平行移動画像の変換係数のうち、該平行移動画像の前記原画像に対する平行移動量により決まる解像度レベル以上の変換係数の値を０に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号化処理手段は、前記符号化データを復号する際に復号解像度レベルに応じて有効なコンポーネントを選択するための情報を前記符号化データのヘッダに記述することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記符号化処理手段は、前記符号化データを復号する際に復号解像度レベルに応じてコンポーネントの重ね合わせ方法を選択するための情報を前記符号化データのヘッダに記述することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記符号化処理手段により生成された符号化データを記憶する記憶手段、
外部装置との通信手段、
前記通信手段により受信された外部装置からの符号要求に基づいて、前記記憶手段に記憶されている１の符号化データから該外部装置へ送信する必要がある符号を抽出し、抽出した符号を該外部装置へ前記通信手段により送信する要求処理手段、をさらに有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力手段、
復号解像度レベルを指定する復号解像度レベル指定手段、
前記復号解像度レベル指定手段により指定された復号解像度レベルに応じて、前記符号化入力手段により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択手段、
前記入力符号化データに対し、前記コンポーネント選択手段により選択された有効なコンポーネントを復号対象として、前記復号解像度レベル指定手段により指定された復号解像度レベルまでの復号処理を行う復号処理手段、
前記復号処理手段の復号処理により復元されたコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理手段、
を有することを特徴とする画像処理装置。
【請求項７】
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換し、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力手段、
復号解像度レベルを指定する復号解像度レベル指定手段、
前記復号解像度レベル指定手段により指定された復号解像度レベルに応じて、前記符号化入力手段により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択手段、
前記入力符号化データに対し、全コンポーネントを復号対象として、前記復号解像度レベル指定手段により指定された復号解像度レベルまでの復号処理を行う復号処理手段、
前記復号処理手段の復号処理により復元されたコンポーネント中の前記コンポーネント選択手段により選択された有効なコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理手段、
を有することを特徴とする画像処理装置。
【請求項８】
前記入力符号化データのヘッダには、該入力符号化データを復号する際に復号解像度レベルに応じて有効なコンポーネントを選択するための情報が記述されており、
前記コンポーネント選択手段は、前記入力符号化データのヘッダに記述されている前記情報及び前記復号解像度レベル指定手段により指定された復号解像度レベルに基づき有効なコンポーネントを選択することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換し、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力手段、
復号解像度レベルを指定する復号解像度レベル指定手段、
前記符号入力手段により入力された前記符号化データ（以下、入力符号化データと記す）に対し、全コンポーネントを復号対象として、前記復号解像度レベル指定手段により指定された復号解像度レベルまでの復号処理を行う復号処理手段、
前記復号解像度レベル指定手段により指定された復号解像度レベルに応じて、前記復号処理手段の復号処理において復元されたコンポーネントの重ね合わせ方法を選択するコンポーネント重ね合わせ方法選択手段、
を有し、
前記復号処理手段は、復号処理により復元されたコンポーネントに対し、前記コンポーネント重ね合わせ方法選択手段により選択されたコンポーネントの重ね合わせ方法で重ね合わせ処理を行って復元画像を生成する手段を含むことを特徴とする画像処理装置。
【請求項１０】
前記入力符号化データのヘッダには、該入力符号化データを復号する際に復号解像度レベルに応じてコンポーネントの重ね合わせ方法を選択するための情報が記述されており、
前記コンポーネント重ね合わせ方法選択手段は、前記入力符号化データのヘッダに記述されている前記情報及び前記前記復号解像度レベル指定手段により指定された復号解像度レベルに基づき、コンポーネントの重ね合わせ方法を選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
画像を入力する画像入力工程、
前記画像入力工程により入力された画像（以下、原画像と記す）から該原画像を平行移動させた１又は複数の平行移動画像を生成する画像生成工程、
前記原画像及び前記平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを生成する符号化処理工程、
を有することを特徴とする画像処理方法。
【請求項１２】
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力工程、
復号解像度レベルを指定する復号解像度レベル指定工程、
前記復号解像度レベル指定工程により指定された復号解像度レベルに応じて、前記符号化入力工程により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択工程、
前記入力符号化データに対し、前記コンポーネント選択工程により選択された有効なコンポーネントを復号対象として、前記復号解像度レベル指定工程により指定された復号解像度レベルまでの復号処理を行う復号処理工程、
前記復号処理工程の復号処理により復元されたコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理工程、
を有することを特徴とする画像処理方法。
【請求項１３】
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力工程、
復号解像度レベルを指定する復号解像度レベル指定工程、
前記復号解像度レベル指定工程により指定された復号解像度レベルに応じて、前記符号化入力工程により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択工程、
前記入力符号化データに対し、全コンポーネントを復号対象として、前記復号解像度レベル指定工程により指定された復号解像度レベルまでの復号処理を行う復号処理工程、
前記復号処理工程の復号処理により復元されたコンポーネント中の前記コンポーネント選択工程により選択された有効なコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理工程、
を有することを特徴とする画像処理方法。
【請求項１４】
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力工程、
復号解像度レベルを指定する復号解像度レベル指定工程、
前記符号入力工程により入力された前記符号化データ（以下、入力符号化データと記す）に対し、全コンポーネントを復号対象として、前記復号解像度レベル指定工程により指定された復号解像度レベルまでの復号処理を行う復号処理工程、
前記復号解像度レベル指定工程により指定された復号解像度レベルに応じて、前記復号処理工程の復号処理において復元されたコンポーネントの重ね合わせ方法を選択するコンポーネント重ね合わせ方法選択工程、を有し、
前記復号処理工程は、復号処理により復元されたコンポーネントに対し、前記コンポーネント重ね合わせ方法選択工程により選択されたコンポーネントの重ね合わせ方法で重ね合わせ処理を行って復元画像を生成する工程を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に係り、特に、画像の符号化技術及び画像の符号化データの復号技術に関する。
【背景技術】
【０００２】
デジタルカメラやスキャナの精度の向上により、高精細な静止画像を取り扱う要求が増加し、それに伴って高精細静止画像の取り扱いを容易にするため画像圧縮伸張技術に求められる機能が多様化している。
【０００３】
高精細静止画像の画像圧縮伸張アルゴリズムとしてはＪＰＥＧ（Joint  Photographic
Experts  Group）が現在最も多く使われているが、近年、周波数変換として離散ウェーブレット変換（ＤＷＴ）を用いる画像圧縮伸張アルゴリズムが増加し、その代表例がＪＰＥＧ２０００である。
【０００４】
ＪＰＥＧ２０００の大きな特徴の一つとして、解像度スケーラビリティが挙げられる。解像度スケーラビリティは、対象となる画像を所望の画像サイズに変換して閲覧したい場合に優位に働く。表示対象となる高精細静止画像の画像サイズは、デジタルカメラやスキャナの信号読み取り時の精度（ドットピッチ）および大きさで決まり、いったん特定の静止画像フォーマットに即したデータにすると一定であるが、この画像を閲覧する際の表示サイズ（解像度）はまちまちである。
【０００５】
ＪＰＥＧのような解像度スケーラビリティを持たない方式で符号化された画像を所望のサイズで表示したい場合、一般には、符号化データ全体に対して復号処理を行って画素データ（ビットマップ）に展開した上で、拡大、縮小の処理を行う必要がある。これに対し、ＪＰＥＧ２０００で符号化された画像を縮小表示する場合は、符号化データの一部分のみの復号処理（縮小デコード）を行うことにより縮小画像の画素データ（ビットマップ）を生成することができ、復号処理に必要なメモリを小さくできるとともに復号処理時間も短くすることができる。このような縮小デコードに関する先行技術文献として例えば特許文献１がある。
【０００６】
【特許文献１】特開２００３−３３８９３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
さて、２値画像をＪＰＥＧ２０００でロスレス符号化し、その符号化データを縮小デコードした場合に、元の画像中の細線が消失したり途切れたりするという問題がある。この問題は、ＪＰＥＧ２０００の符号化プロセス中の離散ウェーブレット変換に起因する。すなわち、ウェーブレット係数を計算する際に係数を整数にするための丸め処理が入り、その後、１画素おきにダウンサンプリングするため、連続した画素値が続く領域では問題ないが、白地上に黒い細線が存在する場合などは画素値の連続幅が少ないため、変換過程で黒画素成分が消失することがあるためである。
【０００８】
また、多値画像をＪＰＥＧ２０００でロスレス符号化した符号化データを縮小デコードする場合においても、２値画像の場合ほどではないにしても細線の再現性が悪いという問題があり、これも符号化時の離散ウェーブレット変換に起因する。
【０００９】
本発明は上記問題点について改善しようとするものであり、より具体的には、符号化プロセス中で離散ウェーブレット変換を用いるＪＰＥＧ２０００のような解像度スケーラビリティを有する符号化方式によって、縮小デコード時における細線の再現性が良好な符号化データを生成する画像処理装置及び方法を提供することを目的とする。もう一つの目的は、そのような画像処理装置又は方法により生成された符号化データから、元の画像中の細線が良好に再現された画像を復元する画像処理装置又は方法を提供することにある。
【課題を解決するための手段】
【００１０】
ＪＰＥＧ２０００のロスレス符号化の場合、例えば画像をタイル分割し、各タイル画像に対し水平、垂直方向にそれぞれ１次元可逆離散ウェーブレット変換が適用される。通常、離散ウェーブレット変換後のダウンサンプリングを考慮し、次の式のようなリフティング演算が用いられる。
【００１１】
【数１】
0004874941.tif 000002
【００１２】
【数２】
0004874941.tif 000003
ここで、Xextは、タイル境界の外の画素を参照する際に不連続性を抑えて滑らかにするために１次元入力信号を拡張した後の信号である。式（１）により高域成分をダウンサンプリングしたものが求まり、これを用いて式（２）により低域成分をダウンサンプリングしたものが求まる。
【００１３】
ここで注目すべきは、図２３のような１画素幅の細線（図中の画素値が”１”の縦の列）が奇数座標に存在する２値画像の場合に、式（２）より求められる低域成分では”１”の要素が消失してしまうことである。
【００１４】
これは、式（２）から分かるように、低域成分が入力信号の偶数座標値を基本とし、式（１）から求められた隣接する奇数座標値の高域成分が共に”１”であった場合のみ、画素値と異なる値を係数とするためである。つまり、２値画像に対する離散ウェーブレット変換により出力される低域成分は、隣接する高域成分が共に”１”である点を除いた全ての点で偶数座標値の画素値と一致する。その結果、奇数座標値に存在した１画素幅の細線は離散ウェーブレット変換を１回施すと低域成分から消失し、逆に偶数座標値に存在した１画素幅の細線は低域成分にも保存される。以上のことは離散ウェーブレット変換を２次元に（水平及び垂直方向に）適用した場合でも同様である。
【００１５】
ここで、原画像を例えば水平、垂直方向に１画素だけ平行移動させた平行移動画像を考える。原画像上の偶数座標値の画素は平行移動画像上の奇数座標値の画素に対応する。したがって、原画像をコンポーネントＣ０として、平行移動画像をコンポーネントＣ１として水平、垂直方向に離散ウェーブレット変換を施すと、コンポーネントＣ０の低域成分（ＬＬサブバンド）から消失した細線はコンポーネントＣ１の低域成分に保存され、あるいは逆に、コンポーネントＣ１の低域成分から消失した細線はコンポーネントＣ０の低域成分に保存される。
【００１６】
さて、原画像（コンポーネントＣ０）と、それを１画素だけ水平、垂直方向に平行移動させた平行移動画像（コンポーネントＣ１）に対し、それぞれ離散ウェーブレット変換を再帰的に３回適用するものとすると、各コンポーネントは図２４に示すようなサブバンド係数に分解される。このような変換係数をエントロピー符号化することにより、２コンポーネントの解像度スケーラビリティを有する符号化データを生成し、それを復号する場合を考える。
【００１７】
復号解像度レベルが最高解像度レベル（ここでは解像度レベル３）の場合、コンポーネントＣ０の符号を復号すれば、ロスレスの原画像が復元される。したがって、コンポーネントＣ１の符号は復号する必要はない。
【００１８】
復号解像度レベルが１レベル低い解像度レベル２の縮小デコードの場合、コンポーネントＣ０，Ｃ１の符号を復号すれば、原画像中の１画素幅の細線は、復元されたコンポーネントＣ０，Ｃ１のいずれかに保存されている。そして、解像度レベル２では、原画像上の１画素だけずれた隣接点はコンポーネントＣ０，Ｃ１上の同一の点に重なる。したがって、復元されたコンポーネントＣ０，Ｃ１の重ね合わせ処理を行うことにより、原画像上の１画素幅の細線が復元された画像を生成することができる。各コンポーネントが２値画像の場合、コンポーネントＣ０，Ｃ１の重ね合わせ処理は同一位置の画素値の論理和をとる処理とすることができる。各コンポーネントが多値画像の場合には、コンポーネントＣ０，Ｃ１の重ね合わせ処理は同一位置の画素値のうちの最大値をとる処理とすることができる。
【００１９】
なお、最高解像度レベル３の復号の場合に、コンポーネントＣ１の符号をも復号し、復元されたコンポーネントＣ０，Ｃ１の重ね合わせ処理を行うことは好ましくない。コンポーネントＣ０とコンポーネントＣ１とでは１画素ずれているため、重ね合わせ処理を行うと原画像をダブらせたような画像になるからである。
【００２０】
このように、コンポーネントＣ１については、解像度レベル３の符号は復号に役に立たない。したがって、符号化の際に、コンポーネントＣ１の解像度レベル３の変換係数、すなわち図２４の１ＨＬ，１ＬＨ，１ＨＨサブバンド係数は値を強制的に０にしてよく、そのようにすると符号量を削減することができる。
【００２１】
ここまでは、原画像を１画素だけ平行移動した１つの平行移動画像のみを生成するものとして説明したが、異なった所定画素数だけ移動させた複数の平行移動画像を生成し、それら平行画像及び原画像をそれぞれコンポーネントとして離散ウェーブレット変換を適用し、その変換係数をエントロピー符号化することにより、コンポーネント数が３以上の符号化データを生成することができる。この符号化データの復号の際には、例えば、復号解像度レベルに応じて必要なコンポーネントを選択し、その符号を対象として復号処理を行い、復元されたコンポーネントの重ね合わせ処理を行うことにより、細線の再現性の良好な画像を生成することができる（詳細については後述の実施形態を参照）。
【００２２】
本発明は、以上の考察に基づいて上記目的を達成しようとするものであり、その特徴は以下の通りである。
【００２３】
すなわち、請求項１記載の発明に係る画像処理装置は、
画像を入力する画像入力手段、
前記画像入力手段により入力された画像（以下、原画像と記す）から該原画像を平行移動させた１又は複数の平行移動画像を生成する画像生成手段、
前記原画像及び前記平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを生成する符号化処理手段、を有することを特徴とする。
【００２４】
請求項２記載の発明の特徴は、請求項１記載の発明に係る画像処理装置において、
前記符号化処理手段は、前記平行移動画像の変換係数のうち、該平行移動画像の前記原画像に対する平行移動量により決まる解像度レベル以上の変換係数の値を０に設定することにある。
【００２５】
請求項３記載の発明の特徴は、請求項１記載の発明に係る画像処理装置において、
前記符号化処理手段は、前記符号化データを復号する際に復号解像度レベルに応じて有効なコンポーネントを選択するための情報を前記符号化データのヘッダに記述することにある。
【００２６】
請求項４記載の発明の特徴は、請求項１記載の発明に係る画像処理装置において、
前記符号化処理手段は、前記符号化データを復号する際に復号解像度レベルに応じてコンポーネントの重ね合わせ方法を選択するための情報を前記符号化データのヘッダに記述することにある。
【００２７】
請求項５記載の発明の特徴は、請求項１乃至４のいずれか１項記載の発明に係る画像処理装置であって、
前記符号化処理手段により生成された符号化データを記憶する記憶手段、
外部装置との通信手段、
前記通信手段により受信された外部装置からの符号要求に基づいて、前記記憶手段に記憶されている１の符号化データから該外部装置へ送信する必要がある符号を抽出し、抽出した符号を該外部装置へ前記通信手段により送信する要求処理手段、をさらに有することを特徴とすることにある。
【００２８】
請求項６記載の発明に係る画像処理装置は、
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力手段、
復号解像度レベルを指定する復号解像度レベル指定手段、
前記復号解像度レベル指定手段により指定された復号解像度レベルに応じて、前記符号化入力手段により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択手段、
前記入力符号化データに対し、前記コンポーネント選択手段により選択された有効なコンポーネントを復号対象として、前記復号解像度レベル指定手段により指定された復号解像度レベルまでの復号処理を行う復号処理手段、
前記復号処理手段の復号処理により復元されたコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理手段、を有することを特徴とする。
【００２９】
請求項７記載の発明に係る画像処理装置は、
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換し、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力手段、
復号解像度レベルを指定する復号解像度レベル指定手段、
前記復号解像度レベル指定手段により指定された復号解像度レベルに応じて、前記符号化入力手段により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択手段、
前記入力符号化データに対し、全コンポーネントを復号対象として、前記復号解像度レベル指定手段により指定された復号解像度レベルまでの復号処理を行う復号処理手段、
前記復号処理手段の復号処理により復元されたコンポーネント中の前記コンポーネント選択手段により選択された有効なコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理手段、を有することを特徴とする。
【００３０】
請求項８記載の発明の特徴は、請求項６又は７記載の発明に係る画像処理装置において、前記入力符号化データのヘッダには、該入力符号化データを復号する際に復号解像度レベルに応じて有効なコンポーネントを選択するための情報が記述されており、
前記コンポーネント選択手段は、前記入力符号化データのヘッダに記述されている前記情報及び前記復号解像度レベル指定手段により指定された復号解像度レベルに基づき有効なコンポーネントを選択することにある。
【００３１】
請求項９記載の発明に係る画像処理装置は、
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換し、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力手段、
復号解像度レベルを指定する復号解像度レベル指定手段、
前記符号入力手段により入力された前記符号化データ（以下、入力符号化データと記す）に対し、全コンポーネントを復号対象として、前記復号解像度レベル指定手段により指定された復号解像度レベルまでの復号処理を行う復号処理手段、
前記復号解像度レベル指定手段により指定された復号解像度レベルに応じて、前記復号処理手段の復号処理において復元されたコンポーネントの重ね合わせ方法を選択するコンポーネント重ね合わせ方法選択手段、を有し、
前記復号処理手段は、復号処理により復元されたコンポーネントに対し、前記コンポーネント重ね合わせ方法選択手段により選択されたコンポーネントの重ね合わせ方法で重ね合わせ処理を行って復元画像を生成する手段を含むことを特徴とする。
【００３２】
請求項１０記載の発明の特徴は、請求項９記載の発明に係る画像処理装置において、
前記入力符号化データのヘッダには、該入力符号化データを復号する際に復号解像度レベルに応じてコンポーネントの重ね合わせ方法を選択するための情報が記述されており、
前記コンポーネント重ね合わせ方法選択手段は、前記入力符号化データのヘッダに記述されている前記情報及び前記前記復号解像度レベル指定手段により指定された復号解像度レベルに基づき、コンポーネントの重ね合わせ方法を選択することにある。
【００３３】
請求項１１記載の発明に係る画像処理方法は、
画像を入力する画像入力工程、
前記画像入力工程により入力された画像（以下、原画像と記す）から該原画像を平行移動させた１又は複数の平行移動画像を生成する画像生成工程、
前記原画像及び前記平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを生成する符号化処理工程、を有することを特徴とする。
【００３４】
請求項１２記載の発明に係る画像処理方法は、
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力工程、
復号解像度レベルを指定する復号解像度レベル指定工程、
前記復号解像度レベル指定工程により指定された復号解像度レベルに応じて、前記符号化入力工程により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択工程、
前記入力符号化データに対し、前記コンポーネント選択工程により選択された有効なコンポーネントを復号対象として、前記復号解像度レベル指定工程により指定された復号解像度レベルまでの復号処理を行う復号処理工程、
前記復号処理工程の復号処理により復元されたコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理工程、を有することを特徴とする。
【００３５】
請求項１３記載の発明に係る画像処理方法は、
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力工程、
復号解像度レベルを指定する復号解像度レベル指定工程、
前記復号解像度レベル指定工程により指定された復号解像度レベルに応じて、前記符号化入力工程により入力された符号化データ（以下、入力符号化データと記す）の有効なコンポーネントを選択するコンポーネント選択工程、
前記入力符号化データに対し、全コンポーネントを復号対象として、前記復号解像度レベル指定工程により指定された復号解像度レベルまでの復号処理を行う復号処理工程、
前記復号処理工程の復号処理により復元されたコンポーネント中の前記コンポーネント選択工程により選択された有効なコンポーネントの重ね合わせ処理を行って復元画像を生成するコンポーネント重ね合わせ処理工程、を有することを特徴とする。
【００３６】
請求項１４記載の発明に係る画像処理方法は、
原画像及び該原画像を平行移動させた１又は複数の平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に離散ウェーブレット変換を行い、その変換係数をエントロピー符号化することにより生成された、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを入力する符号入力工程、
復号解像度レベルを指定する復号解像度レベル指定工程、
前記符号入力工程により入力された前記符号化データ（以下、入力符号化データと記す）に対し、全コンポーネントを復号対象として、前記復号解像度レベル指定工程により指定された復号解像度レベルまでの復号処理を行う復号処理工程、
前記復号解像度レベル指定工程により指定された復号解像度レベルに応じて、前記復号処理工程の復号処理において復元されたコンポーネントの重ね合わせ方法を選択するコンポーネント重ね合わせ方法選択工程を有し、
前記復号処理工程は、復号処理により復元されたコンポーネントに対し、前記コンポーネント重ね合わせ方法選択工程により選択されたコンポーネントの重ね合わせ方法で重ね合わせ処理を行って復元画像を生成する工程を含むことを特徴とする。
【発明の効果】
【００３７】
請求項１乃至５、１１に記載の発明によれば、縮小デコード時における細線の再現性が良好な符号化データを生成することができ、また、そのような符号化データの画像復元に必要な符号のみを外部装置へ送信することができる。請求項６乃至１０，１３乃至１４に記載の発明によれば、縮小デコードの場合にも原画像中の細線が良好に再現された画像を復元することができる等々の効果を奏することができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の実施形態について図面を参照し説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置のブロック図である。この画像処理装置１００は、画像入力部１０１、平行移動画像生成部１０２及び符号化処理部１０３から構成される。
【００３９】
画像入力部１０１は、処理すべき画像を入力する手段であって、具体的には例えば、原稿をスキャンして画像を入力するスキャナであり、あるいは、不図示のローカルなストレージ又はネットワーク上のストレージより画像を読み込むインターフェースである。平行移動画像生成部１０２は、画像入力部１０１により入力された画像（これを原画像と呼ぶ）から、該原画像を平行移動させた１又は複数の画像（平行移動画像と呼ぶ）を生成する手段である。符号化処理部１０３は、平行移動画像生成部１０２より原画像及びその平行移動画像を取り込み、それら画像をそれぞれコンポーネントとして、ＪＰＥＧ２０００の符号化アルゴリズムに準じた符号化処理を行うことにより、複数コンポーネントからなる解像度スケーラビリティを有するＪＰＥＧ２０００フォーマットの符号化データを生成する手段である。生成された符号化データは例えばストレージ１０４に蓄積される。
【００４０】
この画像処理装置１００は、例えば、ＣＰＵやメモリ等からなる一般的な構成のコンピュータのハードウェア資源を利用し、ソフトウェアにより実現することができる。
【００４１】
平行移動画像生成部１０２においては、原画像を所定量だけ平行移動した１又は複数の平行移動画像を生成するが、生成する平行移動画像の最大個数は、符号化処理部１０３における離散ウェーブレット変換の適用回数（デコンポジション数）から１を引いた数に等しい。例えば、離散ウェーブレット変換が５回適用される場合、最大４個の平行移動画像を生成することができる。このような最大個数の平行移動画像を生成するならば、最低の解像度レベル１までの縮小デコードに対応可能な符号化データの生成が可能になる。
【００４２】
平行移動画像の原画像に対する移動量は、離散ウェーブレット変換におけるダウンサンプリングの影響を考慮して決定される。例えば、離散ウェーブレット変換が５回適用される場合、最大４個の平行移動画像を生成するが、各平行移動画像の原画像に対する移動量は、１つ目の平行移動画像では１画素、２つ目の平行移動画像では２又は３画素、３つ目の平行移動画像では４乃至７画素、４つ目の平行移動画像では８乃至１５画素に選ぶことができる。
【００４３】
ＪＰＥＧ２０００における画像表現方法に合わせて、平行移動画像の生成について説明する。図２に模式的に示すような参照グリッドの原点（０，０）からのオフセットが（ＸＯｓｉｚ，ＹＯｓｉｚ）で、水平，垂直方向のサイズがＸｓｉｚ，Ｙｓｉｚの原画像を考える。この原画像の左端の１画素分と上端の１画素分を切り取った図３に示すような画像を作成し、この画像の（０，０）点を図４に示すように参照グリッド上の（ＸＯｓｉｚ，ＹＯｓｉｚ）点に移動させることにより、原画像を水平、垂直方向に１画素だけ移動させた平行移動画像を生成する。なお、この平行移動画像は、このままでは水平、垂直方向のサイズが原画像より１画素分だけ小さくなるので、下端と右端に、近傍画素を折り返す方法（ミラリング）により１画素分を補うようにしてもよい。
【００４４】
同様にして原画像を水平、垂直方向に３画素だけ移動させた平行移動画像を図５に模式的に示す。この平行移動画像では水平、垂直方向のサイズが原画像より３画素分だけ小さくなるので、下端と右端にミラリングによって３画素分を補うようにしてもよい。
【００４５】
次に符号化処理部１０３について説明する。原画像及び平行移動画像が２値画像の場合と多値画像（例えば８ｂｉｔ／画素）の場合とで符号化処理部における処理が一部異なる。原画像及び平行移動画像が２値画像の場合に本発明は最も効果的である。
【００４６】
図６に、２値画像を処理する場合の符号化処理部１０３のブロック図を示す。符号化処理部１０３はＪＰＥＧ２０００の符号化アルゴリズムに準じた符号化処理を行うが、図６から明らかなように、入力画像が２値画像であるためダイナミックレンジを半減するためのＤＣレベルシフト処理は行わない。また、カラー画像を想定したコンポーネント変換処理も行わない。
【００４７】
まず処理ブロック１１１において、原画像及び平行移動画像をそれぞれコンポーネントとして、コンポーネント毎に垂直方向及び水平方向に可逆離散ウェーブレット変換を適用する。なお、指定されている場合には、各コンポーネントのタイル分割を行い、タイル毎に可逆離散ウェーブレット変換を適用する。ここでは、前述したように４個の平行移動画像が生成されるものとする。原画像をコンポーネントＣ０、１画素だけ移動した平行移動画像をコンポーネントＣ１、２又は３画素だけ移動した平行移動画像をコンポーネントＣ２、４乃至７画素だけ移動した平行移動画像をコンポーネントＣ３、８乃至１５画素だけ移動した平行移動画像をコンポーネントＣ４と呼ぶ。
【００４８】
離散ウェーブレット変換を５回適用するものとすると、各コンポーネントは図７に示すようなサブバンド係数に分解される。この変換係数に直ちにエントロピー符号化を実行することもできるが、ここに示す例では、符号量を削減するため、処理ブロック１１２においてコンポーネントＣ１〜Ｃ４の復号に役立たない（無効な）変換係数の値を０に設定する処理を行う。
【００４９】
コンポーネントＣ１〜Ｃ４の無効な変換係数の解像度レベル数を図８に示す。すなわち、移動量が１画素のコンポーネントＣ１では、最高解像度レベル（この例では解像度レベル５）から数えて１つの解像度レベルすなわち解像度レベル５の変換係数（図７における１ＨＬ，１ＬＨ，１ＨＨサブバンド係数）が無効な変換係数として０に設定される。コンポーネントＣ２では、２つの解像度レベルすなわち解像度レベル５，４の変換係数（図７における１ＨＬ，１ＬＨ，１ＨＨ，２ＨＬ，２ＬＨ，２ＨＨサブバンド係数）が無効な変換係数として０に設定される。コンポーネントＣ３では、３つの解像度レベルすなわち解像度レベル５，４，３の変換係数（図７における１ＨＬ，１ＬＨ，１ＨＨ，．．．，３ＨＬ，３ＬＨ，３ＨＨサブバンド係数）が無効な変換係数として０に設定される。同様に、コンポーネントＣ４では、解像度レベル５，４，３，２の変換係数（図７における１ＨＬ，１ＬＨ，１ＨＨ，．．．，４ＨＬ，４ＬＨ，４ＨＨサブバンド係数）が無効な変換係数として０に設定される。
【００５０】
図９に、解像度レベル数５の符号化データを復号する場合に、復号解像度レベルと各コンポーネントの符号の有効な解像度レベルとの関係を説明する図である。
【００５１】
復号解像度レベルが最高解像度レベル５の場合、コンポーネントＣ０の符号のみを復号対象として解像度レベル５まで復号処理を行うことにより、原画像と同じ（ロスレスな）画像が復元される。なお、この場合に、例えばコンポーネントＣ１の符号まで復号し、復元されたコンポーネントＣ０，Ｃ１の重ね合わせ処理を行うと、コンポーネントＣ１は原画像から１画素だけずれた画像であるため、重ね合わせ処理後の画像は、原画像中の線が二重になったような画像となってしまう。
【００５２】
復号解像度レベルが解像度レベル４の場合、コンポーネントＣ０，Ｃ１の符号を復号対象として解像度レベル４までの復号処理（縮小デコード）を行い、復元されたコンポーネントＣ０，Ｃ１の重ね合わせ処理を行うことにより、原画像より解像度が１レベル低い縮小画像が復元される。解像度レベル４では、原画像上の１画素だけずれた隣接画素はコンポーネントＣ０，Ｃ１上では同じ位置となるため、重ね合わせ処理後の画像の線が二重になるような不都合はなく、また、離散ウェーブレット変換によりコンポーネントＣ０又はＣ１から消失した細線も復元される。
【００５３】
以上から分かるように、コンポーネントＣ１の解像度レベル５の符号は復号の際に利用されない。よって、コンポーネントＣ１では、解像度レベル５の変換係数を無効なものとして、その値を０に設定して構わないわけである。
【００５４】
同様に、復号解像度レベルが解像度レベル３の場合、コンポーネントＣ０，Ｃ１，Ｃ２の符号を復号対象として、解像度レベル３までの縮小デコードを行い、復元されたコンポーネントＣ０，Ｃ１，Ｃ２の重ね合わせ処理を行うことにより、原画像より解像度が２レベル低い縮小画像を復元することできる。そして、離散ウェーブレット変換によりコンポーネントＣ０，Ｃ１又はＣ２から消失した細線も復元される。コンポーネントＣ２の解像度レベル５，４の符号は復号の際に利用されない。よって、コンポーネントＣ２の解像度レベル５，４の変換係数を無効なものとし、その値を０に設定して構わないわけである。
【００５５】
コンポーネントＣ３，Ｃ４についても同様に説明することができ、コンポーネントＣ３の解像度レベル５，４，３の変換係数は０に設定され、コンポーネントＣ４の解像度レベル５，４，４，２の変換係数は０に設定される。
【００５６】
なお、最高の復元解像度レベルを解像度レベル４とする場合にはコンポーネントＣ２，Ｃ３，Ｃ４は不要である。解像度レベル３より低い解像度レベルでは復号しない場合にはコンポーネントＣ３，Ｃ４は不要である。解像度レベル１での復号をしない場合にはコンポーネントＣ４は不要である。
【００５７】
なお、符号量削減効果を期待しない場合には、処理ブロック１１２を省くことも可能であり、かかる態様も本発明に含まれる。
【００５８】
次に、処理ブロック１１３において、処理ブロック１１２で処理後の各コンポーネントの変換係数に対し、係数ビット・モデリングと算術符号化によるエントロピー符号化が行われる。次に、処理ブロック１１４において、エントロピー符号化により生成された符号をまとめてパケットを生成し、パケットを所定の順序に並べるとともにヘッダ等を付加することにより、複数コンポーネントからなる解像度スケーラビリティを有するＪＰＥＧ２０００フォーマットの符号化データ（コードストリーム）を生成する。なお、処理ブロック１１２で値が０に設定された変換係数に対応するパケットは０レングスパケットとなるため、符号量が削減される。
【００５９】
ＪＰＥＧ２０００の符号化データの符号単位であるパケットは、コンポーネントＣ、解像度レベルＬ、ポジション（プリシンクト）Ｐ、レイヤ（画質）Ｌの属性を有し、これら属性に従ってパケットを様々な順序（プログレッションオーダ）に並べることができる。本発明の場合、符号化データの復号時に必要なコンポーネントの必要な解像度レベルのパケットを容易に選択できるようにするため、プログレッションオーダとしては例えばＣＲＰＬプログレッションオーダを用いることができる。
【００６０】
図１０にＣＲＰＬプログレッションオーダの符号化データの構造を模式的に示す。
【００６１】
《復号時に有効なコンポーネントを選択するための情報の付加》
処理ブロック１１４において、符号化データの復号時に復号解像度レベルに応じて有効なコンポーネントを選択するための情報を、符号化データのヘッダに記述することができる。例えば、符号化データの先頭に付加されるメインヘッダ中のＣＯＭマーカセグメントに、そのような情報を文字コードとして記述することができる。図８及び図９で説明したような解像度レベル数５、コンポーネント数５の符号化データの場合、例えば、
”Res=5:Comp=0;Res=4:Comp=0,1;Res=3:Comp=0,1,2;Res=2:Comp=0,1,2,3:
Res=1:Comp=0,1,2,3,4”
というような文字コードを記述することができる。この記述の例えば”Res=4:Comp=0,1”は、復号解像度レベル４での復号の場合には有効なコンポーネントとしてコンポーネントＣ０，Ｃ１を選択すべきであることを意味している。ただし、このような記述方法は一例であって、他の任意の記述方法を採用してよい。
【００６２】
なお、そのような情報を符号化データとは別の情報として復号側へ与えることができる場合や、復号解像度レベルと復号対象とすべきコンポーネントの対応関係が固定されるような場合には、そのような情報を個々の符号化データのヘッダに記述しないようにすることもでき、かかる態様も本発明に含まれる。
【００６３】
《復号時にコンポーネントの重ね合わせ方法を選択するための情報の付加》
処理ブロック１１４において、符号化データの復号時に復号解像度レベルに応じてコンポーネントの重ね合わせ方法を選択するための情報を、符号化データのヘッダに記述することもできる。
【００６４】
例えば、ＪＰＥＧ２０００のＰａｒｔ２では、行列変換方式によるコンポーネント変換及びコンポーネント逆変換が可能である。この行列変換方式のコンポーネント逆変換によって、縮小デコード時のコンポーネントの重ね合わせ処理が可能である。先に述べた解像度レベル数５、コンポーネント数５の符号化データ、各コンポーネントが２値画像の場合、復号解像度レベルｉの復元画像をＷｉを得るためのコンポーネント重ね合わせ処理は、
Ｗ５＝Ｃ０
Ｗ４＝Ｃ０＋Ｃ１
Ｗ３＝Ｃ０＋Ｃ１＋Ｃ２
Ｗ２＝Ｃ０＋Ｃ１＋Ｃ２＋Ｃ３
Ｗ１＝Ｃ０＋Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４
というコンポーネント逆変換で行うことができる（”＋”は論理和を意味する）。ＪＰＥＧ２０００のＰａｒｔ２では、このようなコンポーネント逆変換のための変換行列をメインヘッダのＭＣＣマーカセグメントに記述することができる。もちろん、このコンポーネント逆変換の内容をメインヘッダのＣＯＭマーカセグメントに文字コードとして記述することも可能である。
【００６５】
以上は符号化すべきコンポーネントが２値画像の場合である。コンポーネントが多値の場合、すなわち、原画像及び平行移動画像が多値画像の場合、符号化処理部１０３のブロック図は図１１のようになる。図１１と図６を比較すれば分かるように、各コンポーネントに対し、そのダイナミックレンジを半減させるＤＣレベルシフト処理を施す処理ブロック１１５が追加されている。これ以外は図６と同様である。なお、コンポーネントＣ０以外のコンポーネントの無効な変換係数の値を０に設定する処理ブロック１１２を省くことも可能であり、かかる態様も本発明に含まれる。
【００６６】
この場合においても、２値画像を処理する場合と同様に、復号時に復号解像度レベルに応じて有効なコンポーネントを選択するための情報を符号化データのメインヘッダ中に記述することができることは当然であり、かかる態様も本発明に含まれる。
【００６７】
ここまでの説明から理解されるように、本実施形態は、請求項１乃至４に係る発明の一実施形態に相当する。また、本実施形態に係る画像処理装置で実行される処理内容は、請求項１１に係る発明の一実施形態に相当する。
【００６８】
［第２の実施形態］
図１２は、本発明の第２の実施形態に係る画像処理装置のブロック図である。この画像処理装置２００は、符号入力部２０１、復号処理部２０２、コンポーネント重ね合わせ処理部２０３、復号解像度レベル指定部２０４及びコンポーネント選択部２０５から構成される。この画像処理装置２００は、例えばＣＰＵやメモリ等からなる一般的な構成のコンピュータのハードウェア資源を利用し、ソフトウェアにより実現することができる。
【００６９】
符号入力部２０１は、前記第１の実施形態に係る画像処理装置により生成された符号化データ（又は同様の符号化データ）を、それが蓄積された不図示のストレージ等より取り込む手段である。復号処理部２０２は、符号入力部２０１により入力された符号化データに対しＪＰＥＧ２０００の復号アルゴリズムに準じた復号処理を行う手段である。復号解像度レベル指定部２０４は、復号処理部２０２における復号解像度レベルを指定する手段である。コンポーネント選択部２０５は、復号解像度レベル指定部２０５により指定された復号解像度レベルに応じて有効なコンポーネントを選択する手段である。復号処理部２０２においては、コンポーネント選択部２０５により選択された有効なコンポーネントのみを復号対象として、指定された復号解像度レベルまでの復号処理を実行する。したがって、復号処理部２０２で復元されるコンポーネントは、コンポーネント選択部２０５で選択されたコンポーネントのみであり、その解像度レベルは指定された復元解像度レベルである。
【００７０】
入力される符号化データが２値の原画像及びその平行移動画像をコンポーネントとして符号化されたものである場合、復号処理部２００のブロック図は図１３のよう示すことができる。すなわち、処理ブロック２１１で、符号化データの有効なコンポーネントの復号解像度レベルまでのパケットについて、係数ビット・モデリングと算術復号によるエントロピー復号を行うことにより、それらコンポーネントの変換係数を生成する。そして、処理ブロック２１２において、それら変換係数に対し可逆離散ウェーブレット逆変換を適用することにより、復元解像度レベルの有効なコンポーネントを復元する。
【００７１】
入力される符号化データが多値の原画像及びその平行移動画像をコンポーネントとして符号化されたものである場合、復号処理部２００の処理ブロック図は図１４のようになる。図１３との違いは、処理ブロック２１２の後段に、復元されたコンポーネントのＤＣレベル逆シフト処理を行うための処理ブロック２１３が追加された点のみである。
【００７２】
さて、入力される符号化データのコンポーネント数、解像度レベル数、原画像（コンポーネントＣ０）に対する平行移動画像（コンポーネントＣ１以下）の移動量が固定されている場合には、コンポーネント選択部２０５は指定された復号解像度レベルのみによって有効なコンポーネントを選択することができる。かかる態様も本発明に含まれる。
【００７３】
ここでは、前記第１の実施形態に係る画像処理装置によって生成された符号化データが入力され、そのメインヘッダ中のＣＯＭマーカセグメントに、復号解像度レベルに応じて有効なコンポーネントを選択するための情報が記述されているものとする。コンポーネント選択部２０５は、ＣＯＭマーカセグメントに記述されている上記情報を参照し、指定された復号解像度レベルでの有効なコンポーネントを選択して復号処理部２０２に指定することができる。
【００７４】
コンポーネント重ね合わせ処理部２０３は、復号処理部２０２によって復元されたコンポーネントの重ね合わせ処理を行うことにより、縮小デコードの場合でも、原画像中の細線の途切れ等がなく、細線の再現性が良好な復元画像を生成する手段である。コンポーネント重ね合わせ処理部２０３は、例えば図１５に示すように、バッファ記憶部２２１と演算部２２２とから構成することができる。復号処理部２０２によって復元された１以上のコンポーネントはバッファ記憶部２２１に一時的に記憶される。演算部２２２は、バッファ記憶部２２１に記憶されたコンポーネントから復元画像の画素値を求める手段である。
【００７５】
縮小デコードの場合、バッファ記憶部２２１には２以上のコンポーネントが記憶される。演算部２２２は、それらコンポーネントの同一位置の画素値から復元画像の対応位置の画素値を求める。
【００７６】
すなわち、コンポーネントが２値画像の場合、演算部２２２は、同じ位置の画素値の論理和を復元画像の対応位置の画素値とすることができる。なお、２値画像では、黒画素を”１”で、白画素を”０”で表すことが多いが、白黒を逆転して符号化される場合もある。このような符号化データの場合には、演算部２２２はバッファ記憶部２２１内の２以上のコンポーネントの同一位置の画素値の論理積を復元画像の対応位置の画素値とすることができる。このようなコンポーネントの重ね合わせにより、縮小デコードでも原画像中の細線の再現性が良好な復元画像を得られることは図９に関連して説明した通りである。
【００７７】
復元されたコンポーネントが多値画像の場合、演算部２２２は、それらコンポーネントの同一位置の画素値の中の最大値を復元画像の対応位置の画素値とすることができる。コンポーネントの同一位置の画素値の平均値を求め、その平均値を復元画像の画素値とすることも可能であるが、復元画像は全体として淡い画像になる。
【００７８】
一方、縮小デコードでない場合、すなわち、符号化データの最高解像度レベルと復号解像度レベルが同一の場合、バッファ記憶部２２１には１つのコンポーネントＣ０のみが記憶される。この場合、演算部２２２は、コンポーネントＣ０の画素値をそのまま復元画像の画素値として出力する。この復元画像は原画像のロスレス画像であるので、細線の途切れ等は生じない。
【００７９】
ここまでの説明から明らかなように、本実施形態は請求項６，８に係る発明の一実施形態に相当する。また、本実施形態に係る画像処理装置で実行される処理内容は、請求項１２に係る発明の一実施形態に相当する。
【００８０】
［第３の実施形態］
図１６は、本発明の第３の実施形態に係る画像処理装置のブロック図である。この画像処理装置３００と前記第２の実施形態に係る画像処理装置２００との相違点は次の通りである。
【００８１】
復号処理部２０２は、入力された符号化データの全コンポーネントを対象として、復号解像度レベル指定部２０４により指定された復号解像度レベルまでの復号処理を行い、復号解像度レベルの全コンポーネントを復元する。コンポーネント選択部２０５は、復号解像度レベルに応じた有効なコンポーネントを選択するが、選択したコンポーネントを復号処理部２０２に指定するのではなくコンポーネント重ね合わせ処理部３０３に指定する。コンポーネント重ね合わせ処理部３０３は、復号処理部２０３により生成されたコンポーネント中のコンポーネント選択部２０５により指定されたコンポーネントのみの重ね合わせ処理を行って復元画像を生成する。コンポーネント重ね合わせ処理部３０３のブロック図は図１５のように表すことができるが、演算部２２２に対しコンポーネント選択部２０５より有効なコンポーネントが指定され、演算部２２２は指定されたコンポーネントのみから復元画像の画素値を決定する。
【００８２】
この画像処理装置３００も、例えばＣＰＵやメモリ等からなる一般的な構成のコンピュータのハードウェア資源を利用しソフトウェアにより実現することができる。
【００８３】
ここまでの説明から明らかなように、本実施形態は請求項７，８に係る発明の一実施形態に相当する。また、本実施形態に係る画像処理装置の処理内容は請求項１３に係る発明の一実施形態に相当する。
【００８４】
［第４の実施形態］
図１７は本発明の第４の実施形態に係る画像処理装置のブロック図である。この画像処理装置４００は、符号入力部２０１、復号処理部４０２、復号解像度レベル指定部２０４及びコンポーネント重ね合わせ方法選択部４０５から構成される。この画像処理装置４００も、例えばＣＰＵやメモリ等からなる一般的な構成のコンピュータのハードウェア資源を利用しソフトウェアにより実現することができる。
【００８５】
復号処理部４０２はＪＰＥＧ２０００のＰａｒｔ２に規定されている行列変換方式によるコンポーネント逆変換手段を含み、コンポーネント逆変換によってコンポーネント重ね合わせ処理を内部で実行する。復号処理部４０２の処理ブロック図を図１８に示す。２値のコンポーネントを符号化した符号化データを対象としており、処理ブロック４１１で符号化データのエントロピー復号を行ってコンポーネントの変換係数を復元し、処理ブロック４１２で復元された変換係数に対し可逆離散ウェーブレット逆変換を適用して復元解像度レベルのコンポーネントを復元する。そして、このコンポーネントに対し処理ブロック４１３で行列変換方式のコンポーネント逆変換によりコンポーネントの重ね合わせ処理を行い、復元画像を生成する。
【００８６】
コンポーネント重ね合わせ方法選択部４０５は、復号解像度レベル指定部２０４により指定された復号解像度レベルに応じてコンポーネントの重ね合わせ方法を選択し、それを復号処理部４０２に指定する手段である。
【００８７】
入力される符号化データのコンポーネント数、解像度レベル数、原画像（コンポーネントＣ０）に対する平行移動画像（コンポーネントＣ１以下）の移動量が固定されている場合には、コンポーネント重ね合わせ方法選択部４０５は指定された復号解像度レベルのみに基づいてコンポーネント重ね合わせ方法（コンポーネント逆変換方法）を選択することができる。かかる態様も本発明に含まれる。
【００８８】
ここでは、前記第１の実施形態に関連して説明したように、復号解像度レベルに応じてコンポーネント重ね合わせ方法を選択するための情報として、コンポーネント逆変換の変換行列が符号化データのメインヘッダのＭＣＣマーカセグメントに記述されているか、あるいは、同様の内容がメインヘッダのＣＯＭマーカセグメントに記述されている場合を想定している。コンポーネント重ね合わせ方法選択部４０５は、入力された符号化データのメインヘッダのＭＣＣマーカセグメント又はＣＯＭマーカセグメントに記述されている上記情報を参照し、復元解像度レベルに対応したコンポーネント逆変換方法すなわちコンポーネント重ね合わせ方法を復号処理部４０２に指定する。
【００８９】
復号処理部４０２の処理ブロック４１３は、指定されたコンポーネント逆変換方法によるコンポーネント逆変換を行うことにより復元画像を生成する。なお、処理ブロック４１１では全コンポーネントのエントロピー復号を行う。ただし、コンポーネント逆変換に用いられるコンポーネントのみを対象にしてエントロピー復号を行わせる方が処理効率は向上し、かかる態様も本発明に含まれる。
【００９０】
ここまでの説明から明らかなように、本実施形態は請求項９，１０に係る発明の一実施形態に相当する。また、本実施形態に係る画像処理装置における処理内容は請求項１４に係る発明の一実施形態に相当する。
【００９１】
［第５の実施形態］
図１９は、本発明の第５の実施形態を説明するためのブロック図である。図１９において、５００及び６００は本発明の第５の実施形態に係る画像処理装置であり、ＪＰＥＧ２０００の符号化データの必要な符号だけを転送するためのプロトコルであるＪＰＩＰ
（JPEG2000  Interactive  Protocol）に準拠したＪＰＩＰサーバ及びＪＰＩＰクライアントとしてそれぞれ動作する。以下、画像処理装置５００をＪＰＩＰサーバと呼び、画像処理装置６００をＪＰＩＰクライアントと呼ぶ。
【００９２】
このクライアント・サーバ間の必要最小限のリクエスト・レスポンスのシーケンスを図２０に示す。ＪＰＩＰクライアント６００から符号要求が出されると、それを受信したＪＰＩＰサーバ５００は、要求された画像の符号化データより、送信する必要のある符号を抽出してＪＰＩＰクライアント６００へ送信する。ＪＰＩＰクライアント６００は、受信した符号をＪＰＥＧ２０００フォーマットの符号化データに再構成してから復号等の処理を行って画像を表示する。
【００９３】
図１９に戻り説明する。ＪＰＩＰサーバ５００は、画像入力部５０１、平行移動画像生成部５０２、符号化処理部５０３、ストレージ５０４、通信部５０５、リクエスト処理部５０６等から構成される。画像入力部５０１は画像を入力する手段である。平行移動画像生成部５０２は、画像入力部５０１により入力された画像（原画像）から、それを所定量だけ平行移動させた１又は複数の平行移動画像を生成する手段であり、前記第１の実施形態に係る平行移動画像生成部１０２（図１）に対応する。符号化処理部５０３は、上記原画像及び平行移動画像をそれぞれコンポーネントとしてＪＰＥＧ２０００の符号化アルゴリズムに準拠した符号化処理を行い、複数コンポーネントからなる解像度スケーラビリティを有するＪＰＥＧ２０００フォーマットの符号化データを生成する手段であり、前記第１の実施形態に係る符号化処理部１０３（図１）に対応する。生成された符号化データはファイルとしてストレージ５０４に格納される。通信部５０５は、ローカルエリアネットワーク（ＬＡＮ）やインターネット等のネットワークを介してＪＰＩＰクライアント６００等と通信を行う手段である。リクエスト処理部５０６は、クライアント側からの符号要求等の要求を処理する手段であり、その処理内容については後述する。
【００９４】
ＪＰＩＰクライアント６００は、通信部６０１、リクエスト発行処理部６０２、符号再構成処理部６０３、復号処理部６０４、コンポーネント重ね合わせ処理部６０５、表示部６０６等から構成される。通信部６０１はネットワーク経由でＪＰＩＰサーバ５００等と通信を行う手段である。リクエスト発行処理部６０２は符号要求等を発行する処理を行う手段である。符号再構成処理部６０３は通信部６０１により受信された符号からＪＰＥＧ２０００フォーマットの符号化データを再構成する処理を行う手段である。復号処理部６０４は再構成後の符号化データの復号処理を行い、各コンポーネントを復元する手段である。コンポーネント重ね合わせ処理部６０５は復元されたコンポーネントの重ね合わせ処理を行い復元画像を生成する手段である。表示部６０６は復元画像をディスプレイ画面に表示する手段である。
【００９５】
なお、ＪＰＩＰサーバ５００及びＪＰＩＰクライアント６００は、例えばＣＰＵ，メモリ，ネットワークインターフェース等を備える一般的な構成のコンピュータのハードウェア資源を利用し、ソフトウェアによって実現することができる。
【００９６】
以下、動作を説明する。ＪＰＩＰクライアント６０２において、リクエスト発行処理部６０２は符号要求を発行し、該符号要求を通信部６０１によりネットワーク経由でＪＰＩＰサーバ５００へ送信する。
【００９７】
この符号要求には、対象となる画像のリソース名(ファイル名)と、ビューウィンドウリクエストと呼ばれる、画像の表示したい大きさなどの情報が含まれる。ビューウィンドウリクエストは、解像度を与えるフレームサイズ(fx,fy)、フレーム中の表示領域の大きさ
(sx,sy)、表示領域のオフセット(ox,oy)をパラメータとして与える（図２１参照）。
【００９８】
ＪＰＩＰクライアント６００から符号要求が送信された時のＪＰＩＰサーバ６００側の処理フローを図２２に示す。
【００９９】
ＪＰＩＰサーバ５００において、通信部５０５により符号要求を受信すると（ステップ５１１）、リクエスト処理部５０６で、受信した符号要求に含まれるリソース名から送信対象の符号化データを特定する（ステップ５１２）。
【０１００】
リクエスト処理部５０６は、特定した当該符号化データのメインヘッダから、原画像のサイズやタイルサイズ、解像度レベル、コンポーネント数を読み込み、また、メインヘッダ中のＣＯＭマーカセグメントに記述されている”復号解像度レベルに応じて有効なコンポーネントを選択するための情報”を読み込む（ステップ５１３）。
【０１０１】
リクエスト処理部５０６は、原画像サイズと、ビューウィンドウリクエストで指定されたフレームサイズ（fx,fy）から復号解像度レベルを決定する（ステップ５１４）。例えば、原画像サイズが”５１２画素×２５６画素”でフレームサイズが”２５６画素×１２８画素”であれば、復号解像度レベルは最高解像度レベルより１レベル下の解像度レベルとなる。
【０１０２】
リクエスト処理部５０６は、ビューウィンドウリクエストで指定された表示領域の大きさ及びオフセットから、表示領域に含まれるタイルとそのプレシンクトを決定する（ステップ５１５）。
【０１０３】
リクエスト処理部５０６は、ステップ５１３でＣＯＭマーカセグメントから読み込んだ情報を参照し、ステップ５１４で決定した復号解像度レベルでの復号に有効なコンポーネントを選択する（ステップ５１６）。
リクエスト処理部５０６は、当該符号化データより送信する必要のある符号を抽出する（ステップ５１７）。送信する必要のある符号とは、ステップ５１５で決定したタイルのプレシンクトのパケットであって、ステップ５１６で選択したコンポーネントの、ステップ５１４で決定した復号解像度レベル以下の解像度レベルの全レイヤのパケットである（ビューウィンドウリクエストに品質のパラメータ指定はないため、全レイヤが指定されたものとして処理する）。
【０１０４】
リクエスト処理部５０６は、抽出した符号を通信部５０５によりＪＰＩＰクライアント６００へ送信する（ステップ５１８）。例えばＪＰＩＰのＪＰＰ−ｓｔｒｅａｍと呼ばれるプレシンクト単位の転送方法の場合、プレシンクト単位でパケットを送信する。なお、クライアント側での復号に必要な情報が含まれているメインヘッダ及びタイルパートヘッダの情報も送信する。
【０１０５】
ＪＰＩＰクライアント６００においては、通信部６０１により受信したパケット及びヘッダ情報から符号再構成処理部６０３でＪＰＥＧ２０００フォーマットの符号化データを再構成する。この再構成された符号化データに対し復号処理部６０４で復号処理を行い、復号解像度レベルのコンポーネントを復元する。なお、画像復元に必要なコンポーネントの符号のみ受信するため、そのコンポーネントが全て復号対象であり、復元されるコンポーネントは表示画像の生成に必要なコンポーネントのみである。復元されたコンポーネントの重ね合わせ処理がコンポーネント重ね合わせ処理部６０５で行われ、表示領域に表示するための画像が生成される。なお、コンポーネント重ね合わせ処理の方法は、各コンポーネントが２値画像の場合には、全コンポーネントの同一位置の画素値の論理和をとる方法により行うことができ、また、各コンポーネントが多値画像の場合には、全コンポーネントの同一位置の画素値の最大値をとる方法により行うことができる。表示部６０６は、コンポーネント重ね合わせ処理により生成された画像をディスプレイ画面上の表示領域に表示する。
【０１０６】
ＪＰＩＰにはＪＰＴ−Ｓｔｒｅａｍと呼ばれるタイル単位で符号を転送する方法もあり、この方法で必要な符号を送受信することも可能である。かかる態様も当然に本実施形態に包含される。
【０１０７】
ここまでの説明から明らかなように、本実施形態に係るＪＰＩＰサーバ５００は請求項５に係る発明の一実施形態に相当する。
【０１０８】
なお、ここではＪＰＩＰクライアント・サーバシステムとして説明したが、これに限定されない。例えば、クライアント側から復号解像度レベルを指定し、サーバ側で、図９に関連して説明したように復号解像度レベルの画像復元に必要なコンポーネントの符号のみを抽出し、その符号を用いてＪＰＥＧ２０００フォーマット（これに限らないが）の符号化データを再構成し、それをクライアントへ送信するようなクライアント・サーバシステムを構築することも可能である。かかるサーバも請求項５に係る発明に包含されることは当然である。
【０１０９】
以上、本発明の実施形態について説明した。しかし、本発明はそれら実施形態のみに限定されるものではない。例えば、符号化アルゴリズムはＪＰＥＧ２０００に準じたもののみに限定されるわけではなく、各コンポーネントの離散ウェーブレット変換係数をエントロピー符号化することにより、複数コンポーネントからなる解像度スケーラビリティを有する符号化データを生成する他の符号化アルゴリズムを用いることもできる。
【０１１０】
また、前記各実施形態に係る画像処理装置を、コンピュータを利用して実現するためのプログラム、すなわち、画像処理装置の各構成要素としてコンピュータを機能させるプログラム、及び、そのようなプログラムが記録された半導体記憶素子、磁気ディスク、光ディスク、光磁気ディスク等の、コンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。
【図面の簡単な説明】
【０１１１】
【図１】第１の実施形態を説明するためのブロック図である。
【図２】原画像の説明図である。
【図３】原画像の左端、上端を１画素分切り取った画像の説明図である。
【図４】原画像を１画素だけ水平、垂直方向に移動した画像の説明図である。
【図５】原画像を３画素だけ水平、垂直方向に移動した画像の説明図である。
【図６】２値コンポーネントを処理する符号化処理部のブロック図である。
【図７】離散ウェーブレット変換を５回適用したサブバンド分解を示す図である。
【図８】コンポーネントの移動量と無効な解像度レベルとの関係を説明するための図である。
【図９】復号時におけるコンポーネント毎の有効な解像度レベルを説明するための図である。
【図１０】ＣＲＰＬプログレッションオーダの符号構造の説明図である。
【図１１】多値コンポーネントを処理する符号化処理部のブロック図である。
【図１２】第２の実施形態を説明するためのブロック図である。
【図１３】２値コンポーネントの符号化データを処理する復号処理部のブロック図である。
【図１４】多値コンポーネントの符号化データを処理する復号処理部のブロック図である。
【図１５】コンポーネント重ね合わせ処理部のブロック図である。
【図１６】第３の実施形態を説明するためのブロック図である。
【図１７】第４の実施形態を説明するためのブロック図である。
【図１８】図１７中の復号処理部のブロック図である。
【図１９】第５の実施形態を説明するためのブロック図である。
【図２０】クライアント・サーバ間のリクエスト・レスポンスのシーケンスを示す図である。
【図２１】ビューウィンドウリクエストのパラメータの説明図である。
【図２２】ＪＰＩＰサーバにおける処理フローを説明するための図である。
【図２３】１画素幅の細線を含む２値画像を示す図である。
【図２４】離散ウェーブレット変換を３回適用したサブバンド分解を示す図である。
【符号の説明】
【０１１２】
１０１  画像入力部
１０２  平行移動画像生成部
１０３  符号化処理部
２０１  符号入力部
２０２  復号処理部
２０３  コンポーネント重ね合わせ処理部
２０４  復号解像度レベル指定部
２０５  コンポーネント選択部
３０３  コンポーネント重ね合わせ処理部
４０２  復号処理部
４０５  コンポーネント重ね合わせ方法選択部
５００  ＪＰＩＰサーバ
５０１  画像入力部
５０２  平行移動画像生成部
５０３  符号化処理部
５０４  ストレージ
５０５  通信部
５０６  リクエスト処理部
【図１】
0004874941.tif 000004
【図２】
0004874941.tif 000005
【図３】
0004874941.tif 000006
【図４】
0004874941.tif 000007
【図５】
0004874941.tif 000008
【図６】
0004874941.tif 000009
【図７】
0004874941.tif 000010
【図８】
0004874941.tif 000011
【図９】
0004874941.tif 000012
【図１０】
0004874941.tif 000013
【図１１】
0004874941.tif 000014
【図１２】
0004874941.tif 000015
【図１３】
0004874941.tif 000016
【図１４】
0004874941.tif 000017
【図１５】
0004874941.tif 000018
【図１６】
0004874941.tif 000019
【図１７】
0004874941.tif 000020
【図１８】
0004874941.tif 000021
【図１９】
0004874941.tif 000022
【図２０】
0004874941.tif 000023
【図２１】
0004874941.tif 000024
【図２２】
0004874941.tif 000025
【図２３】
0004874941.tif 000026
【図２４】
0004874941.tif 000027