(57)【要約】【課題】すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に画像の集約や、集約画像の分割を行なうことができるようにする。【解決手段】ヘッダ・符号データ分割処理部５５は、複数枚の画像をそれぞれ１又は複数のタイルに分割し当該タイルごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した複数のコードストリームを対象として、それぞれヘッダ部分と符号データ部分とに分割する。ヘッダ処理部５６は、この分割後のヘッダ部分のデータを各画像を１枚の画像に集約するために編集する。そして、コードストリーム合成部５７は、この編集したヘッダ部分のデータと各符号データ部分とを結合して各画像を１枚の画像に集約した単一の新たなコードストリームを生成する。【選択図】　　図１１
2004088307.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像をそれぞれ１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した複数のコードストリームを対象として、それぞれヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理手段と、
この分割後のヘッダ部分のデータを前記各画像を１枚の画像に集約するために編集するヘッダ処理手段と、
この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記各画像を１枚の画像に集約した単一の新たなコードストリームを生成するコードストリーム合成手段と、
を備えている画像処理装置。
【請求項２】
前記複数の画像を１枚の画像に集約する画像数を設定する集約設定手段を備え、
前記ヘッダ処理手段は、前記集約設定手段の設定に応じて前記編集を行なう、請求項１に記載の画像処理装置。
【請求項３】
前記集約設定手段は、画像の水平方向及び垂直方向の少なくとも一方について前記集約する画像数を設定する、請求項２に記載の画像処理装置。
【請求項４】
画像を複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した単一のコードストリームであって、前記矩形領域の一つ又は複数がそれぞれ単一の画像であるものを対象として、ヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理手段と、
この分割後のヘッダ部分のデータを前記画像ごとに複数の新たなコードストリームを生成するために編集するヘッダ処理手段と、
この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記画像ごとに複数の新たなコードストリームに生成するコードストリーム合成処理手段と、
を備えている画像処理装置。
【請求項５】
原稿の画像を読取るスキャナと、
この読取った画像を１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した単一のコードストリームを生成する画像圧縮符号化手段と、
このコードストリームを前記対象とする請求項１〜４の何れかの一に記載の画像処理装置と、
この画像処理装置の前記コードストリーム合成手段で合成後の各コードストリームに基づいて用紙上に画像の形成を行なうプリンタエンジンと、
を備えている画像形成装置。
【請求項６】
複数枚の画像をそれぞれ１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した複数のコードストリームを対象として、それぞれヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理と、
この分割後のヘッダ部分のデータを前記各画像を１枚の画像に集約するために編集するヘッダ処理と、
この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記各画像を１枚の画像に集約した単一の新たなコードストリームを生成するコードストリーム合成処理と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。
【請求項７】
前記複数の画像を１枚の画像に集約する画像数を設定する集約設定処理をさらにコンピュータに実行させ、
前記ヘッダ処理は、前記集約設定手段の設定に応じて前記編集を行なう、
請求項６に記載のプログラム。
【請求項８】
前記集約設定処理は、画像の水平方向及び垂直方向の少なくとも一方について前記集約する画像数を設定する、請求項７に記載のプログラム。
【請求項９】
画像を複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した単一のコードストリームであって、前記矩形領域の一つ又は複数がそれぞれ単一の画像であるものを対象として、ヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理と、
この分割後のヘッダ部分のデータを編集するヘッダ処理と、
この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記画像ごとに複数の新たなコードストリームに生成するコードストリーム合成処理と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。
【請求項１０】
請求項６〜９の何れかの一に記載のプログラムを記憶している記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を集約し、あるいは、集約された画像を分割する画像処理装置、画像形成装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
高精細静止画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後、ますます強くなっていくことは必至と思われる。こうした高精細静止画像の取扱いを容易にする画像圧縮伸長アルゴリズムとしては、現在のところ、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）が最も広く使われている。また、２００１年に国際標準になることが確実となったＪＰＥＧ２０００は、ＪＰＥＧよりも更に高性能なアルゴリズムを持つばかりでなく、並行して、大幅な多機能化や、様々なアプリケーションに対する柔軟性と拡張性を図った結果、ＪＰＥＧ後継の次世代高精細静止画像圧縮伸長フォーマットとして、期待されている。
【０００３】
ところで、近年、プリンタなどの画像精度、画像品質の向上、環境への配慮などを背景に、画像を印刷又は表示する際に、複数ページをより少ないページに集約して表示、印刷する機会が増えている。また、インデックスにして、より簡易精度で表示、印刷することもよく行われる。このような場合、画像を作成するには、画像をひとつずつ展開し、必要であれば、所定のサイズへのサイズ変更、メモリへの展開の手順を繰り返し、集約画像を作成している。
【０００４】
かかる手段では、処理時間も単一画像の処理に比べ数倍必要であり、さらに、必要なメモリ量も大きくなり、備わっているメモリ量を超えるメモリを必要とする、あるいは、高速処理可能なメモリ内に収まらないなどの理由により、単一画像の印刷に比べ、処理のためにはるかに大きな時間を要し、使用者に多大な苦痛を負わせるという事態が起こっている。
【０００５】
このような不具合に対し、特開２０００−１５６８２９公報に開示の技術では、インデックス画像を作成する際に、ライン単位のような小さい単位で集約画像を生成し、使用するメモリ量を節約しようとしている。また、特開２０００−１５６８３０公報に開示の技術では、余分にバッファを用意し、高速化を図る技術について開示されている。
【０００６】
また、特開２００１−１４８７７４公報には、集約画像数を指定して画像の集約を行なう技術について開示され、特開平１０−３２２５４２号公報には、集約された画像の原稿を用いて、異なる集約数で再集約技術について開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、特開２０００−１５６８２９公報、特開２０００−１５６８３０公報に開示の技術においても、依然、すべての画像を伸長してメモリへ展開するという工程を繰り返しているため、集約画像の生成には、単一画像の場合に比べて何倍も時間を要することには変わりはない。これは、特開２００１−１４８７７４公報、特開平１０−３２２５４２号公報に開示の技術においても同様である。
【０００８】
本発明の目的は、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に画像の集約や、集約画像の分割を行なうことができるようにすることである。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、複数枚の画像をそれぞれ１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した複数のコードストリームを対象として、それぞれヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理手段と、この分割後のヘッダ部分のデータを前記各画像を１枚の画像に集約するために編集するヘッダ処理手段と、この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記各画像を１枚の画像に集約した単一の新たなコードストリームを生成するコードストリーム合成手段と、を備えている画像処理装置である。
【００１０】
したがって、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に画像の集約を行なうことができる。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記複数の画像を１枚の画像に集約する画像数を設定する集約設定手段を備え、前記ヘッダ処理手段は、前記集約設定手段の設定に応じて前記編集を行なう。
【００１２】
したがって、集約する画像数を設定して、所望の集約画像を得ることができる。
【００１３】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記集約設定手段は、画像の水平方向及び垂直方向の少なくとも一方について前記集約する画像数を設定する。
【００１４】
したがって、画像の水平方向、垂直方向の集約する画像数を設定して、所望の集約画像を得ることができる。
【００１５】
請求項４に記載の発明は、画像を複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した単一のコードストリームであって、前記矩形領域の一つ又は複数がそれぞれ単一の画像であるものを対象として、ヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理手段と、この分割後のヘッダ部分のデータを前記画像ごとに複数の新たなコードストリームを生成するために編集するヘッダ処理手段と、この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記画像ごとに複数の新たなコードストリームに生成するコードストリーム合成処理手段と、を備えている画像処理装置である。
【００１６】
したがって、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に集約画像の分割を行なうことができる。
【００１７】
請求項５に記載の発明は、原稿の画像を読取るスキャナと、この読取った画像を１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した単一のコードストリームを生成する画像圧縮符号化手段と、このコードストリームを前記対象とする請求項１〜４の何れかの一に記載の画像処理装置と、この画像処理装置の前記コードストリーム合成手段で合成後の各コードストリームに基づいて用紙上に画像の形成を行なうプリンタエンジンと、を備えている画像形成装置である。
【００１８】
したがって、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に画像の集約や、集約画像の分割を行なうことができる。
【００１９】
請求項６に記載の発明は、複数の画像を１枚の画像に集約する画像数を設定する集約設定処理と、前記複数の画像をそれぞれ１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した複数のコードストリームを対象として、それぞれヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理と、この分割後のヘッダ部分のデータを前記集約設定手段の設定に応じて編集するヘッダ処理と、この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記各画像を１枚の画像に集約した単一の新たなコードストリームを生成するコードストリーム合成処理と、をコンピュータに実行させるコンピュータに読取り可能なプログラムである。
【００２０】
したがって、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に画像の集約を行なうことができる。
【００２１】
請求項７に記載の発明は、請求項６に記載のプログラムにおいて、前記集約設定処理は、水平方向の前記集約する画像数を設定する。
【００２２】
したがって、水平方向の集約する画像数を設定して、所望の集約画像を得ることができる。
【００２３】
請求項８に記載の発明は、請求項６又は７に記載のプログラムにおいて、前記集約設定処理は、垂直方向の前記集約する画像数を設定する。
【００２４】
したがって、垂直方向の集約する画像数を設定して、所望の集約画像を得ることができる。
【００２５】
請求項９に記載の発明は、画像を複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した単一のコードストリームであって、前記矩形領域の一つ又は複数がそれぞれ単一の画像であるものを対象として、ヘッダ部分と符号データ部分とに分割するヘッダ・符号データ分割処理と、この分割後のヘッダ部分のデータを編集するヘッダ処理と、この編集したヘッダ部分のデータと前記各符号データ部分とを結合して前記画像ごとに複数の新たなコードストリームに生成するコードストリーム合成処理と、をコンピュータに実行させるコンピュータに読取り可能なプログラムである。
【００２６】
したがって、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に集約画像の分割を行なうことができる。
【００２７】
請求項１０に記載の発明は、請求項６〜９の何れかの一に記載のプログラムを記憶している記憶媒体である。
【００２８】
したがって、記憶しているプログラムにより請求項６〜９の何れかの一に記載の発明と同様の作用、効果を奏する。
【００２９】
【発明の実施の形態】
［ＪＰＥＧ２０００アルゴリズムの概要について］
まず、本実施の形態に関連するＪＰＥＧ２０００アルゴリズムの概要について説明する。
【００３０】
図１は、ＪＰＥＧアルゴリズムの概要を説明するためのブロック図である。ＪＰＥＧアルゴリズムは、色空間変換・逆変換部１００、離散コサイン変換・逆変換部１０１、量子化・逆量子化部１０２、エントロピー符号化・復号化部１０３で構成されている。通常は、高い圧縮率を得るために、非可逆符号化を使用するので、完全なオリジナル画像データの圧縮伸長、いわゆるロスレス圧縮は行なわない場合がほとんどである。しかしながら、この非可逆（ロッシー）圧縮により実用上問題が生じることは少ない。そのため、ＪＰＥＧ方式は、圧縮や伸長の処理あるいは圧縮後の画像データ蓄積に必要なメモリ容量を抑え、また、データの送受信に費やされる時間を短くすることに大きく貢献している。こうした利点のために、ＪＰＥＧは現在最も広く普及している静止画像の圧縮伸長アルゴリズムとなった。
【００３１】
図２は、ＪＰＥＧ２０００アルゴリズムの概要を説明するためのブロック図である。ＪＰＥＧ２０００のアルゴリズムは、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４で構成されている。
【００３２】
上記のごとく、現在、最も広く普及している静止画像の圧縮伸長方式はＪＰＥＧである。しかしながら、静止画像に対する高精細化の要求はとどまることがなく、ＪＰＥＧ方式にも技術的な限界が見え始めている。例えば、今まではあまり目立たなかったブロックノイズやモスキートノイズが、原画像の高精細化に伴い顕著となり、ＪＰＥＧファイルの画質劣化が無視できないレベルとなってきている。その結果を受けて、低ビットレート、すなわち高圧縮率領域における画質向上が、技術開発の最重要課題として認識されるようになった。ＪＰＥＧ２０００はこうした問題を解決することが出来るアルゴリズムとして生まれた。そして、近い将来、現在主流のＪＰＥＧ形式と併用されることが予想される。
【００３３】
前述した図１と図２とを比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を、ＪＰＥＧ２０００は離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、採用の大きな理由となっている。また、もう一つの大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部１１４と呼ばれる機能ブロックが追加されている。ここで、コードストリームの生成や解釈が行われる。そして、コードストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、図３は、デコンポジションレベルが３の場合の、各デコンポジションレベルにおけるサブバンドの一例を示す図で、図３に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。
【００３４】
なお、図１と図２の原画像の入出力部分には、色空間変換・逆変換部１００，１１０が用意されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＣｒＣｂあるいはＹＵＶ表色系への変換又は逆の変換を行なう部分がこれに相当する。
【００３５】
以下、ＪＰＥＧ２０００アルゴリズムについて、説明する。
【００３６】
ここで、ＪＰＥＧ２０００に関する用語の定義は、ＪＰＥＧ２０００　ＰａｒｔＩ　ＦＤＩＳ（Ｆｉｎａｌ　Ｄｒａｆｔ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｔａｎｄａｒｄ）に準拠するものとする。以下、代表的な用語の定義について示す。
【００３７】
１．ｃｏｄｅ−ｂｌｏｃｋ：Ａ　ｒｅｃｔａｎｇｕｌａｒ　ｇｒｏｕｐｉｎｇ　ｏｆ　ｃｏｅｆｆｉｃｉｅｎｔｓ　ｆｒｏｍ　ｔｈｅ　ｓａｍｅ　ｓｕｂｂａｎｄ　ｏｆ　ａ　ｔｉｌｅ−ｃｏｍｐｏｎｅｎｔ．
２．ｄｅｃｏｍｐｏｓｉｔｉｏｎ　ｌｅｖｅｌ：Ａ　ｃｏｌｌｅｃｔｉｏｎ　ｏｆ　ｗａｖｅｌｅｔ　ｓｕｂｂａｎｄｓ　ｗｈｅｒｅ　ｅａｃｈ　ｃｏｅｆｆｉｃｉｅｎｔ　ｈａｓ　ｔｈｅ　ｓａｍｅ　ｓｐａｔｉａｌ　ｉｍｐａｃｔ　ｏｒ　ｓｐａｎ　ｗｉｔｈ　ｒｅｓｐｅｃｔ　ｔｏ　ｔｈｅ　ｓｏｕｒｃｅｃｏｍｐｏｎｅｎｔ　ｓａｍｐｌｅｓ．　Ｔｈｅｓｅ　ｉｎｃｌｕｄｅ　ｔｈｅ　ＨＬ，ＬＨ，ａｎｄ　ＨＨ　ｓｕｂｂａｎｄｓ　ｏｆ　ｔｈｅ　ｓａｍｅ　ｔｗｏ　ｄｉｍｅｎｓｉｏｎａｌ　ｓｕｂｂａｎｄ　ｄｅｃｏｍｐｏｓｉｔｉｏｎ．Ｆｏｒ　ｔｈｅ　ｌａｓｔ　ｄｅｃｏｍｐｏｓｉｔｉｏｎ　ｌｅｖｅｌ　ｔｈｅ　ＬＬ　ｓｕｂｂａｎｄ　ｉｓ　ａｌｓｏ　ｉｎｃｌｕｄｅｄ．
３．ｐｒｅｃｉｎｃｔ：Ａ　ｏｎｅ　ｒｅｃｔａｎｇｕｌａｒ　ｒｅｇｉｏｎ　ｏｆ　ａ　ｔｒａｎｓｆｏｒｍｅｄ　ｔｉｌｅ−ｃｏｍｐｏｎｅｎｔ，ｗｉｔｈｉｎ　ｅａｃｈ　ｒｅｓｏｌｕｔｉｏｎ　ｌｅｖｅｌ，ｕｓｅｄ　ｆｏｒ　ｌｉｍｉｔｉｎｇ　ｔｈｅ　ｓｉｚｅ　ｏｆ　ｐａｃｋｅｔｓ．
４．ｌａｙｅｒ：Ａ　ｃｏｌｌｅｃｔｉｏｎ　ｏｆ　ｃｏｍｐｒｅｓｓｅｄ　ｉｍａｇｅ　ｄａｔａ　ｆｒｏｍ　ｃｏｄｉｎｇ　ｐａｓｓｅｓ　ｏｆ　ｏｎｅ，　ｏｒ　ｍｏｒｅ，　ｃｏｄｅ−ｂｌｏｃｋｓ　ｏｆ　ａ　ｔｉｌｅｃｏｍｐｏｎｅｎｔ．　Ｌａｙｅｒｓ　ｈａｖｅ　ａｎ　ｏｒｄｅｒ　ｆｏｒ　ｅｎｃｏｄｉｎｇ　ａｎｄ　ｄｅｃｏｄｉｎｇ　ｔｈａｔ　ｍｕｓｔ　ｂｅ　ｐｒｅｓｅｒｖｅｄ．
５．ｒｅｇｉｏｎ　ｏｆ　ｉｎｔｅｒｅｓｔ（ＲＯＩ）：Ａ　ｃｏｌｌｅｃｔｉｏｎ　ｏｆ　ｃｏｅｆｆｉｃｉｅｎｔｓ　ｔｈａｔ　ａｒｅ　ｃｏｎｓｉｄｅｒｅｄ　ｏｆ　ｐａｒｔｉｃｕｌａｒ　ｒｅｌｅｖａｎｃｅ　ｂｙ　ｓｏｍｅ　ｕｓｅｒ　ｄｅｆｉｎｅｄ　ｍｅａｓｕｒｅ．
以上が、代表的な用語の定義である。
【００３８】
図４は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。カラー画像は、一般に、図４に示すように、原画像の各コンポーネント１３０，１３１，１３２（この例ではＲＧＢ原色系）が、矩形をした領域（タイル）１３０ｔ，１３１ｔ，１３２ｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行われる。
【００３９】
符号化時には、各コンポーネントの各タイルのデータが、図２に示した色空間変換部１１０に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１１で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００４０】
前述した図３には、デコンポジションレベルが３の場合の、各デコンポジションレベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（符号１２０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（符号１２１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（符号１２２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジションレベル３（符号１２３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００４１】
更に図３では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジションレベルを３とした時、グレーで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００４２】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図２に示した量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、プレシンクトと呼ばれる重複のない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。
【００４３】
図５は、プレシンクトとコードブロックの関係の一例を説明する図で、原画像１４０は、デコンポジションレベル１において、タイル１４０ｔ０，１４０ｔ１，１４０ｔ２，１４０ｔ３の４つのタイルに分割されている。図５に示したように、例えばプレシンクト１４０ｐ４は、空間的に一致した３つの矩形領域からなり、プレシンクト１４０ｐ６も同様である。ここでプレシンクトの番号はラスター順に０〜８まで割り当てられる。更に、個々のプレシンクトは、重複しない矩形のコードブロックと呼ばれるブロックに分けられる。本例では、０〜１１までの１２個のコードブロックに分けられており、例えばコードブロック１４０ｂ１は、コードブロック番号１を示す。このコードブロックは、エントロピーコーディングを行なう際の基本単位となる。
【００４４】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行なうことができる。図６には、その手順を簡単に説明するものである。この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」についての概念図をも併せて示している。レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解しやすい。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１、３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００４５】
前述の図２に示したエントロピー符号化部１１３では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１４は、エントロピコーダ部からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行なう。図７は、コードストリームの構造の一例を簡単に示した図で、コードストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダ（それぞれ、メインヘッダ１５０及びタイルパートヘッダ１５１）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データ（ビットストリーム１５２）が続く。そして、コードストリームの終端には、再びタグ（Ｅｎｄ　ｏｆ　ｃｏｄｅｓｔｒｅａｍ）１５３が置かれる。
【００４６】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。前述の図２を用いて簡単に説明する。この場合、タグ処理部１１４は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１２で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１３で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００４７】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１１で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１０によって元の表色系のデータに変換される。
【００４８】
また、従来のＪＰＥＧ圧縮伸長形式の場合は、上記のＪＰＥＧ２０００で述べたタイルを、２次元離散コサイン変換を行なう、一辺が８ピクセルの正方形ブロック、として読み替えれば良い。
【００４９】
ここまでは、一般的な静止画像についての説明であったが、この技術を動画像に拡張することも可能である。すなわち、動画像の各フレームを１枚の静止画像で構成し、これらの静止画像を、アプリケーションに最適なフレーム速度で動画像データを作成（符号化）し、あるいは表示（復号化）させることができる。これが、静止画像のＭｏｔｉｏｎ圧縮伸長処理と言われている機能である。この方式は、動画像で現在広く使われているＭＰＥＧ形式のビデオ・ファイルには無い機能、すなわち、フレーム単位で高品質な静止画像を扱えるという利点を持っていることから、放送局等の業務分野で注目を集め始めている。やがては、一般消費者向けに普及する可能性も大きい。
【００５０】
［複写機の全体構成］
本発明の一実施の形態について説明する。
【００５１】
図８は、本実施の形態である複写機を概略的に示す縦断面図である。複写機１は、本発明の画像形成装置を実施するもので、スキャナ２と、スキャナ２から出力される読取画像データに基づく画像を用紙等の記録媒体に形成するプリンタ２１とを備えている。
【００５２】
スキャナ２の本体ケースの上面には、図示しない原稿が載置されるコンタクトガラス３が設けられている。原稿は、原稿面をコンタクトガラス３に対向させて載置される。コンタクトガラス３の上側には、コンタクトガラス３上に載置された原稿を抑えるプラテンカバー４が設けられている。
【００５３】
コンタクトガラス３の下方には、光を発光する光源５およびミラー６を搭載する第一走行体７と、２枚のミラー８，９を搭載する第２走行体１０と、ミラー６，８，９によって導かれる光を結像レンズ１１を介して受光するＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ１２等によって構成される読取光学系１３が設けられている。ＣＣＤイメージセンサ１２は、ＣＣＤイメージセンサ１２上に結像される原稿からの反射光を光電変換した光電変換データを生成する光電変換素子として機能する。光電変換データは、原稿からの反射光の強弱に応じた大きさを有する電圧値である。第１、第２走行体７，１０は、コンタクトガラス３に沿って往復動自在に設けられており、後述する画像読取り処理に際しては、図示しないモータ等の移動装置によって２：１の速度比で走行する。これにより、読取光学系１３による原稿読取り領域の露光走査が行われる。
【００５４】
プリンタ２１は、シート状の用紙等の記録媒体を保持する媒体保持部２２から電子写真方式のプリンタエンジン２３および定着器２４を経由して排出部２５へ至る媒体経路２６を備えている。
【００５５】
プリンタエンジン２３は、帯電器２７、露光器２８、現像器２９、転写器３０及びクリーナー３１等を用いて電子写真方式で感光体３２の周囲に形成したトナー像を記録材に転写し、転写したトナー像を、定着器２４によって記録材上に定着させる。なお、プリンタエンジン２３は、この例では電子写真方式で画像形成を行なうが、これに限定する必要はなく、インクジェット方式、昇華型熱転写方式、直接感熱記録方式など、様々な画像形成方式を用いることができる。
【００５６】
このような複写機１は、複数のマイクロコンピュータで構成される制御系により制御される。図９は、これらの制御系のうち、画像処理にかかわる制御系の電気的な接続を示すブロック図である。この制御系は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３が、バス４４で接続されている。ＣＰＵ４１は、各種演算を行い、画像処理等の処理を集中的に制御する。ＲＯＭ４２には、このＣＰＵ４１が実行する処理にかかわる各種プログラムや固定データが格納されている。ＲＡＭ４３は、ＣＰＵ４１のワークエリアとなる。ＩＰＵ（Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４５は、各種画像処理にかかわるハードウエアを備えている。記憶媒体となるＲＯＭ４２は、フラッシュメモリ等の不揮発性メモリを備えていて、ＲＯＭ４２内に格納されているプログラムはＣＰＵ４１の制御により、Ｉ／Ｏポート４６を介して図示しない外部装置からダウンロードされるプログラムに書き換え可能である。
【００５７】
図１０は、画像処理装置５１の機能ブロック図である。この画像処理装置５１は、画像圧縮符号化部５２と、集約画像部５３とからなる。画像圧縮符号化部５２は、画像圧縮符号化手段を実現するもので、スキャナ２で読取られ、ＩＰＵ４５で白シェーディング補正等の各種画像処理が施された複数枚の画像のデジタル画像データを、ＪＰＥＧ２０００アルゴリズムにより圧縮符号化して、各画像のコードストリームを生成する。すなわち、画像を１又は複数の矩形領域（タイル）に分割し、この矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化する。集約画像部５３は、この各画像のコードストリームを１枚の画像に集約する集約処理や、すでに１枚の画像に集約されている画像のコードストリームを複数枚の画像に分割する分割処理を行なう。
【００５８】
したがって、画像圧縮符号化部５２は、図２を参照して説明した各機能ブロックを備え、前述のようなＪＰＥＧ２０００アルゴリズムにより画像データの圧縮符号化を行なう。この画像圧縮符号化部５２の機能は、ＩＰＵ４５によりハードウエアが行なう処理により実行しても、ＲＯＭ４２に記憶されているプログラムに基づいてＣＰＵ４１が行なう処理により実行してもよい。この集約画像部５３の機能は、実際にはＣＰＵ４１がＲＯＭ４２に格納されているプログラムに基づいて行なう処理により実現している。
【００５９】
図１１は、集約画像部５３の機能ブロック図である。この集約画像部５３は、画像読込部５４、ヘッダ・符号データ分割処理部５５、ヘッダ処理部５６、コードストリーム合成部５７及び集約設定部５８からなる。
【００６０】
以下では、集約画像部５３により集約画像を合成する場合について説明する。なお、便宜上、集約画像部５３に入力されるすべてのコードストリームが同サイズの１タイル構成である場合を想定して説明する。
【００６１】
まず、ユーザが複写機１の図示しない操作パネルを操作して、集約画像の合成を伴ったコピーの実行を指示すると、スキャナ２により複数枚の原稿の画像を読取り、ＩＰＵ４５で白シェーディング補正等の各種画像処理が施された複数個のデジタル画像データは、それぞれ、画像圧縮符号化部５２で圧縮符号化された複数個のコードストリームとして、集約設定部５８に出力される。
【００６２】
まず、集約設定手段を実現する集約設定部５８においては、ユーザが図示しない操作パネルを操作して、何枚の画像を１枚に集約するように指示したかにより、集約画像を生成する水平方向、垂直方向の画像数を設定する。例えば、４枚の画像を１枚に集約する場合には、水平方向、垂直方向が２×２となる。さらに、画像読込部５４は、集約処理を行なう各コードストリームが順次読み込む。読み込まれた最初のコードストリーム６１は、ヘッダ・符号データ分割処理手段を実施するヘッダ・符号データ分割処理部５５で、ヘッダ部分と、符号データ部分とに分割される。続いて、ヘッダ処理手段を実現するヘッダ処理部５６では、集約設定部５８の設定に応じて、分割されたメインヘッダの画像サイズが、集約後の画像サイズに変更される。また、新たなタイルパートヘッダが生成される。このタイルパートヘッダには、タイルインデックスが付加される。
【００６３】
続いて、２番目以降のコードストリーム６２，…を画像読込部５４で読込み、ヘッダ・符号データ分割処理部５５でヘッダと符号データを分割し、ヘッダ処理部５６で、メインヘッダをタイルパートヘッダに変更する。その際、順次、タイルインデックスが付与される。すべての画像データのヘッダを処理し終えると、コードストリーム生成手段を実現するコードストリーム合成部５７で、ＪＰＥＧ２０００準拠のコードストリームに合成され、複数枚の画像を１枚に集約した画像のコードストリーム６１’が完成する。
【００６４】
図１２は、集約画像部５３で集約前の複数のコードストリームのデータ構成を説明するための図で、合成される１番目のコードストリーム６１のメインヘッダ、タイルパートヘッダ、ビットストリーム、ＥＯＣマーカ、２番目のコードストリーム６２のメインヘッダ、タイルパートヘッダ、ビットストリーム、ＥＯＣマーカ、…、Ｎ番目のコードストリーム６Ｎのメインヘッダ、タイルパートヘッダ、ビットストリーム、ＥＯＣマーカ、を示している。
【００６５】
図１３は、集約画像部５３で集約後のコードストリームのデータ構成を説明するための図で、集約画像のコードストリーム６１’のメインヘッダ、タイルパートヘッダ、ビットストリーム、タイルパートヘッダ、ビットストリーム、タイルパートヘッダ、ビットストリーム、ＥＯＣマーカを示している。
【００６６】
図１２、図１３に明らかなように、画像読込部５４に読み込まれた１，２，…，Ｎ番目のコードストリーム６１，６２，…，６Ｎはヘッダ部分と符号データ部分に分割され、１番目のコードストリームのメインヘッダ１及びタイルパートヘッダ１は、ヘッダ処理部５６により編集され、メインヘッダ１’、タイルパートヘッダ１’に、２番目のコードストリームのメインヘッダ２及びタイルパートヘッダ２は、ヘッダ処理部５６により編集され、タイルパートヘッダ２’に、Ｎ番目のコードストリームのメインヘッダＮ及びタイルパートヘッダＮは、ヘッダ処理部５６によりタイルパートヘッダＮ’に編集され、図１３のように合成され、集約画像のコードストリーム６１’が生成される。
【００６７】
図１４は、複写機１が行なう画像の集約処理の一例を説明するフローチャートである。まず、コピーの実行がユーザから指示されると（ステップＳ１のＹ）、ユーザが集約処理の実行を指示したか否か判断する（ステップＳ２）。指示されなかったと判断した場合は（ステップＳ２のＮ）、一連の処理を終了する。
【００６８】
集約処理の実行を指示したときは（ステップＳ２のＹ）、集約の対象となるすべてのコードストリームを画像読込部５４で読み込んだか否かを判断し（ステップＳ３）、すべてのコードストリームを読み込んだときは（ステップＳ３のＹ）、ステップＳ１０に移行する。読み込んでないときは（ステップＳ３のＮ）、引き続き画像の読込みを行い（ステップＳ４）、ヘッダ・符号データ分割処理部５５でヘッダ部と符号データ部を分割する（ステップＳ５）。ステップＳ５によりヘッダ・符号データ分割処理を実現している。
【００６９】
続いて、読み込んだコードストリームが最初のコードストリームであるか判断し（ステップＳ６）、最初のコードストリームである場合（ステップＳ６のＹ）には、集約後のコードストリームのメインヘッダ、タイルパートヘッダを、ヘッダ処理部５６で元のコードストリームのメインヘッダ、タイルパートヘッダより生成する（ステップＳ７）。最初のコードストリームではない場合（ステップＳ６のＮ）には、集約後のコードストリームのタイルパートヘッダを、ヘッダ処理部５６で元のコードストリームのメインヘッダ、タイルパートヘッダより生成する（ステップＳ８）。ステップＳ７，Ｓ８によりヘッダ処理を実現している。元のコードストリームの数をカウントするためのカウンタをアップさせて（ステップＳ９）、ステップＳ３に戻る。以下、集約処理を行なう全てのコードストリームについて処理が終了するまでステップＳ３からステップＳ９までの処理を繰り返し、集約しようとする全てのコードストリームについて処理を終了すると（ステップＳ３のＹ）、集約後の新たなコードストリームを生成し（ステップＳ１０）、一連の処理を終了する。ステップＳ１０によりコードストリーム合成処理を実現している。
【００７０】
図１５は、複写機１で、集約されているコードストリームを分割し、複数のコードストリームを生成する分割処理を行なう際のフローチャートである。まず、コピーの実行がユーザから指示されると（ステップＳ１１のＹ）、ユーザが図示しない操作パネルにより分割処理の実行を指示したか否かを判断する（ステップＳ１２）。ユーザが分割処理の実行を指示しなかったときは（ステップＳ１２のＮ）、一連の処理を終了する。必要であると判断された場合（ステップＳ１２のＹ）は、分割処理を行なおうとするコードストリームを画像読込部５４で読込み（ステップＳ１３）、ヘッダ・符号データ分割処理部５５でヘッダ部と符号データ部を分割する（ステップＳ１４）。ステップＳ１４によりヘッダ・符号データ分割処理を実現している。
【００７１】
全ての分割処理が終了したか判断し（ステップＳ１５）、すべての分割処理が終了したと判断された場合は（ステップＳ１５のＹ）は、一連の処理を終了する。終了していない場合は（ステップＳ１５のＮ）、分割したヘッダ部のデータはヘッダ処理部５６で編集し、コードストリーム合成部５７では、単一の符号データ部に新たなヘッダ部を付加して新たなコードストリームを生成することで分割画像の生成を行なう（ステップＳ１６）。ステップＳ１６によりヘッダ処理、コードストリーム合成処理を実現している。そして、その分割数をカウントするためのカウンタをアップさせて（ステップＳ１７）、ステップＳ１５に戻る。以下、分割処理が終了するまで、ステップＳ１５、ステップＳ１６の処理を繰り返し、分割処理が終了すると処理を終了する。
【００７２】
よって、例えば、縦横２×２で４枚の画像を集約してコピーした原稿があった場合、ユーザは縦横各々２分割で４枚の画像に分割することを、図示しない操作パネルで指示して、コピーの実行を指示する。すると、画像圧縮符号化部５２では、スキャナ２で読取った集約画像の原稿のデジタル画像データを対象として、１枚の画像を各々２分割で４枚のタイルに分割した図１３に示すようなコードストリームを生成する。そして、このコードストリームを対象として、ヘッダ部と符号データ部を分割し（ステップＳ１４）、各タイルをそれぞれ符号データ部とする図１２に示すような４つのコードストリームが生成されるので（ステップＳ１６）、この各コードストリームを対象としてプリンタ２１で画像形成を行なうことにより、集約した画像を分割した４枚のコピーが生成される。
【００７３】
なお、画像処理装置５１は、集約処理、分割処理の両用の実行が可能であるが、その一方の処理のみが可能な構成としてもよい。また、集約処理について、前述の説明では、便宜上、集約対象となるコードストリームが単一のタイルで形成されるものとして説明したが、複数のタイルに分割されている場合などにおいても、タイルインデックス付加のところに多少の操作は必要であるが、おおむね同様の処理で集約画像を生成することができる。分割処理においても、便宜上、集約されている各画像がそれぞれ単一のタイルを構成するものとして説明したが、複数のタイルで単一の画像を構成するように集約されていてもよい。この場合は、単一の画像を構成する複数のタイルごとにコードストリームを生成する。
【００７４】
また、前述の例では画像処理装置５１を複写機１に搭載した例で説明したが、かかる画像処理装置５１は画像データを扱う様々な電子機器に用いることができる。例えば、パーソナル・コンピュータなどの情報処理装置に画像処理装置５１の機能を実行するアプリケーションプログラムを搭載するなどして、情報処理装置上で様々な画像データの集約、あるいは、集約された画像データの分割を行なうことができる。そして、このようなアプリケーションプログラムを記憶した、光ディスク、光磁気ディスク、フレキシブルディスク等の記憶媒体を提供することができる。
【００７５】
【発明の効果】
請求項１，６に記載の発明は、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に画像の集約を行なうことができる。
【００７６】
請求項２，７に記載の発明は、請求項１，６に記載の発明において、集約する画像数を設定して、所望の集約画像を得ることができる。
【００７７】
請求項３，８に記載の発明は、請求項１，２，６，７に記載の発明において、画像の水平方向、垂直方向の集約する画像数を設定して、所望の集約画像を得ることができる。
【００７８】
請求項４，９に記載の発明は、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に集約画像の分割を行なうことができる。
【００７９】
請求項５に記載の発明は、すべての画像を伸長してメモリへ展開するという工程を繰り返すことなく、容易に画像の集約や、集約画像の分割を行なうことができる。
【００８０】
請求項１０に記載の発明は、記憶しているプログラムにより請求項６〜９の何れかの一に記載の発明と同様の効果を奏する。
【図面の簡単な説明】
【図１】ＪＰＥＧアルゴリズムの概要を説明するためのブロック図である。
【図２】ＪＰＥＧ２０００アルゴリズムの概要を説明するためのブロック図である。
【図３】デコンポジションレベルが３の場合の、各デコンポジションレベルにおけるサブバンドの一例を示す図である。
【図４】タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図５】プレシンクトとコードブロックの関係の一例を説明する図である。
【図６】係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行なう手順の説明図である。
【図７】コードストリームの構造の一例を簡単に示した図である。
【図８】本発明の実施の形態である複写機を概略的に示す縦断面図である。
【図９】複写機の画像処理にかかわる制御系の電気的な接続を示すブロック図である。
【図１０】複写機の画像処理装置の機能ブロック図である。
【図１１】画像処理装置の集約画像部の機能ブロック図である。
【図１２】集約画像部で集約前の複数のコードストリームのデータ構成を説明するための図である。
【図１３】集約画像部で集約後のコードストリームのデータ構成を説明するための図である。
【図１４】複写機が行なう画像の集約処理の一例を説明するフローチャートである。
【図１５】複写機が行なう画像の分割処理の一例を説明するフローチャートである。
【符号の説明】
１　　　画像形成装置
２　　　スキャナ
２３　　プリンタエンジン
５１　　画像処理装置
５２　　画像圧縮符号化手段
５５　　ヘッダ・符号データ分割処理手段
５６　　ヘッダ処理手段
５７　　コードストリーム合成手段
５８　　集約設定手段
６１〜６Ｎ　コードストリーム
６１’　コードストリーム
【図１】
2004088307.tif 000003
【図２】
2004088307.tif 000004
【図３】
2004088307.tif 000005
【図４】
2004088307.tif 000006
【図５】
2004088307.tif 000007
【図６】
2004088307.tif 000008
【図７】
2004088307.tif 000009
【図８】
2004088307.tif 000010
【図９】
2004088307.tif 000011
【図１０】
2004088307.tif 000012
【図１１】
2004088307.tif 000013
【図１２】
2004088307.tif 000014
【図１３】
2004088307.tif 000015
【図１４】
2004088307.tif 000016
【図１５】
2004088307.tif 000017