(57)【要約】【課題】印刷などで扱われる静止画像を動画像圧縮伸張方式を用いて好適に圧縮伸張することができるようにする。【解決手段】本発明に係る画像処理装置においては、領域分割部は、静止画像データを互いに直交する２つの方向で複数の領域に分割し、画像データ配置部は、静止画像データに含まれる複数の領域に対応する複数の画像データを時系列的に連続して並べ、圧縮符号化部は、時系列的に連続して並べられた複数の領域に対応する複数の画像データを動画像圧縮伸張方式を用いて圧縮符号化して圧縮符号化動画像信号を生成し、復号化部は、圧縮符号化動画像信号を動画像圧縮伸張方式を用いて復号化して復号化動画像信号を生成し、静止画像データ生成部は、復号化動画像信号に対応する複数の画像データに基づいて、静止画像データを生成する。【選択図】  図５
2009165135.tif 000002
【特許請求の範囲】
【請求項１】
静止画像データを互いに直交する２つの方向で複数の領域に分割する領域分割部と、
前記領域分割部により分割された前記静止画像データに含まれる複数の領域に対応する複数の画像データを時系列的に連続して並べる画像データ配置部と、
前記画像データ配置部によって時系列的に連続して並べられた複数の領域に対応する複数の画像データを動画像圧縮伸張方式を用いて圧縮符号化して圧縮符号化動画像信号を生成する圧縮符号化部と、
前記圧縮符号化部によって生成された前記圧縮符号化動画像信号を前記動画像圧縮伸張方式を用いて復号化して復号化動画像信号を生成する復号化部と、
前記復号化部によって生成された前記復号化動画像信号に対応する複数の画像データに基づいて、前記静止画像データを生成する静止画像データ生成部とを備えることを特徴とする画像処理装置。
【請求項２】
前記静止画像データに関する画像属性情報を取得する画像属性情報取得部と、
前記画像属性情報取得部によって取得された前記画像属性情報を、前記圧縮符号化部によって生成された前記圧縮符号化画像信号にヘッダとして付加するヘッダ付加部とをさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データ配置部は、時系列的に連続して並べられた複数の領域に対応する複数の画像データを、前記圧縮符号化部が複数の画像データを読み出す方向に連続するように並び替えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記圧縮符号化部は、前記圧縮符号化部が複数の画像データを読み出す方向に連続するように並び替えられた複数の領域に対応する複数の画像データを圧縮符号化することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像データ配置部は、前記復号化部によって生成された前記復号化動画像信号に対応する複数の画像データを時系列的に連続するように並び替え、
前記静止画像データ生成部は、時系列的に並び替えられた複数の画像データに基づいて前記静止画像データを生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
複数の前記静止画像データ間で共通する１または複数の領域に対応する１または複数の画像データが同一または近似する場合、前記画像データ配置部は、時系列的に連続して並べられた複数の領域に対応する複数の画像データのうち、複数の前記静止画像データ間で共通する領域に対応する画像データが連続するように画像データを並び替えることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
静止画像データを互いに直交する２つの方向で複数の領域に分割する領域分割ステップと、
前記領域分割ステップの処理により分割された前記静止画像データに含まれる複数の領域に対応する複数の画像データを時系列的に連続して並べる画像データ配置ステップと、
前記画像データ配置ステップの処理によって時系列的に連続して並べられた複数の領域に対応する複数の画像データを動画像圧縮伸張方式を用いて圧縮符号化して圧縮符号化動画像信号を生成する圧縮符号化ステップと、
前記圧縮符号化ステップの処理によって生成された前記圧縮符号化動画像信号を前記動画像圧縮伸張方式を用いて復号化して復号化動画像信号を生成する復号化ステップと、
前記復号化ステップの処理によって生成された前記復号化動画像信号に対応する複数の画像データに基づいて、前記静止画像データを生成する静止画像データ生成ステップとを含むことを特徴とする画像処理方法。
【請求項８】
前記静止画像データに関する画像属性情報を取得する画像属性情報取得ステップと、
前記画像属性情報取得ステップの処理によって取得された前記画像属性情報を、前記圧縮符号化ステップの処理によって生成された前記圧縮符号化画像信号にヘッダとして付加するヘッダ付加ステップとをさらに含むことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
時系列的に連続して並べられた複数の領域に対応する複数の画像データは、複数の画像データが前記圧縮符号化ステップの処理によって読み出される方向に連続するように並び替えられることを特徴とする請求項７に記載の画像処理方法。
【請求項１０】
複数の画像データが前記圧縮符号化ステップの処理によって読み出される方向に連続するように並び替えられた複数の領域に対応する複数の画像データが前記圧縮符号化ステップの処理によって圧縮符号化されることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記復号化ステップの処理によって生成された前記復号化動画像信号に対応する複数の画像データは前記画像データ配置ステップの処理によって時系列的に連続するように並び替えられ、
時系列的に並び替えられた複数の画像データに基づいて前記静止画像データは前記静止画像データ生成ステップの処理によって生成されることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
複数の前記静止画像データ間で共通する１または複数の領域に対応する１または複数の画像データが同一または近似する場合、時系列的に連続して並べられた複数の領域に対応する複数の画像データのうち、複数の前記静止画像データ間で共通する領域に対応する画像データが連続するように画像データが前記画像データ配置ステップの処理によって並び替えられることを特徴とする請求項９に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に係り、特に、画像データを圧縮伸張することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来から、セレクタを用いて圧縮伸張処理部を切り替えて動画像と静止画像を圧縮伸張する技術が知られている。この技術は、特開２００４−２８２４４４号公報に開示されている。特開２００４−２８２４４４号公報に提案されている技術によれば、撮像部にて撮像された画像データの表示装置への信号を分岐して動画像の撮像に利用することで、少ない部品点数で動画像の圧縮伸張処理を実現することができる。また、動画像処理に係る外部圧縮伸張処理部と撮像部からの信号をセレクタにより選択処理することで、処理に係る負荷の増大を抑制しつつ、動画像を再生することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２８２４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特開２００４−２８２４４４号公報に提案されている技術では、撮像部にて動画像が撮像される際に用いられるフレームサイズは、動画像データを構成するフレームが有するフレームサイズと同じであり、撮像部にて動画像が撮像される際に用いられるフレームサイズと異なるフレームサイズによって撮像される静止画像を、動画像用の圧縮伸張方式を用いて圧縮することはできず、さらには動画像用の圧縮伸張方式を用いて圧縮された動画像を、フレームサイズが異なる静止画像に伸張することはできなかった。そのため、印刷などで扱われる高解像度の画像を、動画像用の圧縮伸張方式を用いて動画像圧縮伸張専用のハードウェアによって圧縮伸張することはできないという課題があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、印刷などで扱われる静止画像を動画像圧縮伸張方式を用いて好適に圧縮伸張することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、上述した課題を解決するために、静止画像データを互いに直交する２つの方向で複数の領域に分割する領域分割部と、領域分割部により分割された静止画像データに含まれる複数の領域に対応する複数の画像データを時系列的に連続して並べる画像データ配置部と、画像データ配置部によって時系列的に連続して並べられた複数の領域に対応する複数の画像データを動画像圧縮伸張方式を用いて圧縮符号化して圧縮符号化動画像信号を生成する圧縮符号化部と、圧縮符号化部によって生成された圧縮符号化動画像信号を動画像圧縮伸張方式を用いて復号化して復号化動画像信号を生成する復号化部と、復号化部によって生成された復号化動画像信号に対応する複数の画像データに基づいて、静止画像データを生成する静止画像データ生成部とを備えることを特徴とする。
【０００７】
本発明の画像処理方法は、上述した課題を解決するために、静止画像データを互いに直交する２つの方向で複数の領域に分割する領域分割ステップと、領域分割ステップの処理により分割された静止画像データに含まれる複数の領域に対応する複数の画像データを時系列的に連続して並べる画像データ配置ステップと、画像データ配置ステップの処理によって時系列的に連続して並べられた複数の領域に対応する複数の画像データを動画像圧縮伸張方式を用いて圧縮符号化して圧縮符号化動画像信号を生成する圧縮符号化ステップと、圧縮符号化ステップの処理によって生成された圧縮符号化動画像信号を動画像圧縮伸張方式を用いて復号化して復号化動画像信号を生成する復号化ステップと、復号化ステップの処理によって生成された復号化動画像信号に対応する複数の画像データに基づいて、静止画像データを生成する静止画像データ生成ステップとを含むことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、印刷などで扱われる静止画像を動画像圧縮伸張方式を用いて好適に圧縮伸張することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る画像処理装置の内部の構成を示すブロック図。
【図２】ＭＰＥＧ４やＨ．２６４方式を用いた動画像圧縮方法を説明する説明図。
【図３】動画像コーデックの符号化部の内部の構成を示すブロック図。
【図４】動画像コーデックの復号化部の内部の構成を示すブロック図。
【図５】図１の画像処理装置における圧縮伸張処理を説明するフローチャート。
【図６】静止画像データの分割方法を示す図。
【図７】複数の領域に対応する複数の画像データをＲＡＭ上で、行と列順に先頭から時系列的に連続するように並べる方法を説明する説明図。
【図８】時系列的に並べられた複数の領域に対応する複数の画像データを、動画像コーデックが使用する専用メモリ上でメモリのアドレス読み出し順方向に連続するように並べ替える方法を説明する説明図。
【図９】動画像コーデックによって動画像圧縮伸張方式を用いて複数枚の文書画像を圧縮または伸張する概念を説明する説明図。
【図１０】図１の画像処理装置における他の圧縮伸張処理を説明するフローチャート。
【発明を実施するための形態】
【００１０】
以下、本実施形態について、図面を参照しながら説明する。図１は、本実施形態に係る画像処理装置１の内部の構成を示している。例えば図１に示されるように、画像処理装置１は、制御部１１、プリンタ部１２、画像データインタフェース１３、ページメモリ１４、画像処理部１５、スキャナ部１６、および操作パネル１７を備える。制御部１１は、ＣＰＵ（Central Processing Unit）３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、プリンタコントローラインタフェース３４、バス３５、プリンタエンジンインタフェース３６、動画コーデック３７、外部記録装置としてのＨＤＤ（Hard Disk Drive）３８、および外部通信部３９からなる。これらは、バス３５を介して相互に接続されている。ＣＰＵ３１は、ＲＯＭ３２に記憶されているプログラムまたはＨＤＤ３８からＲＡＭ３３にロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより画像処理装置１を統括的に制御する。ＲＡＭ３３は、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどを適宜記憶する。また、外部通信部３９は、モデム、ターミナルアダプタ、およびネットワークインタフェースなどより構成される。外部通信部３９は、ネットワーク１８を介して通信処理を行う。なお、ＨＤＤ３８は、動画像フォーマットで圧縮された文書の画像データを適宜記録する。動画像コーデック３７は、符号化部と復号化部からなり、動画像データの圧縮伸張処理を実行する。この動画像コーデック３７は、ハードウェアによって構成されてもよいし、ＣＰＵ３１により実装されるソフトウェアによって構成されるようにしてもよい。
【００１１】
制御部１１には、プリンタ部１２、画像データインタフェース１３、および操作パネル１７が接続されている。制御部１１は、画像データインタフェース１３を介して圧縮または非圧縮のスキャン後の画像データ（画像信号）を送受信する。また、制御部１１は、プリンタコントローラ４１との間でプリンタコントローラインタフェース３４を介して圧縮または非圧縮の画像データを送受信する。この画像データは、プリンタエンジン４２で印刷するために像形成された印刷用画像データである。
【００１２】
操作パネル１７は、パネル制御部４３、表示部４４、および操作キー４５からなる。表示部４４は、例えばＬＣＤ（Liquid Crystal Display）などからなる。画像データインタフェース１３には、画像処理部１５とページメモリ１４が接続される。画像処理部１５には、スキャナ部１６が接続される。ここで、画像を形成する際の画像データの流れについて説明する。原稿が原稿台ガラス上にセットされると、スキャナ部１６によって原稿の画像データが読み取られ、読み取られた画像データは画像処理部１５に供給される。画像処理部１５は、スキャナ部１６から供給された原稿の画像データを取得し、取得された画像データに対して例えばシェーディング補正や各種のフィルタリング処理、階調処理、ガンマ補正などを施す。これらの処理後の画像データは、必要に応じて画像データインタフェース１３を介してページメモリ１４に格納される。プリンタ部１２は、制御部１１の制御に従って駆動する。プリンタ部１２は、プリンタエンジン４２を制御するプリンタコントローラ４１と、印刷用の画像を形成するプリンタエンジン４２を備える。
【００１３】
制御部１１は、本発明に係る特徴的な構成として、静止画像データを互いに直交する２つの方向で複数の領域に分割する領域分割部と、領域分割部により分割された静止画像データに含まれる複数の領域に対応する複数の画像データを時系列的に連続して並べる画像データ配置部と、動画像コーデック３７によって生成された復号化動画像信号に対応する複数の画像データに基づいて、静止画像データを生成（復元）する静止画像データ生成部とを有する。これらの構成は、ＣＰＵ３１上でソフトウェアとして実装される。
【００１４】
本実施形態においては、静止画像を複数の領域に分割し、分割された複数の領域に対応する複数の画像を動画像のフレーム群として取扱い、これらの複数の画像を動画像圧縮伸張方式を用いて圧縮する。ここで、動画像圧縮伸張方式について説明する。ＭＰＥＧ（Moving Picture Experts Group）４やＨ．２６４方式を用いた動画像圧縮方法では、基本的に、１画面分の画像であるフレームをＪＰＥＧ圧縮技術を用いて圧縮する。そして、動画像圧縮方法で用いられるフレームは、Ｉフレーム、Ｐフレーム、およびＢフレームの３つの異なるフレームに分類することができる。まず、Ｉフレームは、フレーム内符号化画像であり、データが１つのフレーム内で完結しているフレームである。Ｉフレームを表示する場合、他のフレームのデータを一切利用することなくフレームを表示することができる。次に、Ｐフレームは、フレーム間順方向予測符号化画像と呼ばれ、過去に表示されたフレームを利用して表示するフレームである。Ｐフレームは、前の時間のＩフレームまたは前の時間のＰフレームの差分データとして保持されており、過去に表示されたＩフレームとＰフレームを予測画像として利用することで表示される。さらに、Ｂフレームは、双方向予測復号化画像と呼ばれ、過去と未来のフレームを利用して表示するフレームである。Ｂフレームは、前の時間のＩフレームまたはＰフレームと先の時間のＩフレームまたはＰフレームの差分データとして保持されている。
【００１５】
例えば図２に示されるように、ＰフレームはＩフレームを利用して生成され（図２の矢印Ａ）、第１のＢフレームは、ＩフレームとＰフレームを利用して生成される（図２の矢印Ｂ）。また、第２のＢフレームは、ＩフレームとＰフレームを利用して生成され（図２の矢印Ｃ）、第３のＢフレームは、ＩフレームとＰフレームを利用して生成される（図２の矢印Ｄ）。
【００１６】
図３は、動画像コーデック３７の符号化部の内部の構成を示している。図３に示されるように、動画像コーデック３７の符号化部は、符号化制御部５１、演算部５２、スイッチング回路５３、ＤＣＴ（Discrete Cosine Transform）部５４、量子化部５５、エントロピー符号化部５６、逆量子化部５７、逆ＤＣＴ部５８、演算部５９、フレームメモリ６０、動き補償部６１、スイッチング回路６２、フレームメモリ６３、および動き検出部６４を備える。
【００１７】
符号化制御部５１は、動画像コーデック３７を統括的に制御する。Ｉフレームのようにフレーム内符号化される場合、スイッチング回路５３では、端子ｂと端子ｃが接続されるようにスイッチングされる。これにより、動画像コーデック３７に入力されたフレーム画像信号は、演算部５２に入力されることなくスイッチング回路５３を介してＤＣＴ部５４に直接入力される。ＤＣＴ部５４は、入力されたフレーム画像信号に対しＤＣＴ変換処理を施し、ＤＣＴ変換後の画像信号を量子化部５５に出力する。
【００１８】
量子化部５５は、符号化制御部５１から指示される量子化値に基づいて、ＤＣＴ部５５からのＤＣＴ変換後の画像信号に対し量子化処理を施し、量子化処理後の画像信号をエントロピー符号化部５６に出力する。また、量子化部５５は、量子化処理後の画像信号を逆量子化部５７にも出力する。エントロピー符号化部５６は、量子化処理後の画像信号をエントロピー符号化し、エントロピー符号化後の画像信号を圧縮符号化動画像信号としてバス３５に出力する。
【００１９】
逆量子化部５７は、量子化部５５にて量子化された画像信号に対し逆量子化処理を施し、量子化された画像信号をＤＣＴ変換後の画像信号に戻して逆ＤＣＴ部５８に出力する。逆ＤＣＴ部５８は、逆量子化部５７からのＤＣＴ変換後の画像信号に対し逆ＤＣＴ変換処理を施し、ＤＣＴ変換された画像信号をＤＣＴ変換前の画像信号に戻して演算部５９に出力する。Ｉフレームのようにフレーム内符号化される場合、スイッチング回路６２では、端子ｂが端子ｃと接続されるようにスイッチングされる。これにより、逆ＤＣＴ部５８から演算部５９に供給されたＤＣＴ変換前の画像信号が、そのまま参照画像信号としてフレームメモリ６０に記憶される。
【００２０】
一方、Ｐフレームのように順方向予測モードによってフレーム間符号化される場合、またはＢフレームにように双方向予測モードによってフレーム間予測符号化される場合、スイッチング回路５３では、端子ａと端子ｃが接続されるようにスイッチングされる。これにより、動画像コーデック３７に入力されたフレーム画像信号は、演算部５２に入力される。
【００２１】
ここで、動き検出部６４は、各マクロブロックの動きベクトルを、マクロブロックデータおよび参照画像信号に基づいて算出し、算出された動きベクトルデータをフレームメモリ６３に出力する。フレームメモリ６３は、１フレーム分遅延させた後、動きベクトルデータを動き補償部６１に出力する。
【００２２】
Ｐフレームにように順方向予測モードにおいては、動き補償部６１は、フレームメモリ６０の読み出しアドレスを動きベクトルデータに応じてずらすことによって参照画像信号を読み出し、読み出された参照画像信号を順方向予測画像信号として出力する。順方向予測モードの場合、スイッチング回路６２では、端子ａが端子ｃと接続されるようにスイッチングされる。これにより、順方向予測画像信号は、演算部５２と演算部５９にそれぞれ供給される。演算部５２は、フレーム画像信号から順方向予測画像信号を減算してフレーム予測の差分信号を得て、得られた差分信号をＤＣＴ部５４に出力する。その後、ＤＣＴ部５４と量子化部５５は、それぞれ、画像信号に対してＤＣＴ変換または量子化する。
【００２３】
なお、演算部５９には、動き補償部６１から順方向予測画像信号が供給されており、演算部５９は、逆ＤＣＴ部５８から供給されたＤＣＴ変換前の画像信号に順方向予測画像信号を加算することにより、参照画像信号を局部再生する。フレームメモリ６０は、局部再生された参照画像信号を記憶する。
【００２４】
また、Ｂフレームのように双方向予測モードにおいては、動き補償部６１は、フレームメモリ６０の読み出しアドレスを動きベクトルデータに応じてずらすことによって参照画像信号を読み出し、読み出された参照画像信号を双方向予測画像信号として出力する。双方向予測モードの場合、スイッチング回路６２では、端子ａが端子ｃと接続されるようにスイッチングされる。これにより、双方向予測画像信号は、演算部５２と演算部５９にそれぞれ供給される。演算部５２は、フレーム画像信号から双方向予測画像信号を減算してフレーム予測の差分信号を得て、得られた差分信号をＤＣＴ部５４に出力する。その後、ＤＣＴ部５４と量子化部５５は、それぞれ、画像信号に対してＤＣＴ変換または量子化する。
【００２５】
なお、演算部５９には、動き補償部６１から双方向予測画像信号が供給されており、演算部５９は、逆ＤＣＴ部５８から供給されたＤＣＴ変換前の画像信号に双方向予測画像信号を加算することにより、参照画像信号を局部再生する。フレームメモリ６０は、局部再生された参照画像信号を記憶する。
【００２６】
図４は、動画像コーデック３７の復号化部の内部の構成を示している。図４に示されるように、復号化制御部７１、エントロピー復号化部７２、逆量子化部７３、逆ＤＣＴ部７４、演算部７５、動き補償部７６、およびフレームメモリ７７を備える。なお、動画象コーデック３７の復号化方法は、基本的には図３を用いて説明した符号化方法と逆手順の工程であり、その説明は省略する。
【００２７】
次に、図５のフローチャートを参照して、図１の画像処理装置１における圧縮伸張処理について説明する。この圧縮伸張処理を実現するための制御用プログラムは、画像処理装置１が起動された後に制御部１１のＲＡＭ３３に自動的にロードされる。制御部１１のＣＰＵ３１は、ＲＡＭ３３上にロードされたデータを必要に応じて読み出しつつ、図５のフローチャートに示される圧縮伸張処理を実行する。
【００２８】
動作１において、制御部１１のＣＰＵ３１は、適宜、スキャナ部１６から画像データインタフェース１３を介して圧縮処理指示信号または伸張処理指示信号を受信する。また、制御部１１のＣＰＵ３１は、適宜、プリンタコントローラインタフェース３４を介して圧縮処理指示信号または伸張処理指示信号を受信する。この圧縮処理指示信号とは、非圧縮の画像データを動画像コーデック３７によって圧縮することを指示する信号を意味しており、伸張処理指示信号とは、圧縮された画像データを動画像コーデック３７によって伸張することを指示する信号を意味している。
【００２９】
動作２において、制御部１１のＣＰＵ３１は、受信された指示信号が圧縮処理指示信号であるか否かを判定する。動作２において制御部１１のＣＰＵ３１が受信された指示信号が圧縮処理指示信号であると判定した場合、制御部１１のＣＰＵ３１は動作３で、画像データインタフェース１３またはプリンタコントローラインタフェース３４を介して、動画像圧縮伸張方式を用いた圧縮対象である非圧縮の静止画像データのデータサイズなどに関する画像属性情報を取得する。この画像属性情報には、少なくとも、非圧縮対象の静止画像の幅や高さに関する情報、非圧縮画像のカラー／モノクロに関する情報、およびビット数に関する情報が含まれている。
【００３０】
動作４において、制御部１１のＣＰＵ３１は、バス３５を介して動画像コーデック３７に対して、非圧縮の静止画像データを動画像圧縮伸張方式を用いて圧縮する際に用いられる種々のパラメータを設定する。例えばパラメータには、動画像コーデック３７でサポートされるフレームサイズに対応する幅と高さに関するパラメータや、ビット数に関するパラメータ、そして圧縮率に関するパラメータが含まれている。動作５において、制御部１１のＣＰＵ３１は、画像データインタフェース１３またはプリンタコントローラインタフェース３４を介して、動画像圧縮伸張方式を用いた圧縮対象である非圧縮の静止画像データを取得する。そして、制御部１１のＣＰＵ３１は、動画像コーデック３７に対して静止画像データを転送する前提として、まず、動画像コーデック３７に対して設定されたフレームサイズに合わせて静止画像データを複数の領域に分割する。
【００３１】
図６は、静止画像データの分割方法を示している。図６に示されるように、制御部１１のＣＰＵ３１は、動画像コーデック３７に設定されたフレームサイズに合わせて静止画像データをＸ方向（横方向）とＹ方向（縦方向）で複数の領域に分割する。なお、動画像コーデック３７に設定されたフレームサイズに合わせて静止画像データを分割すると、静止画像データの端部で余分な画像領域が生じてしまう。このような場合、静止画像データに文書の下地色の画像データを付加した上で、フレームサイズに合うように分割する。
【００３２】
制御部１１のＣＰＵ３１は、動画像コーデック３７で用いられるフレームサイズに合わせて分割された各領域に対応する各画像データをそれぞれ動画像フレームとして取り扱い、図７に示されるように、複数の領域に対応する複数の画像データをＲＡＭ３３上で、行と列順に先頭から論理上時系列的に連続するように並べる（配置する）。このとき、動き予測値がほとんどない（すなわち、フレーム間でほとんど変化がない）場合には、前のフレームとの差分データであるＢフレーム形式で圧縮するように配置する。一方、静止画像中で文字やグラフィックなどを含んだ部分が連続する場合、前後のフレームの予測を利用しないでフレーム内で符号化が完結するＩフレーム形式で圧縮するように配置する。これにより、静止画像全体において高い圧縮率を維持しつつ、文字やグラフィックや写真などの分割領域における画像の劣化を低く抑えながら圧縮することができる。
【００３３】
次に、動作６において、制御部１１のＣＰＵ３１は、ＲＡＭ３３上で時系列的に並べられた複数の領域に対応する画像データを、動画像コーデック３７が画像データの圧縮または伸張する場合に使用する専用メモリ上でメモリのアドレス読み出し順方向に連続するように並べ替える。例えば図８に示されるように、時系列的に並べられた複数の領域に対応する複数の画像データは、動画像コーデック３７が画像データの圧縮または伸張する場合に使用する専用メモリ上でメモリのアドレス読み出し順方向に連続するように並べ替えられる。これにより、動画像コーデック３７による複数の画像データの圧縮または伸張時における効率性を向上させることができる。なお、動画像コーデック３７が画像データの圧縮または伸張する場合に、専用メモリではなくＲＡＭ３３をＣＰＵ３１と共用するようにしてもよい。
【００３４】
動作７において、制御部１１のＣＰＵ３１は、動画像コーデック３７を制御し、複数の分割領域に対応する画像データを順次動画像フレームとして動画像圧縮伸張方式（例えばＭＰＥＧ４やＨ．２６４方式）を用いて圧縮させる。動画像コーデック３７は、制御部１１のＣＰＵ３１の制御に従い、静止画像データに含まれる複数の分割領域に対応する複数の画像データを動画像圧縮伸張方式を用いて順次圧縮し、圧縮符号化動画像信号を生成する。動画像コーデック３７は、生成された圧縮符号化動画像信号を専用メモリに順次記憶する。動作８において、制御部１１のＣＰＵ３１は、動画像圧縮伸張方式を用いて生成された圧縮符号化動画像信号をＨＤＤ３８に記録（記憶）する。動作９において、制御部１１のＣＰＵ３１は、動画像コーデック３７における圧縮処理の後、非圧縮の静止画像データのデータサイズなどに関する画像属性情報を、生成された圧縮符号化動画像信号（圧縮動画像データ）のヘッダ領域に挿入する。その後、処理は動作１に戻る。
【００３５】
一方、動作２において制御部１１のＣＰＵ３１が、受信された指示信号が圧縮処理指示信号ではないと判定した場合（すなわち、受信された指示信号が伸張指示信号であると判定した場合）、制御部１１のＣＰＵ３１は動作１０で、ＨＤＤ３８に記録されている圧縮動画像データをＲＡＭ３３上に読み出し、読み出された圧縮動画像データの中から圧縮動画像データのヘッダ領域に含まれる画像属性情報を取得する。動作１１において、制御部１１のＣＰＵ３１は、動画像コーデック３７を制御し、読み出された圧縮動画像データを伸張させる。動画像コーデック３７は、制御部１１のＣＰＵ３１の制御に従い、圧縮動画像データを動画像圧縮伸張方式を用いて伸張し、復号化動画像信号（フレーム画像信号）を順次生成し、生成された復号化動画像信号を専用メモリに記憶する。動作１２において、制御部１１のＣＰＵ３１は、専用メモリに記憶されている復号化動画像信号に対応する分割領域の画像データを、圧縮時に行われた並び替え方法に従い、ＲＡＭ３３上で時系列的に連続するように並び替える。動作１３において、制御部１１のＣＰＵ３１は、取得された画像属性情報に基づいて、ＲＡＭ３３に記憶されている復号化動画像信号（フレーム画像信号）に対応する分割領域の画像データを元の静止画像データに復元する。すなわち、制御部１１のＣＰＵ３１は、復号化動画像信号（フレーム画像信号）に対応する分割領域の画像データに基づいて、元の静止画像データを生成する。これにより、ＲＡＭ３３上において、圧縮される前の静止画像データを復元することができる。
【００３６】
特に、図５に示される圧縮伸張処理は、画像処理装置１でコピー処理またはプリント処理の電子ソートに適用することができる。具体的には、コピー処理の場合、制御部１１は、スキャナ部１６から圧縮処理指示信号を受け、その後にスキャナ部１６によって読み取られた文書画像データを画像データインタフェース１３を介して取得し、取得された文書画像データをＲＡＭ３３に記憶する。一方、プリント処理の場合、制御部１１は、プリンタコントローラ４１から圧縮処理指示信号を受け、プリンタコントローラ４１で画像形成処理された文書画像のラスタ画像データをプリンタコントローラインタフェース３４を介して取得し、取得されたラスタ画像データをＲＡＭ３３に記憶する。この印刷用ラスタ画像データは、ＲＡＭ３３に読み込まれた後、図５に示される圧縮方式によって動画像圧縮形式で圧縮される。圧縮された動画像データは、バス３５を介してＨＤＤ３８に転送され、ＨＤＤ３８に格納（記録）される。このようにして、１ジョブのプリントジョブに含まれる全ての枚数の文書をＨＤＤ３８に順次格納していく。画像処理装置１の制御部１１は、ＨＤＤ３８に格納された圧縮後の動画像データを、文書のソート順に動画像コーデック３７で復号化処理しながらプリンタエンジン４２に順次復号化後の文書画像データを送信する。プリンタエンジン４２は、順次復号化後の文書画像データを受信し、受信された文書画像データをソートされた形でハードコピーを出力する。
【００３７】
また、図５に示される圧縮伸張処理を画像処理装置１の制御部１１で実行することにより、実質的にプリンタコントローラ４１とプリンタエンジン４２との間にバッファを設けることが可能となる。すなわち、プリンタエンジン４２で画像形成に用いられる画像データは解像度が高くてデータ量が大きく、また、プリンタエンジン４２は画像データをリアルタイムに処理して印刷媒体である用紙に記録する必要がある。そのため、プリンタコントローラ４１とプリンタエンジン４２との間での通信に用いられる各インタフェースは、一般的に、大量のデータを高速通信することが可能なインタフェースである。しかしながら、プリンタコントローラ４１側でのラスタ画像データの形成処理が遅延し、その結果、プリンタコントローラ４１からプリンタエンジン４２に対してラスタ画像データを送信するタイミングが、プリンタコントローラ４１とプリンタエンジン４２との間での通信処理のタイミングに対して遅延してしまうと、プリンタエンジン４２でラスタ画像データが印刷されず、文書が正しく印刷されないことになってしまう。
【００３８】
本実施形態では、制御部１１は印刷時にプリンタコントローラ４１からプリンタコントローラインタフェース３４を介してラスタ画像データを受信し、文書（ドキュメント）の１ページ分が静止画像データであるラスタ画像データが動画像データとして圧縮されるまで圧縮処理を続け、圧縮処理の完了後、プリンタコントローラ４１からの伸張処理指示信号を待って動画像データを再び動画像コーデック３７で復号化しつつ、プリンタエンジンインタフェース３６を介してプリンタエンジン４２にラスタ画像データを送信することができる。この動作は、図５の動作１乃至９の後に、動作１乃至２および動作１０乃至１２が実行される場合に相当する。これにより、プリンタコントローラ４１とプリントエンジン４２との間で高速通信のバッファを制御部１１を用いて実現することができ、文書画像のプリンタエンジン４２での印刷を安定的に行うことができる。
【００３９】
また、文書画像の圧縮動画像データを復号化（デコード）しながら、画像処理装置１の操作パネル１７の表示部４４で表示するようにしてもよい。これにより、ユーザは、文書画像の圧縮動画像データを復号化しながら表示用モニター上で文書内容を順に見ることができ、文書の内容を印刷前に確認することができる。
【００４０】
本発明の実施形態においては、静止画像データを互いに直交する２つの方向で複数の領域に分割し、分割された静止画像データに含まれる複数の領域に対応する複数の画像データを時系列的に連続して並べ、時系列的に連続して並べられた複数の領域に対応する複数の画像データを動画像圧縮伸張方式を用いて圧縮符号化して圧縮符号化動画像信号を生成し、生成された圧縮符号化動画像信号を動画像圧縮伸張方式を用いて復号化して復号化動画像信号を生成し、生成された復号化動画像信号に対応する複数の画像データに基づいて、静止画像データを生成することができる。
【００４１】
これにより、動画像データを取り扱いことが可能なシステムにおいて、高解像度・データサイズが大きい静止画像データを動画像圧縮伸張方式を用いて好適に圧縮伸張することができ、静止画像データを高速に圧縮伸張することができる。また、圧縮動画像データが復号化される際、動画像データに基づく画像を適宜表示することができる。従って、印刷などで扱われる静止画像を動画像圧縮伸張方式を用いて好適に圧縮伸張することができる。
【００４２】
ところで、図５のフローチャートを用いて説明した圧縮伸張処理では、１枚の静止画像を動画像圧縮伸張方式を用いて１枚の静止画像内で完結するように圧縮したが、このような場合に限られない。例えば複数枚に渡る文書画像を動画像圧縮伸張方式を用いて圧縮する場合に、１枚の静止画像ごとに順次完結するように圧縮するのではなく、複数枚の文書画像の類似性を利用して圧縮するようにしてもよい。具体的には、プレゼンテーションの資料や報告書などのように予め決められたフォーマット形式で作成された文書の場合、文書の背景、ロゴやページヘッダなどにおいて複数枚の文書間で共通であることが多い。そのため、複数の異なる文書間で同一の画像領域における画像データが共通することとなる。そこで、この特性を利用し、複数の異なる文書間で共通する同一の画像領域に対応する分割領域を、時系列的に隣接する動画フレームとして配置して圧縮するようにする。これにより、より高い圧縮率で動画像コーデック３７により複数枚の文書画像を圧縮することができる。図９を用いて、動画像コーデック３７によって動画像圧縮伸張方式を用いて複数枚の文書画像を圧縮または伸張する概念について説明する。図９の場合、文書画像１乃至３は、いずれも背景部分が写真であるプレゼンテーション資料であり、背景部分の写真はいずれの文書画像においても共通である。そして、文書画像１乃至３では、背景部分の写真上に記述される文字、グラフィックや写真オブジェクトが、各文書画像によって異なっている。このような文書画像を動画像圧縮伸張方式を用いて圧縮または伸張する場合、各文書画像を図５に示された圧縮伸張処理と同様に複数の領域に分割し、分割された複数の領域を時系列的なラインに並べて圧縮するとともに、いずれの文書画像においても共通する部分に対応する同一の分割領域を連続する動画像フレームとして並べて圧縮する。いずれの文書画像においても共通する部分に対応する同一の分割領域に関しては、文字、グラフィックや写真オブジェクトなどの記載がない場合には同じ絵柄の背景画像が存在するだけであるため、連続する動画像フレームとして並べたとしても複数の動画像フレーム間で差分成分が存在しないことから、高い圧縮率で動画像フレームを圧縮することができる。また、たとえ異なる文字だけがそれぞれの分割領域に存在する場合であっても、各動画像フレームの文字が占める割合は低いことが多く、高い圧縮率で圧縮することが可能となる。このようにして、複数枚の文書画像間で同じ位置にくる動画像フレームを連続させて圧縮させることにより、各文書画像毎に別個に圧縮する場合に比べて高い圧縮率を実現することができる。以下、この方法を用いた圧縮伸張処理について説明する。
【００４３】
図１０のフローチャートを参照して、図１の画像処理装置１における他の圧縮伸張処理について説明する。なお、図１０の動作３１乃至３２、動作３５、動作３６、動作３８乃至４４、および動作４６は、図５の動作１至動作１３と同様であり、その説明は繰り返しになるので適宜省略する。
【００４４】
動作３３において、制御部１１のＣＰＵ３１は、画像データインタフェース１３またはプリンタコントローラインタフェース３４を介して、複数の非圧縮の静止画像データのドキュメントサイズなどに関する文書属性情報を取得する。この文書属性情報には、少なくとも、非圧縮対象の静止画像のページ数に関する情報、非圧縮の静止画像のカラー／モノクロの混在の有無に関する情報、およびサイズが異なる静止画像の混在の有無に関する情報が含まれている。
【００４５】
動作３６において、制御部１１のＣＰＵ３１は、動画像コーデック３７に静止画像データを転送するために、動画像コーデック３７に対して設定されたフレームサイズに合わせて各静止画像データを複数の領域に順次分割する。制御部１１のＣＰＵ３１は、動画像コーデック３７で用いられるフレームサイズに合わせて分割された各領域に対応する各画像データをそれぞれ動画像フレームとして取り扱い、複数の領域に対応する複数の画像データをＲＡＭ３３上で、各静止画像データごとに、行と列順に先頭から論理上時系列的に連続するように並べる（配置する）。
【００４６】
動作３７において、制御部１１のＣＰＵ３１は、各静止画像データごとに時系列的なラインに並べられた複数の画像データのうち、いずれの静止画像データにおいても共通する部分に対応する同一の分割領域に対応する画像データが連続して並べ替える。その後、動作３８に進み、動作３８以降の処理が実行される。このとき、動作４１において、制御部１１のＣＰＵ３１は、動画像コーデック３７における圧縮処理の後、非圧縮の静止画像データのデータサイズなどに関する画像属性情報とともに文書属性情報を、生成された圧縮符号化動画像信号（圧縮動画像データ）のヘッダ領域に挿入する。その後、処理は動作３１に戻る。
【００４７】
これにより、各静止画像データ毎に別個に圧縮する場合に比べて高い圧縮率で複数の静止画像データを圧縮することができる。
【００４８】
一方、動作４３において動画コーデック３７が復号化動画像信号を伸張した後、動作４４において制御部１１のＣＰＵ３１は、専用メモリに記憶されている復号化動画像信号に対応する分割領域の画像データを、圧縮時に行われた並び替え方法に従い、ＲＡＭ３３上で時系列的に連続するように並び替える。さらに、動作４５において、制御部１１のＣＰＵ３１は、取得された画像属性情報および文書属性情報に基づいて、静止画像データごとに時系列的なラインに画像データを並び替える。その後、動作４６において、制御部１１のＣＰＵ３１は、取得された画像属性情報および文書属性情報に基づいて、ＲＡＭ３３に記憶されている復号化動画像信号（フレーム画像信号）に対応する分割領域の画像データを元の複数の静止画像データに復元する。
【００４９】
これにより、１回の印刷処理で扱うことができるページ数を増やすことができ、画像処理装置１内部に格納することができる文書数を増やすことができ、ページ数が多い文書の電子ソート処理を実現することができる。
【００５０】
なお、映像分野では、画面のサイズや解像度が向上しており、動画像コーデック３７が扱う動画像のフレームサイズが、画像形成・画像入力で扱われる文書画像よりも大きくなることも考えられる。そこで、動画像コーデック３７が扱う動画像フレームのサイズ（幅と高さ）が、画像処理装置１に入力される文書画像のサイズよりも大きい場合にも本実施形態を適用するようにしてもよい。これにより、画像処理装置１で、高解像度・大サイズフレームを扱う動画像コーデック３７を利用して、それよりもサイズが小さい静止画像を好適に圧縮または伸張することができる。
【００５１】
なお、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。
【００５２】
また、本実施形態の画像処理装置１は、１つの制御部１１に操作パネル１７、スキャナ部１６、およびプリンタ部１２がそれぞれ接続される構成とし、画像形成処理と本実施形態における画像圧縮伸張処理とを一体的に行っているが、このような場合に限られない。例えば制御部１１のＣＰＵ３１並びに動画像コーデック３７の圧縮または伸張機能に係る部分をその他の画像形成処理部分と独立させ、本実施形態における画像圧縮処理機能と画像伸張処理機能をオプションとして画像処理装置１に付加するようにしてもよい。
【００５３】
また、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【００５４】
１…画像処理装置、１１…制御部、１２…プリンタ部、１３…画像データインタフェース、１４…ページメモリ、１５…画像処理部、１６…スキャナ部、１７…操作パネル、１８…ネットワーク、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…プリンタコントローラインタフェース、３５…バス、３６…プリンタエンジンインタフェース、３７…動画像コーデック、３８…ＨＤＤ、３９…外部通信部、４１…プリンタコントローラ、４２…プリンタエンジン、４３…パネル制御部、４４…表示部、４５…操作キー、５１…符号化制御部、５２…演算部、５３…スイッチング回路、５４…ＤＣＴ部、５５…量子化部、５６…エントロピー符号化部、５７…逆量子化部、５８…逆ＤＣＴ部、５９…演算部、６０…フレームメモリ、６１…動き補償部、６２…スイッチング回路、６３…フレームメモリ、６４…動き検出部、７１…復号化制御部、７２…エントロピー復号化部、７３…逆量子化部、７４…逆ＤＣＴ部、７５…演算部、７６…動き補償部、７７…フレームメモリ。
【図１】
2009165135.tif 000003
【図２】
2009165135.tif 000004
【図３】
2009165135.tif 000005
【図４】
2009165135.tif 000006
【図５】
2009165135.tif 000007
【図６】
2009165135.tif 000008
【図７】
2009165135.tif 000009
【図８】
2009165135.tif 000010
【図１０】
2009165135.tif 000011
【図９】
2009165135.tif 000012