(57)【要約】【課題】  画質の劣化を防ぎつつ圧縮率を上げることができる画像処理方法、画像処理装置、画像処理プログラム及び記録媒体を提供することを目的とする。【解決手段】  画像処理装置が行なう画像処理方法であって、入力画像から色レイヤー情報を決定するステップＳ２と、色レイヤー情報に応じて入力画像を色レイヤー画像に分割するステップＳ３と、分割した色レイヤー画像を所定の属性に分類するステップＳ４と、分類した属性に適した画像処理を色レイヤー画像に対して行なうステップＳ６と、各色レイヤー画像を合成して入力画像を復元できる形にするステップＳ８とを有することにより上記課題を解決する。【選択図】  図３
2007005907.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置が行なう画像処理方法であって、
入力画像から色レイヤー情報を決定するステップと、
前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割するステップと、
分割した色レイヤー画像を所定の属性に分類するステップと、
分類した属性に適した画像処理を前記色レイヤー画像に対して行なうステップと、
各色レイヤー画像を合成して前記入力画像を復元できる形にするステップと
を有することを特徴とする画像処理方法。
【請求項２】
入力画像が複数画像である場合に、前記複数画像から色レイヤー情報を決定するステップと、
前記複数画像で共通する色レイヤー画像を見つけるステップと、
前記共通する色レイヤー画像を共有して使用し、各色レイヤー画像を合成して前記入力画像を復元できる形にするステップと
を有することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記複数画像が逐次的に入力される場合に、最初の入力画像から色レイヤー情報を決定するステップと、
決定した色レイヤー情報を色レイヤー情報保持手段に保持するステップと、
保持した色レイヤー情報を呼び出すステップとを有し、
呼び出した色レイヤー情報を用いて２枚目以降の入力画像を処理することを特徴とする請求項２記載の画像処理方法。
【請求項４】
各色レイヤー画像を合成して復元した前記入力画像又は追加された画像が入力画像として入力される場合に、入力された各色レイヤー画像を合成して復元した前記入力画像又は追加された画像から色レイヤー情報を取得するステップと、
取得した色レイヤー情報から新規色レイヤー情報を生成するステップと、
新規色レイヤー情報を用いて2枚目以降の入力画像を処理することを特徴とする請求項１乃至３何れか一項記載の画像処理方法。
【請求項５】
前記入力画像を任意の範囲に分割し、分割した範囲毎に色レイヤー情報を決定するステップを有することを特徴とする請求項１乃至４何れか一項記載の画像処理方法。
【請求項６】
色クラスタリングによって、前記入力画像から色レイヤー情報を決定するステップを有することを特徴とする請求項１乃至４何れか一項記載の画像処理方法。
【請求項７】
前記色クラスタリングを階層的に行って前記入力画像から色レイヤー情報を決定することを特徴とする請求項６記載の画像処理方法。
【請求項８】
空間周波数による範囲選択および色クラスタリングによって、前記入力画像から色レイヤー情報を決定するステップを有することを特徴とする請求項１乃至４何れか一項記載の画像処理方法。
【請求項９】
分割した色レイヤー画像を文字，非文字又は背景の属性に分類するステップと、
文字の属性に分類した色レイヤー画像に適した画像処理を、前記文字の属性に分類した色レイヤー画像に対して行なうステップと、
非文字の属性に分類した色レイヤー画像に適した画像処理を、前記非文字の属性に分類した色レイヤー画像に対して行なうステップと、
背景の属性に分類した色レイヤー画像に適した画像処理を、前記背景の属性に分類した色レイヤー画像に対して行なうステップと
を有することを特徴とする請求項１乃至４何れか一項記載の画像処理方法。
【請求項１０】
前記共有して使用する色レイヤー画像を高画質に保持することを特徴とする請求項２又は３記載の画像処理方法。
【請求項１１】
前記色レイヤー画像で意味を持たない画素を意味を持つ画素で埋めるステップと、
前記色レイヤー画像で意味を持つ部分を選択するマスク画像を生成するステップと
を有することを特徴とする請求項１乃至４何れか一項記載の画像処理方法。
【請求項１２】
前記色レイヤー画像を透明部分と非透明部分とに分離するマスク画像を生成するステップを有することを特徴とする請求項１乃至４何れか一項記載の画像処理方法。
【請求項１３】
前記色レイヤー画像で意味を持たない画素を透明化し、意味を持つ画素を透明化しないことを特徴とする請求項１乃至４何れか一項記載の画像処理方法。
【請求項１４】
復元できる形になった画像を表示装置に表示するステップを有することを特徴とする請求項１乃至１３何れか一項記載の画像処理方法。
【請求項１５】
入力画像から色レイヤー情報を決定する色レイヤー情報決定手段と、
前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割する色レイヤー画像分割手段と、
分割した色レイヤー画像を所定の属性に分類する色レイヤー画像分割手段と、
分類した属性に適した画像処理を前記色レイヤー画像に対して行なう属性画像処理手段と、
各色レイヤー画像を合成して前記入力画像を復元できる形にする色レイヤー画像合成手段と
を有することを特徴とする画像処理装置。
【請求項１６】
コンピュータを、
入力画像から色レイヤー情報を決定する色レイヤー情報決定手段と、
前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割する色レイヤー画像分割手段と、
分割した色レイヤー画像を所定の属性に分類する色レイヤー画像分割手段と、
分類した属性に適した画像処理を前記色レイヤー画像に対して行なう属性画像処理手段と、
各色レイヤー画像を合成して前記入力画像を復元できる形にする色レイヤー画像合成手段と
して機能させるための画像処理プログラム。
【請求項１７】
コンピュータを、
入力画像から色レイヤー情報を決定する色レイヤー情報決定手段と、
前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割する色レイヤー画像分割手段と、
分割した色レイヤー画像を所定の属性に分類する色レイヤー画像分割手段と、
分類した属性に適した画像処理を前記色レイヤー画像に対して行なう属性画像処理手段と、
各色レイヤー画像を合成して前記入力画像を復元できる形にする色レイヤー画像合成手段と
して機能させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、画像処理プログラム及び記録媒体に係り、特に画像圧縮技術を用いる画像処理方法、画像処理装置、画像処理プログラム及び記録媒体に関する。
【背景技術】
【０００２】
高圧縮ＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）は、画像圧縮技術の一例である。高圧縮ＰＤＦは、カラー画像に対して高画質にＪＰＥＧ以上のファイルサイズの圧縮が可能となる画像圧縮技術として、近年よく用いられている。高圧縮ＰＤＦでは、カラー画像中の写真や文字などを、その特徴に基づいて分解し、それぞれの特徴にあった画像圧縮技術を用いることで、高圧縮を可能としている。
【０００３】
また、他方では複数の画像から共通部分を抽出し、その共通部分を複数画像で共有することにより、高圧縮ＰＤＦよりも更にファイルサイズの圧縮が可能となる画像圧縮技術が考案されている。例えばプレゼン資料などの複数画像は、同じ様な部分画像（例えば文字やロゴなど）を含んでいる場合が多い。したがって、共通部分を複数画像で共有する画像圧縮技術では、同じ様な部分画像である共通部分の共有化により、有効にファイルサイズを圧縮できる。
【０００４】
特許文献１には、次のような画像圧縮技術が記載されている。まず、特許文献１の画像圧縮技術では画像を文字と非文字とに分割し、それぞれを別の画像として保存する。特許文献１の画像圧縮技術では文字及び非文字の２つの画像とは別に、画素毎に２つの画像のどちらを表示するかを選択する為の選択画像を用意する。そして、特許文献１の画像圧縮技術では、文字及び非文字の２つの画像，選択画像の３つの画像を用いて元の画像を復元する。
【０００５】
特許文献１の画像圧縮技術は、文字と非文字とに分割することで、それぞれの画像に適した画像処理を行なうことができ、従来の画像圧縮技術より高画質なまま、ファイルサイズを圧縮できる。
【０００６】
特許文献２及び特許文献３には、文字を単色にし、ＭＭＲ（Ｍｏｄｉｆｉｅｄ  Ｍｏｄｉｆｉｅｄ  ＲＥＡＤ）で圧縮し、非文字をＪＰＥＧで圧縮することで、従来の画像圧縮技術より高画質なまま、ファイルサイズを圧縮する画像圧縮技術が記載されている。
【０００７】
また、特許文献４には複数ページの画像から共通部分を見つけ出し、その共通部分を共有化することでファイルサイズを効率的に削減する画像圧縮技術が記載されている。
【特許文献１】特開平１１−１５０６５４号公報
【特許文献２】特開２００４−１２８８８０号公報
【特許文献３】特開２００４−１２８８８１号公報
【特許文献４】特開２００２−２４７９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ＪＰＥＧで圧縮する場合、圧縮率や画質の劣化に寄与する画像特徴は、色の空間周波数成分であり、特許文献１〜３の文字と非文字という分類も、文字の境界部分が高周波成分を多く含み、自然写真のような非文字の部分が低周波成分を多く含むことに起因する。
【０００９】
しかしながら、写真内に文字がある場合やグラフ等では高周波成分を含むため、文字と非文字という分類のみでは必ずしも画質の劣化を防ぐことができない。特許文献１〜３の画像圧縮技術は単一画像内での最適化を目指しているため、複数画像や圧縮後の画像の統合などを行なうことが難しかった。また、特許文献４の画像圧縮技術は、文字と非文字という分類で圧縮率を上げているため、上述のように画質の劣化を防ぐことができないという問題があった。さらに、特許文献４の画像圧縮技術は、ライン毎又はブロック毎に処理を行なうものであり、複数ページに共通する文字や背景を効率良く見つけることが困難であるという問題もあった。
【００１０】
本発明は、上記の点に鑑みなされたもので、画質の劣化を防ぎつつ圧縮率を上げることができる画像処理方法、画像処理装置、画像処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明は、画像処理装置が行なう画像処理方法であって、入力画像から色レイヤー情報を決定するステップと、前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割するステップと、分割した色レイヤー画像を所定の属性に分類するステップと、分類した属性に適した画像処理を前記色レイヤー画像に対して行なうステップと、各色レイヤー画像を合成して前記入力画像を復元できる形にするステップとを有することを特徴とする。
【００１２】
また、本発明の画像処理装置は、入力画像から色レイヤー情報を決定する色レイヤー情報決定手段と、前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割する色レイヤー画像分割手段と、分割した色レイヤー画像を所定の属性に分類する色レイヤー画像分割手段と、分類した属性に適した画像処理を前記色レイヤー画像に対して行なう属性画像処理手段と、各色レイヤー画像を合成して前記入力画像を復元できる形にする色レイヤー画像合成手段とを有することを特徴とする。
【００１３】
また、本発明の画像処理プログラムは、コンピュータを、入力画像から色レイヤー情報を決定する色レイヤー情報決定手段と、前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割する色レイヤー画像分割手段と、分割した色レイヤー画像を所定の属性に分類する色レイヤー画像分割手段と、分類した属性に適した画像処理を前記色レイヤー画像に対して行なう属性画像処理手段と、各色レイヤー画像を合成して前記入力画像を復元できる形にする色レイヤー画像合成手段として機能させることを特徴とする。
【００１４】
また、本発明の記録媒体は、コンピュータを、入力画像から色レイヤー情報を決定する色レイヤー情報決定手段と、前記色レイヤー情報に応じて前記入力画像を色レイヤー画像に分割する色レイヤー画像分割手段と、分割した色レイヤー画像を所定の属性に分類する色レイヤー画像分割手段と、分類した属性に適した画像処理を前記色レイヤー画像に対して行なう属性画像処理手段と、各色レイヤー画像を合成して前記入力画像を復元できる形にする色レイヤー画像合成手段として機能させるための画像処理プログラムを記録している。
【００１５】
本発明では、入力画像から色レイヤー情報を決定し、色レイヤー情報に応じて入力画像を色レイヤー画像に分割し、分割した色レイヤー画像を所定の属性に分類し、分類した属性に適した画像処理を色レイヤー画像に対して行なうことにより、分類した属性に適した画像圧縮技術で色レイヤー画像を圧縮できるので、従来よりも高画質なまま圧縮率を上げることができる。
【発明の効果】
【００１６】
本発明によれば、画質の劣化を防ぎつつ圧縮率を上げることができる画像処理方法、画像処理装置、画像処理プログラム及び記録媒体を提供可能である。
【発明を実施するための最良の形態】
【００１７】
次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。
【００１８】
図１は、本発明の画像処理装置を実現するコンピュータの一例のハードウェア構成図である。図１のコンピュータは、それぞれバスで相互に接続されている入力装置１１，出力装置１２，ドライブ装置１３，補助記憶装置１４，メモリ装置１５，演算処理装置１６及びインターフェース装置１７を有するように構成される。なお、コンピュータを構成する各種デバイスは１つの筐体に収容してもよいし、複数の筐体に分散して収容するようにしてもよい。
【００１９】
入力装置１１はキーボード，マウス，タブレットなどの入力機器で構成され、様々な操作指示や情報を入力するために用いられる。出力装置１２はディスプレイやプリンタなどの出力機器で構成され、操作に必要な各種ウインドウや情報等を出力するために用いられる。インターフェース装置１７は、ネットワークなどに接続する為のインターフェースであり、例えばモデム，ルータ，ＬＡＮカード等で構成される。
【００２０】
コンピュータを制御する画像処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体１８によって提供される。画像処理プログラムを記録した記録媒体１８は、ドライブ装置１３にセットされる。画像処理プログラムは、記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。
【００２１】
なお、画像処理プログラムを記録した記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク（ＭＯ）等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、又はＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることが可能である。
【００２２】
また、画像処理プログラムはインターフェース装置１７を介して接続される他のコンピュータの記録媒体等に記録されているものも含まれる。他のコンピュータの記録媒体等に記録されている画像処理プログラムはインターフェース装置１７を介してダウンロードされて補助記憶装置１４にインストールされる。
【００２３】
補助記憶装置１４はインストールされた画像処理プログラムと、その画像処理プログラムの処理に必要な各種ファイル等を格納する。メモリ装置１５は、起動時に補助記憶装置１４から画像処理プログラムを読み出して格納する。演算処理装置１６は、メモリ装置１５に格納された画像処理プログラムに従って、後述する各種手段を実現できる。
【００２４】
なお、図１では本発明の画像処理装置の一形態としてコンピュータを示したが、画像を扱う複合機，コピー機，スキャナー等であってもよい。本発明の画像処理装置は、画像処理プログラムにより実現された後述するような各種手段（機能）を利用して、本発明に掛かる画像処理を実行する。
【実施例１】
【００２５】
図２は、本発明の画像処理装置の第１実施例の機能構成図である。図３は、本発明の画像処理装置が実行する画像処理を示す第１実施例のフローチャートである。図４は、本発明の画像処理装置が実行する画像処理の一例のイメージ図である。
【００２６】
画像処理装置は、画像入力手段２１，画像情報保持手段２２，色レイヤー情報決定手段２３，色レイヤー画像分割手段２４，色レイヤー画像情報保持手段２５，色レイヤー画像属性分類手段２６，属性画像処理手段２７，色レイヤー画像合成手段２８及び合成画像保存手段２９を含む構成である。属性情報は事前に決定されており、その属性情報に対して属性分類と属性画像処理とが決定される。
【００２７】
画像処理装置は、図３に示す手順で画像処理を実行する。ステップＳ１では、画像入力手段２１から処理対象となる画像（入力画像）が入力される。ここでは、入力画像として図４のカラー画像１０００が入力されたとする。入力されたカラー画像１０００は、画像情報保持手段２２に保持される。例えばカラー画像１０００は、印刷されたパワーポイント画像をスキャンで取り込んだ画像のようなＤＡ−ＡＤ変換による劣化が与えられた画像である。
【００２８】
カラー画像１０００は、緑色の背景１００１，白色の背景１００２，黒色の文字１００３〜１００５，赤色の文字１００６〜１００７，青色の非文字１００８〜１０１２から構成されている。
【００２９】
ステップＳ２では、色レイヤー情報決定手段２３が、画像情報保持手段２２に保持されたカラー画像１０００から、後の処理過程で用いる色レイヤー情報を決定する。
【００３０】
第一に、色レイヤー情報決定手段２３は後の処理を、どのような色空間および軸で行なうかを決定する。例えば色空間は、ＲＧＢ空間，ＹＣｂＣｒ等である。軸は、ＲＧＢ空間のＲＧＢ信号の全て，Ｇ信号のみ等である。
【００３１】
例えば色レイヤー情報は、ＲＧＢ空間のＲＧＢ信号の全て，ＲＧＢ空間のＧ信号のみ，ＹＣｂＣｒ空間のＹ信号のみ等の構成が考えられる。色レイヤー情報は、上記以外の組み合わせや、ＣＩＥＬＵＶ均等色空間やＸＹＺ表色系などを用いてもよい。ここでは、ＪＰＥＧ圧縮を考慮してＹＣｂＣｒ空間のＹ信号のみを用いるものとする。
【００３２】
以降の処理は、画面全体で行うこともできるが、図５のように、カラー画像１０００を任意の範囲毎に分割することが有用な場合もある。図５は、カラー画像を任意の範囲毎に分割する様子を表した一例のイメージ図である。図５のイメージ図はカラー画像１０００が４つのカラー画像１０００ａ〜１０００ｄに分割された様子を表している。例えば局所的に変化しているカラー画像１０００の場合は、カラー画像１０００を任意の範囲毎に分割することが有用である。左と右とで色域が違う原稿は、局所的に変化しているカラー画像１０００の一例である。また、カラー画像１０００を保持する画像情報保持手段２２等のメモリを潤沢に用意できない場合も、カラー画像１０００を任意の範囲毎に分割して処理範囲を限定することによりメモリ量を削減できる。
【００３３】
第二に、色レイヤー情報決定手段２３はカラー画像１０００のＹ信号を分割する色域を決定する。色域の決定は、事前に決定された色域とする方法、色クラスタリングを行なう方法等、様々な方法が考えられる。
【００３４】
事前に色域を決定する場合は、入力されるカラー画像１０００の種類（例えばオフィス文書など）や属性（例えば、背景属性，文字属性，非文字属性）の関係が事前に判明していることが望ましい。例えばオフィス文書は、黒文字と追記の赤文字とが殆どなので、黒文字，赤文字，その他を分けるような色域を指定することが考えられる。
【００３５】
色クラスタリングを行なう場合は、入力されるカラー画像１０００の種類や属性が事前に判明していなくても、色域を動的に変化させることができる。例えば図４のカラー画像１０００では色クラスタリングにより緑，黒，青，赤，白が色域として決定される。
【００３６】
しかし、色クラスタリングによる色域の決定は、カラー画像１０００全体で少ない色や近い色がある場合、グラデーションのように色域が緩やかに変化している場合等に問題がある。
【００３７】
図６は、カラー画像１０００全体で近い色がある場合に生じる問題を表したイメージ図である。図６のカラー画像１０００は、図４のカラー画像１０００にピンク色の矢印１０１３，黒色の文字１０１４が追加された構成である。例えば図６のカラー画像１０００では色クラスタリングにより緑，黒，青，赤，白が色域として決定される。このように、図６のカラー画像１０００では、赤色とピンク色とが分離されず、同一色レイヤー画像に分割される。
【００３８】
図６のように赤色の文字１００６，１００７とピンク色の矢印１０１３とが同一色レイヤー画像に含まれる等、カラー画像１０００全体で少ない色や近い色がある場合は色クラスタリングで決定した色レイヤー画像に複数の属性が入ること等が問題である。図６の例では、赤色の色レイヤー画像に文字属性及び非文字属性が入ってしまう。
【００３９】
また、グラデーションのように色域が緩やかに変化している場合は色レイヤー画像が一画像になったり、グラデーションの一部分が別色レイヤー画像に分割されたりすること等が問題である。
【００４０】
カラー画像１０００全体で少ない色や近い色がある場合の問題は、階層的に色クラスタリングを行なう方法により解決できる。図７は、階層的に行なう色クラスタリングを表したイメージ図である。
【００４１】
階層的に色クラスタリングを行なう方法では、赤色の文字１００６，１００７とピンク色の矢印１０１３とが第一段階の色クラスタリングで同一色レイヤー画像に分割されたとしても、第二段階の色クラスタリングで別色レイヤー画像に再分割できる。図７の例では第一段階の色クラスタリングで赤色の色レイヤー画像に文字属性及び非文字属性が入ってしまうが、第二段階の色クラスタリングを行なうことで、赤色の色レイヤー画像とピンク色の色レイヤー画像とに再分割できる。
【００４２】
グラデーションのように色域が緩やかに変化している場合の問題は、空間周波数を色レイヤー情報決定時に用いる方法により解決できる。図８は、空間周波数を色レイヤー情報決定時に用いる方法を表した説明図である。
【００４３】
空間周波数を用いると、図８（ａ）に表したグラデーションのように緩やかに変化する範囲は、図８（ｂ）のような低周波成分として取り出すことができる。そして、空間周波数で取り出した範囲毎に色レイヤー情報を決定することで、図８（ａ）のグラデーションのように色域が緩やかに変化している場合の問題は解決できる。なお、図８（ｃ）に示す文字のように境界部分が高周波成分を多く含む範囲は、図８（ｄ）に示すような高周波成分として取り出すことができる。
【００４４】
ここでは、事前に決定された色域を利用する方法を例に説明する。図３のステップＳ３に戻り、色レイヤー画像分割手段２４はステップＳ２で決定された色レイヤー情報に応じて入力画像を色レイヤー画像に分割する。色レイヤー画像分割手段２４は、分割した色レイヤー画像を色レイヤー画像情報保持手段２５に保持させる。この場合の色レイヤー画像とは、色域と多種条件とから分割された画像、もしくは部分画像であって、サイズ等が入力画像と同じ必要はない。
【００４５】
例えば色域Ｎ個のみが色レイヤー情報として与えられている場合には、入力画像からＮ個の色域に応じて分割した、入力画像と同じサイズの色レイヤー画像が作成される。空間周波数で取り出した場合や画像を任意の範囲で分割した場合等は、色域Ｎ個と各色域の有効範囲が与えられるため、入力画像からＮ個の色域と有効範囲とで分割した、入力画像と異なるサイズの色レイヤー画像が作成される。
【００４６】
例えばカラー画像１０００の場合、色レイヤー画像分割手段２４は緑，黒，青，赤，白の色域に応じて色レイヤー画像に分割する。そして、色レイヤー画像分割手段２４は分割した色レイヤー画像を色レイヤー画像情報保持手段２５に保持させる。
【００４７】
ステップＳ４に進み、色レイヤー画像属性分類手段２６はステップＳ３で色レイヤー画像情報保持手段２５に保持された各色レイヤー画像の属性分類を行なう。各色レイヤー画像の属性と、その属性の分類方法とは様々ある。
【００４８】
例えば、属性を「文字」，「非文字」とし、その属性を画像の連結数から分類する方法がある。また、属性を「文字」，「非文字」，「背景」とし、その属性を画像の連結数，画像全体への広がりから分類する方法がある。属性として「文字」以外に、「非文字」，「背景」を作ることで、色レイヤー画像属性分類手段２６は文字以外のエッジ（高周波成分）を綺麗に残すことができる。
【００４９】
ただし、属性を「文字」，「非文字」とし、その属性を画像の連結数から分類する方法では重ね合わせで最も最下層の色レイヤー画像はエッジを綺麗に残すことができない場合がある。また、属性を「文字」，「非文字」，「背景」とし、その属性を画像の連結数，画像全体への広がりから分類する方法でも、重ね合わせで最も最下層となる属性「背景」の色レイヤー画像はエッジを綺麗に残すことができない場合がある。また、色レイヤー画像分割手段２４により分割できない部分のエッジも綺麗に残すことができない場合がある。
【００５０】
各色レイヤー画像の属性と、その属性の分類方法とは上述した以外にも様々考えることができるが、属性を「文字」，「非文字」，「背景」とし、その属性を画像の連結数，画像全体への広がりから分類する方法を例に説明する。
【００５１】
例えばカラー画像１０００の場合、色レイヤー画像属性分類手段２６は色レイヤー画像分割手段２４で分割された色レイヤー画像を図４に示すように、文字属性１０２０，非文字属性１０２１，背景属性１０２２に分類する。
【００５２】
ステップＳ５に進み、色レイヤー画像属性分類手段２６は色レイヤー画像分割手段２４で分割された全ての色レイヤー画像について属性分類が終わったか否かを判定し、全ての色レイヤー画像について属性分類が終わるまでステップＳ４の処理を繰り返し行う。
【００５３】
全ての色レイヤー画像について属性分類が終わると（Ｓ５においてＹＥＳ）、属性画像処理手段２７はステップＳ６に進み、属性分類を行った各レイヤー画像に対して属性にあった画像処理を行う。
【００５４】
属性を「文字」，「非文字」とした場合、属性画像処理手段２７は例えば次のような画像処理を行なう。属性画像処理手段２７は、属性「文字」として分類された色レイヤー画像の色域を減色する。例えば属性画像処理手段２７は単一色に減色する。
【００５５】
属性画像処理手段２７は、属性「文字」，「非文字」として分類された色レイヤー画像の意味のない画素を意味のある画素で埋める。属性画像処理手段２７は、属性「文字」として分類された色レイヤー画像の意味のある画素部分を選択するマスク画像を作成する。属性画像処理手段２７は、属性「非文字」として分類された色レイヤー画像の意味のある画素部分を選択するマスク画像を作成する。ここで、意味のある画素とは表現したい情報を表した画素である。また、意味の無い画素とは画像を正方形ないし長方形にする為に必要な画素である。
【００５６】
属性画像処理手段２７は、属性「文字」，「非文字」として分類された色レイヤー画像の解像度を下げる。属性画像処理手段２７は、属性「文字」，「非文字」として分類された色レイヤー画像をＪＰＥＧ、マスク画像をＭＭＲで圧縮する。
【００５７】
もし、属性「背景」が追加された場合、属性画像処理手段２７は例えば次のような画像処理を行なう。属性画像処理手段２７は、属性「文字」，「非文字」として分類された色レイヤー画像を上述したように画像処理する。
【００５８】
属性「背景」として分類された色レイヤー画像が、単一の色レイヤー画像で構成される場合、属性画像処理手段２７は属性「背景」として分類された色レイヤー画像の解像度を属性「文字」，「非文字」として分類された色レイヤー画像の解像度より大幅に下げる。
【００５９】
属性「背景」として分類された色レイヤー画像が、複数の色レイヤー画像で構成される場合、属性画像処理手段２７は属性「背景」として分類された色レイヤー画像の解像度を属性「文字」，「非文字」として分類された色レイヤー画像の解像度よりも上げる。
【００６０】
上述した属性「背景」として分類された色レイヤー画像への画像処理は、色レイヤー画像が単一の色で構成される場合に解像度を下げ、模様などがある場合に解像度を上げることを目的としている。また、上述した属性「背景」として分類された色レイヤー画像への画像処理は後述の実施例４で説明するように、再圧縮や集約の為の画像処理として有効である。
【００６１】
ステップＳ７に進み、属性画像処理手段２７は色レイヤー画像属性分類手段２６で属性分類を行った全ての色レイヤー画像に対して属性にあった画像処理が終わったか否かを判定し、全ての色レイヤー画像に対して属性にあった画像処理が終わるまでステップＳ６の処理を繰り返し行う。全ての色レイヤー画像に対して属性にあった画像処理が終わると（Ｓ７においてＹＥＳ）、色レイヤー画像合成手段２８はステップＳ８に進み、入力画像を復元できるように色レイヤー画像を合成する。
【００６２】
入力画像を復元できるように色レイヤー画像を合成する方法は、画像フォーマットや処理アプリケーションで多少異なる。例えばＰＤＦを用いる場合には、以下のような第１の方法が考えられる。色レイヤー画像合成手段２８は属性「背景」として分類された色レイヤー画像の上に、属性「非文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、その上に属性「文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせるようにＰＤＦを記述する。
【００６３】
例えばＰＤＦを用いる場合には以下のような第２の方法も考えられる。色レイヤー画像合成手段２８は属性「背景」として分類された色レイヤー画像の上に、属性「非文字」として分類された色レイヤー画像を、属性「非文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、更にその上に属性「文字」として分類された色レイヤー画像を、属性「文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせるようにＰＤＦを記述する。
【００６４】
図９は、入力画像を復元できるように色レイヤー画像を合成する処理の一例のイメージ図である。図９の色レイヤー画像１１００は白地に赤色で「あ」という文字が表示されている。なお、色レイヤー画像１１００の白地は意味のない画素である。
【００６５】
ＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）で保存する場合、色レイヤー画像合成手段２８は色レイヤー画像１１００の意味のない白地部分の画素を色レイヤー画像１１０１のように透明化する。
【００６６】
また、画像として保存する場合、色レイヤー画像合成手段２８は色レイヤー画像１１００の意味のない白地部分の画素を、色レイヤー画像１１０２のように文字の色である赤色で埋めることでファイルサイズを小さくする。表示する場合、色レイヤー画像合成手段２８は色レイヤー画像１１００の「あ」という文字部分を選択する二値画像等のマスク画像を用意し、このマスク画像を利用することで、色レイヤー画像１１００の意味のない白地部分の画素を色レイヤー画像１１０３のように透明化する。
【００６７】
ここでは、入力画像を復元できるように色レイヤー画像を合成する第２の方法を例に説明する。ステップＳ９に進み、色レイヤー画像合成手段２８は入力画像を復元できるように合成した合成画像を合成画像保存手段２９に保存して、図３のフローチャートに示す画像処理を終了する。
【００６８】
例えばＰＤＦを用いる場合には、色レイヤー画像を別にＰＤＦ内に保存して描画の際に重ね合わせるため、前述したＰＤＦの記述と色レイヤー画像とが同一のファイルに保存される。
【００６９】
合成画像保存手段２９に保存された合成画像は、出力装置１２の一例としての表示装置に表示できる。例えばＰＤＦを用いる場合には、ＰＤＦを表示できるアプリケーションに合成画像を読み込ませる。表示装置には、上述した復元過程を再現できる機能を付与しておく。
【００７０】
本発明によれば、入力画像から色レイヤー情報を決定することにより、多層の合成画像を構成する色レイヤー画像のＪＰＥＧによる圧縮効率を上げると共に、圧縮による画質劣化を防ぐことができる。また、本発明によれば色レイヤー画像への分割によって、後述の再圧縮や集約を効率良く行なうことができる。
【００７１】
本発明によれば、入力画像を任意の範囲毎に分割することにより、処理に必要なメモリを任意の範囲分に抑えることができる。また、本発明によれば任意の範囲で色レイヤー情報を決定することにより、局所的に色域が変化し、且つ複数枚の入力画像で共通の場所にある場合、局所的に最適な色レイヤー情報を決定することができる。
【００７２】
本発明によれば、色レイヤー情報の決定を色クラスタリングで行なうことにより、入力画像の形式を特定することなく、最適な色レイヤー情報を決定できる。また、本発明によれば色クラスタリングを階層的に行なうことによって、近い色の違う属性の色レイヤー画像を違う属性の色レイヤー画像に分類できる。
【００７３】
例えば赤い文字とピンクの矢印が複数の入力画像に存在する場合、複数の入力画像全体の色ヒストグラムからは、これらの違いを判別できずに、同じ色レイヤー画像になることがある。しかし、同じ色レイヤー画像に判別されたあと、その色レイヤー画像に対して色クラスタリングを行なうことにより、赤い文字とピンクの矢印とを別の色レイヤー画像に分割することができる。
【００７４】
本発明によれば、空間周波数を色レイヤー情報決定時に用いることで、色レイヤー画像をより細かく分割できる。例えばグラデーション等は、色クラスタリングで色レイヤー情報の決定が難しい画像特徴の一つである。
【００７５】
本発明によれば、共有化する色レイヤー画像を高品質に保存することによって、圧縮又は集約した画像の画質を向上できる。また、本発明によれば、色レイヤー画像の意味のない画素を意味のある画素で埋めることで、色レイヤー画像の周波数成分を制限し、ＪＰＥＧによる圧縮効率を上げると共に、画質劣化を防ぐことができる。
【００７６】
本発明によれば、各色レイヤー画像を文字，非文字及び背景の属性に分類することによって、各色レイヤー画像の属性に適した画像処理を適用することができる。また、本発明によれば、重ね合わせで最下層になる画像以外のエッジ（高周波成分）を綺麗に残すことができる。
【００７７】
また、本発明によれば、背景が複数の入力画像で共有されることが多いことから、処理対象の入力画像が単一の画像であっても背景を分離しておくことで、再圧縮、集約に役立てることができる。
【００７８】
本発明によれば、各色レイヤー画像を透明部分と非透明部分とに分類するマスク画像を生成することにより、色レイヤー画像を合成する場合のみ、画像処理を施せば良い状態になる。例えば色レイヤー画像をＪＰＥＧで圧縮する場合は透明画素を選択することができないため、合成側で画像処理を施す必要がある。この場合、マスク画像を用意しておくことにより、合成側で各色レイヤー画像を透明部分と非透明部分とに分類できる。
【００７９】
本発明によれば、各色レイヤー画像を透明部分と非透明部分とに分類するマスク画像を画像フォーマットのみで実現できる。例えばＰＮＧは透明画素を指定できるため、各色レイヤー画像を透明部分と非透明部分とに分類するマスク画像を実現できる。また、ＰＤＦは、ある色域を透明化できるため、各色レイヤー画像を透明部分と非透明部分とに分類するマスク画像を実現できる。
【００８０】
本発明によれば、各色レイヤー画像から合成した合成画像を表示装置に表示することができる。例えばＰＣ等のコンピュータ上ではＰＤＦファイルを復元可能な状態にしておくことにより、各色レイヤー画像から入力画像を再合成して表示することができる。
【実施例２】
【００８１】
図１０は、本発明の画像処理装置の第２実施例の機能構成図である。図１１は、本発明の画像処理装置が実行する画像処理を表す第２実施例のフローチャートである。図１２は本発明の画像処理装置が実行する画像処理の一例のイメージ図である。なお、実施例２は一部を除いて実施例１と同様であるため、同一部分について適宜説明を省略する。
【００８２】
画像処理装置は、画像入力手段２１，画像情報保持手段２２，色レイヤー情報決定手段２３，色レイヤー画像分割手段２４，色レイヤー画像情報保持手段２５，色レイヤー画像属性分類手段２６，属性画像処理手段２７，色レイヤー画像合成手段２８及び合成画像保存手段２９，共通画像検出手段３０を含む構成である。
【００８３】
画像処理装置は、図１１に示す手順で画像処理を実行する。ステップＳ１１では、画像入力手段２１から処理対象となる複数の画像（入力画像）が入力される。ここでは、入力画像として図１２のプレゼンテーション用のカラー画像２０００〜２００２（以下、全てのカラー画像２０００〜２００２を指す場合は、単に複数画像と言う）が入力されたものとして説明する。入力された複数画像は、画像情報保持手段２２に保持される。
【００８４】
ステップＳ１２では、色レイヤー情報決定手段２３が、画像情報保持手段２２に保持された複数画像から、後の処理過程で用いる色レイヤー情報を決定する。複数画像を用いた色レイヤー情報の決定方法としては、以下の３つが考えられる。
【００８５】
複数画像を用いた色レイヤー情報の決定方法としては、複数画像で色レイヤー情報を個別に決定する第１の方法，複数画像で共通の色レイヤー情報を決定する第２の方法，複数画像で共通に決まった色レイヤー情報を元に、各画像の色レイヤー情報を決定する第３の方法が考えられる。
【００８６】
第１の方法は、各画像に対して最適な色レイヤー情報を決定できるが、複数画像に共通な色レイヤー情報を決定しにくいという問題がある。第２の方法は、複数画像に共通な色レイヤー情報の決定を比較的簡単に行えるが、特殊な画像があった場合に対応できないという問題がある。第３の方法は、第１の方法と第２の方法との折衷案であり、処理が難しくなるが、最適な色レイヤー情報を決定することができる。ここでは、複数画像で共通の色レイヤー情報を決定する第２の方法を例に説明する。
【００８７】
ステップＳ１３に進み、色レイヤー画像分割手段２４はステップＳ１２で決定された色レイヤー情報に応じて第１実施例と同様に、入力画像を色レイヤー画像に分割する。色レイヤー画像分割手段２４は、分割した色レイヤー画像を色レイヤー画像情報保持手段２５に保持させる。
【００８８】
ステップＳ１４に進み、色レイヤー画像分割手段２４は色レイヤー画像への分割が全ての画像について終わったか否かを判定し、全ての画像について色レイヤー画像への分割が終わるまでステップＳ１３の処理を繰り返し行う。
【００８９】
全ての画像について色レイヤー画像への分割が終わると（Ｓ１４においてＹＥＳ）、色レイヤー画像属性分類手段２６はステップＳ１５に進み、色レイヤー画像情報保持手段２５に保持されている各色レイヤー画像の属性分類を、第１実施例と同様に行なう。
【００９０】
例えばカラー画像２０００〜２００２の場合、色レイヤー画像属性分類手段２６は色レイヤー画像分割手段２４で分割された色レイヤー画像を図１２に示すように、文字属性２０１０，非文字属性２０１１，背景属性２０１２，共通文字属性２０１３，共通非文字属性２０１４，共通背景属性２０１５に分類する。
【００９１】
ステップＳ１６に進み、色レイヤー画像属性分類手段２６は色レイヤー画像分割手段２４で分割された全ての色レイヤー画像について属性分類が終わったか否かを判定し、全ての色レイヤー画像について属性分類が終わるまでステップＳ１５の処理を繰り返す。
【００９２】
全ての色レイヤー画像について属性分類が終わると（Ｓ１６においてＹＥＳ）、共通画像検出手段３０は複数画像で共通する部分を見つける。例えば共通画像検出手段３０はステップＳ１２で決定された各色レイヤー情報の属性情報や画像特徴量から複数画像で共通に使われている部分画像を抽出する。ただし、共通の概念は属性によって異なる為、属性として「文字」，「非文字」，「背景」を使った場合を一例として挙げる。
【００９３】
属性が「文字」の場合、複数画像で共通に使われている部分画像の抽出は、色が共通の文字群を見つける第１の形態，色が共通で形も同一の部分画像を見つける第２の形態が考えられる。
【００９４】
第１の形態は、色域が同じ色レイヤー画像が複数画像に存在し、且つその色レイヤー画像が属性「文字」である場合に共通する部分として扱うことができる。また、第２の形態は第１の形態を満たした色レイヤー画像に対して文字認識を行い、文字コードの比較を行なうことで共通する部分を見つけることができる。
【００９５】
共通する部分である共通文字を見つけた場合は、その文字単体が１つの色レイヤー画像となるため、元の色レイヤー画像から共通文字を抜く操作が必要となる。ただし、複数画像で共通に使われている部分画像の抽出性能は、文字認識の精度に左右される。ここでは第１の形態により共通文字を見つけたとする。
【００９６】
属性が「非文字」の場合、複数画像で共通に使われている部分画像の抽出は、上記第２の形態が考えられる。例えば何かのロゴや写真などが複数画像で共通する部分として使われている可能性がある。この共通する部分である共通非文字は、色域，空間周波数や連結画素の形などで見つけることができる。共通非文字を見つけた場合は、その非文字単体が１つの色レイヤー画像となるため、元の色レイヤー画像から共通非文字を抜く操作が必要となる。
【００９７】
属性が「背景」の場合、複数画像で共通に使われている部分画像の抽出は上述した属性が「非文字」の場合と同様になる。ただし、属性が「背景」の場合には、ほぼ複数画像で同じ背景を使っているため、色レイヤー情報に応じて複数画像を色レイヤー画像に分割した時点で、色レイヤー画像が共通の背景を構成していることが多い。
【００９８】
また、属性「文字」，「非文字」の色レイヤー画像によって隠される部分が各画像で異なるため、属性が「背景」の場合は単一色レイヤー画像として抽出せず、共通に使われている部分画像を共通背景として見つける方が良い。ここでは、共通背景を単一色レイヤー画像として抽出しない。
【００９９】
ステップＳ１８に進み、共通画像検出手段３０は全ての画像の全ての色レイヤー画像から共通に使われている部分画像を見つける作業が終わったか否かを判定し、全ての画像の全ての色レイヤー画像から共通に使われている部分画像を見つける作業が終わるまでステップＳ１７の処理を繰り返す。
【０１００】
全ての画像の全ての色レイヤー画像から共通に使われている部分画像を見つける作業が終わると（Ｓ１８においてＹＥＳ）、属性画像処理手段２７はステップＳ１９に進み、属性分類を行った各レイヤー画像に対して属性にあった画像処理を行う。
【０１０１】
ここでは、各色レイヤー画像の属性が「文字」，「非文字」，「背景」，「共通文字」，「共通非文字」，「共通背景」の６つとなる。属性が「文字」，「非文字」，「背景」の色レイヤー画像は実施例１と同様に画像処理を行う。
【０１０２】
属性が「共通文字」の場合、属性画像処理手段２７は、属性「共通文字」として分類された色レイヤー画像の色数を削減する処理を行う。なお、属性「文字」として分類された色レイヤー画像に対しても属性画像処理手段２７は色数の削減を行っているが、属性「共通文字」を見つけることによって減色による間違いを軽減している。
【０１０３】
例えば単一の原稿で文字の減色を行なう場合、文字の平均色を、その文字の代表色とすると、サンプルの文字が単一原稿に少なかった場合にはコピーやスキャンによる画像の劣化によって原稿と違う色の文字となってしまう可能性が高い。
【０１０４】
しかし、複数原稿で同じ色の文字が使われている可能性は高い為、属性「共通文字」で分類することにより、サンプルの文字を増やすことができ、より原稿の文字の色に近い代表色を選択できる。ここでは、属性「共通文字」として分類された色レイヤー画像の色数を単一色まで減色する。
【０１０５】
属性が「共通非文字」の色レイヤー画像は属性が「非文字」の色レイヤー画像と同じ画像処理を施しても良いが、共有する画像であるため高画質で残すことが望ましい。高画質で残す場合でも共通する色レイヤー画像から共通非文字を消しているため、ファイルサイズの削減が可能である。
【０１０６】
属性が「共通背景」の場合、属性画像処理手段２７は属性「共通背景」として分類された色レイヤー画像を用いて、文字や非文字によって隠されていた部分の補間を行なう。属性画像処理手段２７は補間を行った色レイヤー画像を属性「共有背景」として共有する色レイヤー画像とし、ステップＳ１５で分類された属性が「共通背景」の色レイヤー画像を消去する。
【０１０７】
属性が「共通背景」の色レイヤー画像は属性が「非文字」の色レイヤー画像と同じ画像処理を施しても良いが、共有する画像であるため高画質で残すことが望ましい。高画質で残す場合でもステップＳ１５で分類された属性が「共通背景」の色レイヤー画像を消去しているため、ファイルサイズの削減が可能である。
【０１０８】
ステップＳ２０に進み、属性画像処理手段２７は色レイヤー画像属性分類手段２６で属性分類を行った全てのレイヤー画像に対して属性にあった画像処理が終わったか否かを判定し、全てのレイヤー画像に対して属性にあった画像処理が終わるまでステップＳ１９の処理を繰り返し行う。
【０１０９】
全ての色レイヤー画像に対して属性にあった画像処理が終わると（Ｓ２０においてＹＥＳ）、色レイヤー画像合成手段２８はステップＳ２１に進み、入力画像を復元できるように色レイヤー画像を合成する。
【０１１０】
入力画像を復元できるように色レイヤー画像を合成する方法は、画像フォーマットや処理アプリケーションで多少異なる。例えばＰＤＦを用いる場合には、以下のような第１の方法が考えられる。
【０１１１】
色レイヤー画像合成手段２８は、属性「共通背景」として分類された色レイヤー画像の上に、属性「背景」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、その上に属性「共通非文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、その上に属性「非文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、その上に属性「共通文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、その上に属性「文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせるようにＰＤＦを記述する。
【０１１２】
例えばＰＤＦを用いる場合には、以下のような第２の方法も考えられる。色レイヤー画像合成手段２８は、属性「共通背景」として分類された色レイヤー画像の上に、属性「背景」として分類された色レイヤー画像を、属性「背景」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、その上に属性「共通非文字」として分類された色レイヤー画像を、属性「共通非文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、その上に属性「非文字」として分類された色レイヤー画像を、属性「非文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、その上に属性「共通文字」として分類された色レイヤー画像を、属性「共通文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、更にその上に属性「文字」として分類された色レイヤー画像を、属性「文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせるようにＰＤＦを記述する。
【０１１３】
ここでは、入力画像を復元できるように色レイヤー画像を合成する方法として第２の方法を用いる。ステップＳ２２に進み、色レイヤー画像合成手段２８は入力画像を復元できるように合成した合成画像を合成画像保存手段２９に保存して、図１１のフローチャートに示す画像処理を終了する。
【０１１４】
例えばＰＤＦを用いる場合には、色レイヤー画像を別にＰＤＦ内に保存して描画の際に重ね合わせるため、前述したＰＤＦの記述と色レイヤー画像とが同一のファイルに保存される。
【０１１５】
合成画像保存手段２９に保存された合成画像は、出力装置１２の一例としての表示装置に表示できる。例えばＰＤＦを用いる場合には、ＰＤＦを表示できるアプリケーションに合成画像を読み込ませる。表示装置には、上述した復元過程を再現できる機能を付与しておく。
【０１１６】
本発明によれば、複数画像から色レイヤー情報を決定することにより、複数画像で共通に使われている部分画像を同じ色域を持った色レイヤー画像に分割することができ、色レイヤー画像の共有を効率良く行なうことができる。また、本発明によれば複数画像で同じ色レイヤー画像を共有することによって、後述の再圧縮や集約を効率良く行なうことができる。
【実施例３】
【０１１７】
図１３は、本発明の画像処理装置の第３実施例の機能構成図である。図１４は、本発明の画像処理装置が実行する画像処理を表す第３実施例のフローチャートである。図１５及び図１６は、本発明の画像処理装置が実行する画像処理の一例のイメージ図である。実施例３は、一部を除いて実施例１，実施例２と同様であるため、同一部分について適宜説明を省略する。
【０１１８】
画像処理装置は、画像入力手段２１，色レイヤー情報決定手段２３，色レイヤー画像分割手段２４，色レイヤー画像情報保持手段２５，色レイヤー画像属性分類手段２６，属性画像処理手段２７，色レイヤー画像合成手段２８，合成画像保存手段２９，共通画像検出手段３０，処理変更手段３１，色レイヤー情報保持手段３２及び色レイヤー情報呼び出し手段３３を含む構成である。
【０１１９】
画像処理装置は、図１４に示す手順で画像処理を実行する。ステップＳ３１では、画像入力手段２１から処理対象となる複数の画像（入力画像）が入力される。ここでは、入力画像として図１５又は図１６のプレゼンテーション用のカラー画像３０００又は３００１が入力されたものとして説明する。なお、実施例３では入力画像が１枚ずつ順番に入力されるものとし、メモリに保持できる入力画像も１枚とする。
【０１２０】
ステップＳ３２に進み、処理変更手段３１は入力された入力画像が最初の入力画像であるかを判定する。最初の入力画像であれば（Ｓ３２においてＹＥＳ）、色レイヤー情報決定手段２３はステップＳ３３に進み、入力画像から、後の処理過程で用いる色レイヤー情報を決定する。なお、色レイヤー情報の決定方法は実施例１と同様である。
【０１２１】
ステップＳ３４に進み、色レイヤー画像分割手段２４はステップＳ３３で決定された色レイヤー情報に応じて第１実施例と同様、入力画像を色レイヤー画像に分割する。色レイヤー画像分割手段２４は、分割した色レイヤー画像を色レイヤー画像情報保持手段２５に保持させる。
【０１２２】
ステップＳ３５では、実施例２と同様、色レイヤー画像の属性分類，共通する部分の発見，属性分類を行った各レイヤー画像に対して属性にあった画像処理を行う。ただし、複数の入力画像で比較を行なうことができない為、共通画像検出手段３０は属性「背景」として分類された色レイヤー画像のうち入力画面全体に広がっている色レイヤー画像のみを属性「共通背景」として共有化する。
【０１２３】
例えば最初の入力画像がカラー画像３０００の場合、色レイヤー画像属性分類手段２６は色レイヤー画像分割手段２４で分割された色レイヤー画像を図１５に示すように、文字属性３０１０，非文字属性３０１１，共通背景属性３０１２に分類する。
【０１２４】
ステップＳ３６に進み、属性画像処理手段２７は色レイヤー画像情報保持手段２５に色レイヤー画像を保持させる。ステップＳ３７に進み、色レイヤー情報決定手段２３は色レイヤー情報を色レイヤー情報保持手段３２に保持させたあと、ステップＳ３１に戻る。ステップＳ３１では、画像入力手段２１から次の入力画像が入力される。
【０１２５】
ステップＳ３２に進み、処理変更手段３１は入力された入力画像が最初の入力画像であるかを判定する。最初の入力画像でなければ（Ｓ３２においてＮＯ）、色レイヤー情報呼び出し手段３３はステップＳ３８に進み、色レイヤー情報保持手段３２から最初の入力画像の色レイヤー情報を呼び出す。
【０１２６】
ステップＳ３９に進み、色レイヤー画像分割手段２４はステップＳ３８で呼び出した色レイヤー情報に応じて第１実施例と同様、入力画像を色レイヤー画像に分割する。色レイヤー画像分割手段２４は、分割した色レイヤー画像を色レイヤー画像情報保持手段２５に保持させる。
【０１２７】
ステップＳ４０では、実施例２と同様に、色レイヤー画像属性分類手段２６が、色レイヤー画像の属性分類を行なう。共通画像検出手段３０は、属性「背景」として分類された色レイヤー画像と最初の入力画像で属性「共通背景」として分類された色レイヤー画像との差分を求め、その差分を属性「差分背景」の色レイヤー画像とし、属性「背景」として分類された色レイヤー画像を消去する。属性画像処理手段２７は、属性分類を行った各レイヤー画像に対して実施例２と同様、属性にあった画像処理を行う。
【０１２８】
例えば次の入力画像がカラー画像３００１の場合、色レイヤー画像属性分類手段２６は色レイヤー画像分割手段２４で分割された色レイヤー画像を図１６に示すように、文字属性３０２０，非文字属性３０２１，共通背景属性３０２２，差分背景属性３０２３に分類する。
【０１２９】
ステップＳ４１に進み、属性画像処理手段２７は色レイヤー画像情報保持手段２５に色レイヤー画像を保持させる。ステップＳ４２に進み、属性画像処理手段２７は全ての入力画像の全ての色レイヤー画像で画像処理が終わったか否かを判定し、全てのレイヤー画像で画像処理が終わるまでステップＳ３１〜Ｓ４２の処理を繰り返し行う。
【０１３０】
全ての色レイヤー画像で画像処理が終わると（Ｓ４２においてＹＥＳ）、色レイヤー画像合成手段２８はステップＳ４３に進み、入力画像を復元できるように色レイヤー画像を合成する。
【０１３１】
入力画像を復元できるように色レイヤー画像を合成する方法は、画像フォーマットや処理アプリケーションで多少異なる。例えばＰＤＦを用いる場合には、以下のような第１の方法が考えられる。
【０１３２】
色レイヤー画像合成手段２８は、属性「共通背景」として分類された色レイヤー画像の上に、属性「差分背景」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、属性「背景」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、その上に属性「非文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせ、その上に属性「文字」として分類された色レイヤー画像の意味のない画素を透明化した画像を重ね合わせるようにＰＤＦを記述する。
【０１３３】
例えばＰＤＦを用いる場合には、以下のような第２の方法も考えられる。色レイヤー画像合成手段２８は、属性「共通背景」として分類された色レイヤー画像の上に、属性「差分背景」として分類された色レイヤー画像を、属性「差分背景」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、その上に属性「背景」として分類された色レイヤー画像を、属性「背景」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、その上に属性「非文字」として分類された色レイヤー画像を、属性「非文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせ、更にその上に属性「文字」として分類された色レイヤー画像を、属性「文字」として分類された色レイヤー画像のマスク画像で透明部分と非透明部分とに変換した画像を重ね合わせるようにＰＤＦを記述する。
【０１３４】
ここでは、入力画像を復元できるように色レイヤー画像を合成する方法として第２の方法を用いる。ステップＳ４４に進み、色レイヤー画像合成手段２８は入力画像を復元できるように合成した合成画像を合成画像保存手段２９に保存して、図１４のフローチャートに示す画像処理を終了する。
【０１３５】
例えばＰＤＦを用いる場合には、色レイヤー画像を別にＰＤＦ内に保存して描画の際に重ね合わせるため、前述したＰＤＦの記述と色レイヤー画像とが同一のファイルに保存される。
【０１３６】
合成画像保存手段２９に保存された合成画像は、出力装置１２の一例としての表示装置に表示できる。例えばＰＤＦを用いる場合には、ＰＤＦを表示できるアプリケーションに合成画像を読み込ませる。表示装置には、上述した復元過程を再現できる機能を付与しておく。
【０１３７】
本発明によれば、最初の入力画像から色レイヤー情報を決定することで、事前の入力画像をメモリに残すことなく、逐次的に最初以降の複数画像を処理できる。
【実施例４】
【０１３８】
図１７は、本発明の画像処理装置の第４実施例の機能構成図である。図１８は、本発明の画像処理装置が実行する画像処理を表す第４実施例のフローチャートである。図１９及び図２０は、本発明の画像処理装置が実行する画像処理の一例のイメージ図である。実施例４は、一部を除いて実施例１，実施例２と同様であるため、同一部分について適宜説明を省略する。
【０１３９】
画像処理装置は、画像入力手段２１，画像情報保持手段２２，色レイヤー情報決定手段２３，色レイヤー画像分割手段２４，色レイヤー画像情報保持手段２５，色レイヤー画像属性分類手段２６，属性画像処理手段２７，色レイヤー画像合成手段２８，合成画像保存手段２９，共通画像検出手段３０，画像種類判定手段３４，色レイヤー情報取得手段３５及び新規色レイヤー情報決定手段３６を含む構成である。
【０１４０】
画像処理装置は、図１８に示す手順で画像処理を実行する。画像入力手段２１は、処理対象となる複数の画像（入力画像）が入力される。ここでは、入力画像として図１９又は図２０のプレゼンテーション用のカラー画像４０００〜４００２が入力されたものとして説明する。
【０１４１】
ただし、画像入力手段２１に入力される入力画像には、本発明の画像処理装置により再圧縮、集約された画像も含まれる。画像種類判定手段３４は、画像入力手段２１に入力される入力画像の種類を判定する。
【０１４２】
ステップＳ５１では、画像種類判定手段３４が、画像入力手段２１に再圧縮、集約された画像が入力されたと判定する。ステップＳ５２に進み、色レイヤー情報取得手段３５は既存の各色レイヤー画像から色レイヤー情報を取得する。抽出方法としては色レイヤー画像毎の色ヒストグラムを作成し、各色域の幅を広げて作成する。
【０１４３】
ステップＳ５３では、画像種類判定手段３４が、画像入力手段２１に再圧縮、集約されていない追加画像が入力されたと判定する。ステップＳ５４に進み、色レイヤー情報決定手段２３は実施例１と同様、追加画像から色レイヤー情報を決定する。
【０１４４】
ステップＳ５５に進み、新規色レイヤー情報決定手段３６は、ステップＳ５２，Ｓ５４で取得又は決定した色レイヤー情報から新規色レイヤー情報を決定する。ただし、新規色レイヤー情報の決定は、再圧縮、集約された画像に関して修正が難しいことから、追加画像の色レイヤー情報と再圧縮、集約された画像の色レイヤー情報とを比較する。
【０１４５】
新規色レイヤー情報決定手段３６は、共通部分について再圧縮、集約された画像の色レイヤー情報を優先し、新規の色域がある場合に新規の色域のみを追加画像の色レイヤー情報から取得する。なお、ステップＳ５６〜Ｓ６５の処理は、図１１のステップＳ１３〜Ｓ２２の処理と同様であるため、説明を省略する。
【０１４６】
例えばカラー画像４０００〜４００１の場合、色レイヤー画像属性分類手段２６は色レイヤー画像分割手段２４で分割された色レイヤー画像を図１９に示すように、文字属性４０１０，非文字属性４０１１，背景属性４０１２，共通文字属性４０１３，共通非文字属性４０１４，共通背景属性４０１５に分類する。
【０１４７】
そして、カラー画像４００２が追加画像として入力されると、色レイヤー画像属性分類手段２６はカラー画像４００２から分割した色レイヤー画像を図２０に示すように、文字属性４０１０，非文字属性４０１１，背景属性４０１２，共通文字属性４０１３，共通非文字属性４０１４，共通背景属性４０１５に分類する。
【０１４８】
本発明によれば、本発明の画像処理装置により再圧縮、集約された複数の画像及び新規の追加画像の色レイヤー情報を取得し、それらの色レイヤー情報から新規色レイヤー情報を作成できる。例えば既存のプレゼンテーション資料に新規の画像を追加したい場合等では、この方法によって画像を追加できる。
【０１４９】
本発明は、上記したような従来の問題点を解決する為、複数ページに存在する共通の属性（例えば文字や背景）が、同じ色又は色域を持っているという事前知識を活用し、複数ページの共通属性の共有化を実現する。共有化を実現することによって、本発明は共通に使われる画像の高品質化や、複数画像を集約した場合のファイルサイズの削減などを見込むことができる。また、色域が近い画素を単一の画像にまとめることによって、周波数成分を制限し、ＪＰＥＧで圧縮する場合の画質への悪影響を減らし、効率良く圧縮率を上げることができる。
【０１５０】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【図面の簡単な説明】
【０１５１】
【図１】本発明の画像処理装置を実現するコンピュータの一例のハードウェア構成図である。
【図２】本発明の画像処理装置の第１実施例の機能構成図である。
【図３】本発明の画像処理装置が実行する画像処理を示す第１実施例のフローチャートである。
【図４】本発明の画像処理装置が実行する画像処理の一例のイメージ図である。
【図５】カラー画像を任意の範囲毎に分割する様子を表した一例のイメージ図である。
【図６】カラー画像全体で近い色がある場合に生じる問題を表したイメージ図である。
【図７】階層的に行なう色クラスタリングを表したイメージ図である。
【図８】空間周波数を色レイヤー情報決定時に用いる方法を表した説明図である。
【図９】入力画像を復元できるように色レイヤー画像を合成する処理の一例のイメージ図である。
【図１０】本発明の画像処理装置の第２実施例の機能構成図である。
【図１１】本発明の画像処理装置が実行する画像処理を表す第２実施例のフローチャートである。
【図１２】本発明の画像処理装置が実行する画像処理の一例のイメージ図である。
【図１３】本発明の画像処理装置の第３実施例の機能構成図である。
【図１４】本発明の画像処理装置が実行する画像処理を表す第３実施例のフローチャートである。
【図１５】本発明の画像処理装置が実行する画像処理の一例のイメージ図である。
【図１６】本発明の画像処理装置が実行する画像処理の一例のイメージ図である。
【図１７】本発明の画像処理装置の第４実施例の機能構成図である。
【図１８】本発明の画像処理装置が実行する画像処理を表す第４実施例のフローチャートである。
【図１９】本発明の画像処理装置が実行する画像処理の一例のイメージ図である。
【図２０】本発明の画像処理装置が実行する画像処理の一例のイメージ図である。
【符号の説明】
【０１５２】
１１    入力装置
１２    出力装置
１３    ドライブ装置
１４    補助記憶装置
１５    メモリ装置
１６    演算処理装置
１７    インターフェース装置
１８    記録媒体
２１    画像入力手段
２２    画像情報保持手段
２３    色レイヤー情報決定手段
２４    色レイヤー画像分割手段
２５    色レイヤー画像情報保持手段
２６    色レイヤー画像属性分類手段
２７    属性画像処理手段
２８    色レイヤー画像合成手段
２９    合成画像保存手段
３０    共通画像検出手段
３１    処理変更手段
３２    色レイヤー情報保持手段
３３    色レイヤー情報呼び出し手段
３４    画像種類判定手段
３５    色レイヤー情報取得手段
３６    新規色レイヤー情報決定手段
【図１】
2007005907.tif 000003
【図２】
2007005907.tif 000004
【図３】
2007005907.tif 000005
【図４】
2007005907.tif 000006
【図５】
2007005907.tif 000007
【図６】
2007005907.tif 000008
【図７】
2007005907.tif 000009
【図９】
2007005907.tif 000010
【図１０】
2007005907.tif 000011
【図１１】
2007005907.tif 000012
【図１２】
2007005907.tif 000013
【図１３】
2007005907.tif 000014
【図１４】
2007005907.tif 000015
【図１５】
2007005907.tif 000016
【図１６】
2007005907.tif 000017
【図１７】
2007005907.tif 000018
【図１８】
2007005907.tif 000019
【図１９】
2007005907.tif 000020
【図２０】
2007005907.tif 000021
【図８】
2007005907.tif 000022