(57)【特許請求の範囲】
【請求項１】
多値の画像データを圧縮符号化し、電子ファイルとして保存する画像処理装置であって、
複数ページ分の画像データを入力する入力手段と、
入力された各ページの多値の画像データを文字画像と背景画像とに分離する第１の分離手段と、
前記第１の分離手段で分離された文字画像については２値化し、２値画像用の圧縮符号化を行なう第１の圧縮符号化手段と、      
前記第１の分離手段で分離された各ページの多値の背景画像同士を比較することにより、各ページの背景画像を、ページ間で共通な多値の背景画像部分と、各ページ固有の多値の背景画像部分とに分離する第２の分離手段と、
前記第２の分離手段で分離された前記ページ間で共通な背景画像部分及び前記各ページ固有の背景画像部分それぞれに対して個別に多値画像用圧縮符号化を行なう第２の圧縮符号化手段と、
各ページに対して、ページ固有の文字画像及びページ固有の背景画像部分についてはそれぞれの圧縮符号化データを対応付け、且つ、前記ページ間で共通な背景画像部分については当該共通な背景画像部分の圧縮符号化データへのリンクを対応付けることによって、複数ページを記述可能な１つの電子ファイルを生成するファイル生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の分離手段は、文字画像については文字画像の色毎に分離することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の分離手段は、文字画像としての有意な画素が存在していた画素領域を、周辺の背景画像の色の画素値で塗りつぶして背景画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の分離手段は、各ページの背景画像をｎ×ｍ画素ブロックのサイズに分割し、各ページの同一位置の画素ブロック同士の差分値を演算する差分演算手段と、
該差分演算手段の差分値が第１の許容範囲内にあると判断した場合には、当該画素ブロックを共通な背景画像部分を構成する画素ブロックとして判定し、前記差分値が予め設定された許容範囲を越えると判断した場合には、ページ固有の背景画像部分を構成する画素ブロックとして判定し、それぞれの画素ブロックを分類することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の分離手段は、前記差分値が前記許容範囲を越えると判断された画素ブロックを細分割し、細分割した細分割ブロック同士の差分値が第２の許容範囲にある細分割ブロックについては共通な背景画像部分を構成する細分割ブロックとして判定し、前記第２の許容範囲を越えると判断した場合には、ページ固有の背景画像部分を構成する画素ブロックとして判定し、それぞれの画素ブロックを分類することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
多値の画像データを圧縮符号化し、電子ファイルとして保存する画像処理装置の制御方法であって、
複数ページ分の画像データを入力する入力工程と、
入力された各ページの多値の画像データを文字画像と背景画像とに分離する第１の分離工程と、
前記第１の分離工程で分離された文字画像については２値化し、２値画像用の圧縮符号化を行なう第１の圧縮符号化工程と、
前記第１の分離工程で分離された各ページの多値の背景画像同士を比較することにより、各ページの背景画像を、ページ間で共通な多値の背景画像部分と、各ページ固有の多値の背景画像部分とに分離する第２の分離工程と、
前記第２の分離工程で分離された前記ページ間で共通な背景画像部分及び前記各ページ固有の背景画像部分それぞれに対して個別に多値画像用圧縮符号化を行なう第２の圧縮符号化工程と、
各ページに対して、ページ固有の文字画像及びページ固有の背景画像部分についてはそれぞれの圧縮符号化データを対応付け、且つ、前記ページ間で共通な背景画像部分については１つの共通な背景画像部分の圧縮符号化データへのリンクを対応付けることによって、複数ページを記述可能な１つの電子ファイルを生成するファイル生成工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項１乃至５の何れか１項の各手段として、コンピュータを機能させるためのコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数ページで構成される文書画像を圧縮し１つのファイルを生成する技術に関するものである。
【背景技術】
【０００２】
近年、紙による文書原稿をスキャナで読取って、電子画像データとしてコンピュータ上で保管（保存）すること、並びに、それを再利用することことが行われている。
【０００３】
しかしながら、画像データ（特にカラー画像）はデータサイズが大きい。従って、ネットワーク上に設けられたサーバに保存する場合には、ネットワークトラフィックの問題が発生するし、大容量の記憶装置も必要になる。
【０００４】
これを解決するために、画像データの圧縮技術が多く提案されているが、極端に圧縮符号化してしまうと、画像品位が著しく落ちてしまい、多くのビジネス文書で重要とされる文字部分が判読できないという問題が発生する。
【０００５】
この問題を解決するために、画像データを画像の特性に合わせて圧縮方式を変える技術（特許文献１、２）、画像のレイヤ構造を抽出し、各レイヤごとに効率の良い圧縮処理を行う技術（特許文献３）が知られている。
【特許文献１】特開平１０−５１６４２号公報
【特許文献２】特開平１０−２１５３７９号公報
【特許文献３】特開２０００−３０６１０３公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の技術によると、１枚の原稿の画像データは、その品位をある程度は維持しつつ、画像データのデータサイズを小さなものとすることが可能である。仮に、１ページの無圧縮画像データ量に対し、圧縮符号化後の画像データが１／１０にまで圧縮できるのであれば、同容量の記憶装置では１０倍の文書を記憶・管理することが可能となることを意味する。なお、圧縮率を更に上げることも可能ではあるものの、あまり上げすぎると今度は復号した際に文字等が不鮮明になり、判読しずらくなる。
【０００７】
上記は１枚単位の文書画像の記憶管理するものであり、各画像には互いに因果関係を想定していない。
【０００８】
一方、企業の会議等で使用するプレゼンテーション資料の文書は、複数ページで構成され、その文書の多くはＰＣ上で作成することが可能になってきている。プレゼンテーション資料の場合、各ページの見栄えを良くするため、各ページに背景を付していることが多い。
【０００９】
本発明者は、このようなプレゼンテーション資料の文書の場合、各ページの背景が同じとなる確率が高い点に着目した。そして、本発明は、各ページの背景が同じ文書については、その特性を利用しつつ、尚且つ、高い画質を維持したまま更なる圧縮率を向上させる技術を提供しようとするものである。
【課題を解決するための手段】
【００１０】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
多値の画像データを圧縮符号化し、電子ファイルとして保存する画像処理装置であって、
複数ページ分の画像データを入力する入力手段と、
入力された各ページの多値の画像データを文字画像と背景画像とに分離する第１の分離手段と、
前記第１の分離手段で分離された文字画像については２値化し、２値画像用の圧縮符号化を行なう第１の圧縮符号化手段と、      
前記第１の分離手段で分離された各ページの多値の背景画像同士を比較することにより、各ページの背景画像を、ページ間で共通な多値の背景画像部分と、各ページ固有の多値の背景画像部分とに分離する第２の分離手段と、
前記第２の分離手段で分離された前記ページ間で共通な背景画像部分及び前記各ページ固有の背景画像部分それぞれに対して個別に多値画像用圧縮符号化を行なう第２の圧縮符号化手段と、
各ページに対して、ページ固有の文字画像及びページ固有の背景画像部分についてはそれぞれの圧縮符号化データを対応付け、且つ、前記ページ間で共通な背景画像部分については当該共通な背景画像部分の圧縮符号化データへのリンクを対応付けることによって、複数ページを記述可能な１つの電子ファイルを生成するファイル生成手段とを備える。
【発明の効果】
【００１１】
本発明によれば、複数ページ分の画像データから１つのファイルを作成する際に、ページ間に共通な背景部分の符号化データを作成して共有することで、高い画質を維持したまま高い圧縮率のファイルを生成することが可能になる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。
【００１３】
図１は実施形態における情報処理装置１００の構成を示すブロック図である。実施形態における情報処理装置１００は、ハードウェア構成はパーソナルコンピュータ（ＰＣ）等の汎用の情報処理装置であるものとする。
【００１４】
図中、１は装置全体の制御を司るＣＰＵであり、２はＢＩＯＳやブートプログラムを格納しているＲＯＭである。３はＣＰＵ１のワークエリアとして使用されるＲＡＭであり、このＲＡＭにＯＳ（オペレーティングシステム）、各種処理プログラム、更には、データを読み込みＣＰＵが処理する。４は外部記憶装置としてのハードディスク装置（以下、ＨＤＤ）であり、図示のようにＯＳ４ａ、実施形態における処理プログラム４ａがインストールされている。なお、ＨＤＤ４には、各種アプリケーションで作成されたデータファイル（画像データファイルを含む）や、後述するスキャナ等の入力装置より入力した画像データファイルも格納される。５はキーボード、６はマウス等のポインティングデバイスである。７はビデオメモリと、そのビデオメモリへの描画処理及びビデオメモリから所定のタイミングで画像データを読取、ビデオ信号として表示装置８に出力する表示制御部である。表示装置８はＣＲＴや液晶表示装置等で構わない。９は原稿を読取るイメージスキャナ１０を接続するためのスキャナインタフェース（Ｉ／Ｆ）である。スキャナＩ／Ｆ９としては、ＳＣＳＩインタフェース、ＵＳＢインタフェース等がその代表例である。また、イメージスキャナ１０はＡＤＦ（Auto Document Feeder）を搭載し、複数の原稿を順に読取位置に搬送しては、読取る機能を有するものとする。１１はイーサネット（登録商標）等のネットワークインタフェース（Ｉ／Ｆ）である。
【００１５】
上記構成において、情報処理装置１００に電源がＯＮになると、ＣＰＵ１はＲＯＭ２に格納されたブートプログラムに従ってＨＤＤ４からＲＡＭ３にＯＳをロードし、情報処理装置として機能することになる。また、その後で、ユーザはキーボード５やポインティングデバイス６を操作して、処理プログラム４ｂを起動（ＲＡＭ３にロードして実行）することで、本実施形態の画像データの圧縮処理を行なう装置として機能することになる。
【００１６】
この処理プログラム４ｂが実行されると、ユーザからの指示に応じてイメージスキャナ１０にセットされた複数ページの原稿を順に読取り、読取った画像データをＲＡＭ３に格納していく。そして、各ページの画像データに対して後述する処理を行なうことで、複数枚の原稿に相当する１つのファイルを生成し、ＨＤＤ４に格納する。
【００１７】
なお、上記はスタンドアロンによる例であるが、イメージスキャナや、最終的に生成される圧縮したデータファイルの格納先の装置（データベースサーバやファイルサーバ）がネットワーク上に設けられるようにしても構わない。図２はその例を示している。
【００１８】
図示では、情報処理装置１０１がネットワーク上のスキャナ２００を介して原稿画像の読み取りを行なわせ、その読取った画像データを受信する。情報処理装置１０１は、読取った画像データを順にルータ３００を介して情報処理装置１０２に転送する。情報処理装置１０２は、受信した画像データに対し、上記の圧縮処理を実行し、その結果生成されるデータファイルを情報処理装置１０３に転送する。情報処理装置１０３はデータベースサーバ、或いはファイルサーバとして機能するものであり、転送されてきたデータファイルを記憶保管する。図２の構成の場合、図１の処理と同様の処理を行なうのが情報処理装置１０２となる。また、図２の構成からも容易に理解できるように、複数のＬＡＮを接続した環境でも実施できるものであるので、例えば、インターネットを介しても構わない。
【００１９】
説明を簡単にするため、以降、図１の構成に基づき説明することとするが、図２で説明したようにネットワークを介して処理しても良いのは明らかである。
【００２０】
以下、実施形態における情報処理装置１００が実行する処理プログラム４ａの処理内容を図３のフローチャートに従って説明する。なお、この処理は、処理プログラム４ａ（アプリケーション）が起動し、そのＧＵＩ画面（不図示）にて原稿読み取りをポインティングデバイス６で指示した際に実行されるものである。
【００２１】
先ず、ステップＳ１０１では、スキャナ１０に設置された原稿１枚の読取を行なう。読取った１枚の原稿のページ画像データを構成する画素はＲ、Ｇ、Ｂそれぞれ８ビットで表わされる多値カラー画像データとする。実施形態では、このＲＧＢ色空間で表わされた画像データを、ＹＣｂＣｒ（輝度、色差）空間に変換して取込む。この変換そのものはマトリクス演算によって実現できるが、それそのものは公知であるので説明は省略する。
【００２２】
次のステップＳ１０２では読み込んだページ画像データに対してページ処理を実行する。このページ処理の詳細を、図４のフローチャートに従って説明する。
【００２３】
ステップＳ２０１では、ＹＣｂＣｒ空間で表わされるカラー画像データを２値化し、２値化画像データを生成する。
【００２４】
図６はカラー画像から２値画像を生成する処理の例を説明するための図である。元画像として入力されたＹＣｂＣｒ空間で入力された原画像データに対して、輝度成分であるＹ値について着目し、ヒストグラム５０１を生成する。ここでは輝度成分のヒストグラムとしているので、文字／線画を構成している画素数は、背景画像を構成している画素数より遥かに少ない。また、背景画像は、文字／線画よりも輝度が高い（濃度が低い）ので、ヒストグラムの最大輝度から低輝度に向かって度数を辿っていき、度数閾値Ｔより少なくなった最初の極小値を求め、その極小値の輝度を２値化する際の閾値として決定する。
【００２５】
こうして決定された２値化閾値以下の画素を黒画素として処理し、２値化閾値を越える画素は白画素として処理することで、図示の２値画像データ５０２を得る。
【００２６】
ステップＳ２０３では、生成された２値画像データからノイズ除去処理を施して、ブロックセレクションの対象となる画像データを生成する。このノイズ除去処理は、孤立画素除去する処理でもある。図７を用いて説明する。なお、２値画像の各画素は１ビットで表わすことができる。ここでは、便宜的に“１”は黒画素、“０”は白画素を意味するものとする。
【００２７】
注目画素がｐ（ｘ、ｙ）であるものとする。孤立画素であるか否かの条件は次の通りである。
条件：  Ｐ（ｘ、ｙ）＝“１”  且つ、
周辺８画素｛Ｐ（ｘ、ｙ−１）、Ｐ（ｘ、ｙ＋１）、Ｐ（ｘ−１、ｙ−１）、Ｐ（ｘ−１、ｙ）、Ｐ（ｘ−１、ｙ＋１）、Ｐ（ｘ＋１、ｙ−１）、Ｐ（ｘ＋１、ｙ）、Ｐ（ｘ＋１、ｙ＋１）｝が全て“０”である。
【００２８】
上記条件を満たす場合、注目画素Ｐ（ｘ、ｙ）が孤立画素として判定し、注目画素Ｐ（ｘ、ｙ）の値を“０”に変更する。
【００２９】
従って、注目画素が図示の参照符号７００である場合、その画素は孤立画素と判定されることで、白画素に変換されることになる。また、注目画素が図示の参照符号７０１である場合、周辺画素の１つである右隣の画素が“１”であるので、注目画素６０１は孤立点ではないと判定され、元の２値データは維持される。
【００３０】
上記の処理を着目画素Ｐ（ｘ、ｙ）について、ｘ、ｙをラスタスキャンに従って更新していくことで順次行なうことで、入力した画像の輝度成分に基づく２値化処理が行われることになる。
【００３１】
次のステップＳ２０３では、上記のノイズ除去処理を経た２値画像データを入力し、ブロックセレクション処理（属性毎のブロックに分割する像域分割処理）を行い、画像データに対してブロック情報と属性情報を付加して出力する。
【００３２】
このブロックセレクション処理では、２値画像データに含まれる黒画素の集合のサイズや画像ブロックの均一性などを元に画像領域に対して属性を付与する。このようにして２値画像のページデータからタイトル、テキスト、図、テーブル、画像（Ｐｉｃｔｕｒｅ）といったある程度まとまった画像ブロックとその属性およびそれぞれの位置情報と大きさを結果として得ることが出来る。
【００３３】
図８はブロックセレクションによる画像領域分割の結果である。図示は、入力した画像データが、８つのテキスト領域Ｔｅｘｔ１乃至８と、１つのテーブル領域Ｔａｂｌｅ１と、１つのピクチャ領域Ｐｉｃｔｕｒｅ１にブロック領域、そして、３つの線領域Ｌｉｎｅ１乃至３に分割されていることを示している。
【００３４】
図９（ａ）はブロックセレクション処理の結果得られる論理構造（ツリー構造）である。ルートを画像ページとして、ここで得られたすべてのブロック情報に対して、文字画像に対しての処理を行う。各ノードは、図９（ｂ）に示すように、そのノードがテキスト領域であるのか、テーブル領域であるのかを示す属性情報と、その領域の左上隅の座標位置（ｘ、ｙ）、領域を矩形とした場合の幅、高さを含む。また、テキスト領域については、その中の個々の文字画像が占める領域を子ノードとして管理するため、子ノードへのポインタ、更には、次のノードへおポインタが含まれる。テーブル領域の場合にも、そのテーブル内に文字が含まれるので、同様のデータ構造を有する。
【００３５】
ステップＳ２０４では、１つの領域に着目し、それがテキスト領域かどうかの判定を行う。これは、図９（ｂ）のブロックセレクションの論理構造中のノード属性に参照して判定する。
【００３６】
判定の結果、テキスト領域と判定されればステップＳ２０５の処理を行い、非テキスト領域ならばステップＳＳ２０４−２の処理を行う。実施形態では、図９（ａ）に示すように第１ノード（左端ノード）の属性はラインであるので非テキスト領域と判定し、ステップＳＳ２０４−２の処理を実行する。
【００３７】
図１０は２値画像からの非テキスト画像削除処理の説明図である。ブロックセレクションのノード情報を元に削除対象となる画像領域を特定して、２値画像データから該当する画像を消去する。
【００３８】
対象ブロックに対する処理を終えたなら、ステップＳ２０８を実行し、次のブロックセレクションのノードを取得する。ノード情報が取得できない場合、すなわち、全ブロックに対する処理が終了したと判定した場合には、ステップＳ２０９の処理を行う。ここでは、ノードが存在するものとして、ステップＳ２０４に戻った場合について説明する。
【００３９】
ステップＳ２０４では処理対象となっているブロックセレクションのノード属性がテキスト領域か非テキスト領域かの再び判定を行う。着目ノードがテキスト領域である場合には、ステップＳ２０５の処理にする。
【００４０】
ステップＳ２０５では、テキスト領域のブロックセレクションのノード情報を解析して、テキストブロックの最終単位である文字ノード情報を取得する。取得した文字情報に対して色情報を付加する。
【００４１】
文字色決定処理は図１１のように、現在の処理対象となっているノード情報に対応する文字を構成している各画素のカラー情報を、オリジナルのＹＣｂＣｒ画像データから取り出して、文字色を決定してノード情報に追加する。
【００４２】
図１１の場合対象となる文字の色は黒色であるのでノード情報には［０，１２８，１２８］（それぞれＹ，Ｃｂ，Ｃｒの値）を文字色情報として追加する。
【００４３】
ステップＳ２０６では、上記のステップＳ２０５の処理で文字として判定されたノードに対する情報をもとに、オリジナルのＹＣｂＣｒのカラー画像から該当する文字画像を構成する各画素の消去を行う。図１２は文字画像消去の説明図である。２値画像の“１”となっている画素位置に相当する、ＹＣｂＣｒ対応するカラー画像中の位置の画素データを消去する。
【００４４】
ステップＳ２０７では、文字画像を消去したカラー画像に対して、周辺の画素の色情報を用いて穴埋め（消去した内部のペイント）を行う。図１３（ａ）に示すように穴埋め対象の画素（画素値（？、？、？））の周辺の既知の色数が一つの場合には、その周辺の画素の色と同じ色によって穴埋め（ペイント）する。隣接している画素の色がＮ種類（同図１３（ｂ）では２種類）である場合には、色成分の平均値を算出し、穴埋め対象の画素の色を決定していく。このようにして、文字を切り抜いた画素を周囲の色、すなわち、背景の色とすることが可能になる。
【００４５】
以上説明したのように、ステップＳ２０４乃至Ｓ２０８の処理をすべてのノードに対して行い、テキスト属性を持つノードに対しては、文字色を決定し、カラー画像から文字画像を消去し、周辺色で穴埋めする処理を行う。非テキスト属性を持つノードに対しては、２値画像に基づき画像情報を削除する。最終的にページ画像に対する処理が行われ図１４（ａ），（ｂ）に示すようなカラー画像と２値画像を得ることができる。カラー画像からは文字が消去され消去された文字画素に対しては穴埋め処理が施されている。また２値画像からは文字以外の画像情報が消去されている。
【００４６】
ステップＳ２０９に処理が進むと、上記の文字を除去して穴埋めをおこなったカラー画像と、同様に処理した以前のページのカラー画像との比較処理を行う。
【００４７】
以下、このカラー画像比較処理を図５のフローチャートに従って説明する。
【００４８】
＜１ページ目の処理＞
ステップＳ３０１では、文字を消去して穴埋めを行なった注目ページのカラー画像データを、比較単位のＭＣＵのブロックに分割する。本実施形態ではＭＣＵは１６×１６画素ブロックのサイズとする。そして、図１５に示す様に、各画素ブロックに（１，１）から（ｍ，ｎ）の画像ブロックアドレスを付与し、分割した一つのブロックを比較単位とする。
【００４９】
ステップＳ３０２では、比較対象となる画像データが存在するかどうか判定する。比較画像領域に比較対象となる画像ブロックデータが存在しない場合、ステップＳ３０３の画像処理処理を行う。注目ページが第１ページ目の場合、比較対象は存在しないので、ステップＳ３０３の処理を行なうことになる。尚、１ページ以外で比較対象なしと判断される場合は、何らかの理由（メモリが不足したなど）で比較画像領域のデータがフラッシュされた場合がある。
【００５０】
ステップＳ３０３では、注目ページの全データをページ画像としてページ比較画像領域（ＲＡＭに確保されている）へ保存し、本処理を終える。
【００５１】
ページ比較画像領域は、図１６に示したように、各ブロック画像のアドレス、画像情報、ページ情報などを記憶する領域を有する。
【００５２】
図４に戻って、ステップＳ２１０では、文字画像の圧縮を行なう。この文字画像圧縮は、文字の色毎に２値画像を生成した上で圧縮を行なう。
【００５３】
図１７（ａ）乃至（ｄ）は文字色ごとに画像データを生成する説明図である。ブロックセレクションで得られた各ノードの文字色情報を元に同一のあるいは近似する文字色をひとつの文字色としてまとめ、それぞれの色ごとに２値画像データを生成する。近似する色数は、統計上、せいぜい１６色程度あれば十分である。
【００５４】
その結果、図１７の各色に対する２値画像データを得ることができる。これらの画像それぞれに対して２値画像に適した圧縮方法であるＭＭＲ処理によって圧縮を行い、図１８のようにページ画像を１ページ目に対する２値画像データとして記憶する。
【００５５】
以上説明したようにページ処理を終了したならば、図３のステップＳ１０３で次のページが存在するかどうかの判定を行う。まだページがあるので２ページ目の画像データを読み込んで１ページ目と同様の処理をおこなう。
【００５６】
＜２ページ目の処理＞
図１９は２ページ目の入力画像と、ステップＳ２０１からＳ２０８の処理によって得られる２値画像と背景画像である。
【００５７】
ステップＳ３０１では入力された背景画像を分割する。１ページ目と同様に画像をＭＣＵ単位に画像を分割する。
【００５８】
図２０のように１６×１６の画素単位で画像データを分割し、分割したそれぞれの画像ブロックに（１，１）から（ｍ，ｎ）の画像ブロックアドレスを付与し、それぞれの分割したブロックごとに比較処理を行う。
【００５９】
ステップＳ３０２では比較画像領域に比較対象となる画像ブロックがあるかどうか判断する。現在処理中の画像は２ページであるので、ページ比較画像領域には以前の処理で得られた画像ブロックデータが存在するので、ステップＳＳ３０４の比較元画像ブロック取得処理を行う。
【００６０】
ステップＳ３０４では、比較元となる２ページ目の画像ブロックを取得する。比較元の画像ブロックすべてに対して処理を終了したならば比較処理を終了する。
【００６１】
ステップＳ３０４−２では、元画像のブロックデータと比較する画像データを共有比較画像領域、ページ比較画像領域から取り出す。
【００６２】
図２１は比較画像ブロック取得処理の説明図である。図のように、比較元のブロックアドレスと同じアドレスを持つ画像ブロックをすべて比較対象データとして取り出す。
【００６３】
ステップＳ３０５では、画像ブロック同士を比較し類似度を計算する。
【００６４】
まず画像ブロックから画素を構成する成分、Ｙ，Ｃｂ，Ｃｒの成分を取り出し各成分ごとに類似度を計算する。図２２は画像ブロックの類似度計算に使用する類似時計算式である。ベクトルの余弦値を類似度とする類似時計算式を使って元画像ブロックと比較画像ブロックの画素成分ごとの類似度を計算する。
【００６５】
ステップＳ３０６は比較画像のブロックが同一画像とするかどうかの判定を行う。閾値にはＹ、Ｃｂ、Ｃｒそれぞれの成分の類似度にそれぞれ閾値を設定する。例えば、輝度情報Ｙは類似度９５以上を閾値と設定し、色差情報Ｃｂ、Ｃｒは類似度９０を閾値として設定する。
【００６６】
比較した画像ブロックデータの類似度が閾値以上の類似度である場合には同一画像ブロックとしてステップＳ３０７の共通画像領域に記憶する。閾値以下の類似度であるならば差分画像としてステップＳ３０８のページ画像領域に記憶する。
【００６７】
ステップＳ３０７では、閾値以上の類似度を持つ画像ブロックを共通比較画像領域への画像ブロックの記憶処理を行う。
【００６８】
比較先となった画像ブロックが共通比較画像領域に存在していた場合は、共通比較画像領域の対応する画像ブロックアドレスのページ情報にページ情報を追加する。比較先となった画像ブロックがページ比較画像領域に存在していた場合は、ページ比較画像領域にある画像ブロック情報を共通比較画像領域に移動して、今回の比較元画像ブロックのページ情報を追加する。
【００６９】
ステップＳ３０８では、閾値未満の類似度を持つ画像ブロックに対しては、現在処理していた画像ブロックの情報をページ比較画像領域への記憶処理を行う。
【００７０】
以上説明したように、２ページ目が入力された場合には、１ページ目の画像ブロックはすべてページ画像の比較画像領域に記憶されている。従って、入力された２ページ目の画像ブロックと比較画像領域に記憶されている画像ブロックについてステップＳ３０４からＳ３０８の処理を繰り返す。この結果、図２３（ａ）、（ｂ）に示される共通比較画像領域およびページ比較画像領域に画像ブロックデータの記憶を行うことが可能になる。
【００７１】
以上説明した２ページ目の画像データ比較処理が終わると、処理はステップＳ２１０によって１ページ目と同様に２値画像データを生成し、２ページ目の画像データとして登録する。
【００７２】
＜３ページ目以降の処理＞
３ページ目以降の処理に関しても基本的に２ページ目の処理と同様の処理を行う。
【００７３】
図２４は３ページ目の入力画像に対して前景である文字領域と背景に分離した画像データである。
【００７４】
２ページ目のデータ同様に画像ブロックに分割して、画像ブロックデータと比較画像領域に存在するブロックデータとを比較して類似度を計算する。
【００７５】
２ページ目同様に類似度が閾値以上であれば共通比較画像領域へ、閾値未満であればページ比較画像領域へ画像ブロック情報を記憶する。
【００７６】
このとき、すべてのページで共通する画像でなくても共通比較画像領域への登録を行う。たとえば、ページ２とページ３は共通画像として認められるが、ページ１は共通画像として認められない場合には、ページ２とページ３の画像ブロックに関しては共通比較画像領域への登録を行い、ページ１の画像ブロックに関してはページ画像領域へ残す。
【００７７】
以上のように３ページ目の画像データを処理した結果として、図２５（ａ）、（ｂ）の比較画像領域に画像ブロックデータが記憶される。
【００７８】
３ページ目の画像データ比較処理が終わると、ステップＳ２１０によって１ページ目、２ページ目と同様に２値画像データを生成し、３ページ目の画像データとして登録する。
【００７９】
上記説明した処理をページ数分繰り返すことによって複数ページ画像データが存在しても同様の処理を行うことができる。
【００８０】
図３のステップＳ１０３では、イメージスキャナ１０からのステータス信号により、未読取原稿無しを示す情報を受信したか否かを判定する。すべてのページに対して比較処理を終えたのであれば処理はステップＳ１０４に進む。
【００８１】
ステップＳ１０４では、ページ画像領域にあるブロック画像を各ページ情報としてページ情報への追加処理を行う。
【００８２】
ページ比較画像領域に残った画像ブロックデータはページ固有の画像データであるので、同一ページの画像ブロックデータを取り出して画像データを生成し、ページ画像に適切な圧縮処理を施す。そして、ステップＳ２１０で生成したページごとの２値画像の背景としてページ画像への貼り付けを行う。
【００８３】
ステップＳ１０５では、すべてのページ比較画像領域に記憶されている画像ブロックについて画像ブロックの貼り付け処理を行う。すべての貼り付け処理が終わったなら、ステップＳ１０６の共通画像リンク生成処理を行う。
【００８４】
図２６（ａ）乃至（ｃ）はページ画像への貼り付け処理のイメージである。それぞれのページ固有の画像情報として、前景として取り出した２値画像の背景画像として画像データの貼り付けを行う。
【００８５】
ステップＳ１０６では、共通比較画像領域に記憶されているブロックから共通画像データを生成し、適切な圧縮処理を施す。この圧縮処理であるが、共通画像データはカラー多値画像であるので、例えばＧＩＦ、ＪＰＥＧ等の圧縮技術を用いれば良いであろう。
【００８６】
そして、ステップＳ１０４で生成したページ画像データの背景として貼り付けを行う。共通比較画像領域から生成された画像データはページごとに実態は持たず、すべてひとつの実態をそれぞれのページへのリンクを張ることでページ画像を生成する。また、共通画像データに欠損部分がある場合には、ステップＳ２０７の文字消去部分の穴埋め処理と同様に周辺色で穴埋め処理を行い、画像データを補完する。
【００８７】
図２７に示したように部分共通画像データと全ページ共通画像の画像データが作られ、部分共通画像をページ画像の背景として貼り付け、全ページ共通画像をすべての画像の背景として重ね合わせていく。
【００８８】
つまり、背景から前面に出る順、すなわち、全ページ共通画像、部分共通画像、ページ画像、２値化画像に重ね合わせることによって、画像データを完成させる。
【００８９】
以上の処理によって得られたデータをもとに、１ファイルで複数ページの文書を記述できる構造化文書フォーマットのファイルを作成し（例えばＰＤＦファイル）、図２８のような画像ファイルを出力結果として得ることができる。
【００９０】
以上説明したように、複数ページで構成される原稿の場合、各ページにて共通な背景については、各ページにリンクを張ることで、情報の共有が可能となり、更なるデータ量削減が可能となる。
【００９１】
［第２の実施形態］
上記第１の実施形態のステップＳ１０６の共通背景リンク処理においては、すべてのページに共通する全ページ共通画像データと、一部のページにおいて部分的に共通する部分共通画像データを生成した。そして、生成された共通画像データを対応するページにリンクして１ページの画像を生成した。
【００９２】
本第２の実施形態では、共通画像ブロックデータの部分共通画像データに注目して、全ページの５０％を超えるページで共通している画像ブロックデータに対しては全ページ共通画像ブロックとして画像データを生成する。
【００９３】
例えば、図２７における部分共通画像であるＰａｇｅ１，２共通画像およびＰａｇｅ２，３共通画像は全ページ（３ページ）の５０％を超えるページで共通している画像データを持っている。従って、これらの部分共通画像を全ページ共通画像として処理することができる。
【００９４】
したがって、各ページに対してリンクをはる画像データは、本第２の実施形態の場合、図２９のように共通画像データのみとなり、第１の実施形態よりも部分画像データのサイズ分だけ圧縮効率をあげることができる。また、処理するページ数が多くなるほど効果が大きくなる。
【００９５】
［第３の実施形態］
第１の実施形態では、画像ブロック情報として、画像ブロックのアドレス、イメージデータ、ページ情報をもっている。
【００９６】
本第３の実施形態では、これらの情報に加えて画像ブロック情報として、画像ブロックに対して前景の穴埋め処理は行われたかどうかという情報を保持する。比較もとの画像ブロックと比較先の画像ブロックが同じ画像ブロックであると判断された場合には、ステップＳ３０７の処理を行なう。これにより、共通画像として共通比較画像領域への登録をおこなうが、このとき穴埋めされていない画像ブロックを優先して画像ブロック情報のイメージデータとして登録する。
【００９７】
また、画像ブロックに対する穴埋め処理した画素の割合を持たせることによって、ステップＳ３０７の処理で画像ブロック処理を登録するときに穴埋め画素の割合が少ないイメージデータを登録する。図３０は本第３の実施形態の処理を説明するための図である。
【００９８】
例えば、画像ブロック１と画像ブロック２が同じ画像として処理する場合には、登録する画像ブロック情報のイメージデータは穴埋めの割合が少ない画像ブロック２のイメージを画像ブロック情報に登録する。さらに画像ブロック３と登録されている画像ブロック情報のイメージが同じ画像として処理する場合には、穴埋め割合が少ない画像ブロック３のイメージを画像ブロック情報として登録する。
【００９９】
第１の実施形態の処理では文字画像“い”と穴埋め後の背景画像を重ねた場合、穴埋めの後がある程度目だってしまう。これに対し、本第３の実施形態の処理では最終的に得られる画像ブロックのイメージはもっとも穴埋め割合が少ない画像（オリジナル背景に近い）であるので、穴埋めの後が目立たなくなる。このことによって第１の実施形態と第３の実施形態を比較した場合、第３の実施形態による処理を行ったほうが高品位の画像を得ることができる。
【０１００】
［第４の実施形態］
第１の実施形態の画像データの分割処理において、画像ブロックの分割単位１６×１６画素単位で分割して比較を行っている。
【０１０１】
例えば図３１に示す画像ブロック１、２、３を比較した場合、画像データの比較結果はすべて違う画像と判定される。極端な例では１６×１６画素ブロックの２５６画素中、他の画素ブロックと１画素違ったために違う画像ブロックになってしまうことも考えられる。
【０１０２】
そこで、第４の実施形態では画像ブロック比較処理において同一画像と判定されなかった場合の画像でも、ある程度の画像ブロックの類似度があった場合、画像ブロックをさらに細分化して再比較する処理を追加する。
【０１０３】
図３１において画像ブロック１と画像ブロック２の類似度が７０、画像ブロック１と画像ブロック３の類似度が７０％、画像ブロック１と画像ブロック３の類似度が８０％であったとする。そして、同一画像ブロックと判定する閾値が９０％だった場合、画像ブロック１、２、３はすべて異なる画像として認識される。
【０１０４】
本第４の実施形態では、画像ブロックの類似度が例えば７０％以上だった場合には画像ブロックを更に細分化して同一画像ブロックかどうかの判定を行う。
【０１０５】
例えば、図３１に示すように、１６×１６画素のサイズの画素ブロックを、８×８画素に画像ブロックを細分化し、それれの細分化ブロックどうしを再評価を行う。この結果、画素ブロック２の領域１、２、３の細分化ブロックは、画素ブロック１の同領域と同じであると判断できる。従って、画素ブロック２については、領域４についてのみ記憶するようにすればよい。
【０１０６】
以上のように、第１の実施形態では異なる画像ブロックとされていた画像ブロック比較処理において、第４の実施形態ではブロックの３／４が共通画像として認識され、認識率が向上する。
【０１０７】
この細分化処理を画素単位まで細分化していくと図３２のように穴埋め処理に失敗した部分のみをページ画像として切り出し、残りの画像データを共通画像とすることができる。
【０１０８】
以上本発明にかかる実施形態を説明したが、実施形態の処理の多くは、情報処理装置上で実行されるコンピュータプログラムによるものであるので、当然、本発明はかかるコンピュータプログラムをもその範疇とする。また、通常、コンピュータプログラムはＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータにセットしシステムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も当然に本発明の範疇に入る。
【図面の簡単な説明】
【０１０９】
【図１】実施形態における情報処理装置のブロック構成図である。
【図２】実施形態が適用可能なネットワークシステムの一例を示す図である。
【図３】実施形態における情報処理装置のメイン処理を示すフローチャートである。
【図４】図３におけるページ処理のフローチャートである。
【図５】図４における比較処理のフローチャートである。
【図６】実施形態における原画像データから２値画像を生成する処理内容を示す図である。
【図７】実施形態における孤立画素除去処理の処理内容を説明するための図である。
【図８】実施形態における２値化結果から画像領域分割の処理内容を説明するための図である。
【図９】画像領域分割によって生成される各領域のデータをノードとするツリー構造と、各ノードのデータ内容を示す図である。
【図１０】実施形態における非テキスト画像削除処理を説明するための図である。
【図１１】実施形態における文字色決定処理を説明するための図である。
【図１２】実施形態における文字消去処理を説明するための図である。
【図１３】実施形態のける文字画像消去部分の穴埋め（ペイント）処理を説明するための図である。
【図１４】分離した背景画像と文字画像とを示す図である。
【図１５】背景画像をブロック分割した状態を示す図である。
【図１６】１ページ目のブロック画像の格納示す図である。
【図１７】色毎に分離した文字画像を示す図である。
【図１８】文字画像の２値化結果を示す図である。
【図１９】２ページ目の背景画像と文字画像の分離を説明するための図である。
【図２０】２ページ目の背景画像のブロック分割した状態を示す図である。
【図２１】２ページ目と１ページ目との画素ブロックの比較処理内容を説明するための図である。
【図２２】画素ブロックの類似度の演算式を示す図である。
【図２３】２ページ目の処理が終わった段階での背景画像の共通部分と、ページ固有部分との画素ブロックの格納状態を示す図である。
【図２４】３ページ目の背景画像と文字画像の分離を説明するための図である。
【図２５】３ページ目の処理が終わった段階での背景画像の共通部分と、ページ固有部分との画素ブロックの格納状態を示す図である。
【図２６】１乃至３ページそれぞれのページ固有部分の張り付け状態を示す図である。
【図２７】１乃至３ページそれぞれへの共通背景部分の張り付け状態を示す図である。
【図２８】１乃至３ページの復元した場合のそれぞれの画像を示す図である。
【図２９】第２の実施形態における共通背景画像の例を示す図である。
【図３０】第３の実施形態における背景画像と２値画像の重ね合わせを説明するための図である。
【図３１】第４の実施形態における画素ブロックの細分化比較処理を説明するための図である。
【図３２】第４の実施形態における細分化処理の適用例を示す図である。
【図１】
0004817821.tif 000002
【図２】
0004817821.tif 000003
【図３】
0004817821.tif 000004
【図４】
0004817821.tif 000005
【図５】
0004817821.tif 000006
【図７】
0004817821.tif 000007
【図８】
0004817821.tif 000008
【図９】
0004817821.tif 000009
【図１０】
0004817821.tif 000010
【図１１】
0004817821.tif 000011
【図１２】
0004817821.tif 000012
【図１３】
0004817821.tif 000013
【図１７】
0004817821.tif 000014
【図１８】
0004817821.tif 000015
【図２２】
0004817821.tif 000016
【図６】
0004817821.tif 000017
【図１４】
0004817821.tif 000018
【図１５】
0004817821.tif 000019
【図１６】
0004817821.tif 000020
【図１９】
0004817821.tif 000021
【図２０】
0004817821.tif 000022
【図２１】
0004817821.tif 000023
【図２３】
0004817821.tif 000024
【図２４】
0004817821.tif 000025
【図２５】
0004817821.tif 000026
【図２６】
0004817821.tif 000027
【図２７】
0004817821.tif 000028
【図２８】
0004817821.tif 000029
【図２９】
0004817821.tif 000030
【図３０】
0004817821.tif 000031
【図３１】
0004817821.tif 000032
【図３２】
0004817821.tif 000033