(57)【要約】【課題】  印刷された文書にオリジナルにはない余白領域が文書領域の周りに生じているような場合でも、レイアウト比較を可能とする。【解決手段】  複数の電子データを比較先画像としてアスペクト比と関連付けて記憶する記憶手段と、印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、前記比較元画像のレイアウト情報を解析する手段と、前記レイアウト情報と前記記憶手段に記憶されている前記アスペクト比から、前記比較元画像の有効領域を決定する手段と、前記有効領域に含まれるレイアウト情報を元にレイアウトの比較を行う比較手段と、を備える。【選択図】  図１
2008107901.tif 000002
【特許請求の範囲】
【請求項１】
複数の電子データを比較先画像としてアスペクト比と関連付けて記憶する記憶手段と、
印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、
前記比較元画像のレイアウト情報を解析する手段と、
前記レイアウト情報と前記記憶手段に記憶されている前記アスペクト比から、前記比較元画像の有効領域を決定する手段と、
前記有効領域に含まれるレイアウト情報を元にレイアウトの比較を行う比較手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記レイアウト解析手段は、前記比較元画像中の複数の文字または画像領域の抽出を行うものであり、
前記有効領域決定手段は、前記複数の文字または画像領域が含まれるような、重心から等距離の矩形を求め、
前記記憶手段に記憶されている前記アスペクト比中で前記矩形に近いアスペクト比となるように、重心から等距離になるように矩形を更に広げ、有効領域とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記有効領域決定手段で、前記記憶手段に記憶されている前記アスペクト比から前記矩形のアスペクト比に近く、かつ、最も頻度の高いアスペクト比となるように、重心から等距離になるように矩形を更に広げ、有効領域とする
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記レイアウト比較手段の結果、レイアウトが一致するものがなかったときに、
前記有効領域を拡大する手段を更に備え、
その後に、レイアウト比較を再度行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記有効領域拡大手段は、
前回の有効領域を、重心から等距離に所定量ずつ広げる
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記有効領域拡大手段は、
前記記憶手段に記憶されている前記アスペクト比から初回の有効領域のアスペクト比の次に近く、かつ、前回の次に頻度の高いアスペクト比となるように、
前回の有効領域を、重心から等距離になるように広げる
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記文字または画像領域の特徴量を抽出する手段と、
前記比較元画像と前記比較先画像の前記特徴量を比較し、類似度を算出する手段と、
を更に備え、
前記類似度が所定値以上をもった候補が存在しないときに、前記有効領域拡大手段によって、有効領域を拡大する
ことを特徴とする請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書のレイアウトを利用して、印刷された文書のスキャン画像からオリジナル電子ファイルの検索に活用するレイアウト比較方法に関する。
【背景技術】
【０００２】
近年、デジタル化が進み、文書を電子ファイルとしてデータベースに格納されるようになっている。データベース上の電子ファイルを印刷された文書のスキャン画像から手軽に検索する要望が高まっている。これを実現する方法として、文書画像に含まれるテキスト領域や画像領域の位置関係を示すレイアウトを解析し、レイアウト同士を比較する方法が提案されている。特許文献１では文書画像を領域分割し、その領域の数を絞込条件として領域数の一致する文書の特徴を比較する方法が開示されている。
【特許文献１】特開平11-328417号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、例えばカタログなどは定形外の用紙に印刷されることが多いが、電子ファイル作成時に設定された印刷用紙サイズは、定形外のサイズとなっている。しかしオフィス上では定形サイズ(Ａ４など)に印刷して利用する機会が多い。定形外サイズのものを定形サイズに印刷すると、大きさが定形サイズに収まる場合は、アスペクト比の違いから大きな余白部分が生じ、大きさが定形サイズに収まらない場合でも、電子ファイルの文書領域全体を変形させることなく印刷するためには、縮小を行う必要があり、その結果やはり大きな余白部分が生じる。また、定形、定形外に関わらず、用紙に対して1/2などと縮小して印刷することによっても、大きな余白が生じる。
【０００４】
図１９に一例を示す。２００１は用紙設定が不定形サイズになっている電子ファイルの1ページをラスタライズしたオリジナル画像であり、この中に文字または画像領域である２００２，２００３が存在している。一方、２００４は定形サイズの用紙に印刷し、スキャンして得られた画像である。用紙設定が不定形であるので、オリジナルの文書領域を変形させることなく印刷するために、縮小させており、スキャン画像上での文書領域は２００５で示した矩形領域に対応する。また、文字または画像領域２００２，２００３に対応する領域もそれぞれ２００６，２００７となり、その位置が大きく異なっていることがわかる。特許文献１によれば、拡大縮小などの影響をさけるために、画像全体の大きさを用いて、各領域の正規化を行っている。しかしながら、前述のようにスキャン画像では文書領域のまわりに、オリジナル画像にはない余白領域があるために、画像全体の大きさを用いて正規化を行っても、各領域の位置は異なったままとなる。よって、このような場合にレイアウト比較を行っても、同一のレイアウトと判定することができない。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、印刷された文書にオリジナルにはない余白領域が文書領域の周りに生じているような場合でも、レイアウト比較を可能とする画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の電子データを比較先画像としてアスペクト比と関連付けて記憶する記憶手段と、
印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、
前記比較元画像のレイアウト情報を解析する手段と、
前記レイアウト情報と前記記憶手段に記憶されている前記アスペクト比から、前記比較元画像の有効領域を決定する手段と、
前記有効領域に含まれるレイアウト情報を元にレイアウトの比較を行う比較手段と、
を備える。
【０００７】
また、好ましくは、
前記有効領域を拡大する手段
を更に備える。
【０００８】
また、好ましくは、
前記文字または画像領域の特徴量を抽出する手段と、
前記比較元画像と前記比較先画像の前記特徴量を比較し、類似度を算出する手段と、
を更に備える。
【発明の効果】
【０００９】
以上説明したように本発明によれば、印刷された文書にオリジナルにはない余白領域が文書領域の周りに生じているような場合でも、スキャン画像とオリジナルの電子ファイルとの高精度なレイアウト比較が可能となる。
【発明を実施するための最良の形態】
【００１０】
本実施例では、本発明のレイアウト比較処理を、印刷物のスキャン画像からオリジナルの電子ファイルを検索する原本検索のプリサーチ処理として利用した例を用いて説明する。
【００１１】
図１は本発明にかかる画像処理システム構成例を示すブロック図である。この画像処理システムは、オフィス10とオフィス20とをインターネット104で接続された環境で実現する。オフィス10内に構築されたLAN107には、MFP100、MFP100を制御するマネージメントPC101、クライアントPC（外部記憶手段）102文書管理サーバ106、そのデータベース105およびプロキシサーバ103が接続されている。LAN107及びオフィス20内のLAN108はプロキシサーバ103を介してインターネット104に接続される。MFP100は本発明において紙文書の画像読み取り部と読み取った画像信号に対する画像処理の一部を担当し、画像信号はLAN109を用いてマネージメントPC101に入力する。マネージメントPCは通常のPCであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段を有するが、その一部をMFP100に一体化して構成されている。
【００１２】
図２はMFP100の構成図である。図２においてオートドキュメントフィーダー（以降ADFと記す）を含む画像読み取り部110は束状の或いは1枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読み取り信号を600DPIなどの密度のラスタ画像として得る。通常の複写機能はこの画像信号をデータ処理部115で記録信号へ画像処理し、複数毎複写の場合は記憶装置111に一旦一ページ分の記録データを記憶保持する。その後、印刷装置112に順次出力して紙上に画像を形成する。
【００１３】
一方クライアントPC102から出力されるプリントデータはLAN107からネットワークIF114を経てデータ処理装置115で記録可能なラスターデータに変換した後、前記印刷装置で紙上に記録画像として形成される。
【００１４】
MFP100への操作者の指示はMFPに装備されたキー操作部とマネージメントPCに入力されるキーボード及びマウスからなる入力装置113から行われ、これら一連の動作はデータ処理装置115内の図示しない制御部で制御される。
【００１５】
一方操作入力の状態表示及び処理中の画像データの表示は表示装置116で行われる。尚記憶装置111はマネージメントPCからも制御され、これらMFPとマネージメントPCとのデータの授受及び制御はネットワークIF117および直結したLAN109を用いて行われる。
【００１６】
[処理概要]
次に本発明による画像処理全体の概要を図3の(A)、(B)のフローチャートを用いて説明する。
【００１７】
(A)登録処理の概要
オリジナル文書を登録する処理の概要について図３(A)を用いて説明する。
【００１８】
オリジナル文書の入力方法には、2つある。オリジナル文書が電子ファイルである場合は、図1のクライアントPC内のハードディスク内、或いはオフィス10或いは20のLANに接続された文書管理サーバ105内のデータベース105内、或いはMFP100自体が有する記憶装置111のいずれかに格納されており、これらから読み出してネットワークIF114を介して入力し、データ処理装置115でラスタ画像に変換する。また、オリジナル文書が紙文書である場合は、MFP100の画像読み取り部110を動作させ紙文書をラスタ状に走査しラスタ画像を得る。こうすることで、オリジナル文書が電子ファイルか紙文書かに拠らず、扱うことが可能になる。その後、該ラスタ画像をデータ処理部115で前処理を施し記憶装置111に保存する。このとき、文書ごとにIDを発行し、オリジナル文書の電子データのアドレスと対応付けて記憶装置111にアドレス情報を保存する。ここでアドレスとは、URL や、サーバ名とディレクトリ、ファイル名からなるパス情報である。アドレス情報の一例を図4に示す。また、オリジナル文書の各ページの用紙のアスペクト比ごとの頻度を集計し、文書ＩＤ、ページ番号と共に登録用紙アスペクト比情報として記憶装置111に保存しておく。なお、後で参照しやすいように頻度順にソートしておく。(ステップS３０１０)
【００１９】
次に、ブロックセレクション処理を行う。マネージメントPC101のCPUは該格納されたラスタ画像から先ず、文字/線画部分とハーフトーンの画像部分とに領域を分離し、文字部は更に段落で塊として纏まっているブロック毎に、或いは、線で構成された表、図形に分離し各々セグメント化する。一方ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等所謂ブロック毎に独立したオブジェクトに分割する。このとき、ブロックIDを発行し、各ブロックの種別(画像、文字など)、サイズや文書内の位置(文書内の座標)などと関連付けて記憶装置111にブロック情報を記憶する。ブロック情報の一例を図５に示す。（ステップS３０２０）
【００２０】
次に、データ処理装置115において、各ブロックの種別に応じて特徴量情報の抽出を行う。文字ブロックについてはOCRを掛けて文字コードを抽出し、これを文字特徴量とする。画像ブロックについては、輝度や色に関する画像特徴量を抽出する。このとき、それぞれのブロックに対応する特徴量を文書単位にまとめ、文書ID、ページID、ブロック番号に関連付けて記憶装置111に特徴量情報として記憶する。特徴量情報の一例を図6、７に示した。(ステップS３０３０)
【００２１】
(B)検索処理の概要
紙文書から対応するオリジナルの電子データを検索し、印刷等を行う処理の概要について図３(B)を用いて説明する。
【００２２】
まず、配布資料などの紙文書の入力を行う。本処理はステップS３０１０のオリジナル文書が紙文書である場合と同様であるので説明は省略する。ただし、ラスタ画像は一時保存するだけであり、アドレス情報として記憶装置１１１に保存しておく必要はない。また、オリジナル文書の各ページの用紙のアスペクト比は一時保存し、頻度は集計しない。(ステップS3110)
【００２３】
次に、ブロックセレクション処理を行う。本処理はステップS３０２０と同様であるので説明は省略する。ただし、各ブロックの種別、サイズ、位置は、一時保存するだけであり、ブロック情報として記憶装置１１１に保存しておく必要はない。(ステップS３１２０)
【００２４】
次に、ブロックごとに特徴量の抽出を行う。本処理はステップS３１３０と同様であるので、説明は省略する。ただし、各特徴量は一時保存するだけであり、特徴量情報として記憶装置１１１に保存しておく必要はない。（ステップS３１３０)
【００２５】
次に、ステップＳ３１２０のブロックセレクション処理で抽出されたブロックの位置から、文書領域として有効な領域を決定する。(詳細は後述する)(ステップＳ３１３１)
【００２６】
次に、レイアウト比較処理を行う。入力された原稿とデータベース中の文書のレイアウトを比較し、オリジナルの候補の絞込みを行う。(ステップS３１３５)
【００２７】
次に、レイアウト比較処理(ステップＳ３１３５)の結果、候補が０かどうかを判定し、０であればステップＳ３１４２へ進み、０でなければ、ステップＳ３１４０へ進む。(ステップＳ３１３６)
【００２８】
次に、特徴量情報比較処理を行う。ステップS３１３５のレイアウト比較処理で絞り込まれた候補の前記特徴量情報を比較し、類似度を算出し、最終的なオリジナルの候補を求める。(ステップS３１４０)
【００２９】
次に、特徴量情報比較処理(ステップＳ３１４０)の結果、オリジナルと見込めるのに十分な類似度(例えば90％以上)を持った候補が０かどうかを判定し、０であればステップＳ３１４２へ進み、０でなければ、ステップＳ３１５０へ進む。(ステップＳ３１３６)
【００３０】
ステップＳ３１３６かステップＳ３１４１で候補なしと判定された場合、前記有効領域を拡大し(処理の詳細は後述する)、再びステップＳ３１３５へ処理を戻す。(ステップＳ３１４２)
【００３１】
次に、ユーザ確認モードであるかどうかを判定する。ユーザ確認モードとは、前記オリジナルの候補の中から、ユーザがオリジナルであるかどうかを確認する、というモードである。「非確認モード」であれば、次のステップS３１６０はスキップする。(ステップS３１５０)
【００３２】
確認モード時には、候補表示/選択を行う。前記候補のサムネイル等を表示し、複数の候補の中からユーザがファイルの特定を行う。(ステップS３１６０)
【００３３】
次に、特定されたオリジナルをユーザの指示に基いて、印刷、配信、蓄積、編集のいずれかの処理を行う。(ステップS３１７０)
【００３４】
[各処理の詳細]
以下各処理の詳細について説明する。
【００３５】
ブロックセレクション処理とは、図9の左に示すラスタ画像を右に示す様に、各オブジェクト毎の塊として認識し、該ブロック各々を文字/図画/写真/線/表等の種別に判定し、異なる種別を持つ領域に分割する処理である。
【００３６】
ブロックセレクション処理の実施例を以下に説明する。
【００３７】
先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００３８】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる種別を持つ領域へ分類していく。たとえば、縦横比が1に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。
【００３９】
図５はブロック情報を説明する図である。
【００４０】
文書IDは、各文書を区別するために付与したIDである。ページ番号は各文書中の何ページ目かを示す番号である。ブロックIDはそれぞれのブロックを区別するためのもので、1ページ毎に付与される。位置は、画像の左上を原点としたときの、ブロックの重心の位置である。なお、横方向は画像の横の長さ、縦方向は画像の縦の長さで、１に正規化した相対座標で表現する。相対座標を用いるのは、レイアウト比較の際、文書領域が縮小されたスキャン画像上のブロックの位置と比較するときに、値同士の単純な比較を可能にするためである。種別は、文字/図画/写真/線/表等の種別である。アスペクト比は、ブロックの(領域が任意形状の場合は外接矩形の)アスペクト比である。サイズは、ブロックの大きさであるが、アスペクト比がわかっているので、面積である必要はなく、縦か横のどちらか固定の方向の長さを記述すればよい。なお、長さは前述の相対座標を用いて表現する。
【００４１】
有効領域の決定と拡大の方法の詳細について図１５を用いて説明する。
【００４２】
１５０１はスキャン画像全体を示している。前述のブロックセレクションによって、ブロック１５０２、１５０３が抽出されている。まず、スキャン画像全体１５０１の重心１５０４より、縦横それぞれの方向で等距離に矩形を広げていき、ブロック１５０２，１５０３の両方が収まるようにして、初期の有効領域１５０５を決める。次に、登録用紙アスペクト比情報を先頭から(即ち、頻度の高いものから)参照して、初期の有効領域１５０５のアスペクト比に近いアスペクト比を探す。これは、もっともオリジナルのアスペクト比である可能性が高いからである。次に、初期の有効領域のアスペクト比に近い登録用紙アスペクト比情報上のアスペクト比になるように、初期の有効領域１５０５を、重心１５０４より縦横それぞれの方向で等距離に広げる。このようにして決定されたのが有効領域１５０５である。有効領域は、オリジナルの文書領域と推定される領域である。
【００４３】
また、ステップＳ３１４２の有効領域を拡大する処理は次のように行う。
【００４４】
現在の有効領域１５０５がスキャン画像全体１５０１より小さい間は、同じアスペクト比のまま、現在の有効領域１５０５を、重心１５０４より縦横それぞれの方向で等距離に所定値分だけ広げる。これは現在の有効領域とオリジナルの文書領域のアスペクト比が同じであるが、現在の有効領域の方が、オリジナルの文書領域よりも狭い範囲となっている場合を想定している。
【００４５】
もし既に、現在の有効領域１５０５がスキャン画像全体１５０１に達していたら、有効領域１５０５を一旦、初期の範囲に戻す。次に、登録用紙アスペクト比情報を、前回使用したアスペクト比の次から参照していき、現在の有効領域１５０５に近いアスペクト比を探して採用する。ここでもし、既に登録用紙アスペクト比情報の最後まで参照を終えていた場合は、先頭に戻り、まだ有効領域のアスペクト比として使用していないアスペクト比を採用する。このような順序で登録用紙アスペクト比情報上のアスペクト比を採用していくことで、よりオリジナルの文書領域のアスペクト比である可能性の高いアスペクト比から採用していくことが出来る。次に、現在の有効領域１５０５を、前記のように採用したアスペクト比になるように、現在の有効領域１５０５を、重心１５０４より縦横それぞれの方向で等距離に広げる。このようにして、有効領域を拡大していく。
【００４６】
なお、後のレイアウト比較処理のためにブロックの位置、サイズは、決定された有効領域の左上を原点とした相対座標となるように、変更しておく。
【００４７】
以上のようにして、有効領域の決定、拡大を行うが、採用されたアスペクト比をもつ文書ＩＤ，ページ番号は登録用紙アスペクト比情報に記述されているので、これらのみを対象に以降のレイアウト比較処理を行う。これにより、異なるアスペクト比をもつ文書との比較を省くことができるので、処理の高速化を図ることができる。
【００４８】
特徴量抽出は画像、文字で処理方法が異なるので、それぞれ別に説明する。
【００４９】
まず、画像ブロックに対する特徴量情報抽出処理について述べる。なお、1文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【００５０】
本実施例では、一例として色特徴抽出処理を行う。
【００５１】
色特徴抽出処理の詳細を説明する。
【００５２】
まず、画像を複数の領域に分割したそれぞれの領域における色ヒストグラムによる最頻色を持つ色ビンのＩＤを代表色としてそれぞれ領域の位置と対応付けた特徴を抽出する場合の説明を図10のフローチャートを用いて行う。また、図11に画像を分割したメッシュ領域例を、図12にＲＧＢ色空間を３ｘ３ｘ３＝27ビンへ均等階級化する例を図示するが、実際には６ｘ６ｘ６＝２１６程度の色ビンがある方が個好ましいが説明を容易にするためにこの様にする。
【００５３】
まず、ステップS1020において、図11の様に画像を縦横複数のグリッド領域に分割する。本例では９ｘ９＝８１メッシュ領域であるが、実際にはある程度メッシュ領域数が１５ｘ１５＝２２５メッシュ領域程度であることが好ましい。
【００５４】
そして、ステップS1030において、着目するメッシュ領域を左上端に設定するが、図13に示すように予め対象とする分割メッシュ領域の順番を決定しておくと良い。本例では左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンする走査例を示している。
【００５５】
ステップS1040において、未処理のメッシュ領域が無ければ処理を終了し、有ればステップS1050において処理対象メッシュ領域の全画素の値を図12の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対するヒストグラムを取る。
【００５６】
そして、ステップS1060において、最も頻度の高い色ビンに対応する色ビンＩＤをそのメッシュ領域の代表輝度と決定する。ステップS1070において、処理対処メッシュ領域を図13の並びに従って次のメッシュ領域へ移し、再びステップS1040の処理を再帰的に行い、未処理のメッシュ領域が無くなるまで繰り返す。
【００５７】
上記処理により、着目画像の色特徴量情報を得ることが出来る。
【００５８】
次に、文字ブロックに対する特徴量情報抽出処理について述べる。
【００５９】
文字ブロックに対する特徴量情報として、OCR(文字認識)を行い、文字コードを抽出する。
【００６０】
OCR(文字認識)は、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【００６１】
ブロックセレクション（ステップS３０２０、ステップS３１２０）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。
【００６２】
次にレイアウト比較処理の詳細を説明する。
【００６３】
ステップＳ３１３１の有効領域の決定で採用されたアスペクト比を持つ文書ＩＤ，ページ番号のブロック情報を順に読み出し、スキャン画像のブロック情報と比較する。ブロック位置、種別、アスペクト比、サイズが一致しているときに、レイアウトが一致していると判定できる。
【００６４】
なお、ブロック位置とサイズについては、比較元と比較先でそれぞれ相対座標で表現されているので、数値をそのまま比較すればよい。ただし、同じアスペクト比であっても、有効領域とオリジナルの文書領域の大きさがことなる場合は、有効領域を所定値ずつ大きくすることしかできないので、正確に大きさをそろえることが出来ない。また、印刷時に僅かに位置がずれることもある。そこで、ブロックの位置とサイズの比較では、所定の値の差分は許容するようにする。
【００６５】
次に、特徴量情報比較(ステップS３１４０)の処理の詳細について、図16のフローチャートを用いて説明する。なお、以下ステップＳ１６１０からＳ１６７０までをレイアウト比較処理(ステップＳ３１３５)で絞り込んだ候補の文書ＩＤ，ページ番号の全てについて行うまで、繰り返す。
【００６６】
まず、終了判定を行う、ブロック情報を参照し、現在対象となる文書ID、頁番号の中で、未比較のブロックがあればステップS１６２０へ進み、なければ、ステップS１６７０へ進む。(ステップS１６１０)
次に、比較対象のブロックの属性をチェックし、画像ブロックであれば、ステップS１６４０へ進み、文字ブロックであれば、ステップS１６６０へ進む。
【００６７】
画像ブロックに対しては、色に関する特徴量情報で比較先ブロックとの類似比較を行う(ステップS１６４０：詳細は後述)。
【００６８】
文字ブロックに対しては、文字の特徴を用いて、比較を行う。算出した類似度は、比較先の文書ID、ブロックIDに対応させて一時記憶する。(ステップS１６６０：詳細は後述)
それぞれ算出した類似度は、比較先の文書ID、頁番号、ブロックIDに対応させて一時記憶する。
【００６９】
次に、全てのブロックについて比較を終えたら(ステップS１６１０でN)、比較先のページに含まれる全てのブロックの類似度を統合し、ページについての類似度を求める。(ステップS１６７０)
図１６のステップS１６４０の色情報比較処理の詳細を図１７のフローチャートを用いて説明する。
【００７０】
ステップS1710において検索先と検索元の色特徴量を色特徴量情報から読み出す。
【００７１】
ステップS1720において着目する分割メッシュ領域を先頭に設定し、ステップS1730において類似距離を零にリセットしておく。
【００７２】
ステップS1740において、未比較の画像分割メッシュ領域があればステップS1750において、比較先と比較元のブロックで対応する着目メッシュ領域の色ビンＩＤを取り出す。
【００７３】
図18に色ビン同士の色の類似具合を表す色ビンＩＤ間のペナルティマトリックスを示す。
【００７４】
同一色ビンＩＤでは0、似ていないものほど大きな値を持つマトリックスであり、同じ色ビンＩＤの対角位置は全て0でそれを境に対象性を持っている。
【００７５】
２つの色ビンの類似度がテーブル参照だけで済むので高速化が可能である。
【００７６】
ステップS1760において、色ビンＩＤ間のペナルティマトリックスをステップS1750で取り出した２つの色ビンＩＤを用いて参照し、着目メッシュ領域の局所的類似距離を得て、これを類似距離に加算する。
【００７７】
そして、ステップS1770で着目するメッシュ領域を次のメッシュ領域へシフトする。
【００７８】
他方、ステップS1746において未比較のメッシュ領域が無い場合には、ステップS1780において算出した類似距離を類似度に変換し、ブロックＩＤと対にして出力する。類似度への変換は、類似距離が0のときを100%、類似距離が最大値のときを0％となるようにすればよい。
【００７９】
図１６のステップS１６６０の文字比較処理の詳細について述べる。
【００８０】
ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。なお、オリジナルとの比較であれば、類似度は100％となるのが理想的である。しかし、実際にはOCRで誤認識が発生する場合があるので、オリジナルとの比較であっても100％に近かい値となる。
【００８１】
図１６のステップS１６７０の画像、文字それぞれの比較処理の結果を統合する処理の詳細について述べる。
【００８２】
ページ内で占めている割合の大きいブロックの類似度が、ページ全体の類似度へより大きく反映されるように、統合を行う。例えば、ブロックB1〜B6に対し、ブロック毎の類似率がn1〜n6と算出されたとする。このときファイル全体の総合類似率Nは、以下の式で表現される。
【００８３】
N = w1*n1 + w2*n2 + w3*n3 + …. + w6*n6          ・・・（式１）
ここで、w1〜w6は、各ブロックの類似率を評価する重み係数である。重み係数w1〜w6は、ブロックのファイル内占有率により求める。例えばブロック１〜６のサイズをS1〜S6とすると、ブロック１の占有率w1は、
w1 = S1/(S1+S2+….+S6)                             ・・・（式２）
として算出できる。このような占有率を用いた重み付け処理により、ページ内で大きな領域を占めるブロックの類似度がよりページ全体の類似度に反映されるようになる。
【００８４】
次にステップS３１５０、S３１６０に示す確認モード時の処理の詳細について説明する。
【００８５】
確認モードは、ユーザが予めユーザインターフェースから指定してもよいし、自動で判定しても良い。自動判定の方法としては次の方法がある。例えば、前記オリジナルの候補が１つの場合、または、1位の候補と2位以降の候補のそれぞれ類似度の差が大きく1位の候補がオリジナルである可能性が高い場合は、「非確認モード」とし、前記条件を満たさない場合は、「確認モード」とする。
【００８６】
「確認モード」の際は、MPF１００のユーザインターフェースに候補を表示して、ユーザに選択を行ってもらう。
【００８７】
このように自動判定をしたときは、ユーザによる確認が必要なときだけ後述するユーザの選択操作を行えばよいので操作手続きが簡略化される。
【００８８】
図８にMPF100のユーザインターフェースの一例を示す。
【００８９】
2311は表示・操作パネルである。2312から2315は機能ボタンであり、2312は印刷指示、2313は配信指示、2314は蓄積指示、2315は編集指示を与えるものである。これは、予め押しておいても、オリジナル文書の指定を行った後指定してもよい。2316はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。2317は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。2318は確認モードであることを表示するものである。通常は自動判定された結果を表示する。また、これに触れることで、「確認モード」と「非確認モード」をユーザが指定することができる。2319から2328はオリジナル文書から縮小画像を作成して、サムネイル表示したものである。候補は2319から番号順に類似度の高い順に表示されている。この例では最大10枚が表示され、候補が10枚以上であれば、上位10枚までが表示される。ユーザがオリジナルと判断したものを触れることで、オリジナル文書の指定を行うことができる。
【００９０】
（その他の実施例）
本実施例では、ブロックセレクション処理を1回だけ行い、有効領域を適宜広げて、レイアウト比較を行ったが、ブロックセレクションがノイズの影響を受けやすい場合は、有効領域の範囲の画像に対して改めてブロックセレクション処理を行うようにしてもよい。これにより、有効領域外の領域に存在するノイズの影響を減らすことが出来るため、より精度の高いブロックセレクションの結果が得られるようになる。
【００９１】
本実施例では、有効領域の決定や拡大において、登録用紙アスペクト比情報の中の頻度が高く、前回の有効領域に近いアスペクト比に近いものから、採用していったが、これはより可能性の高いものから比較することが主旨であるので、もちろん処理スピードが許容できるならば、単に、頻度の高いアスペクト比から採用したり、前回の有効領域に近いアスペクト比に近いものから採用したり、といった方法をとっても構わない。
【図面の簡単な説明】
【００９２】
【図１】本実施例における画像処理システムのシステム構成例を示すブロック図である。
【図２】MFP100の構成例を示すブロック図である。
【図３】第１の実施例における画像処理システムの動作例の概要を示すフローチャートである。
【図４】アドレス情報の一例である。
【図５】ブロック情報の一例である。
【図６】特徴量情報の一例である。(色特徴量情報)
【図７】特徴量情報の一例である。(文字特徴量情報)
【図８】MPF100のユーザインターフェースの一例である。
【図９】ブロックセレクション処理の概念を説明する図である。
【図１０】色特徴抽出処理の動作例を示すフローチャートである。
【図１１】画像をメッシュ領域に分割した例である。
【図１２】ＲＧＢ色空間を均等階級化する例である。
【図１３】対象とするメッシュ領域の順番を示す図である。
【図１４】登録用紙アスペクト比情報の一例である。
【図１５】有効領域の決定方法を説明する図である。
【図１６】ページ比較の動作例を示すフローチャートである。
【図１７】色情報比較の動作例を示すフローチャートである。
【図１８】色ビン同士の色の類似具合を表す色ビンＩＤ間のペナルティマトリックスの一例である。
【図１９】従来技術の課題を説明するための図である。
【図１】
2008107901.tif 000003
【図２】
2008107901.tif 000004
【図３】
2008107901.tif 000005
【図４】
2008107901.tif 000006
【図５】
2008107901.tif 000007
【図６】
2008107901.tif 000008
【図７】
2008107901.tif 000009
【図８】
2008107901.tif 000010
【図９】
2008107901.tif 000011
【図１０】
2008107901.tif 000012
【図１１】
2008107901.tif 000013
【図１２】
2008107901.tif 000014
【図１３】
2008107901.tif 000015
【図１４】
2008107901.tif 000016
【図１５】
2008107901.tif 000017
【図１６】
2008107901.tif 000018
【図１７】
2008107901.tif 000019
【図１８】
2008107901.tif 000020
【図１９】
2008107901.tif 000021