(57)【要約】【課題】読取対象の表面と裏面とが互いに異なる配置で読み取られた場合でも、表面と裏面とを関連付けて出力することが可能な画像処理装置及びプログラムを提供する。【解決手段】画像処理装置１は、読取対象の第１の面を含む第１の読取画像２０ａから第１の面画像を取得するとともに、読取対象の第２の面を含む第２の読取画像２０ｂから第２の面画像を取得する取得手段１０１と、取得手段が取得した第１の面画像の特徴情報と第２の面画像の特徴情報との関連性を示す度合いとともに、関連付けれれた第１の面画像及び第２の面画像の組を出力する出力手段とを備える。【選択図】図２
2018148458.tif 000002
【特許請求の範囲】
【請求項１】
読取対象の第１の面を含む第１の読取画像から第１の面画像を取得するとともに、前記読取対象の第２の面を含む第２の読取画像から第２の面画像を取得する取得手段と、
前記取得手段が取得した前記第１の面画像の特徴情報と前記第２の面画像の特徴情報との関連性を示す度合いとともに、関連付けられた前記第１の面画像及び前記第２の面画像の組を出力する出力手段と、
を備えた画像処理装置。
【請求項２】
前記度合いに応じて表示態様を変えて前記第１の面画像又は前記第２の面画像を表示する表示手段をさらに備える、
請求項１に記載の画像処理装置。
【請求項３】
前記表示手段は、前記度合いに応じた順序で前記第１の面画像又は前記第２の面画像を表示する、
請求項２に記載の画像処理装置。
【請求項４】
前記表示手段は、前記度合いに応じて前記第１の面画像又は前記第２の面画像を強調して表示する、
請求項２又は３に記載の画像処理装置。
【請求項５】
前記出力手段は、前記第１の面画像の構成要素の特徴情報及び前記第２の面画像の構成要素の特徴情報の合致度を出力する、
請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
前記出力手段は、前記取得手段が取得した画像の構成要素ごとの前記合致度を総合的に評価して前記度合いを出力する、
請求項５に記載の画像処理装置。
【請求項７】
前記構成要素は、文字の位置を示す情報を含む文字情報又は図形の位置を示す情報を含む図形情報を含む、
請求項５又は６に記載の画像処理装置。
【請求項８】
コンピュータを、
読取対象の第１の面を含む第１の読取画像から第１の面画像を取得するとともに、前記読取対象の第２の面を含む第２の読取画像から第２の面画像を取得する取得手段と、
前記取得手段が取得した前記第１の面画像の特徴情報と前記第２の面画像の特徴情報との関連性を示す度合いとともに、関連付けられた前記第１の面画像及び前記第２の面画像の組を出力する出力手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、スキャナで名刺画像を読み取り名刺を管理する機能を有する画像処理装置が提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載された画像処理装置は、名刺の表面を第１画像データとして取得する第１画像取得部と、裏面を第２画像データとして取得する第２画像取得部と、第１画像データから表面名刺画像を抽出し、位置情報を生成して取得し、第２画像データから裏面名刺画像を抽出し、位置情報を生成して取得する名刺画像取得部と、表裏の位置情報に基づき、表面名刺画像ごとに裏面名刺画像を関連付けて名刺画像を決定する名刺画像決定部と、表裏の名刺画像が同じ位置であるか否かを判定する第１判定部と、表裏の名刺画像が同じ画像であるか否かを判定する第２判定部と、第１判定部および第２判定部のうち少なくとも一方を用いて判定した結果に基づいて、表示画面に表示させる画像の制御を行う表示制御部と、名刺画像を記憶する記憶部とを備える。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−０５６７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題の一つは、読取対象の表面と裏面とが互いに異なる配置で読み取られた場合でも、表面と裏面とを関連付けて出力することが可能な画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］読取対象の第１の面を含む第１の読取画像から第１の面画像を取得するとともに、前記読取対象の第２の面を含む第２の読取画像から第２の面画像を取得する取得手段と、前記取得手段が取得した前記第１の面画像の特徴情報と前記第２の面画像の特徴情報との関連性を示す度合いとともに、関連付けられた前記第１の面画像及び前記第２の面画像の組を出力する出力手段と、を備えた画像処理装置。
［２］前記度合いに応じて表示態様を変えて前記第１の面画像又は前記第２の面画像を表示する表示手段をさらに備える、前記［１］に記載の画像処理装置。
［３］前記表示手段は、前記度合いに応じた順序で前記第１の面画像又は前記第２の面画像を表示する、前記［２］に記載の画像処理装置。
［４］前記表示手段は、前記度合いに応じて前記第１の面画像又は前記第２の面画像を強調して表示する、前記［２］又は［３］に記載の画像処理装置。
［５］前記出力手段は、前記第１の面画像の構成要素の特徴情報及び前記第２の面画像の構成要素の特徴情報の合致度を出力する、前記［１］から［４］の何れか１項に記載の画像処理装置。
［６］前記出力手段は、前記取得手段が取得した画像の構成要素ごとの前記合致度を総合的に評価して前記度合いを出力する、前記［５］に記載の画像処理装置。
［７］前記構成要素は、文字情報又は図形情報を含む、前記［５］又は［６］に記載の画像処理装置。
［８］コンピュータを、読取対象の第１の面を含む第１の読取画像から第１の面画像を取得するとともに、前記読取対象の第２の面を含む第２の読取画像から第２の面画像を取得する取得手段と、前記取得手段が取得した前記第１の面画像の特徴情報と前記第２の面画像の特徴情報との関連性を示す度合いとともに、関連付けられた前記第１の面画像及び前記第２の面画像の組を出力する出力手段として、機能させるためのプログラム。
【発明の効果】
【０００７】
請求項１、８に係る発明によれば、読取対象の表面と裏面とが互いに異なる配置で読み取られた場合でも、表面と裏面とを関連付けて出力することが可能になる。
請求項２、３、４に係る発明によれば、操作者が関連付けの度合いが高い順に表面と裏面との組み合わせを視覚的に認識することが可能となる。
請求項５に係る発明によれば、操作者が、客観的な指標に基づいて、関連付けの度合いが高い表面と裏面との組み合わせを認識することが可能となる。
請求項６、７に係る発明によれば、表面と裏面と関連付けの度合いの精度を高めることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の実施の形態に係る画像処理システムの構成例を示す図である。
【図２】図２は、本実施の形態に係る画像処理装置の制御系の一例を示すブロック図である。
【図３】図３は、読取画像の一例を示す図である。
【図４】図４は、矩形画像の一例を示す図である。
【図５】図５は、結果テーブルの一例を示す図である。
【図６】図６は、結果の表示の一例を示す図である。
【図７】図７は、矩形画像の組の表示の一例を示す図である。
【図８】図８は、本実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する要素については、同一の符号を付してその重複した説明を省略する。
【００１０】
［実施の形態の要約］
本実施の形態に係る画像処理装置は、読取対象の第１の面を含む第１の読取画像から第１の面画像を取得するとともに、読取対象の第２の面を含む第２の読取画像から第２の面画像を取得する取得手段と、取得手段が取得した第１の面画像の特徴情報と第２の面画像の特徴情報との関連性を示す度合いとともに、関連付けられた第１の面画像及び第２の面画像の組を出力する出力手段とを備える。
【００１１】
読取対象には、例えば、名刺、運転免許証等の個人認証媒体が含まれる。読取対象は、主に長方形を有しているものであるが、正方形を有しているものでもよい。また、読取対象には、４つの角が丸く形成されているものも含まれる。以下、読取対象は名刺として説明する。
【００１２】
読取画像とは、読取対象を読み取った画像をいう。面画像とは、読取対象のいずれかの面が含まれる、読取対象の輪郭に囲まれた領域の画像をいう。面画像は、主に矩形状の形状を有している。
【００１３】
第１の面は、読取対象の一方の面及び他方の面のうち先に読み取られた面とし、第２の面は、第１の面よりも後に読み取られた面としてもよい。なお、読取対象の表面と裏面とが定義できる場合、例えば、第１の面を読取対象の表面とし、第２の面を読取対象の裏面としてもよい。また、読取対象の表面と裏面とが異なる言語で記述されている場合、いずれか一方の言語（例えば、日本語等）で記載されている面を表面としてもよい。
【００１４】
「面画像の特徴情報」とは、文字情報、図形情報、地に関する情報等の面画像を構成する構成要素の特徴を客観的に数値化した特徴量（例えば、色彩、サイズ等）をいう。
【００１５】
文字情報とは、文字の属性（大きさ、文字種等）を示す情報の他、文字の位置を示す情報をいう。文字情報には、例えば、会社名や部署名等の所属情報、役職、肩書、氏名等の個人情報、電話番号、ＦＡＸ番号、メールアドレス、会社の住所等の連絡先情報等が含まれる。
【００１６】
図形情報とは、図形そのものを示す情報、図形や文字を含んで図案化されたものを示す情報、及びこれらの位置を示す情報をいう。図形情報には、例えば、商号や団体名を示すロゴマーク、キャッチコピーやスローガンを含む図形、登録されている資格や認定されている規格を示すシンボルマーク、所持者等を示す写真や似顔絵等が含まれる。
【００１７】
なお、以下では、文字の位置を示す情報、及び図形等の情報の位置を示す情報をまとめて「レイアウト」ともいう。
【００１８】
「関連性を示す度合い」とは、異なる画像間における上述の特徴情報がどの程度合致しているかを示す指標をいう。
【００１９】
「関連付けられた第１の面画像及び第２の面画像の組」とは、互いに、同一の読取対象の第１の面及び第２の面の関係を有する一対の面画像をいう。
【００２０】
［実施の形態］
図１は、本実施の形態に係る画像処理システムの構成例を示す図である。この画像処理システムは、画像処理装置１と、画像形成装置２と、端末装置３とを有し、画像処理装置１、画像形成装置２、及び端末装置３は、例えば公衆網であるネットワーク４を介して通信可能に接続されて構成されている。
【００２１】
画像形成装置２は、スキャン機能を有するものであれば、例えば、コピー、スキャン、プリント、ファックス等の複数の機能を備えた複合機でも、スキャン機能のみを有するものでもよい。画像形成装置２は、原稿が配置される原稿台（不図示）と、情報の入力及び表示を行う操作表示部２１とを備えている。
【００２２】
端末装置３には、例えば、パーソナルコンピュータ、タブレット型端末、多機能携帯電話機（スマートフォン）等を用いることができる。端末装置３は、例えば、キーボード、マウス等によって実現される入力部３１と、例えば、液晶ディスプレイ等によって実現される表示部３２とを備えている。
【００２３】
ネットワーク４は、有線通信及び無線通信等によりデータの送受信を行うＬＡＮ（ローカルエリアネットワーク）、インターネット等の通信網である。ネットワーク４は、例えば、Wi-Fiルータを用いたWi-Fiでもよい。
【００２４】
（画像処理装置の構成）
図２は、画像処理装置の制御系の一例を示すブロック図である。この画像処理装置１は、画像処理装置１の各部を制御する制御部１０と、各種のデータを記憶する記憶部１１と、画像形成装置２及び端末装置３との間でネットワーク４を介して通信する通信部１２とを備える。
【００２５】
制御部１０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム格納部１１１に格納されたプログラムに従って動作することにより、受付手段１００、取得手段１０１、抽出手段１０２、分類手段１０３、算出手段１０４、出力手段１０５、表示手段１０６等として機能する。分類手段１０３及び算出手段１０４は、出力手段の一例である。各手段１００〜１０６の詳細については後述する。
【００２６】
記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラムを格納するプログラム格納部１１１、画像データを格納する画像データ格納部１１２等を有する。
【００２７】
通信部１２は、ネットワーク４を介して、画像形成装置２及び端末装置３との間で信号を送受信する。
【００２８】
次に、図３〜図７を参照して、各手段１００〜１０６について説明する。画像形成装置２は、不図示の原稿台に配置された読取対象を光学的に読み取り、読取画像を形成して受付手段１００に渡す。
【００２９】
受付手段１００は、画像形成装置２により形成された読取画像を受け付ける。具体的には、受付手段１００は、第１の読取画像２０ａ及び第２の読取画像２０ｂを受け付ける。受付手段１００は、受け付けた読取画像を画像データ格納部１１２に格納する。
【００３０】
図３は、読取画像の一例を示す図であり、（ａ）は、第１の読取画像の一例を示す図、（ｂ）は、第２の読取画像の一例を示す図である。図３（ａ）に示すように、第１の読取画像２０ａには、読取対象２００の第１の面２００Ａが含まれる。また、図３（ｂ）に示すように、第２の読取画像２０ｂには、読取対象２００の第２の面２００Ｂが含まれる。なお、図３（ａ）、（ｂ）中の「Ａ１」「Ｂ１」等の付番は、読取対象２００を識別するＩＤを示している。図３（ａ）、（ｂ）に示すように、第１の読取画像２０ａ及び第２の読取画像２０ｂには、それぞれ複数（例えば７個）の読取対象２００が含まれている。
【００３１】
なお、必ずしも複数の読取対象２００のうち全ての第１の面２００Ａを、読取対象２００の一方の面（例えば、表面）とすることに限定されるものではなく、一方の面と他方の面（例えば、裏面）とが混在していてもよい。同様に、第２の面２００Ｂに、一方の面と他方の面とが混在していてもよい。
【００３２】
（受付手段の構成）
受付手段１００は、操作者によって端末装置３の入力部３１に入力される操作を受け付ける。なお、操作者による操作は、画像形成装置２の操作表示部２１に入力されてもよい。
【００３３】
（取得手段の構成）
取得手段１０１は、受付手段１００が受け付けた読取画像に対して、読取対象の縁部を検出して読取対象の輪郭線を抽出する処理（以下、「エッジ強調処理」ともいう。）を行い、読取対象の輪郭線で囲まれた矩形状の画像（以下、「矩形画像」ともいう。）を取得する。具体的には、取得手段１０１は、第１の読取画像２０ａに対してエッジ処理を行い、第１の読取画像２０ａから読取対象２００の第１の面２００Ａに対応する第１の矩形画像２００ａを取得するとともに、第２の読取画像２０ｂに対してエッジ処理を行い、第２の読取画像２０ｂから読取対象２００の第２の面２００Ｂに対応する第２の矩形画像２００ｂを取得する。第１の矩形画像２００ａは、第１の面画像の一例であり、第２の矩形画像２００ｂは、第２の面画像の一例である。
【００３４】
（抽出手段の構成）
抽出手段１０２は、取得した矩形画像に対して、文字や図形の輪郭を抽出して文字情報や図形情報を認識する処理（以下、「画像認識処理」）を行う。画像認識処理には、例えば、ＯＣＲ（Optical Character Recognition）処理や、ＯＭＲ（Optical Mark Recognition）等を用いる。
【００３５】
具体的には、抽出手段１０２は、第１の矩形画像２００ａに対して画像認識処理を行い、第１の矩形画像２００ａの特徴情報を抽出するとともに、第２の矩形画像２００ｂに対して画像認識処理を行い、第２の矩形画像２００ｂの特徴情報を抽出する。
【００３６】
抽出手段１０２により抽出される特徴情報には、第１の矩形画像２００ａの大きさ、第１の矩形画像２００ａに含まれる構成要素、第１の矩形画像２００ａのレイアウト、第２の矩形画像２００ｂの大きさ、第２の矩形画像２００ｂに含まれる構成要素、第２の矩形画像２００ｂのレイアウトが含まれる。
【００３７】
構成要素には、文字情報及び図形情報が含まれる。図４は、矩形画像の一例を示す図である。図４（ａ）〜（ｆ）に示すように、抽出手段１０２は、文字情報として、会社名２０１、所属部署名２０２、氏名２０３、直通の連絡先としての電話番号２０４、代表の連絡先としての電話番号２０５、電子メールアドレス２０７を抽出する。また、抽出手段１０２は、図形情報として、ロゴマーク２０６を抽出する。
【００３８】
なお、抽出手段１０２は、認識した文字情報から読取対象２００の向きを判断し、読取対象２００が傾いていれば、例えば、矩形画像を予め定められた点を中心に回転させる回転処理や矩形画像を傾ける傾き処理等により、矩形画像の傾きを補正してもよい。
【００３９】
（分類手段の構成）
分類手段１０３は、読取画像において、矩形画像を大きさごとに分類する。具体的には、分類手段１０３は、第１の読取画像２０ａにおいて第１の矩形画像２００ａを大きさごとに分類するとともに、第２の読取画像２０ｂにおいて第２の矩形画像２００ｂを大きさごとに分類する。
【００４０】
図３に分類の結果の一例を示す。図３（ａ）示すように、第１の読取画像２０ａでは、複数の読取対象２００は、第１の大きさを有するもの（破線枠２１０参照）、第２の大きさを有するもの（点線枠２１１参照）、第３の大きさを有するもの（１点鎖線枠２１２参照）等に分類される。また、図３（ｂ）示すように、第２の読取画像２０ｂでは、複数の読取対象２００は、第１の大きさを有するもの（付番「Ｂ１」「Ｂ３」「Ｂ５」参照）、第２の大きさを有するもの（付番「Ｂ２」「Ｂ４」「Ｂ６」参照）、第３の大きさを有するもの（付番「Ｂ７」参照）等に分類される。
【００４１】
なお、矩形画像を大きさで分類することに限定されるものではなく、例えば、矩形画像の形状で分類してもよい。
【００４２】
（算出手段の構成）
算出手段１０４は、異なる読取画像において、同じ大きさに分類された矩形画像間の構成要素同士の合致度を算出する。具体的には、算出手段１０４は、同じ大きさに分類された第１の矩形画像２００ａ及び第２の矩形画像２００ｂ間の合致度を算出する。構成要素同士の合致度には、文字情報の合致度、レイアウトの合致度、及び図形情報の合致度が含まれる。以下、具体的に説明する。
【００４３】
文字情報の合致度とは、異なる読取画像において、同じ大きさに分類された矩形画像間で抽出手段１０２により抽出された文字情報が合致する度合いをいう。具体的には、第１の矩形画像２００ａで抽出された構成要素（例えば氏名２０３）を構成する文字と、第２の矩形画像２００ｂで抽出された同一の構成要素（氏名２０３）を構成する文字が互いに一致する割合をいい、例えば、完全に一致している場合を１として、０〜１の範囲の値で表される。なお、算出手段１０４は、第１の矩形画像２００ａに記載されている言語と、第２の矩形画像２００ｂに記載されている言語とが互いに異なる場合は、特定の文字列に対して、あらかじめ変換テーブルを保有しておき参照する。例えば、第１及び第２の矩形画像のうち、一方が日本語で他方が英語の場合、特定の文字列として、「営業部」と「Sales Department」が互いに変換されるような変換テーブルが保持される。
【００４４】
なお、いずれか一方の言語に変換して、一致の度合いを算出してもよい。いずれか一方の言語に変換する処理には、例えば、異なる言語間で氏名の苗字と名前との表示の順序が異なる場合や、住所の都道府県、市区町村、番地等の表示の順序が互いに異なる場合において、一方の言語で表示される順序に変換することが含まれる。
【００４５】
レイアウトの合致度は、異なる読取画像において、同じ大きさに分類された矩形画像間で抽出手段１０２により抽出された文字情報を構成する文字の配置、及び抽出手段１０２により抽出された図形情報の位置が互いに一致する割合をいい、例えば、完全に一致している場合を１として、０〜１の範囲の値で表される。
【００４６】
図形情報の合致度は、異なる読取画像において、同じ大きさに分類された矩形画像間で抽出手段１０２により抽出された図形情報が合致する度合いをいう。具体的には、第１の矩形画像２００ａで抽出された図形要素（例えばロゴマーク２０６）と、第２の矩形画像２００ｂで抽出された図形要素（ロゴマーク２０６）が互いに一致する割合をいい、例えば、完全に一致している場合を１として、０〜１の範囲の値で表される。図形情報の度合いの算出には、例えば、パターンマッチング処理を用いてもよい。
【００４７】
図３（ａ）、（ｂ）に示す例では、算出手段１０４は、ＩＤが「Ａ１」「Ａ２」「Ａ３」の読取対象２００と、ＩＤが「Ｂ１」「Ｂ３」「Ｂ５」の読取対象２００との間で上述の合致度を算出する。算出手段１０４は、ＩＤが「Ａ４」「Ａ５」「Ａ６」の読取対象２００と、ＩＤが「Ｂ２」「Ｂ４」「Ｂ６」の読取対象２００との間で上述の合致度を算出する。算出手段１０４は、ＩＤが「Ａ７」の読取対象２００と、ＩＤが「Ｂ７」の読取対象２００との間で上述の合致度を算出する。
【００４８】
以下、一例として、図３の各図に示すＩＤが「Ａ１」「Ａ２」「Ａ３」の読取対象２００と、ＩＤが「Ｂ１」「Ｂ３」「Ｂ５」の読取対象２００との間の合致度を例に挙げて詳細を説明する。図４（ａ）は、図３（ａ）のＩＤが「Ａ１」の読取対象２００の一例を示す図、図４（ｂ）は、図３（ａ）のＩＤが「Ａ２」の読取対象２００の一例を示す図、図４（ｃ）は、図３（ａ）のＩＤが「Ａ３」の読取対象２００の一例を示す図、図４（ｄ）は、図３（ｂ）のＩＤが「Ｂ１」の読取対象２００の一例を示す図、図４（ｅ）は、図３（ｂ）のＩＤが「Ｂ３」の読取対象２００の一例を示す図、図４（ｆ）は、図３（ｂ）のＩＤが「Ｂ５」の読取対象２００の一例を示す図である。
【００４９】
算出手段１０４は、ＩＤが「Ａ１」の読取対象２００と、ＩＤが「Ｂ１」「Ｂ３」「Ｂ５」の読取対象２００のそれぞれとの間で、上述の合致度を算出する。次に、算出手段１０４は、ＩＤが「Ａ２」の読取対象２００と、ＩＤが「Ｂ１」「Ｂ３」「Ｂ５」の読取対象２００のそれぞれとの間で、上述の合致度を算出する。次に、算出手段１０４は、ＩＤが「Ａ３」の読取対象２００と、ＩＤが「Ｂ１」「Ｂ３」「Ｂ５」の読取対象２００のそれぞれとの間で、上述の合致度を算出する。
【００５０】
算出手段１０４は、第１の矩形画像２００ａの特徴情報と第２の矩形画像２００ｂの特徴情報との関連性を示す度合いＣを算出する。この関連性を示す度合いＣは、上述した３つの合致度を総合的に評価して算出される指標である。具体的には、算出手段１０４は、上述の文字情報の合致度をＲｃ、レイアウトの合致度をＲｌ、図形情報の合致度をＲｇとした場合に、次の式を用いて関連性を示す度合いＣを求める。
Ｃ＝αｘＲｃ＋βｘＲｌ＋γｘＲｇ、
係数α：文字情報の合致度Ｒｃの重み付けを示す値、
係数β：レイアウトの合致度Ｒｌの重み付けを示す値、
係数γ：図形情報の合致度Ｒｇの重み付けを示す値
【００５１】
図５は、算出された合致度の結果を示す結果テーブル２３０の一例である。「読取対象ＩＤ」の欄には、合致度を算出した一対の矩形画像に対応する読取対象のＩＤが示されている。「文字情報」の欄には、文字情報の合致度Ｒｃが示されている。「レイアウト」の欄には、レイアウトの合致度Ｒｌが示されている。「図形情報」の欄には、図形情報の合致度Ｒｇが示されている。「関連性の度合い」の欄には、関連性を示す度合いＣが示されている。関連性を示す度合いは、ＩＤが「Ａ１」の読取対象２００とＩＤが「Ｂ５」の読取対象２００の組（以下、単に「Ａ１−Ｂ５」ともいう。）、Ａ２−Ｂ１、及びＡ３−Ｂ３で、相対的に高い値となっている。
【００５２】
算出手段１０４は、合致度を算出した一対の矩形画像の両方ともに矩形画像に図形情報がある否かを判断する。具体的には、算出手段１０４は、第１の矩形画像２００ａ及び第２の矩形画像２００ｂの両方に図形情報がある否かを判断する。例えば、上述した図形情報の合致度が予め定められた閾値（例えば、０．０１）以下のときに、図形情報がないと判断してもよい。図５に示す例では、ＩＤが「Ｂ５」の読取対象２００は、ＩＤが「Ａ１」「Ａ２」「Ａ３」の読取対象２００の全てとの間での図形情報の合致度は０．０１以下であり、これにより、ＩＤが「Ｂ５」の読取対象２００には図形情報が無いものと判断される。
【００５３】
第１の矩形画像２００ａ及び第２の矩形画像２００ｂの両方ともに図形情報がなければ、算出手段１０４は、図形情報の合致度に係る係数γを予め定められた値（例えば０又は０に近い値）にする。算出手段１０４は、変更された新たな係数を用いて、上述した計算式に基づき関連性を示す度合いＣを算出する。
【００５４】
（出力手段の構成）
出力手段１０５は、上述の算出された結果を表示手段１０６に出力する。出力手段１０５は、関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組を表示手段１０６に出力する。関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組は、例えば、関連性を示す度合いＣの値が最も大きい一対の第１の矩形画像２００ａ及び第２の矩形画像２００ｂとしてもよい。
【００５５】
（表示手段の構成）
表示手段１０６は、第１の矩形画像２００ａ及び第２の矩形画像２００ｂとともに、出力された結果を端末装置３の表示部３２に表示する。具体的には、表示手段１０６は、関連性を示す度合いＣに応じて表示する態様（以下、「表示態様」ともいう。）を変えて、第１の矩形画像２００ａ及び第２の矩形画像２００ｂを端末装置３の表示部３２に表示する。なお、表示手段１０６は、上述の算出結果を画像形成装置２の操作表示部２１に出力してもよい。
【００５６】
図６は、算出された結果の表示の一例を示す図であり、（ａ）は、読取対象２００の第１の矩形画像の第１のサムネイルの一覧の一例を示す図、（ｂ）は、読取対象２００の第２の矩形画像の第２のサムネイルの一覧の一例を示す図、（ｃ）は、合致度テーブルの一例を示す図、（ｄ）は、強調表示の凡例の一例を示す図である。
【００５７】
表示手段１０６は、図６（ａ）に示すように、端末装置３の表示部３２の表示面３２０に、複数の読取対象２００の第１の矩形画像２００ａを模式的に示した画像２４０ａ（以下、「第１のサムネイル２４０ａ」ともいう。）の一覧を表示する。第１のサムネイル２４０ａは、第１の面画像の一例である。第１のサムネイル２４０ａには、対応する読取対象２００を識別するＩＤが付されている。
【００５８】
表示手段１０６は、図６（ｂ）に示すように、端末装置３の表示部３２の表示面３２０に、第２の矩形画像２００ｂを模式的に示した画像２４０ｂ（以下、「第２のサムネイル２４０ｂ」ともいう。）の一覧を表示する。第２のサムネイル２４０ｂは、第２の面画像の一例である。第２のサムネイル２４０ｂには、対応する読取対象２００を識別するＩＤが付されている。
【００５９】
表示手段１０６は、操作による操作により、図６（ａ）に示す第１のサムネイル２４０ａの一覧の表示と、図６（ｂ）に示す第２のサムネイル２４０ｂの一覧の表示との間で表示の切り替えを行う。
【００６０】
表示手段１０６は、図６（ａ）に示す複数の第１のサムネイル２４０ａのうちの１つに対応する読取対象２００と、図６（ｂ）に示す第２のサムネイル２４０ｂに対応する読取対象２００との関連性を示す度合いを表示する。図６（ｃ）に示すように、合致度テーブル２５０には、「読取対象ＩＤ」欄と、「合致度」欄とが設けられ、「合致度」欄には、図６（ａ）に示すＩＤ「Ａ０１」が付された第１のサムネイル２４０ａと、図６（ｂ）に示す複数の第２のサムネイル２４０ｂとの間の関連性を示す度合い（Ｃ）が示されている。
【００６１】
なお、表示手段１０６は、図６（ｂ）に示す第２のサムネイル２４０ｂとともに合致度テーブル２５０を表示してもよい。表示手段１０６は、例えば、吹き出し等により第２のサムネイル２４０ｂごとに関連性を示す度合いを表示してもよい。表示手段１０６は、図６（ｂ）に示す第２のサムネイル２４０ｂを、関連性を示す度合いに応じた順序に並び替えて表示してもよい。
【００６２】
表示手段１０６は、図６（ｂ）に示すように、関連性を示す度合いに応じて第２のサムネイル２４０ｂを強調して表示する強調表示２４１を付してもよい。強調表示２４１には、例えば、第２のサムネイル２４０ｂの縁部に色付けされた太線を付すことが含まれる。色付けは、例えば、図６（ｄ）に示すように、関連性を示す度合いが予め定められた閾値（例えば０．９）以上のときに緑色とし、関連性を示す度合いが予め定められた閾値（例えば０．７）未満のときに赤色とし、それ以外のときに黄色としてもよい。
【００６３】
なお、上述の例では、第２のサムネイル２４０ｂに強調表示２４１を付したが、これに限定されるものではなく、第１のサムネイル２４０ａに強調表示２４１を付してもよい。
【００６４】
表示手段１０６は、出力手段１０５により出力された、関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組を端末装置３の表示部３２に表示する。図７は、矩形画像の組の表示の一例を示す図であり、（ａ）は、関連付けられた第１の矩形画像及び第２の矩形画像の組の一覧の一例を示す図、（ｂ）は、関連付けの変更操作の一例を示す図である。
【００６５】
表示手段１０６は、図７（ａ）に示すように、関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組の一覧を、それぞれを模式的に示す第１のサムネイル２４０ａ及び第２のサムネイル２４０ｂにより、表示部３２の表示面３２０に表示する。図７（ａ）に示す例では、ＩＤが「Ａ０１」の読取対象２００及びＩＤが「Ｂ０１」の読取対象２００が関連付けられている。同様に、ＩＤが「Ａ０２」の読取対象２００及びＩＤが「Ｂ０２」の読取対象２００、ＩＤが「Ａ０３」の読取対象２００及びＩＤが「Ｂ０３」の読取対象２００、ＩＤが「Ａ０４」の読取対象２００及びＩＤが「Ｂ０４」の読取対象２００、がそれぞれ関連付けられている。
【００６６】
表示手段１０６は、図７（ｂ）に示すように、複数の第１のサムネイル２４０ａのうちの１つに対して、対応する第２のサムネイル２４０ｂの一覧を、算出された関連性を示す度合いに応じた順序で表示する。表示手段１０６は、例えば、関連性を示す度合いの大きい順に上から並べて表示する。図７（ｂ）に示す例では、表示手段１０６は、図６（ｃ）に示した結果に基づき、関連性を示す度合いＣの大きい順序に、図示の上側から「Ｂ０１」（Ｃ＝０．９５）、「Ｂ０６」（Ｃ＝０．９０）、「Ｂ０４」（Ｃ＝０．８８）、・・の順に表示する。
【００６７】
表示手段１０６は、第２のサムネイル２４０ｂの一覧を上下に移動して閲覧するスクロールボックス２６０を表示してもよい。
【００６８】
表示手段１０６は、操作による操作により、図７（ａ）に示す表示と、図７（ｂ）に示す表示との間で表示の切り替えを行う。この操作には、例えば、図７（ａ）に表示された第１のサムネイル２４０ａをクリックする操作等が含まれる。
【００６９】
表示手段１０６は、受付手段１００が操作者による関連付けを変更する操作（以下、単に「変更操作」ともいう。）を受け付けたとき、第１の矩形画像２００ａ及び第２の矩形画像２００ｂの関連付けを変更する。表示手段１０６は、変更後の関連付けに矛盾がないか否かを確認する。操作者の操作により関連付けに矛盾が生じたとき、例えば、第２のサムネイル２４０ｂのうちの１つが複数の第１のサムネイル２４０ａに関連付けされたときや、第２のサムネイル２４０ｂがいずれの第１のサムネイル２４０ａにも関連付けされていないとき等は、表示手段１０６は、予め定められたエラーを示すエラーメッセージ（警告）を表示する。
【００７０】
表示手段１０６は、新たに関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組を端末装置３の表示部３２に表示する。
【００７１】
なお、図示はしないが、図７（ｂ）に示した例とは逆に、表示手段１０６は、複数の第２のサムネイル２４０ｂのうちの１つに対して、対応する第１のサムネイル２４０ａの一覧を、算出された関連性を示す度合いに応じた順序で表示してもよい。
【００７２】
（実施の形態の動作）
次に、画像処理装置１の動作の一例について図８を参照して説明する。図８は、本実施の形態に係る画像処理装置１の動作の一例を示すフローチャートである。
【００７３】
（１）読取対象の読み取り
操作者は、画像形成装置２の原稿台に、第１の面２００Ａが原稿台の表面に面するように複数の読取対象２００を並べて配置する。次に、操作者は、例えば、操作表示部２１のスタートボタンの押下等のスキャンの開始を指示する操作を行う。なお、スキャンの開始の指示は、端末装置３から行ってもよい。
【００７４】
操作者がスキャンの開始を指示する操作を行うと、画像形成装置２は原稿台に並べられた複数の読取対象２００の第１の面２００Ａを読み取り、第１の読取画像２０ａを形成して画像処理装置１の受付手段１００に渡す。
【００７５】
次に、操作者は、画像形成装置２の原稿台に、第２の面２００Ｂが原稿台の表面に面するように複数の読取対象２００を並べて配置し、スキャンの開始を指示する操作を行う。このとき、複数の読取対象２００の配置は、第１の読取画像２０ａにおける読取対象２００の配置と異なるものであってもよい。画像形成装置２は、複数の読取対象２００の第２の面２００Ｂを読み取り、第２の読取画像２０ｂを形成して画像処理装置１の受付手段１００に渡す。
【００７６】
次に、受付手段１００は、第１の読取画像２０ａ及び第２の読取画像２０ｂを受け付ける（Ｓ１）。受付手段１００は、受け付けた第１の読取画像２０ａ及び第２の読取画像２０ｂを画像データ格納部１１２に格納する。
【００７７】
（２）矩形画像の取得
次に、取得手段１０１は、受付手段１００が受け付けた第１の読取画像２０ａに対してエッジ強調処理を行い第１の矩形画像２００ａを取得するとともに、第２の読取画像２０ｂに対してエッジ強調処理を行い第２の矩形画像２００ｂを取得する（Ｓ２）。
【００７８】
（３）特徴情報の抽出
次に、抽出手段１０２は、第１の矩形画像２００ａに対して画像認識処理を行い、第１の矩形画像２００ａに含まれる特徴情報を抽出するとともに、第２の矩形画像２００ｂに対して画像認識処理を行い、第２の矩形画像２００ｂに含まれる特徴情報を抽出する（Ｓ３）。
【００７９】
次に、分類手段１０３は、第１の矩形画像２００ａを大きさごとに分類するとともに、第２の矩形画像２００ｂを大きさごとに分類する（Ｓ４）。
【００８０】
（４）関連性を示す度合いの算出
次に、算出手段１０４は、同じ大きさに分類された第１の矩形画像２００ａ及び第２の矩形画像２００ｂ間で、文字情報の合致度Ｒｃを算出する（Ｓ５）。
【００８１】
次に、算出手段１０４は、同じ大きさに分類された第１の矩形画像２００ａ及び第２の矩形画像２００ｂ間で、レイアウトの合致度Ｒｌを算出する（Ｓ６）。
【００８２】
次に、算出手段１０４は、同じ大きさに分類された第１の矩形画像２００ａ及び第２の矩形画像２００ｂ間で、図形情報の合致度Ｒｇを算出する（Ｓ７）。
【００８３】
次に、算出手段１０４は、第１の矩形画像２００ａ及び第２の矩形画像２００ｂの両方に図形情報がある否かを判断する（Ｓ８）。
【００８４】
第１の矩形画像２００ａ及び第２の矩形画像２００ｂの両方に図形情報がなければ（Ｓ８：Ｎｏ）、算出手段１０４は、関連性を示す度合いを算出するのに用いる数基の係数を変更する（Ｓ９）。
【００８５】
次に、算出手段１０４は、関連性を示す度合いＣを算出する（Ｓ１０）。
【００８６】
（５）結果の出力
次に、出力手段１０５は、上述の算出された結果を表示手段１０６に出力する。表示手段１０６は、算出された結果を端末装置３の表示部３２に表示するとともに、関連性を示す度合いＣに応じて、表示態様を変えて第１の矩形画像２００ａ及び第２の矩形画像２００ｂを表示部３２に表示する（Ｓ１１）。
【００８７】
具体的には、表示手段１０６は、第１のサムネイル２４０ａの一覧を表示する。この一覧が表示された状態で、受付手段１００が、操作者による複数の第１のサムネイル２４０ａのうちの１つを押下するクリック操作を受け付ければ、表示手段１０６は、第１のサムネイル２４０ａの一覧を第２のサムネイル２４０ｂの一覧に切り替えて表示するとともに、操作者がクリック操作を行った第１のサムネイル２４０ａと、複数の第２のサムネイル２４０ｂとの関連性を示す度合いを表示する。表示手段１０６は、関連性を示す度合いに応じて第２のサムネイル２４０ｂに強調表示２４１を付してもよい。
【００８８】
一方、第２のサムネイル２４０ｂの一覧が表示された状態で、受付手段１００が、操作者による複数の第２のサムネイル２４０ｂのうちの１つを押下するクリック操作を受け付ければ、表示手段１０６は、第２のサムネイル２４０ｂの一覧を第１のサムネイル２４０ａの一覧に切り替えて表示するとともに、操作者がクリック操作を行った第２のサムネイル２４０ｂと、複数の第１のサムネイル２４０ａとの関連性を示す度合いを表示する。表示手段１０６は、関連性を示す度合いに応じて第１のサムネイル２４０ａに強調表示２４１を付してもよい。
【００８９】
操作者は、例えば、切り替え釦（不図示）を押下して、算出された結果が表示された状態から、関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組が表示された状態への切り替えを指示する操作を行う。
【００９０】
操作者がスキャンの開始を指示する操作を行うと、表示手段１０６は、図６（ａ）〜（ｄ）に示す結果の表示に変えて、図７（ａ）に示す矩形画像の組を表示面３２０に表示する。
【００９１】
操作者は、図７（ａ）に示す複数の第１のサムネイル２４０ａのうちの１つをクリック操作する。受付手段１００がこのクリック操作を受け付ければ、表示手段１０６は、図７（ｂ）に示すように、対応する第２のサムネイル２４０ｂの一覧を表示する。
【００９２】
操作者は、必要に応じて端末装置３の入力部３１に対して、関連付けの内容を変更する変更操作を行う。具体的には、操作者は、表示部３２の表示面３２０に表示されている１つの第１のサムネイル２４０ａに対応する第１の矩形画像２００ａと、新たに関連付ける第２の矩形画像２００ｂに対応する第２のサムネイル２４０ｂを、複数の第２のサムネイル２４０ｂの中から選択してクリックする。
【００９３】
次に、表示手段１０６は、受付手段１００が操作者による上述の変更操作を受け付けたか否かを判断する（Ｓ１２）。
【００９４】
受付手段１００が操作者による変更操作を受け付ければ（Ｓ１２：Ｙｅｓ）、表示手段１０６は、受け付けられた操作の内容に基づいて、第１の矩形画像２００ａ及び第２の矩形画像２００ｂの関連付けの内容を変更する（Ｓ１３）。
【００９５】
表示手段１０６は、新たに関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組を端末装置３の表示部３２に表示する（Ｓ１４）。操作者が変更操作を行った結果、関連付けの内容に矛盾が生じた場合は、表示手段１０６は、表示部３２にエラーメッセージを表示する。
【００９６】
図３（ａ）、（ｂ）に示すように、読取対象２００の第１の面２００Ａを含む第１の読取画像２０ａから取得される第１の矩形画像２００ａ、及び読取対象２０の第２の面２００Ｂを含む第２の読取画像２０ｂから取得される第２の矩形画像２００ｂについて、図７（ａ）に示すように、関連付けられた第１の矩形画像２００ａ及び第２の矩形画像２００ｂの組を出力することができる。
【００９７】
＜変形例＞
上述した強調表示２４１は、色分けや太線による方法に限らず、関連性を示す度合いの範囲に応じて異なるハッチングを施してもよい。また、関連性を示す度合いに応じて第１のサムネイル２４０ａ及び第２のサムネイル２４０ｂ（以下、両者を総称するときは「サムネイル２４０」ともいう。）の大きさを縮小、拡大してもよく、関連性を示す度合いに応じてサムネイル２４０の解像度を調整してもよい。
【００９８】
以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。
【００９９】
制御部１０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。
【０１００】
また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができ、クラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することもできる。
【符号の説明】
【０１０１】
１…画像処理装置、２…画像形成装置、３…端末装置、４…ネットワーク、
１０…制御部、１１…記憶部、１２…通信部、２０ａ…第１の読取画像、
２０ｂ…第２の読取画像、２１…操作表示部、３１…入力部、３２…表示部、
１００…受付手段、１０１…取得手段、１０２…抽出手段、１０３…分類手段、
１０４…算出手段、１０５…出力手段、１０６…表示手段、
１１１…プログラム格納部、１１２…画像データ格納部、２００…読取対象、
２００Ａ…第１の面、２００Ｂ…第２の面、２００ａ…第１の矩形画像、
２００ｂ…第２の矩形画像、２０１…会社名、２０２…所属部署名、２０３…氏名、
２０４…電話番号（直通連絡先）、２０５…電話番号（代表連絡先）、
２０６…ロゴマーク、２０７…電子メールアドレス、２１０…破線枠、
２１１…点線枠、２１２…点鎖線枠、２３０…結果テーブル、２４０…サムネイル、
２４０ａ…第１のサムネイル、２４０ｂ…第２のサムネイル、２４１…強調表示、
２５０…合致度テーブル、２６０…スクロールボックス、３２０…表示面、
Ｃ…関連性を示す度合い、Ｒｃ…文字情報の合致度、Ｒｌ…レイアウト合致度、
Ｒｇ…図形情報の合致度、α，β，γ…係数
【図１】
2018148458.tif 000003
【図２】
2018148458.tif 000004
【図３】
2018148458.tif 000005
【図４】
2018148458.tif 000006
【図５】
2018148458.tif 000007
【図６】
2018148458.tif 000008
【図７】
2018148458.tif 000009
【図８】
2018148458.tif 000010