(57)【要約】【課題】画像内の関連しない領域を関連する組としてしまうという問題を防止するようにした画像処理装置を提供する。【解決手段】画像処理装置の領域抽出手段は、１枚以上の画像から文字が記載された第１の領域と第２の領域を抽出し、文字認識手段は、前記領域抽出手段によって抽出された前記第１の領域と前記第２の領域内の文字を認識し、関連領域抽出手段は、前記文字認識手段による認識結果に基づいて、前記領域抽出手段によって抽出された前記第１の領域と関連する前記第２の領域の組を抽出する。【選択図】図１
2011028370.tif 000002
【特許請求の範囲】
【請求項１】
１枚以上の画像から文字が記載された第１の領域と第２の領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された前記第１の領域と前記第２の領域内の文字を認識する文字認識手段と、
前記文字認識手段による認識結果に基づいて、前記領域抽出手段によって抽出された前記第１の領域と関連する前記第２の領域の組を抽出する関連領域抽出手段
を具備することを特徴とする画像処理装置。
【請求項２】
前記関連領域抽出手段は、前記領域抽出手段によって抽出された領域の数が複数あり、該領域内に対して前記文字認識手段による認識結果が数値であって、該数値間で演算した結果と、他の領域内の数値が予め定められた関係にある場合は、その数値を囲む領域は関連している領域の組として抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像から文字が記載された領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
請求項１に記載の画像処理装置によって抽出された領域間の組に基づいて、該領域内の前記文字認識手段による認識結果の突き合わせを行う突合手段
を具備することを特徴とする画像処理装置。
【請求項４】
コンピュータを、
１枚以上の画像から文字が記載された第１の領域と第２の領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された前記第１の領域と前記第２の領域内の文字を認識する文字認識手段と、
前記文字認識手段による認識結果に基づいて、前記領域抽出手段によって抽出された前記第１の領域と関連する前記第２の領域の組を抽出する関連領域抽出手段
として機能させることを特徴とする画像処理プログラム。
【請求項５】
コンピュータを、
画像から文字が記載された領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
請求項４に記載の画像処理プログラムによって抽出された領域間の組に基づいて、該領域内の前記文字認識手段による認識結果の突き合わせを行う突合手段
として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、取引書類の対応付けられた預金者一覧書類に示された合計に合うような修正方法とシステムを提供することを目的とし、取引額を含む第１の表示を表示に生成するステップ、オペレータが第１の取引額と第２の表示内の対応するデータ額と比較し、不一致を識別し得るように第２の表示を表示画面に生成するステップ及び識別された不一致のオペレータ指示へ対応するステップを有し、システムは第１の表示を前記表示画面上に生成する装置及びオペレータが第１の表示の取引額と第２の表示内の対応データ額と比較し、不一致を識別し得るように、各個人取引書類と対応付けられたコード化データ額を含む前記第２の表示を前記第１の表示に非常に接近して前記表示画面上にまた生成する装置を含むことが開示されている。
【０００３】
また、特許文献２には、関連する書類、いわゆる帳票の参照が容易で、事務処理効率の高い保険契約事務システムを提供することを課題とし、保険契約の関係書類である記入帳票とこの記入帳票に関連する他の帳票との間にリンクを張るリンク情報と、記入帳票の特定の項目とこの特定の項目に関連する他の帳票若しくは他の帳票の特定の項目との間にリンクを張る詳細リンク情報とを情報格納部に格納し、ホストマシンは、処理部からの指示により、情報格納部に格納されたリンク情報に基づいて、表示部の表示画面上に、記入帳票とこの記入帳票に関連する他の帳票を表示し、また、詳細リンク情報に基づいて、表示部の表示画面上の特定部分に、記入帳票の特定の項目とこの特定の項目に関連する他の帳票若しくは他の帳票の特定の項目を表示するようにしていることが開示されている。
【０００４】
また、特許文献３には、複数種類の証券類を画像認識することにより処理することを目的とし、証券の処理方法及び処理装置において、各証券のデジタル画像が形成されメモリに記憶され、記憶画像から水平線若しくは記入枠などの図形的特徴とが抽出されることにより、特徴モデルが形成され、この特徴モデルは、証券種類を識別するために特徴識別ファイルに記憶されている特徴モデルと比較され、この識別情報は、証券定義ファイルから、読み取られる証券の各欄を識別するため適正な証券内容を選択する際に用いられ、また、画像処理ユーティリティのライブラリからは、各欄から読み取られた情報を認識するデータ認識ユーティリティなどの適切な処理ユーティリティを選択する際に用いられ、預金を行う小切手や支払い手形などの証券を処理するためのセルフサービス式証券処理端末に適用できることが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０５−０７３５９８号公報
【特許文献２】特開平０９−３０５６５５号公報
【特許文献３】特開平０７−１１０８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、画像内の関連しない領域を関連する組としてしまうという問題を防止するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、１枚以上の画像から文字が記載された第１の領域と第２の領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された前記第１の領域と前記第２の領域内の文字を認識する文字認識手段と、前記文字認識手段による認識結果に基づいて、前記領域抽出手段によって抽出された前記第１の領域と関連する前記第２の領域の組を抽出する関連領域抽出手段を具備することを特徴とする画像処理装置である。
【０００８】
請求項２の発明は、前記関連領域抽出手段は、前記領域抽出手段によって抽出された領域の数が複数あり、該領域内に対して前記文字認識手段による認識結果が数値であって、該数値間で演算した結果と、他の領域内の数値が予め定められた関係にある場合は、その数値を囲む領域は関連している領域の組として抽出することを特徴とする請求項１に記載の画像処理装置である。
【０００９】
請求項３の発明は、画像から文字が記載された領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、請求項１に記載の画像処理装置によって抽出された領域間の組に基づいて、該領域内の前記文字認識手段による認識結果の突き合わせを行う突合手段を具備することを特徴とする画像処理装置である。
【００１０】
請求項４の発明は、コンピュータを、１枚以上の画像から文字が記載された第１の領域と第２の領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された前記第１の領域と前記第２の領域内の文字を認識する文字認識手段と、前記文字認識手段による認識結果に基づいて、前記領域抽出手段によって抽出された前記第１の領域と関連する前記第２の領域の組を抽出する関連領域抽出手段として機能させることを特徴とする画像処理プログラムである。
【００１１】
請求項５の発明は、コンピュータを、画像から文字が記載された領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、請求項４に記載の画像処理プログラムによって抽出された領域間の組に基づいて、該領域内の前記文字認識手段による認識結果の突き合わせを行う突合手段として機能させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１２】
請求項１の画像処理装置によれば、画像内の関連しない領域を関連する組としてしまうことを防ぐことができる。
【００１３】
請求項２の画像処理装置によれば、文字認識結果が一致しない場合であっても、数値の演算結果で関連する領域の組を抽出することができる。
【００１４】
請求項３の画像処理装置によれば、関連する領域の組を用いて、領域内の文字の突き合わせ処理ができる。
【００１５】
請求項４の画像処理プログラムによれば、画像内の関連しない領域を関連する組としてしまうことを防ぐことができる。
【００１６】
請求項５の画像処理プログラムによれば、関連する領域の組を用いて、領域内の文字の突き合わせ処理ができる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態による突合ルールの生成処理例を示すフローチャートである。
【図３】複数の画像内のフィールド、そのフィールド間の関係の例を示す説明図である。
【図４】フィールド一致度テーブルのデータ構造例を示す説明図である。
【図５】突合候補領域テーブルのデータ構造例を示す説明図である。
【図６】本実施の形態により表示される突合候補表示画面の例を示す説明図である。
【図７】本実施の形態による突合ルールを用いた突合処理例を示すフローチャートである。
【図８】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
【００１９】
本実施の形態である画像処理装置は、画像間の突合処理を行うための突合ルールを生成し、その突合ルールに基づいて突合処理を行うものであって、図１に示すように、帳票入力モジュール１１０、レイアウト解析モジュール１１５、帳票データベース１２０、帳票分類モジュール１２５、フィールド抽出モジュール１３０、文字認識モジュール１３５、フィールド比較モジュール１４０、フィールド一致度保持モジュール１４５、突合候補生成モジュール１５０、突合結果表示モジュール１５５を有している。
【００２０】
ここで、本実施の形態が適用される場面の一例について説明する。
一連の商取引では発注書、納品書、請求書等の多数の帳票類が発生するが、財務会計の適正さを保証するためには、これらの一連の帳票間で矛盾点がないことを確認する必要がある。この確認の処理を突合処理という。具体的には、その帳票内にあるフィールド内の文字（主に数値であるが、漢字等の文字も含む）と他のフィールド（同じ帳票だけでなく、他の帳票にあるフィールドであってもよい）内の文字とが予め定められた関係にあるか否かの判断を行うものであり、予め定められた関係にある場合は適合した帳票であると判断し、予め定められた関係にない場合は適合とは認められない帳票であると判断するものである。また、その判断を行うための予備的な準備等の処理（突合すべきフィールドを並べて表示する等）を突合処理に含めてもよい。予め定められた関係としては、例えば、比較する文字列が同じであること、異なる部分はあるが、その異なる部分は略記等であること（例えば、「Ａ株式会社」と「Ａ（株）」とは実質同じであり、適合している）、複数のフィールド内の数値の合計値と合計フィールド内の数値が同じであること等がある。
以下、突合を行う対象の文書として、帳票を主に例示して説明する。
【００２１】
帳票入力モジュール１１０は、レイアウト解析モジュール１１５と接続されている。帳票入力モジュール１１０は、具体的には、例えば、スキャナ等のデバイスであり、帳票を読み取り、電子化し、画像ファイルとして保存する。帳票は１枚であってもよいし、複数枚であってもよい。
レイアウト解析モジュール１１５は、帳票入力モジュール１１０、帳票分類モジュール１２５、フィールド抽出モジュール１３０と接続されている。レイアウト解析モジュール１１５は、帳票入力モジュール１１０より受け取った画像ファイルから罫線や文字領域を抽出し、それらの配置を抽出する。罫線はフィールドを構成する線分となり得るものであり、直線、点線等であってもよい。この解析結果を帳票分類モジュール１２５、フィールド抽出モジュール１３０へ渡す。例えば、画像ファイル内から画素塊を取り出し、その画素塊の特徴又は画素塊間の関係を抽出し、それらから罫線であるか文字領域であるか等の判断を行う。解析結果としては、例えば、その領域の種別（罫線、文字領域等）、その位置（画像ファイル内における左上座標、右下座標）を対応させたテーブルで記憶する。
【００２２】
帳票分類モジュール１２５は、レイアウト解析モジュール１１５、帳票データベース１２０、フィールド比較モジュール１４０、突合候補生成モジュール１５０、突合結果表示モジュール１５５と接続されている。レイアウト解析モジュール１１５によって抽出された罫線や文字領域の配置に基づいて、帳票を帳票データベース１２０内のデータと比較して分類する。つまり、対象としている帳票が発注書、納品書、請求書等のいずれであるかを判断するものである。帳票データベース１２０には、帳票の分類毎の特徴が記憶されているので、これとレイアウト解析モジュール１１５による解析結果とを照らし合わせて、対象の帳票を分類する。
また、帳票データベース１２０中に類似した帳票がない場合は、新規な帳票として帳票データベース１２０に登録する。新規な帳票の分類名称は、利用者の操作等によって定められる。
帳票データベース１２０は、帳票分類モジュール１２５からアクセスされ、帳票の分類毎の特徴を記憶している。例えば、予め定められた値以上の大きさの文字領域が予め定められた位置にあり、罫線が予め定められた位置にある等の特徴によって帳票が分類されている。
【００２３】
フィールド抽出モジュール１３０は、レイアウト解析モジュール１１５、文字認識モジュール１３５、突合候補生成モジュール１５０と接続されている。フィールド抽出モジュール１３０は、レイアウト解析モジュール１１５による解析結果に基づいて、帳票中で文字（データ）が記入されたフィールドを抽出する。フィールド抽出は、例えば、罫線で囲まれた領域（枠内の領域）や、連続した文字領域を検出することで行われる。なお、このフィールド抽出アルゴリズムは、後述の突合候補生成モジュール１５０から与えられる情報によって制御される。そして、フィールドの抽出結果を文字認識モジュール１３５へ渡す。もちろん、画像ファイルが複数ある場合は、それぞれの画像ファイルからフィールドを抽出する。
【００２４】
図３は、複数の画像内のフィールド、そのフィールド間の関係の例を示す説明図である。発注書３１０は、タイトルフィールド３１２、社名フィールド３１４、発注フィールド３２０、合計フィールド３３０を有している。発注フィールド３２０は、品名欄３２２、数量欄３２４、価格欄３２６を有している。請求書３５０は、タイトルフィールド３５２、請求額フィールド３５４、金額フィールド３５６、内訳フィールド３５８、社名フィールド３６０を有している。フィールド抽出モジュール１３０は、これらのフィールドを抽出する。
【００２５】
文字認識モジュール１３５は、フィールド抽出モジュール１３０、フィールド比較モジュール１４０、突合候補生成モジュール１５０、突合結果表示モジュール１５５と接続されている。文字認識モジュール１３５は、フィールド抽出モジュール１３０によって抽出されたフィールド内の文字を認識する。文字認識の技術は既存の技術を用いればよい。なお、この文字認識アルゴリズムは、後述の突合候補生成モジュール１５０から与えられる情報によって制御される。そして、文字認識の結果をフィールド抽出モジュール１３０によるフィールドの抽出結果とともに、フィールド比較モジュール１４０、突合結果表示モジュール１５５へ渡す。もちろん、画像ファイルが複数ある場合は、それぞれの画像ファイルから文字を認識する。
【００２６】
フィールド比較モジュール１４０は、帳票分類モジュール１２５、文字認識モジュール１３５、フィールド一致度保持モジュール１４５と接続されている。フィールド比較モジュール１４０は、文字認識モジュール１３５による認識結果に基づいて、フィールド抽出モジュール１３０によって抽出されたフィールド間の関連する組を抽出する。例えば、複数の帳票内のフィールドにおける文字列を比較し、一致しているかどうかを判定し、一致しているフィールドの組を抽出する。また、同じ帳票内のフィールド同士における文字列を対象としてもよい。
【００２７】
一致の条件としては、文字列が一致している、数値が一致している等がある。より具体的には、発注書における合計金額欄内の金額とその発注書に対応する請求書における請求額欄内の金額とが一致していれば、発注書の合計金額欄と請求書の請求金額欄とを関連する組とする。
また、一致の条件として、フィールドの数が複数あり、そのフィールド内に対する文字認識モジュール１３５による認識結果が数値であって、その数値間で演算した結果と、他の領域内の数値が予め定められた関係にある場合は、その数値を囲むフィールドは関連しているフィールドの組とするとしてもよい。具体的には、例えば、隣接したフィールドの数値の和と予め定められたフィールドの数値が一致している等である。より詳細には、複数のフィールドでテーブルを構成している場合（つまり、複数のフィールドが縦又は横方向に連続して結合されている場合）は、その複数のフィールドの文字認識結果（数値）を演算（和、差等）した結果と他のフィールドの文字認識結果（数値）が一致していることである。
【００２８】
また、帳票分類モジュール１２５による分類結果に基づいて、全てのフィールドの比較ではなく、限定したフィールドの比較を行ってもよい。前述の例で、対象としている帳票が発注書と請求書であることを帳票分類モジュール１２５から受け取り、発注書の合計金額欄と請求書の請求金額欄とを比較するようにしてもよい。
また、フィールドの比較結果を一致度を示す数値（例えば、一致の度合を示す０（不一致）から１（一致）までの数値）で表してもよい。
そして、判定結果をフィールド一致度保持モジュール１４５に記憶させる。
【００２９】
例えば、図３の例では、発注書３１０内の社名フィールド３１４と請求書３５０内の社名フィールド３６０、発注書３１０内の合計フィールド３３０と請求書３５０内の金額フィールド３５６は、そのフィールド内の文字列が一致するので、突合すべき組とする。また、発注フィールド３２０内の価格欄３２６の合計値は、合計フィールド３３０内の数値と一致するので、突合すべき組とする。
【００３０】
フィールド一致度保持モジュール１４５は、フィールド比較モジュール１４０、突合候補生成モジュール１５０からアクセスされる。フィールド比較モジュール１４０による比較結果を記憶し、その比較結果を突合候補生成モジュール１５０に提供する。例えば、比較結果をフィールド一致度テーブル４００として記憶する。図４は、フィールド一致度テーブル４００のデータ構造例を示す説明図である。図４に示す例は、帳票Ａと帳票Ｂ内には、それぞれフィールドとして「ｆｉｅｌｄ１」、「ｆｉｅｌｄ２」、「ｆｉｅｌｄ３」があり、その組み合わせにおける一致度を記憶している。例えば、帳票Ａの「ｆｉｅｌｄ１」と帳票Ａの「ｆｉｅｌｄ３」の組み合わせにおける一致度は０．９０であること、帳票Ａの「ｆｉｅｌｄ２」と帳票Ｂの「ｆｉｅｌｄ１」の組み合わせにおける一致度は０．９５であることを示している。なお、一致度は、（互いに一致している文字数）／（一方の文字数）等によって算出する。また、文字認識モジュール１３５の文字認識における信頼度（その認識結果が妥当である確率）を重みとして用いてもよい。
【００３１】
突合候補生成モジュール１５０は、帳票分類モジュール１２５、フィールド抽出モジュール１３０、文字認識モジュール１３５、フィールド一致度保持モジュール１４５、突合結果表示モジュール１５５と接続されている。突合候補生成モジュール１５０は、フィールド一致度保持モジュール１４５が記憶している一致度が予め定められた値以上の組を選択し、突合すべきフィールドの組の候補を生成する。つまり、突合のルールを生成するものである。突合のルールとして、突合候補領域テーブル５００を生成する。
【００３２】
図５は、突合候補領域テーブル５００のデータ構造例を示す説明図である。突合候補領域テーブル５００は、Ｆｉｅｌｄ  ＩＤ欄５１０、帳票欄５２０、座標欄５３０、罫線情報欄５４０、テキスト情報欄５５０、突合対象欄５６０を有している。
Ｆｉｅｌｄ  ＩＤ欄５１０は、フィールドを一意に識別するフィールドＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶する。なお、図４の例に示した「ｆｉｅｌｄ１」、「ｆｉｅｌｄ２」とは異なる。
帳票欄５２０は、帳票の種類（帳票分類モジュール１２５による分類結果）を記憶する。
座標欄５３０は、そのフィールドが位置する座標（左上座標と右下座標）を記憶する。
【００３３】
罫線情報欄５４０は、罫線に関する情報（フィールド抽出モジュール１３０による抽出結果）を記憶しており、太さ欄５４２、種類欄５４４を有している。太さ欄５４２は、その罫線の太さを記憶しており種類欄５４４は、その罫線の種類（実線、点線等）を記憶している。なお、罫線で囲まれていないフィールド（文字列だけからなるフィールド）については、太さ情報として「−（ヌル）」、罫線の種類として「なし」とする。
テキスト情報欄５５０は、テキストに関する情報（文字認識モジュール１３５による文字認識結果）を記憶しており、品詞欄５５２、文字長欄５５４を有している。品詞欄５５２は、認識結果の品詞を記憶しており、文字長欄５５４は、文字列の長さを記憶している。ここで、文字列の長さに範囲があるのは、同じ帳票の種類に対して複数の帳票からフィールドを抽出した場合に、文字列の長さにバラツキがあるためである。
突合対象欄５６０は、そのフィールドと突合すべきフィールドのフィールドＩＤを記憶する。図５に示す例では、フィールドＩＤ「Ｆｉｅｌｄ１」は「Ｆｉｅｌｄ３（帳票Ｂ）」と突合すべきことを示している。
【００３４】
また、フィールドの抽出効率（精度を含めてもよい）を高めるために、突合候補生成モジュール１５０は、その帳票分類に対応した罫線情報欄５４０の内容をフィールド抽出モジュール１３０へ渡し、フィールド抽出モジュール１３０は罫線情報欄５４０の内容に基づいて、フィールドを抽出してもよい。
また、文字認識効率（性能を含めてもよい）を高めるために、突合候補生成モジュール１５０は、その帳票分類に対応したテキスト情報欄５５０の内容を文字認識モジュール１３５へ渡し、文字認識モジュール１３５はテキスト情報欄５５０の内容に基づいて、文字認識を行ってもよい。
【００３５】
突合結果表示モジュール１５５は、帳票分類モジュール１２５、文字認識モジュール１３５、突合候補生成モジュール１５０と接続されている。突合結果表示モジュール１５５は、突合候補生成モジュール１５０によって抽出されたフィールド間の組に基づいて、そのフィールド内の文字認識モジュール１３５による認識結果の突き合わせを行う。具体的には、例えば、突合候補のフィールド（突合候補領域テーブル５００のＦｉｅｌｄ  ＩＤ欄５１０と突合対象欄５６０）を比較し、比較結果をディスプレイ等に表示する。利用者の操作に応じて、この比較結果を選択し、突合候補のフィールドを互いに接近して表示させる。
【００３６】
図６は、突合結果表示モジュール１５５により表示される突合候補表示画面６００の例を示す説明図である。
突合候補表示画面６００に、発注書６１０、請求書６５０、突合候補表示領域６８０を表示する。発注書６１０は図３に例示した発注書３１０に対応し、請求書６５０は図３に例示した請求書３５０に対応する。突合候補表示領域６８０は、突合候補欄６８２、採用欄６８４を有しており、発注書６１０と請求書６５０とのフィールド間、発注書６１０内のフィールド間、請求書６５０内のフィールド間で突合すべき組を突合候補のルールとして表示している。ここでは、３つのルールがあり、これらは、図３に例示した発注書３１０（６１０）内の社名フィールド３１４（６１４）と請求書３５０（６５０）内の社名フィールド３６０（６６０）、発注書３１０（６１０）内の合計フィールド３３０（６３０）と請求書３５０（６５０）内の金額フィールド３５６（６５６）、発注フィールド３２０（６２０）内の価格欄３２６（６２６）の合計値と合計フィールド３３０（６３０）に対応している。ここで、突合候補表示領域６８０内のルール２が利用者によって選択されると、発注書６１０の合計フィールド６３０と請求書６５０の金額フィールド６５６とを接近して表示する。
【００３７】
本実施の形態は、２つの利用形態がある。まず１つ目は、突合ルールの生成処理（いわゆる学習処理）、２つ目はその突合ルールを用いた突合処理である。以下、この２つの処理について説明する。
【００３８】
図２は、本実施の形態による突合ルールの生成処理例を示すフローチャートである。
ステップＳ２０２では、帳票入力モジュール１１０が、帳票を受け付ける。ここで受け付ける帳票は、ひとつの取引に関する発注書、納品書、請求書といった一連の帳票である。つまり、突合すべき帳票の組み合わせであり、サンプル的なものであってもよいし、実際に用いられているものであってもよい。
ステップＳ２０４では、レイアウト解析モジュール１１５が、その帳票のレイアウトを解析する。
ステップＳ２０６では、帳票分類モジュール１２５が、解析結果を用いて、帳票データベース１２０内の該当する帳票に分類する。
【００３９】
ステップＳ２０８では、帳票分類モジュール１２５が、新規帳票か否かを判断する。新規帳票の場合（対象の帳票が過去の帳票のいずれにも類似しない場合）はステップＳ２１０へ進み、それ以外の場合はステップＳ２１２へ進む。
ステップＳ２１０では、帳票分類モジュール１２５が、帳票データベース１２０に対象の帳票を新規帳票として登録する。
ステップＳ２１２では、フィールド抽出モジュール１３０が、対象の帳票からフィールドを抽出する。
ステップＳ２１４では、文字認識モジュール１３５が、そのフィールド内の文字を認識する。
【００４０】
ステップＳ２１６では、帳票入力モジュール１１０が、一連の帳票処理が終了したか否かを判断する。終了した場合はステップＳ２１８へ進み、それ以外の場合はステップＳ２０２へ戻る。つまり、ステップＳ２０２からステップＳ２１４までの処理が一連の帳票に対して行われ、各フィールドからは、文字列、フィールドの位置、罫線情報、テキスト情報が抽出される。
ステップＳ２１８では、フィールド比較モジュール１４０が、フィールドを比較する。つまり、フィールドの文字列を互いに比較し、比較結果（具体例としてフィールド一致度テーブル４００）を突合候補生成モジュール１５０に蓄積する。
【００４１】
ステップＳ２２０では、フィールド比較モジュール１４０が、フィールドの一致度を更新する。複数組の一連の帳票を受け付けた場合は、前回まで一連の帳票に対する処理結果（フィールドの一致度）を更新する。更新としては、前回と今回の一致度の平均を算出する、文字認識モジュール１３５の信頼度が高い方に書き換える等を行う。
ステップＳ２２２では、突合候補生成モジュール１５０が、突合ルール生成処理が終了したか否かを判断する。終了した場合は処理を終了し（ステップＳ２９９）、それ以外の場合はステップＳ２０２へ戻る。終了したときに、突合候補領域テーブル５００が完成している。
なお、この突合ルールの生成処理は、バッチ処理として行うようにしてもよいし、新規帳票が受け付けられる度にオンライン処理され、突合ルールを随時更新するようにしてもよい。
【００４２】
図７は、本実施の形態による突合ルールを用いた突合処理例を示すフローチャートである。
ステップＳ７０２では、帳票入力モジュール１１０が、帳票を受け付ける。ここで受け付ける帳票は、ひとつの取引に関するものであり、実際に用いられている発注書、納品書、請求書といった一連の帳票である。
ステップＳ７０４では、レイアウト解析モジュール１１５が、その帳票のレイアウトを解析する。
ステップＳ７０６では、帳票分類モジュール１２５が、解析結果を用いて、帳票データベース１２０内の該当する帳票に分類する。
【００４３】
ステップＳ７０８では、突合候補生成モジュール１５０が、帳票の分類結果に基づいて、突合候補領域を取得する。具体的には、突合候補領域テーブル５００内の帳票の分類結果に該当する帳票欄５２０のフィールド（Ｆｉｅｌｄ  ＩＤ欄５１０）とそのフィールドの突合対象のフィールド（突合対象欄５６０）を取り出す。
ステップＳ７１０では、フィールド抽出モジュール１３０が、突合候補領域のフィールドを抽出する。具体的には、そのフィールドの座標欄５３０に基づいて、フィールドを抽出する。この処理に、その帳票分類に対応した突合候補領域テーブル５００の罫線情報欄５４０の内容を用いてもよい。つまり、フィールド抽出効率を高めるために、フィールド抽出方法を適応的に変化させる。例えば、フィールド抽出のために罫線抽出を行うが、罫線と判定するための閾値を罫線の太さ情報や罫線の種類の情報に基づき変化させるようにしてもよい。
ステップＳ７１２では、文字認識モジュール１３５が、フィールド中の画像を対象に文字を認識する。この処理に、その帳票分類に対応した突合候補領域テーブル５００のテキスト情報欄５５０の内容を用いてもよい。つまり、文字認識効率を高めるために、文字認識方法を適応的に変化させる。例えば、文字認識結果の複数候補からテキスト情報中の品詞情報（品詞欄５５２）と一致する候補や文字の長さ情報（文字長欄５５４）と一致する候補を選ぶようにしてもよい。
【００４４】
ステップＳ７１４では、帳票入力モジュール１１０が、一連の帳票処理が終了したか否かを判断する。終了した場合はステップＳ７１６へ進み、それ以外の場合はステップＳ７０２へ戻る。つまり、ステップＳ７０２からステップＳ７１２までの処理が一連の帳票に対して行われ、突合すべき各フィールドからは、文字列、フィールドの位置が抽出される。
ステップＳ７１６では、突合結果表示モジュール１５５が、突合候補を比較する。
ステップＳ７１８では、突合結果表示モジュール１５５が、突合候補を表示する。つまり、フィールドの位置を用いて、図６に例示したような表示を行ってもよいし、文字列を用いて比較した結果、一致しない場合は警告を表示等を行うようにしてもよい。
【００４５】
図８を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図８に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部８１７と、プリンタなどのデータ出力部８１８を備えたハードウェア構成例を示している。
【００４６】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８０１は、前述の実施の形態において説明した各種のモジュール、すなわち、レイアウト解析モジュール１１５、帳票分類モジュール１２５、フィールド抽出モジュール１３０、文字認識モジュール１３５、フィールド比較モジュール１４０、突合候補生成モジュール１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００４７】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス８０４により相互に接続されている。
【００４８】
ホストバス８０４は、ブリッジ８０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス８０６に接続されている。
【００４９】
キーボード８０８、マウス等のポインティングデバイス８０９は、操作者により操作される入力デバイスである。ディスプレイ８１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。
【００５０】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）８１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ８０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた画像、文字認識結果、突合ルールなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００５１】
ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体８１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース８０７、外部バス８０６、ブリッジ８０５、及びホストバス８０４を介して接続されているＲＡＭ８０３に供給する。リムーバブル記録媒体８１３も、ハードディスクと同様のデータ記録領域として利用可能である。
【００５２】
接続ポート８１４は、外部接続機器８１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート８１４は、インタフェース８０７、及び外部バス８０６、ブリッジ８０５、ホストバス８０４等を介してＣＰＵ８０１等に接続されている。通信部８１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部８１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部８１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００５３】
なお、図８に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図８に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００５４】
前述の実施の形態においては、突合を行う対象の文書として、帳票を例示したが、帳票以外の文書であってもよい。
図６では、突合候補のフィールドを互いに接近して表示しているが、突合候補を他のフィールドとは異なる形態で表示するようにしてもよい。例えば、両者を赤色で表示、点滅表示等することである。また、利用者の操作によって一方のフィールドが選択されると、対応する他方のフィールドを異なる形態で表示するようにしてもよい。
【００５５】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【００５６】
１１０…帳票入力モジュール
１１５…レイアウト解析モジュール
１２０…帳票データベース
１２５…帳票分類モジュール
１３０…フィールド抽出モジュール
１３５…文字認識モジュール
１４０…フィールド比較モジュール
１４５…フィールド一致度保持モジュール
１５０…突合候補生成モジュール
１５５…突合結果表示モジュール
【図１】
2011028370.tif 000003
【図２】
2011028370.tif 000004
【図３】
2011028370.tif 000005
【図４】
2011028370.tif 000006
【図５】
2011028370.tif 000007
【図６】
2011028370.tif 000008
【図７】
2011028370.tif 000009
【図８】
2011028370.tif 000010