(57)【要約】      （修正有）【課題】新たな処理対象画像から抽出対象を自動で抽出する文書画像処理装置、情報処理方法及びプログラムを提供する。【解決手段】方法は、文書画像における抽出対象領域を指定する。抽出対象領域の近傍から抽出用語を含む文字領域を抽出し、項目名候補領域とする。抽出対象領域と項目名候補領域とに基づき、抽出ルールを生成する。項目名候補領域が一つの場合、生成手段は、前記項目名候補領域を項目名領域として、前記抽出対象領域と、前記項目名領域との位置関係に基づき、抽出ルールを生成する。項目名候補領域が複数あり、複数の項目名候補領域から一つの項目名領域が特定できた場合、生成手段は、前記抽出対象領域と、特定できた項目名領域との位置関係に基づき、抽出ルールを生成する。【選択図】図１０
2020205012.tif 000002
【特許請求の範囲】
【請求項１】
文書画像における抽出対象領域を指定する指定手段と、
前記抽出対象領域の近傍から抽出用語を含む文字領域を抽出し、項目名候補領域とする抽出手段と、
前記抽出対象領域と前記項目名候補領域とに基づき、抽出ルールを生成する生成手段と、
を有することを特徴とする文書画像処理装置。
【請求項２】
前記項目名候補領域が一つの場合、前記生成手段は、前記項目名候補領域を項目名領域として、前記抽出対象領域と、前記項目名領域との位置関係に基づき、前記抽出ルールを生成することを特徴とする請求項１に記載の文書画像処理装置。
【請求項３】
前記項目名候補領域が複数あり、複数の項目名候補領域から一つの項目名領域が特定できた場合、前記生成手段は、前記抽出対象領域と、特定できた項目名領域との位置関係に基づき、前記抽出ルールを生成することを特徴とする請求項１に記載の文書画像処理装置。
【請求項４】
前記項目名候補領域が複数あり、複数の項目名候補領域から一つの項目名領域が特定できなかった場合、前記生成手段は、前記抽出対象領域の文字特性に基づき、前記抽出ルールを生成することを特徴とする請求項１又は３に記載の文書画像処理装置。
【請求項５】
前記抽出対象領域と最も距離が近い項目名候補領域がある場合、前記生成手段は、前記項目名候補領域を項目名領域として特定することを特徴とする請求項３に記載の文書画像処理装置。
【請求項６】
前記抽出対象領域と最も距離が近い項目名候補領域がなく、複数の項目名候補領域のうち、前記抽出対象領域と対応がとれる項目名候補領域がある場合、前記生成手段は、前記項目名候補領域を項目名領域として特定することを特徴とする請求項３に記載の文書画像処理装置。
【請求項７】
前記抽出ルールを前記文書画像に適用し、抽出された領域が前記抽出対象領域であることを確認する確認手段を更に有することを特徴とする請求項１乃至６の何れか１項に記載の文書画像処理装置。
【請求項８】
前記抽出ルールを前記文書画像に適用し、抽出された領域が前記抽出対象領域でなかった場合、前記抽出ルールを修正する修正手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の文書画像処理装置。
【請求項９】
前記修正手段は、前記抽出ルールに、新たな項目名と、前記項目名の項目名領域と前記抽出対象領域の位置関係の制約条件を追加することで前記抽出ルールを修正する請求項８に記載の文書画像処理装置。
【請求項１０】
前記修正手段は、前記抽出ルールの項目名を抽象化することで前記抽出ルールを修正する請求項８に記載の文書画像処理装置。
【請求項１１】
文書画像処理装置が実行する情報処理方法であって、
文書画像における抽出対象領域を指定する指定工程と、
前記抽出対象領域の近傍から抽出用語を含む文字領域を抽出し、項目名候補領域とする抽出工程と、
前記抽出対象領域と前記項目名候補領域とに基づき、抽出ルールを生成する生成工程と、
を含むことを特徴とする情報処理方法。
【請求項１２】
コンピュータに、
文書画像における抽出対象領域を指定する指定ステップと、
前記抽出対象領域の近傍から抽出用語を含む文字領域を抽出し、項目名候補領域とする抽出ステップと、
前記抽出対象領域と前記項目名候補領域とに基づき、抽出ルールを生成する生成ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
見積書や請求書といった紙帳票の電子化管理において、管理に必要な情報を抽出し、登録する必要がある。
従来、帳票のフォーマットが予め分かる場合は、抽出したい項目の領域座標データを用いて自動的に抽出する手法が用いられる。しかし、帳票の種類、又は発行先によってフォーマットが異なる場合があるので、このやり方では、帳票のフォーマットがすべて事前に入手できる場合にしか対応できない。そのため、抽出したい項目の領域座標に依存しない抽出対象の自動抽出技術が提案されている。
特許文献１では、帳票から抽出対象を自動的に抽出するために、抽出対象に含まれる文字列の論理構造規則、即ち、文字列候補、そして、文字列候補間の位置関係、を事前に定義し、この論理構造を満たすものとして抽出する方法が開示されている。
特許文献２では、抽出対象が含まれる領域を指定し、指定された領域にある文字列の制約条件を学習により設定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７５０８０２号公報
【特許文献２】特願２０１５−１２１２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１で記載された情報抽出方法では、抽出対象のフォーマットに違いがあっても、論理構造規則を満たす情報の自動抽出が可能になる。しかし、抽出規則は、抽出対象の論理構造等を事前に想定して作ったもので、想定の範囲外の論理構造のものが入る場合は、事前に定義された抽出規則の適用による抽出がうまくできない場合がある。
また、特許文献２で記載された指定領域に含まれた文字列の制約条件を設定する方法では、文字列の制約条件を満たす対象領域の抽出は可能になる。しかし、抽出対象となる文字列を含む文字領域の事前指定が必要になるので、文字領域は予め分からない場合は、文字列の制約条件の設定ができない。
【課題を解決するための手段】
【０００５】
本発明の文書画像処理装置は、文書画像における抽出対象領域を指定する指定手段と、前記抽出対象領域の近傍から抽出用語を含む文字領域を抽出し、項目名候補領域とする抽出手段と、前記抽出対象領域と前記項目名候補領域とに基づき、抽出ルールを生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、新たな処理対象画像から抽出対象を自動で抽出することができる。
【図面の簡単な説明】
【０００７】
【図１】文書画像処理システムのシステム構成を示す図である。
【図２】文書画像処理装置の機能構成を示す図である。
【図３】情報を抽出する処理を示す図である。
【図４】文書画像処理装置による情報処理を示すフローチャートである。
【図５】抽出ルールの生成処理を示すフローチャートである。
【図６】項目名の特定処理を示すフローチャートである。
【図７】抽出ルールの生成処理を示すフローチャートである。
【図８】抽出対象領域指定による抽出ルールの生成処理を示す図である。
【図９】文書画像処理装置の機能構成を示す図である。
【図１０】文書画像処理装置による情報処理を示すフローチャートである。
【図１１】抽出ルールの確認、抽出ルールの修正処理を示すフローチャートである。
【図１２】抽出ルールの確認処理、抽出ルールの修正処理を示す図である。
【図１３】文書画像処理装置による情報処理を示すフローチャートである。
【図１４】項目名の抽象化処理を示すフローチャートである。
【図１５】項目名の抽象化処理の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜第１の実施形態＞
第１の実施形態について説明する。
図１は、文書画像処理システムのシステム構成の一例を示す図である。
図１に示すように、文書画像処理システムは、文書画像処理装置１、格納装置２を含む。文書画像処理装置１は複数あってもよい。文書画像処理装置１と格納装置２とは、有線又は無線のネットワーク３で接続されている。抽出対象領域におけるユーザ指定情報、又は文書画像から取得された文字情報、項目名領域候補、生成された抽出ルールは、格納装置２に格納されてもよいし、文書画像処理装置１のデータ記憶領域１０７に格納されてもよい。
【００１０】
文書画像処理装置１について詳細に述べる。デバイス１０１は、スキャナ、カメラ、キーボード、マウス等であり、スキャン画像、又はカメラ撮影画像の取得及び外部操作のために用いられる。文書画像処理装置１にはＣＰＵ１０２とＲＡＭ１０３が存在し、プログラム記憶領域１０６からＲＡＭ１０３に読み込んだプログラムをＣＰＵ１０２が解釈し、実行することによって装置内の各種制御、計算及び表示が可能である。通信ＩＦ１０４は、ネットワーク３に繋がり、格納装置２との間の通信を制御する通信インタフェースである。表示部１０５は、装置の状態、画像情報及び抽出結果を表示するＬＥＤ又は液晶パネル等である。さらに、文書画像処理装置１にはプログラム記憶領域１０６とデータ記憶領域１０７とが存在する。より具体的にはハードディスク、又はフラッシュメモリを用いてこれらの記憶領域は実現可能であるが、特定の記憶媒体に依存しない。文書画像処理装置１では、データ記憶領域１０７にユーザ指定情報及び抽出ルールが記憶される。なお、ユーザ指定情報及び抽出ルールは格納装置２におかれていてもよい。
抽出情報が格納装置２に記憶される場合を想定し、格納装置２について詳細に述べる。格納装置２の中に、各抽出情報が管理しやすい形、例えば、抽出対象毎のユーザ指定情報、また、抽出用のルールがセットで管理される。
【００１１】
ネットワーク３は、組織内で運用されるイントラネットである場合もあり、インターネットである場合もある。また、ネットワーク３は、無線でも有線でもよい。
後述する図２に示す機能構成はプログラムとして、図１に示すそれぞれ装置のメモリ又は記憶装置に記憶され、それぞれの装置のＣＰＵによって実行される。そして、必要に応じて、ネットワークＩ／Ｆ、ＵＳＢインタフェース、及び各種コントローラを制御することで機能する。また、これらのプログラムは、ネットワークインターフェースを経由した通信コマンド、周辺コントローラを経由したマウス、キーボード及びリモコンの操作によって、ユーザ操作を検出し動作する。
【００１２】
図２は、第１の実施形態の文書画像処理装置１の機能構成の一例を示す図である。
図２に示すように、文書画像処理装置１は、機能構成として、抽出対象領域指定部１１０と、文字情報取得部１２０と、抽出ルール生成部１３０とを含む。
抽出対象領域指定部１１０は、デバイス１０１を介したユーザの指定操作に基づき、抽出したいデータを含む抽出対象領域を指定する処理を行う。抽出したいデータは、以下、項目値とも呼ぶ。抽出対象領域は、以下、指定領域、項目値領域とも呼ぶ。
文字情報取得部１２０は、文書画像から文字が含まれる文字領域の外接矩形と、各文字領域の文字認識結果を取得する処理を行う。
抽出ルール生成部１３０は、抽出対象領域とその近傍にある抽出用語辞書の用語を含む文字領域との位置関係及び対応関係の何れか又は双方の解析により抽出ルールを生成する処理を行う。抽出ルールは、抽出規則とも呼ぶ。
【００１３】
本実施形態における処理対象画像から情報を抽出する処理の一例について説明する。
図３は、情報を抽出する処理の一例を示す図である。
図３に示すように、文書画像処理装置では、処理対象画像から所定項目名に関連付ける項目値を抽出し、システムに登録する。
本実施形態に係る文書画像処理装置による情報処理の処理手順について説明する。
図４は、第１の実施形態に係る文書画像処理装置による情報処理の一例を示すフローチャートである。
ステップＳ４０１において、抽出対象領域指定部１１０は、ユーザの指定操作に基づいて、抽出対象を含む領域を指定する。
ステップＳ４０２において、文字情報取得部１２０は、処理対象画像から文字が含まれる領域の外接矩形情報、そして、各文字領域にある文字の認識結果を取得する。
ステップＳ４０３において、抽出ルール生成部１３０は、抽出対象領域の近傍にある文字領域との関係を解析し、抽出ルールを生成する。この処理の詳細について後述する。
【００１４】
ステップＳ４０３における抽出ルールの生成処理について説明する。
図５は、図４のステップＳ４０３における抽出ルールの生成処理の一例を示すフローチャートである。
ステップＳ５０１では、抽出ルール生成部１３０は、指定領域の近傍にある文字領域を比較対象領域として設定する。
ステップＳ５０２では、抽出ルール生成部１３０は、処理のために予め用意した抽出用語辞書を利用し、比較対象領域に抽出用語を含む文字領域があるかどうかを判定する。抽出用語を含む文字領域がある場合は、ステップＳ５０３では、抽出ルール生成部１３０は、当該用語を項目名候補とし、当該抽出用語を含む文字領域を項目名候補領域とする。抽出用語を含む文字領域がない場合は、抽出ルール生成部１３０は、ステップＳ５０４に進む。
【００１５】
ステップＳ５０４では、抽出ルール生成部１３０は、すべての比較対象領域において、ステップＳ５０２からステップＳ５０３までの処理は終わったかどうかを判定する。まだステップＳ５０２からステップＳ５０３までの処理を実施していない比較対象領域があれば、抽出ルール生成部１３０は、ステップＳ５０２に戻り、ステップＳ５０２からの処理を行う。すべての比較対象領域において、ステップＳ５０２からステップＳ５０３までの処理が終われば、抽出ルール生成部１３０は、ステップＳ５０５に進む。
ステップＳ５０５では、抽出ルール生成部１３０は、項目名候補領域はあるかどうかを判定する。抽出ルール生成部１３０は、項目名候補領域があれば、ステップＳ５０６に進み、項目名候補領域がなければ、ステップＳ５１０に進む。
【００１６】
ステップＳ５０６では、抽出ルール生成部１３０は、項目名候補領域は複数あるかどうかを判定する。項目名候補領域は複数ある場合は、ステップＳ５０７では、抽出ルール生成部１３０は、項目名候補領域と指定領域の位置関係及び対応関係に基づき項目名を特定する。項目名候補領域は一つだけある場合は、ステップＳ５０８では、抽出ルール生成部１３０は、当該項目名候補を項目名と特定する。ステップＳ５０７の項目名の特定処理の詳細について後述する。
ステップＳ５０９では、項目名候補領域は複数ある場合は、抽出ルール生成部１３０は、複数項目名候補領域から項目名の特定ができたかどうかを判定する。項目名の特定ができた場合は、ステップＳ５１１では、抽出ルール生成部１３０は、項目名領域と指定領域の位置関係に基づき抽出ルールを生成する。項目名の特定ができなかった場合は、又は、項目名候補領域がない場合は、ステップＳ５１０では、抽出ルール生成部１３０は、指定領域の文字特性に基づき抽出ルールを生成する。ステップＳ５１１の抽出ルール生成処理の詳細について後述する。
【００１７】
ステップＳ５０７における項目名の特定処理について説明する。
図６は、図５のステップＳ５０７における項目名の特定処理の一例を示すフローチャートである。
ステップＳ６０１では、抽出ルール生成部１３０は、入力された複数項目名候補領域の中に、指定領域と一番距離の近い項目名候補領域があるかどうかを判定する。指定領域と一番距離の近い項目名候補領域が一つだけあれば、ステップＳ６０２では、抽出ルール生成部１３０は、当該項目名候補領域を項目名領域とし、当該領域に含まれた抽出用語を項目名とする。指定領域と一番距離の近い項目名候補領域がない、又は、同距離の項目名候補領域が複数ある場合は、抽出ルール生成部１３０は、ステップＳ６０３に進む。
【００１８】
ステップＳ６０３では、抽出ルール生成部１３０は、項目名と項目値が基本的に１対１で対応する仮説を利用し、項目名候補領域と指定領域を含む比較対象領域の中に、各項目名候補領域に対応する文字領域があるかどうかを判定する。各項目名候補領域に対応する文字領域があれば、ステップＳ６０４では、抽出ルール生成部１３０は、指定領域と対応する項目名候補領域を項目名領域とし、当該領域に含まれる抽出用語を項目名とする。各項目名候補領域に対応する文字領域がなければ、ステップＳ６０５では、抽出ルール生成部１３０は、項目名の特定ができていないと判定する。
【００１９】
ステップＳ５１１における抽出ルールの生成処理について説明する。
図７は、図４のステップＳ５１１における抽出ルールの生成処理の一例を示すフローチャートである。
ステップＳ７０１では、抽出ルール生成部１３０は、特定された項目名を抽出ルールのキーとして設定する。
ステップＳ７０２では、抽出ルール生成部１３０は、項目名領域と指定領域の位置関係を抽出ルールの位置制約条件として設定する。
ステップＳ７０３では、抽出ルール生成部１３０は、指定領域の文字列特性を抽出ルールの文字列の制約条件として設定する。
【００２０】
本実施形態における抽出対象領域指定による抽出ルールの生成処理の一例について説明する。
図８は、図４における抽出対象領域指定による抽出ルールの生成処理の一例を示す図である。
８００は、文書画像における抽出対象領域の指定例である。この例では、健康診断表の診断結果から身長という項目名の項目値を管理するという目的で、「１６８．７」という項目値領域がユーザに指定されている。
８０１は、抽出用語辞書例である。この例では、処理対象である健康診断表において重要と思われる用語を辞書として登録されている。
８０２は、抽出対象領域の近傍にある比較対象領域例である。この例では、文書画像から取得された文字領域のうち、指定領域の近傍、即ち、指定領域の８連結方向にある文字領域、にあるものを抽出ルール生成処理に利用するものとして設定されている。
８０３は、比較対象領域の中に抽出用語を含む項目名候補領域例である。この例では、８０２の比較対象領域のうち、８０１の抽出用語、即ち、「受診日」、「身長」、「体重」、を含む三つの文字領域が項目名候補領域として設定されている。
【００２１】
８０４は、項目名候補領域の中から、抽出対象領域と対応する項目名領域の特定例である。この例では、項目名候補領域と抽出対象領域の位置関係及び対応関係の解析により、「身長」という領域は抽出対象領域と対応すると項目名領域と判定され、「身長」という用語は項目名として特定された。
８０５は、抽出ルールの生成例である。この例では、抽出ルールに要素三つが設定されている。要素１は項目名、即ち、ｋｅｙである。要素２は項目値、即ち、ｖａｌｕｅ、の文字列の制約条件である。要素３は項目名と項目値の位置関係の制約条件である。
【００２２】
本実施形態では、抽出対象領域を指定し、指定領域と近傍領域の関係を解析することにより抽出ルールを生成するものである。
第１の実施形態では、処理対象画像に関連する抽出用語辞書を利用する例であったが、情報管理システムに登録されている抽出用語を利用してもよい。
第１の実施形態によれば、抽出ルールを事前に定義されなくても、抽出ルールの生成を簡易にでき、情報抽出処理の手間が省くことが可能になる。
【００２３】
（変形例１）
変形例１について説明する。
上述した第１の実施形態では、処理対象領域を指定し、指定領域と近傍領域の関係を解析することにより抽出用のルールを生成するものであった。変形例１は、生成された抽出ルールの妥当性を確認し、抽出ルールの修正が必要と判定された場合は、指定領域と近傍領域の関係の解析により、抽出ルールを修正するものである。
【００２４】
図９は、変形例１の文書画像処理装置１の機能構成の一例を示す図である。
図９に示すように、文書画像処理装置１は、機能構成として、抽出対象領域指定部９１０、文字情報取得部９２０と、抽出ルール生成部９３０と、抽出ルール確認部９４０と、抽出ルール修正部９５０と、を含む。
抽出対象領域指定部９１０は、デバイスを介したユーザの指定操作に基づき、抽出したいデータを含む領域を指定する処理を行う。
文字情報取得部９２０は、文書画像から文字が含まれる文字領域の外接矩形と、各文字領域の文字認識結果を取得する処理を行う。
抽出ルール生成部９３０は、抽出対象領域の近傍にある抽出用語辞書にある用語を含む文字領域と抽出対象領域の位置関係及び対応関係の何れか又は双方の解析により抽出ルールを生成する処理を行う。
抽出ルール確認部９４０は、生成された抽出ルールを文書画像に適用し、抽出された項目値領域は指定領域と同じであるかどうかを判定することにより抽出ルールの妥当性を確認する処理を行う。
抽出ルール修正部９５０は、抽出された項目値領域は指定領域と違うと判定された場合は、抽出対象領域と近傍領域との関係の解析により、抽出ルールを修正する処理を行う。
【００２５】
変形例１に係る文書画像処理装置による情報処理の処理手順について説明する。
図１０は、変形例１に係る文書画像処理装置による情報処理の一例を示すフローチャートである。
ステップＳ１００１において、抽出対象領域指定部９１０は、ユーザの指定操作に基づいて、抽出対象を含む領域を指定する。
ステップＳ１００２において、文字情報取得部９２０は、処理対象画像から文字が含まれる領域の外接矩形情報、そして、各文字領域にある文字の認識結果を取得する。
ステップＳ１００３において、抽出ルール生成部９３０は、抽出対象領域の近傍にある文字領域との関係を解析し、抽出ルールを生成する。
ステップＳ１００４において、抽出ルール生成部９３０は、生成された抽出ルールは妥当であるかどうかを確認する。
ステップＳ１００５において、抽出ルール生成部９３０は、ステップＳ１００４の結果に基づき、抽出ルールは妥当か否かを判定する。抽出ルールが妥当ではないと判定された場合は、ステップＳ１００６では、抽出ルール生成部９３０は、抽出ルールを修正する。抽出ルールの確認処理と抽出ルールの修正処理の詳細について後述する。抽出ルールが妥当であると判定された場合は、図１０に示す情報処理を終了する。
【００２６】
図１０のステップＳ１００４からステップＳ１００６までにおける抽出ルールの確認、抽出ルールの修正処理について説明する。
図１１は、変形例１における図１０のステップＳ１００４からステップＳ１００６までにおける抽出ルールの確認、抽出ルールの修正処理の一例を示すフローチャートである。
ステップＳ１１０１では、抽出ルール生成部９３０は、生成された抽出ルールを文書画像に適用し、抽出ルールを満たす文字領域を項目値領域として抽出する。
ステップＳ１１０２では、抽出ルール生成部９３０は、抽出された項目値領域は複数にあるかどうかを判定する。抽出された項目値領域は一つだけある場合は、抽出ルール生成部９３０は、修正処理を終了する。抽出された項目値領域が複数ある場合は、抽出ルール生成部９３０は、ステップＳ１１０３からステップＳ１１０７までの処理を実行し、抽出ルールを修正する。
ステップＳ１１０３では、抽出ルール生成部９３０は、抽出対象領域の近傍範囲を広く設定する。ステップＳ１１０４では、抽出ルール生成部９３０は、その範囲は画像の有効範囲を超えたかどうかを判定する。近傍範囲が画像の有効範囲を超えたら、抽出ルール生成部９３０は、図１１に示す処理を終了する。近傍範囲が画像の有効範囲以内であれば、抽出ルール生成部９３０は、Ｓ１１０５からの処理を続ける。
【００２７】
ステップＳ１１０５では、抽出ルール生成部９３０は、近傍範囲に項目用語辞書と一致する用語を含む項目名候補領域があるかどうかを判定する。近傍範囲に項目用語辞書と一致する用語を含む項目名候補領域がない場合は、抽出ルール生成部９３０は、図１１に示す処理を終了する。近傍範囲に項目用語辞書と一致する用語を含む項目名候補領域がある場合は、ステップＳ１１０６では、抽出ルール生成部９３０は、抽出ルールに設定された項目名値の位置関係の制約条件を適用し、当該項目名候補領域に対応する文字領域を抽出する。
Ｓ１１０７では、抽出ルール生成部９３０は、抽出した文字領域の文字列を抽出ルールの新たな項目名として加え、そして、当該文字領域と抽出対象領域の位置関係を新たな位置関係の制約条件として追加する。
【００２８】
変形例１における抽出ルールの確認処理と抽出ルールの修正処理の一例について説明する。
図１２は、図１１における抽出ルールの確認処理、抽出ルールの修正処理の一例を示す図である。
１２００は、文書画像における抽出対象領域の指定例である。この例では、複数時系列のデータから、ユーザが一番直近となる「身長」の項目値「１６８．７」を抽出対象領域として指定した。
１２０１は、抽出用語辞書例である。
１２０２は、抽出ルールの生成例である。この例では、身長という項目名と、項目値の文字列の制約条件と、項目名値の位置関係の制約条件が含まれる。
【００２９】
１２０３では、抽出ルールを文書画像に適用し、抽出された項目値領域の結果例である。この例では、「１６８．７」と「１６８．３」二つの領域が抽出ルールを満たすものとして抽出された。
１２０４では、抽出対象領域の近傍範囲を広げた結果例である。この例では、抽出対象領域の近傍範囲を抽出ルール生成時の点線で示す範囲から実線で示す範囲まで広げた。
１２０５では、近傍領域の中から抽出用語を含む文字列の特定結果例である。この例では、「受診日」は１２０１抽出用語辞書と一致する用語として特定された。
１２０６では、抽出ルールの修正結果例である。この例では、抽出ルールの項目名値の位置関係の制約条件を適用し、「２０１４年６月４日」という文字領域を「受診日」と対応する文字領域として特定できたため、「２０１４年６月４日」を第２の項目名とし、当該文字領域と抽出対象領域の位置関係を第２の項目名値の位置関係の制約条件として抽出ルールに追加した。
【００３０】
変形例１では、抽出ルールに項目名と項目名値の位置関係の制約条件のセットを複数設定するものを例としたが、項目名と項目名値の位置関係の制約条件のセットをそれぞれ抽出ルールとして設定し、抽出ルールを関連付けるようにしてもよい。また、抽出ルールを文書画像に適用し項目値領域は複数あるかどうかを抽出ルールの妥当性の判定基準にしていたが、他の条件を用いてもよい。
変形例１によれば、抽出ルールをより正確に生成することが可能になる。
【００３１】
（変形例２）
変形例２について説明する。
上述した変形例１では、抽出ルールの修正に、抽出対象領域と対応する文字列を項目名として追加し、当該項目名の項目名領域と抽出対象領域の位置関係の制約条件を追加するものであった。変形例２では、抽出ルールに追加された文字列の表現を抽出化させ、項目名とするものである。変形例２に係る文書画像処理システムのハードウェア構成は、図１に示す第１の実施形態に係る文書画像処理システムのハードウェア構成と同様であるため、その説明を省略する。また、変形例２に係る文書画像処理装置の機能構成は、図９に示す変形例１に係る文書画像処理装置の機能構成と同様であるため、その説明を省略する。
【００３２】
変形例２に係る文書画像処理装置による情報処理方法の処理手順について説明する。
図１３は、変形例２に係る文書画像処理装置による情報処理の一例を示すフローチャートである。
ステップＳ１３０１において、抽出対象領域指定部９１０は、ユーザの指定操作に基づいて、抽出対象を含む領域を指定する。
ステップＳ１３０２において、文字情報取得部９２０は、処理対象画像から文字が含まれる領域の外接矩形情報、そして、各文字領域にある文字の認識結果を取得する。
ステップＳ１３０３において、抽出ルール生成部９３０は、抽出対象領域の近傍にある文字領域との関係を解析し、抽出ルールを生成する。
ステップＳ１３０４において、抽出ルール生成部９３０は、生成された抽出ルールは妥当であるかどうかを確認する。
【００３３】
ステップＳ１３０５において、抽出ルール生成部９３０は、ステップＳ１３０４の結果に基づき、抽出ルールは妥当か否かを判定する。抽出ルールが妥当ではないと判定された場合は、ステップＳ１３０６では、抽出ルール生成部９３０は、抽出ルールを修正する。抽出ルールが妥当であると判定された場合は、図１３に示す情報処理を終了する。
ステップＳ１３０７において、抽出ルール生成部９３０は、抽出ルールの項目値に抽出用語ではない文字列があるかどうかを判定する。抽出用語ではない文字列がある場合、ステップＳ１３０８では、抽出ルール生成部９３０は、当該文字列を抽出化した表現に変換し、抽出ルールに設定する。この項目名の抽象化処理の詳細について後述する。抽出用語ではない文字列がない場合、抽出ルール生成部９３０は、図１３に示す情報処理を終了する。
【００３４】
図１３のステップＳ１３０８における項目名の抽象化処理について説明する。
図１４は、変形例２における図１３のステップＳ１３０８における項目名の抽象化処理の一例を示すフローチャートである。
ステップＳ１４０１では、抽出ルール生成部９３０は、抽出ルールにある抽出用語ではない文字列の特性を解析し、文字列の制約条件への変換は可能なのかを判定する。文字列を制約条件に変換できないと判定した場合は、抽出ルール生成部９３０は、抽象化処理を終了する。文字列を制約条件に変換可能だと判定した場合は、ステップＳ１４０２では、抽出ルール生成部９３０は、当該文字列を制約条件に変換する。ステップＳ１４０３では、抽出ルール生成部９３０は、当該制約条件を文書画像に適用し、制約条件を満たすほかの文字列があるかどうかを判定する。当該文字列の制約条件を満たす文字列は他にもある場合は、ステップＳ１４０４では、抽出ルール生成部９３０は、これらの複数文字列の関係を解析する。ステップＳ１４０５では、抽出ルール生成部９３０は、文字列の制約条件と複数文字列の関係を統合したものを抽出ルールに設定する。ステップＳ１４０３で、当該制約条件を満たすほかの文字列がなければ、ステップＳ１４０５において、抽出ルール生成部９３０は、当該制約条件を抽出ルールに設定する。
【００３５】
変形例２における項目名の抽象化処理の一例について説明する。
図１５は、変形例２を示し、図１４における項目名の抽象化処理の一例を示す図である。
１５００は、文書画像における抽出対象領域の指定例である。この例では、複数時系列のデータから、ユーザが一番直近となる「身長」の項目値「１６８．７」を抽出対象領域として指定した。
１５０１は、抽出用語辞書の例である。
１５０２は、抽出ルールの結果例である。この例には、「身長」という第１の項目名と抽出対象領域との位置関係と、「２０１４年６月４日」という第２の項目名と抽出対象領域との位置関係と、項目値の文字列の制約条件が含まれている。
１５０３は、抽出用語辞書に含まれない項目名の制約条件への変換結果例である。この例では、「２０１４年６月４日」という抽出用語辞書に含まれていない項目名の制約条件を、その文字列の特性に基づき日付と設定された。
【００３６】
１５０４は、設定された制約条件を満たす文字列の抽出結果例である。この例では、日付という文字列の制約条件を満たす文字列として、「２０１４年６月４日」と「２０１３年３月１５日」が抽出された。
１５０５は、制約条件を満たす文字列の関係の解析の結果例である。この例では、「２０１４年６月４日」は「２０１３年３月１５日」より最新の日付であることを解析で分かった。
１５０６は、項目名を抽象化した抽出ルールの修正結果例である。この例では、抽出用語ではない項目名「２０１４年６月４日」を抽象化した表現を抽出ルールに設定された。
【００３７】
変形例２によれば、抽出ルールの抽出化により、抽出ルールの汎用化を高めることが可能になる。
【００３８】
なお、上述した各処理部のうち、抽出ルール生成部については、固定ルールに基づいた処理を行うものとして説明したが、人工知能（ＡＩ：artificial intelligence）を適用してもよい。例えば、上記処理部の代わりとして、機械学習された学習済みモデルを代わりに用いてもよい。その場合には、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、その学習済みモデルは、上記処理部と同等の処理をするためのプログラムとして、ＣＰＵ又はＧＰＵ等と協働で動作することにより、上記処理部の処理を行う。また、学習済みモデルは、必要に応じて一定のデータを処理するごとに更新する等も可能である。
【００３９】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４０】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
【符号の説明】
【００４１】
１      文書画像処理装置
１０２  ＣＰＵ
【図１】
2020205012.tif 000003
【図２】
2020205012.tif 000004
【図３】
2020205012.tif 000005
【図４】
2020205012.tif 000006
【図５】
2020205012.tif 000007
【図６】
2020205012.tif 000008
【図７】
2020205012.tif 000009
【図８】
2020205012.tif 000010
【図９】
2020205012.tif 000011
【図１０】
2020205012.tif 000012
【図１１】
2020205012.tif 000013
【図１２】
2020205012.tif 000014
【図１３】
2020205012.tif 000015
【図１４】
2020205012.tif 000016
【図１５】
2020205012.tif 000017