(57)【要約】【課題】文書認識における情報抽出効率を向上させる。【解決手段】文書画像を取得する。既定の抽出規則に従って、文書画像から、抽出対象項目についての項目値を抽出する。既定の抽出規則に従った場合に抽出対象項目についての項目値が抽出されなかったことに応じて、仮の抽出規則に従って、文書画像から、抽出対象項目についての項目値を抽出する。抽出した項目値を提示する。抽出した項目値が正しいことを示す確認結果に応じて、項目値を抽出できるように既定の抽出規則を更新する。【選択図】図１
2019049823.tif 000002
【特許請求の範囲】
【請求項１】
文書画像を取得する画像取得手段と、
既定の抽出規則に従って、前記文書画像から、抽出対象項目についての項目値を抽出する第１の抽出手段と、
前記既定の抽出規則に従った場合に前記抽出対象項目についての項目値が抽出されなかったことに応じて、仮の抽出規則に従って、前記文書画像から、前記抽出対象項目についての項目値を抽出する第２の抽出手段と、
前記第１の抽出手段又は前記第２の抽出手段が抽出した項目値を提示する提示手段と、
前記第２の抽出手段が抽出した項目値が正しいことを示す確認結果に応じて、前記項目値を抽出できるように前記既定の抽出規則を更新する更新手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記更新手段は、前記仮の抽出規則を含むように前記既定の抽出規則を更新することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第２の抽出手段は、前記既定の抽出規則を修正することにより前記仮の抽出規則を生成することを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
前記既定の抽出規則は、抽出される項目値に文書画像上で隣接する隣接文字列を制約する第１の条件と、抽出される項目値の形式を制約する第２の条件と、抽出される項目値と前記隣接文字列との位置関係を制約する第３の条件と、のうちの少なくとも１つを含み、
前記第２の抽出手段は、前記既定の抽出規則が含む前記第１の条件、前記第２の条件、及び前記第３の条件のうち１つを変更することにより、前記仮の抽出規則を生成することを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記更新手段は、前記第２の抽出手段が抽出した項目値が正しくないことを示す確認結果に応じて、
前記第２の抽出手段が抽出した項目値を抽出する、前記抽出対象項目とは異なる抽出対象項目についての既定の抽出規則を選択し、
前記選択された既定の抽出規則に含まれる条件を用いて、前記仮の抽出規則を修正し、
前記修正された仮の抽出規則を含むように、前記抽出対象項目についての前記既定の抽出規則を更新する
ことを特徴とする、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の抽出手段は、複数の抽出対象項目についての項目値の関係を示す関係性規則を、前記仮の抽出規則として用いることにより、前記文書画像から前記抽出対象項目についての項目値を抽出することを特徴とする、請求項１に記載の画像処理装置。
【請求項７】
前記関係性規則は、前記複数の抽出対象項目のそれぞれについての項目値で構成されるグループを規定し、
前記関係性規則に従って前記第１の抽出手段が抽出した項目値をグループ化するグループ化手段をさらに備え、
前記第２の抽出手段は、前記複数の抽出対象項目のうちの一部についての項目値のみ含むグループを検出し、前記複数の抽出対象項目のうちの前記一部についての項目値と、前記関係性規則と、に基づいて、前記複数の抽出対象項目のうちの残りについての項目値を抽出することを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
前記関係性規則は、前記複数の抽出対象項目のそれぞれについての項目値の前記文書画像上での位置関係を示し、
前記第２の抽出手段は、前記複数の抽出対象項目のうちの前記一部についての項目値の前記文書画像上での位置と、前記関係性規則と、に基づいて、前記複数の抽出対象項目のうちの残りについての項目値を抽出することを特徴とする、請求項７に記載の画像処理装置。
【請求項９】
前記更新手段は、前記第２の抽出手段が抽出した項目値を解析することにより、前記項目値を抽出できる新しい抽出規則を生成し、前記新しい抽出規則を含むように前記既定の抽出規則を更新することを特徴とする、請求項７又は８に記載の画像処理装置。
【請求項１０】
前記既定の抽出規則は複数の抽出規則を含み、
前記更新手段は、前記複数の抽出規則のそれぞれの適用回数と、前記複数の抽出規則に基づいて抽出された項目値のユーザ選択回数と、の少なくとも一方に基づき、前記複数の抽出規則のそれぞれの適用優先順位を更新することを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
文書画像を取得する画像取得手段と、
既定の抽出規則に従って、前記文書画像から、抽出対象項目についての項目値を抽出する第１の抽出手段と、
前記既定の抽出規則に従った場合に前記抽出対象項目についての項目値が抽出されなかったことに応じて、前記既定の抽出規則を修正することにより仮の抽出規則を生成し、前記仮の抽出規則に従って、前記文書画像から、前記抽出対象項目についての項目値を抽出する第２の抽出手段と、
前記第１の抽出手段又は前記第２の抽出手段が抽出した項目値を提示する提示手段と、
を備えることを特徴とする画像処理装置。
【請求項１２】
互いに異なる第１の文書画像及び第２の文書画像を取得する画像取得手段と、
前記第１の文書画像から抽出対象項目についての項目値を抽出する抽出手段と、
前記抽出された項目値を提示し、前記抽出対象項目についての項目値として前記提示された項目値が正しいかどうかを示すユーザ指示を取得する指示取得手段と、を備え、
前記ユーザ指示に応じて、前記抽出手段による前記第２の文書画像からの前記抽出対象項目についての項目値の抽出処理を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項１３】
画像処理装置が行う画像処理方法であって、
文書画像を取得する画像取得工程と、
既定の抽出規則に従って、前記文書画像から、抽出対象項目についての項目値を抽出する第１の抽出工程と、
前記既定の抽出規則に従った場合に前記抽出対象項目についての項目値が抽出されなかったことに応じて、仮の抽出規則に従って、前記文書画像から、前記抽出対象項目についての項目値を抽出する第２の抽出工程と、
前記第１の抽出工程又は前記第２の抽出工程で抽出した項目値を提示する提示工程と、
前記第２の抽出工程で抽出した項目値が正しいことを示す確認結果に応じて、前記項目値を抽出できるように前記既定の抽出規則を更新する更新工程と
を有することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
見積書又は請求書のような文書を電子化する際には、必要な情報が抽出され、システムに登録される。文書のフォーマットが既知である場合には、予め定義された領域から自動的に情報を抽出できる。しかしながら、文書の種類又は発行元により帳票のフォーマットは異なる可能性があるため、文書のフォーマットが既知であるとは限らない。そこで、抽出したい情報が記載された領域の位置情報に依存せずに、情報を自動的に抽出する技術が提案されてきた。
【０００３】
特許文献１では、予め定義されたキーワード及びキーワード間の位置関係に従い、帳票から認識された文字列のうちキーワードの定義に当てはまる文字列を抽出する方法が開示されている。特許文献２には、医療所見文書から病名や症状を自動的に抽出するための規則を、手動で編集することを支援する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００７／０８０６４２号
【特許文献２】特願２００９−２４５２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法を使う場合、キーワード及びその位置関係を、文書の論理構造を想定しながら予め定義する必要がある。したがって、想定外の論理構造を有する文書からの情報の抽出精度は低下する可能性がある。また、特許文献２の方法には、規則を手動で編集するための作業負荷が高く、規則に関する知識も必要とされるという課題がある。
【０００６】
本発明は、文書認識における情報抽出効率を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
文書画像を取得する画像取得手段と、
既定の抽出規則に従って、前記文書画像から、抽出対象項目についての項目値を抽出する第１の抽出手段と、
前記既定の抽出規則に従った場合に前記抽出対象項目についての項目値が抽出されなかったことに応じて、仮の抽出規則に従って、前記文書画像から、前記抽出対象項目についての項目値を抽出する第２の抽出手段と、
前記第１の抽出手段又は前記第２の抽出手段が抽出した項目値を提示する提示手段と、
前記第２の抽出手段が抽出した項目値が正しいことを示す確認結果に応じて、前記項目値を抽出できるように前記既定の抽出規則を更新する更新手段と
を備えることを特徴とする。
【発明の効果】
【０００８】
文書認識における情報抽出効率を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に係る画像処理装置の機能構成を示すブロック図。
【図２】実施形態１に係る画像処理システムの主要構成を示すブロック図。
【図３】実施形態１に係る画像処理システムの概念図。
【図４】実施形態１に係る画像処理方法のフローチャート。
【図５】実施形態１のステップＳ４０３における処理のフローチャート。
【図６】実施形態１のステップＳ４０２，Ｓ４０３における処理を説明する図。
【図７】実施形態１のステップＳ４０５における処理のフローチャート。
【図８】実施形態１のステップＳ４０５における処理を説明する図。
【図９】実施形態１のステップＳ４０９における処理のフローチャート。
【図１０】実施形態１のステップＳ４０６〜Ｓ４０９における処理を説明する図。
【図１１】実施形態２のステップＳ４０３における処理のフローチャート。
【図１２】実施形態２のステップＳ４０５における処理のフローチャート。
【図１３】実施形態２のステップＳ４０２〜４０５における処理を説明する図。
【図１４】実施形態２のステップＳ４０９における処理のフローチャート。
【図１５】実施形態２のステップＳ４０６〜４０９における処理を説明する図。
【図１６】実施形態３のステップＳ４０９における処理のフローチャート。
【図１７】実施形態３のステップＳ４０６〜４０９における処理を説明する図。
【図１８】実施形態４のステップＳ４０９における処理を説明する図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明に係る画像処理装置について詳細に説明する。ただし、以下の実施形態に記載されている構成要素は例示にすぎない。本発明の技術的範囲は特許請求の範囲によって確定されるのであって、以下の個別の実施形態によっては限定されない。
【００１１】
［実施形態１］
まず、本発明の実施形態１について説明する。図１は、本発明の実施形態１に係る画像処理装置１００の機能構成を示すブロック図である。画像処理装置１００は、文書画像から情報を抽出することができる。図１に示すように、画像処理装置１００は、取得部１１０、抽出部１２０、検証部１３０、推定部１４０、修正部１５０、及び更新部１６０を備える。
【００１２】
取得部１１０は、文書画像を取得する。また、取得部１１０は、取得した文書画像に対して文字認識処理を行うことにより、文字領域情報及び文字認識情報を取得する。文字領域情報は、文字が含まれる文字領域の外接矩形の位置及び大きさを示す。また、文字認識情報は、各文字領域についての文字認識結果を示し、例えば文字列情報でありうる。文字領域情報及び文字認識情報の取得方法は特に限定されず、公知の方法に従って行うことができる。
【００１３】
抽出部１２０は、既定の抽出規則に従って、文書画像から、抽出対象項目についての項目値を抽出する。例えば、抽出部１２０は、文書画像に抽出規則を適用することにより、抽出対象項目についての情報を自動的に抽出することができる。以下、抽出対象項目のことを、抽出対象又は単に項目と呼ぶことがある。また、抽出対象項目に関して抽出される情報を、抽出結果又は項目値と呼ぶことがある。抽出規則は、抽出対象項目の項目値を抽出する際に用いるルールであり、以下では抽出規則とも呼ぶことがある。この抽出規則は、画像処理装置１００に記憶され、又は画像処理装置１００がアクセス可能である。このように、抽出部１２０が用いるために予め用意されている抽出規則のことを、以下では既定の抽出規則と呼ぶ。なお、抽出部１２０が抽出する項目値は、文字認識により得られた文字列又は数値であってもよいし、文書画像上で項目値が記載されている領域を特定する情報であってもよいし、この領域内の画像であってもよい。検証部１３０は、抽出対象について項目値の抽出ができたかどうかを検証する。
【００１４】
推定部１４０は、既定の抽出規則に従った場合に抽出対象項目についての項目値が抽出されなかったことに応じて、仮の抽出規則に従って、文書画像から、抽出対象項目についての項目値を抽出する。このように、推定部１４０は、既定の抽出規則を用いずに、項目値を推定する。以下では、推定部１４０が抽出した項目値のことを、抽出候補又は単に候補と呼ぶ。この抽出候補とは、項目値として正しい可能性がある情報である。また、推定部１４０が抽出した項目値のことを抽出結果と呼ぶこともある。もっとも、推定部１４０は、既定の抽出規則で項目値が抽出されなかったことに応じて仮の抽出規則に従って項目値を抽出すればいいのであって、既定の抽出規則で項目値が抽出された場合に仮の抽出規則に従って項目値を抽出してもよい。例えば、後述するように、既定の抽出規則で抽出された項目値が正しくないことを示すユーザ指示を修正部１５０が取得した場合、推定部１４０は、仮の抽出規則に従って項目値を抽出してもよい。
【００１５】
修正部１５０は、抽出部１２０又は推定部１４０が抽出した項目値を提示する。例えば、修正部１５０は、抽出された項目値又は推定された候補をユーザに提示することができる。提示された項目値又は候補が正しくないとユーザが判断した場合、修正部１５０は、ユーザが手動で入力したユーザ指示に基づいて、抽出対象項目の項目値を修正することができる。更新部１６０は、推定部１４０が抽出した項目値が正しいことを示す確認結果に応じて、項目値を抽出できるように既定の抽出規則を更新する。例えば、更新部１６０は、既定の抽出規則を追加又は変更することができる。
【００１６】
図２は、実施形態１に係る画像処理装置を実現できる情報抽出システム１０の一例の主要部構成を示す。図２に示すように、情報抽出システム１０は、処理部１及び格納部２を備える。情報抽出システム１０は、複数の処理部１を備えていてもよい。処理部１と格納部２とは、有線又は無線のネットワーク３で接続されている。ネットワーク３は、組織内で運用されるイントラネットであってもよいし、インターネットであってもよい。
【００１７】
処理部１について詳細に述べる。デバイス１０１は外部装置である。処理部１は、デバイス１０１から、スキャン画像若しくはカメラ撮影画像のような画像を取得することができる。また、処理部１は、デバイス１０１を介して、外部からの操作を受け付けることができる。デバイス１０１は、例えばスキャナ、カメラ、キーボード、又はマウス等でありうる。
【００１８】
ＣＰＵ１０２はプロセッサーであり、ＲＡＭ１０３はメモリである。プログラム記憶領域１０６からＲＡＭ１０３に読み込まれたプログラムを、ＣＰＵ１０２が解釈及び実行することにより、処理部１内の各種制御、計算、及び表示を行うことができる。通信ＩＦ１０４は、格納部２との間の通信インタフェースであり、ネットワーク３に接続されている。表示部１０５は、処理部１の状態、画像、又は抽出結果を表示できる。表示部１０５は、例えばＬＥＤ又は液晶パネル等でありうる。
【００１９】
処理部１は、さらにプログラム記憶領域１０６及びデータ記憶領域１０７を有している。これらの記憶領域は、例えばハードディスク又はフラッシュメモリ等の記憶媒体上に存在しうる。処理部１で得られた情報、例えば抽出情報（抽出対象項目及び抽出結果）又はユーザ操作の情報は、格納部２に格納してもよいし、処理部１のデータ記憶領域１０７に格納してもよい。データ記憶領域１０７又は格納部２は、管理が容易となるように抽出情報を格納することができる。例えば、データ記憶領域１０７又は格納部２は、抽出対象項目ごとに、既定の抽出規則及び抽出された項目値、並びに仮の抽出規則及び抽出された抽出候補を、セットで管理することができる。
【００２０】
図３は、本実施形態に係る画像処理装置１００を用いた情報抽出システムの動作例を示す模式図である。この情報抽出システムには、文書画像と、抽出対象項目リストと、が入力される。抽出対象項目リストは、項目値を抽出すべき抽出対象項目が示されている。そして、リストに示される各抽出対象項目についての項目値が、文書画像から抽出される。
【００２１】
図４のフローチャートを参照して、画像処理装置１００が行う画像処理方法の処理手順について説明する。ステップＳ４０１において取得部１１０は、上述のように、文書画像取得を行い、文字領域の外接矩形及び文字認識結果を取得する。ステップＳ４０２において抽出部１２０は、既定の抽出規則に従って、文書画像から、抽出対象項目についての項目値を抽出する。例えば、抽出部１２０は、事前に用意されている既定の抽出規則と、取得部１１０が取得した文字領域情報及び文字認識情報とを利用して、文書画像から各抽出対象の項目値を抽出する。抽出部１２０は、抽出対象項目リストを取得することができ、このリストに従って項目値を抽出できる。なお、抽出部１２０は、項目値として、文字認識により得られた文字列の一部を取得してもよいし、文書画像のうち項目値が記載されている部分を取得してもよい。ステップＳ４０２における処理の詳細については後述する。
【００２２】
ステップＳ４０３において検証部１３０は、各抽出対象項目についての項目値が抽出できたかどうかを検証する。検証部１３０は、既定の抽出規則を用いて項目値の検証を行ってもよい。項目値が抽出されていない項目があると判断された場合、処理はステップＳ４０４からステップＳ４０５に進む。各項目についての項目値の抽出ができたと判断された場合、処理はステップＳ４０４からステップＳ４０６に進む。ステップＳ４０３における処理の詳細については後述する。
【００２３】
ステップＳ４０５は、既定の抽出規則に従った場合に抽出対象項目についての項目値が抽出されなかった場合に行われる。ステップＳ４０５において推定部１４０は、仮の抽出規則に従って、文書画像から、抽出対象項目についての項目値を抽出する。こうして、推定部１４０は、抽出候補の推定を行う。この際に推定部１４０は、既定の抽出規則を基にして仮の抽出規則を生成することができる。ステップＳ４０５における処理の詳細については後述する。
【００２４】
ステップＳ４０６において修正部１５０は、抽出部１２０又は推定部１４０が抽出した項目値を提示する。例えば、修正部１５０は、ステップＳ４０３及びＳ４０５における抽出結果をユーザに提示することができる。また、修正部１５０は、抽出部１２０が抽出した項目値、又は推定部１４０が抽出した項目値が正しいか否かを示す確認結果を取得することができる。例えば、修正部１５０は、抽出結果が正しいか否かを示すユーザ指示を取得する。抽出結果が誤りである場合、処理はステップＳ４０７からＳ４０８に進む。抽出結果が正解である場合、処理はステップＳ４０７からＳ４０９に進む。
【００２５】
ステップＳ４０８において修正部１５０は、抽出結果に対する修正を示すユーザ指示取得を行う。なお、ステップＳ４０８において、推定部１４０はさらなる抽出候補を推定し、修正部１５０はさらなる抽出候補が正しいか否かを示す確認結果を取得してもよい。ステップＳ４０９において更新部１６０は、既定の抽出規則を更新する。具体的には、更新部１６０は、修正部１５０が抽出した項目値が正しいことを示す確認結果に応じて、この項目値を抽出できるように既定の抽出規則を更新する。例えば、更新部１６０は、ユーザが抽出候補を正解として選択した場合は、抽出候補を抽出するために利用した仮の抽出規則を用いて、抽出規則を更新することができる。
【００２６】
次に、具体的な文書画像の例を参照して、本実施形態に係る画像処理方法について詳しく説明する。図６（Ａ）〜（Ｆ）は、ステップＳ４０２及びＳ４０３の処理を説明する図である。図６（Ｂ）（Ｃ）には、それぞれ異なるフォーマットに従う健康診断票である、文書画像６００−１，６００−２が示されている。図６（Ａ）にはまた、抽出対象項目が「身長」であることを示す、抽出対象リスト６０１が示されている。
【００２７】
図６（Ｄ）にはさらに、条件６０２−１，６０２−２，６０２−３を含む、既定の抽出規則６０２が示されている。条件６０２−１は、抽出される項目値に文書画像上で隣接する隣接文字列を制約する第１の条件である。この条件は、抽出される項目値に隣接して記載されている項目名を特定することができる。条件６０２−１は、抽出対象項目「身長」に関し、抽出される項目値「１６５」に隣接して項目名「身長」が記載されていることを規定している。以下では、このような隣接文字列のことを項目名と呼ぶことがある。なお、項目値に項目名が隣接していることは、項目値と項目名が所定の距離以内にあることを意味する。
【００２８】
条件６０２−２は、抽出される項目値の形式を制約する第２の条件である。この条件は、例えば、項目値を構成する文字の種類若しくは文字数、又は項目値の数値範囲を特定することができる。条件６０２−２は、正規表現を用いて、項目値となりうる文字列を特定している。
【００２９】
条件６０２−３は、抽出される項目値と、隣接文字列（項目名）との位置関係を制約する第３の条件である。この条件は、例えば、項目名から項目値へと向かう方向、又は項目値と項目名との間の距離を特定することができる。条件６０２−３は、項目名が項目値の左側にあることを特定している。
【００３０】
条件６０２−１，６０２−２，６０２−３に従うと、文書画像の文字情報のうち、「身長」という認識結果を含む文字領域の右にある、２桁から３桁の数字を含む文字領域が、項目値として抽出される。なお、抽出規則がこれら３つの条件を含むことは必須ではない。一実施形態において、抽出規則はこれら３つの条件のうち少なくとも１つを含んでいる。また、抽出規則は他の種類の条件を含んでいてもよい。
【００３１】
図６（Ｅ）（Ｆ）のテーブル６０３−１及びテーブル６０３−２は、それぞれ、文書画像６００−１及び文書画像６００−２に、抽出規則６０２を適用して得られる抽出結果と検証結果の例を示す。テーブル６０３−１からは、抽出対象項目「身長」の項目値として「１６５」が抽出されたことがわかる。このように、抽出対象項目「身長」の項目値が抽出されたため、抽出対象項目「身長」の検証結果として項目値が抽出できたことを示す「ＯＫ」が示されている。一方、文書画像６００−２には、抽出対象項目「身長」の項目名と一致する「身長」という文字領域と、抽出対象項目「身長」についての項目値の正規表現に適合する「１６５」という文字領域がある。しかしながら、項目名は項目値の左にあるという条件は満たされていない。テーブル６０３−２からは、「１６５」は抽出対象項目「身長」の項目値として抽出されなかったことがわかる。このように、このように、抽出対象項目「身長」の項目値が抽出されなかったため、抽出対象項目「身長」の検証結果として項目値が抽出できなかったことを示す「ＮＧ」が示されている。
【００３２】
以下で、ステップＳ４０３における処理の流れについて、処理手順の一例を示すフローチャートである図５を参照して説明する。ステップＳ５０１で検証部１３０は、抽出対象項目リストに含まれる各抽出対象項目についての抽出結果を取得する。そして、検証部１３０は、抽出対象ごとに項目値が抽出できたかどうかを検証する。具体的には、ステップＳ５０２で検証部１３０は、確認対象となる抽出対象項目について項目値を抽出できたかどうかを検証する。項目値を抽出できていないと判断されると、処理はステップＳ５０３に進み、検証部１３０は確認対象となる抽出対象項目について項目値の抽出ができていないことを示す情報を記録する。項目値を抽出できたと判断されると、処理はステップＳ５０４に進む。ステップＳ５０４で検証部１３０は、すべての抽出対象項目について検証が終わったかどうかを判断する。まだ検証されていない抽出対象項目があれば、処理はステップＳ５０２に戻り、検証部１３０は次の確認対象となる抽出対象項目について検証を行う。
【００３３】
図８（Ａ）（Ｂ）は、ステップＳ４０５の処理を説明する図である。図８（Ａ）に示す抽出規則６０２は、既定の抽出規則の一例であり、図６と同様である。この抽出規則６０２は、文書画像８０３−０から、抽出対象項目「身長」についての抽出候補を抽出するために使用可能である。図８（Ｂ）にはまた、抽出規則６０２の各条件を変更することにより生成された、仮の抽出規則群８０２が示されている。抽出規則８０２−１は、項目名「身長」を「背丈」に置き換えたものである。抽出規則８０２−２は、項目値の正規表現を、２桁から３桁の数字から、２桁から３桁の数字＋単位（ｃｍ）に変更したものである。抽出規則８０２−３は、項目名が項目値の左にあるという位置関係を、項目名が項目値の上にあるという位置関係に変更したものである。
【００３４】
これらの抽出規則８０２−１、抽出規則８０２−２、及び抽出規則８０２−３は、それぞれ、文書画像８０３−１、文書画像８０３−２、文書画像８０３−３から、抽出対象項目「身長」についての抽出候補を抽出するために使用可能である。文書画像８０３−１、文書画像８０３−２、文書画像８０３−３には、それぞれ、抽出候補として抽出される文字列８０３ａが示されている。
【００３５】
以下で、ステップＳ４０５における処理の流れについて、処理手順の一例を示すフローチャートである図７を参照して説明する。ステップＳ７０１で、推定部１４０は、ステップＳ４０４で項目値が抽出されなかったと判定された抽出対象項目について、抽出規則を取得する。そして、推定部１４０は、以下のステップＳ７０２〜Ｓ７０７で、この抽出規則を修正することにより仮の抽出規則を生成する。
【００３６】
ステップＳ７０２で推定部１４０は、抽出規則に、項目名の条件があるかどうかを判断する。項目名の条件がある場合、ステップＳ７０３で推定部１４０は、例えば項目名を他の表記（例えば同義の表記又は表記揺れの結果得られる表記）又は類語に置き換えることによって修正された項目名の条件を有する、仮の抽出規則を生成する。
【００３７】
ステップＳ７０４で推定部１４０は、抽出規則に、項目値の条件があるかどうかを判断する。項目値の条件がある場合、ステップＳ７０５で推定部１４０は、例えば正規表現を変更することによって修正された項目値の条件を有する、仮の抽出規則を生成する。
【００３８】
ステップＳ７０６で推定部１４０は、抽出規則に、項目名と項目値との間の位置関係の条件があるかどうかを判断する。位置関係の条件がある場合、ステップＳ７０７で推定部１４０は、変更された位置関係の条件を有する、仮の抽出規則を生成する。
【００３９】
ステップＳ７０８で推定部１４０は、ステップＳ７０２〜Ｓ７０７で生成された仮の抽出規則のそれぞれを用いてステップＳ４０３と同様の処理を行うことにより、抽出対象項目についての項目値を抽出する。こうして抽出された項目値は、抽出候補として用いられる。
【００４０】
このように、推定部１４０は、既定の抽出規則が含む条件のうち少なくとも１つを変更することにより、仮の抽出規則を生成することができる。例えば、推定部１４０は、図７のフローチャートに従って、上記の第１の条件、第２の条件、及び第３の条件のうちいずれか１つを変更することにより、仮の抽出規則を生成することができる。
【００４１】
なお、ステップＳ７０２，Ｓ７０４，Ｓ７０６における仮の抽出規則の生成方法は、予め定められていてもよい。例えば、条件６０２−１，６０２−２，６０２−３に含まれる要素の一部を別の要素に置き換えることができる。具体例としては、「身長」に対応して「背丈」「高さ」「Height」「Tall」及び「Stature」が規定され、また「体重」に対応して「重量」「重さ」「Weight」「Mass」及び「Bodyweight」が規定された置き換え規則を用いることができる。このように、置き換えのために類義語を規定した辞書情報を用いることができる。さらに、数値を示す正規表現に対応して、「数値＋ｃｍ」「数値＋ｍｍ」「数値＋ｋｇ」「数値＋℃」が規定された置き換え規則を用いることもできる。このような置き換え規則を用いて、条件６０２−１の「身長」を置き換えることにより、仮の抽出規則８０２−１を生成することができる。同様の方法で、条件６０２−２，６０２−３も修正することができる。もっとも、仮の抽出規則の生成方法は、このような方法に限定されない。
【００４２】
なお、推定部１４０は、仮の抽出規則を複数生成できる場合、仮の抽出規則を１つ以上生成することができる。例えば、推定部１４０は、可能な限り多くの仮の抽出規則を生成してもよいし、所定数の仮の抽出規則を生成してもよい。また、推定部１４０は、仮の抽出規則を生成したが、生成された仮の抽出規則を用いて項目値を抽出できなかった場合、さらなる仮の抽出規則を生成してもよい。一方で、仮の抽出規則は、予め定められていてもよく、この場合規定の抽出規則とは区別として管理されうる。
【００４３】
図１０（Ａ）〜（Ｆ）は、ステップＳ４０６〜Ｓ４０９の処理を説明する図である。図１０（Ａ）の処理対象１０００−１は、文書画像の一部を示す。図１０（Ｂ）の画面１００１−１は、処理対象１０００−１に抽出規則を適用して得られた抽出結果を提示し、ユーザによる確認結果を取得するための画面例を示す。また、図１０（Ｃ）の管理表１００２−１は、抽出規則の管理表であり、抽出対象項目ごとの抽出規則やその適用結果等が記録される。この例では、既定の抽出規則（ルール番号１）により、処理対象項目「身長」の項目値として「１６５」が抽出されている。また、この抽出結果をユーザに提示したところ、この抽出結果が正解であることがユーザにより確認されている。この例では、既定の抽出規則を適用することで正解の項目値が抽出できたため、抽出規則は更新されなかった。
【００４４】
同様に、図１０（Ｄ）には処理対象１０００−２が、図１０（Ｅ）には画面１００１−２が、図１０（Ｆ）には管理表１００２−２が、それぞれ示されている。この例では、処理対象１０００−２に対して既定の抽出規則を適用したが、条件を満たす文字領域が存在しなかったため、項目値は抽出されなかった。そこで、仮の抽出規則が複数生成され、生成された順に仮の抽出規則を適用したところ、抽出候補として「１７０」が得られた。
【００４５】
具体的には、既定の抽出規則（ルール番号１）を用いた場合、項目名の条件を満たす「身長」という文字列領域があり、項目値の条件を満たす「１７０」という文字列領域もあった。しかし、項目名が項目値の左にあるという位置関係の条件が満たされないため、項目値は抽出されなかった。次に、仮の抽出規則（ルール番号２）を用いた場合、項目名の条件を満たす「背丈」という文字列領域がなかったため、項目値は抽出されなかった。さらに、仮の抽出規則（ルール番号３）を用いた場合、項目値の条件を満たす文字列領域がなかったため、項目値は抽出されなかった。そして、仮の抽出規則（ルール番号４）を用いた場合、項目名の条件を満たす文字列領域及び項目値の条件を満たす文字列領域があり、さらに項目名が項目値の上にあるという位置関係の条件も満たされたため、抽出候補として「１７０」が抽出された。
【００４６】
図１０（Ｅ）の画面１００１−２では、処理対象１０００−２に上記のように抽出規則を適用して得られた抽出結果として、抽出候補「１７０」がユーザに提示されている。また、この抽出結果が正解であることがユーザにより確認されている。この結果、ユーザによって正解として選択された抽出候補の抽出に用いられた、仮の抽出規則（ルール番号４）が、抽出対象項目「身長」についての抽出規則として追加された。
【００４７】
以下で、ステップＳ４０９における処理の流れについて、処理手順の一例を示すフローチャートである図９を参照して説明する。ステップＳ９０１で更新部１６０は、抽出対象項目リストに含まれる各抽出対象項目についての、抽出部１２０による項目値の抽出結果、推定部１４０による抽出候補の推定結果、及び修正部１５０が取得したユーザ操作の記録を取得する。ここで、ユーザ操作の記録は、ユーザが選択した抽出結果を示す情報を含む。
【００４８】
ステップＳ９０２で更新部１６０は、抽出候補がユーザよりに正解として選択されたかどうかを判定する。抽出対象項目についての抽出候補が正解として選択された場合、ステップＳ９０３で更新部１６０は、この抽出候補の抽出に用いた仮の抽出規則を、この抽出対象項目についての抽出規則として新規に登録する。こうして、更新部１６０は、仮の抽出規則を含むように既定の抽出規則を更新する。このように、更新部１６０は、ユーザにより正解として選択された抽出候補を項目値として抽出できるように、既定の抽出規則を更新することができる。ステップＳ９０４で更新部１６０は、ユーザにより選択された抽出候補が他にあるかどうかを判断する。ユーザにより選択された抽出候補が他にあれば、処理はステップＳ９０２に戻り、ステップＳ９０３の処理が繰り返される。
【００４９】
上述のように、修正部１５０は、抽出結果に対する修正を示すユーザ指示を取得することができる。この場合、更新部１６０は、ユーザが入力した正しい項目値を参照して、この項目値を抽出できるように既定の抽出規則を更新してもよい。例えば、更新部１６０は、ユーザが入力した項目値に対応する文字列を文書画像から選択し、隣接する文字列を項目名として特定することができる。そして、更新部１６０は、ユーザが入力した項目値の形式（例えば、文字列と数字のどちらか、及び桁数など）と、項目名と、項目値及び項目名の位置関係と、を用いて新しい抽出規則を生成することができる。そして、この新しい抽出規則を含むように、既定の抽出規則を更新することができる。
【００５０】
本実施形態では、抽出対象項目ごとに、予め用意した既定の抽出規則を適用することにより、文書画像から項目値が抽出される。そして、項目値が抽出されなかった抽出対象項目に関しては、既定の抽出規則に含まれる条件を変更することで仮の抽出規則が生成され、この仮の抽出規則を適用することで抽出候補が推定される。このため、既定の抽出規則によっては項目値を抽出できない場合にも、抽出候補を推定してユーザに提示することが可能になる。このため、項目値の手動入力や抽出規則の手動更新を省略できる。
【００５１】
また、本実施形態ではさらに、正しい項目値を抽出しやすくなるように、既定の抽出規則が更新される。このため、仮の抽出規則の生成を行わなくても、正しい項目値を抽出できる可能性が高くなるため、処理が効率化される。また、ユーザにとっては、既定の抽出規則により抽出された項目値が正しい可能性が高くなるため、項目値を修正したり、仮の抽出規則により抽出された項目値を確認したりする必要性が減少し、ユーザ負担を軽減することができる。さらには、本実施形態によれば、新たに作成された仮の抽出規則を含むように既定の抽出規則が更新され、その後、既定の抽出規則に追加された新たな抽出規則に基づいて、さらなる仮の抽出規則が作成される。このため、想定外のフォーマットを有する文書画像についても、正しい項目値を抽出できる可能性を高めることができる。
【００５２】
例えば、取得部１１０が互いに異なる第１の文書画像及び第２の文書画像を取得した場合について検討する。この場合、抽出部１２０及び推定部１４０は、抽出対象項目についての項目値を抽出する。そして、修正部１５０は、抽出された項目値を提示し、抽出対象項目についての項目値として提示された項目値が正しいかどうかを示すユーザ指示を取得する。すると、更新部１６０は、項目値が正しい場合には既定の抽出規則を更新することにより、ユーザ指示に応じて、抽出部１２０及び推定部１４０による第２の文書画像からの抽出対象項目についての項目値の抽出処理を制御することになる。このような方法によれば、特に第１の文書画像と第２の文書画像とのフォーマットが同一であるか類似している場合に、第２の文書画像から正しい項目値を抽出できる可能性が高くなる。ただし、既定の抽出規則を更新する構成を用いることは必須ではない。
【００５３】
［実施形態２］
次に、本発明の実施形態２について説明する。実施形態２では、実施形態１と同様に、既定の抽出規則を用いて、各抽出対象項目の項目値が得られたかどうかが検証される。さらに、複数の抽出対象項目の関係性を示すルールを用いて、項目値が得られなかった抽出対象項目について、項目値が抽出候補として推定される。以下では、複数の抽出対象項目の関係性を示すルールのことを、関係性規則と呼ぶ。関係性規則は、複数の抽出対象項目のそれぞれについての項目値で構成されるグループを規定し、複数の抽出対象項目のそれぞれについての項目値の関係を示す。関係性規則を用いることで、関係性のある複数の抽出対象項目のそれぞれについての項目値が、１つのグループとして抽出される。
【００５４】
実施形態２に係る画像処理装置及び情報抽出システムの構成は、図１〜３に示される実施形態１の構成と同様であり、説明を省略する。以下で、本実施形態に係る処理の流れについて説明する。本実施形態に係る処理は、図４に示す実施形態１の処理と同様であるが、ステップＳ４０３，Ｓ４０５，Ｓ４０９における処理が異なる。以下、これらの処理について詳しく説明する。
【００５５】
図１３は、本実施形態におけるステップＳ４０２〜Ｓ４０５の処理を説明する図である。図１３（Ｄ）（Ｆ）（Ｉ）には、お薬手帳の一部である、文書画像１３００−１，１３００−２，１３００−３が示されている。これらの文書画像１３００−１，１３００−２，１３００−３には、処方されたお薬の名前、一回あたりの服用量である分量、及び一日に飲む回数を示す用法用量、という３つの情報が含まれる。
【００５６】
図１３（Ａ）に示す抽出対象項目リストは、抽出対象項目が「薬剤名」、「分量」、及び「用法用量」の３つであることを示す。図１３（Ｂ）に示す抽出規則１３０２は、「薬剤名」の抽出規則１３０２−１、「分量」の抽出規則１３０２−２、及び「用法用量」の抽出規則１３０２−３を含んでいる。抽出規則１３０２−１は、項目値が薬剤辞書に記載されていることを要求する条件で構成されている。
【００５７】
図１３（Ｃ）に示す関係性規則１３０３は、それぞれの抽出対象項目についての関係性を制約するルールである。関係性規則１３０３は、１つのグループを構成する抽出対象項目間の関係を示し、複数の抽出対象項目のグループが抽出できたかどうかを検証するために用いられる。図１３の例では、「薬剤名」、「分量」、及び「用法用量」という３つの情報のグループが、文書画像から抽出される。この例では、３つの情報の位置関係が関係性規則として定義されている。すなわち、「薬剤名」が「分量」の上にあり、かつ「薬剤名」が「用法用量」の上にある、という条件が、関係性規則として定義されている。このように、一実施形態において、関係性規則は、複数の抽出対象項目のそれぞれについての項目値の文書画像上での位置関係を示す。
【００５８】
図１３（Ｅ）（Ｇ）（Ｊ）には、文書画像１３００−１，１３００−２，１３００−３からの抽出結果及び検証結果を示すテーブル１３０４−１，１３０４−２，１３０４−３が示されている。図１３（Ｅ）の例では、抽出規則１３０２を文書画像１３００−１に適用した結果、６つの項目値が抽出され、また抽出ができたことが検証されている。さらに、抽出結果１，２，３は、関係性規則１３０３を満たす位置関係にあり、また近傍にあるため、グループ１として特定されている。そして、グループ１に３つの情報が揃っている、すなわちグループ１が完成したことが検証されている。同様に、抽出結果４，５，６はグループ２を構成するものと判断され、グループ２も完成したことが検証されている。
【００５９】
図１３（Ｇ）の例では、抽出規則１３０２を文書画像１３００−２に適用した結果、５つの項目値が抽出され、また抽出ができたことが検証されている。さらに、関係性規則１３０３を適用した結果、抽出結果３，４，５はグループ２を構成し、グループ２が完成したと判断されている。一方、グループ１は抽出結果１，２のみを含んでおり、「用法用量」に該当する抽出結果が含まれないため、グループ１は完成していないと判断されている。
【００６０】
図１３（Ｊ）の例では、抽出規則１３０２を文書画像１３００−３に適用した結果、５つの項目値が抽出され、また抽出ができたことが検証されている。一方、文書画像１３００−３には「１ｇ」という「分量」に相当する情報が記載されているが、既定の抽出規則１３０２を用いても抽出できない。また、この情報が抽出できていないことは、情報抽出システムには把握されていない。そして、関係性規則１３０３を適用した結果、抽出結果１，２，３はグループ１を構成し、グループ１が完成したと判断されている。一方、グループ２は抽出結果４，５のみを含んでおり、「分量」に該当する抽出結果が含まれないため、グループ２は完成していないと判断されている。
【００６１】
図１３（Ｈ）（Ｋ）には、それぞれテーブル１３０４−２，１３０４−３に基づく、文書画像１３００−２，１３００−３からの項目値の推定結果を示すテーブル１３０５−２，１３０５−３が示されている。図１３（Ｈ）の例では、テーブル１３０４−２から、グループ１に「用法用量」に関する抽出結果が不足していると判断される。一方、文書画像１３００−２において、グループ２に含まれている「用法用量」の項目値である「一日３回」を含む領域は、グループ１の近傍にある。このため、この「一日３回」を含む領域は、グループ１及びグループ２の間で共通の「用法用量」の項目値を示す可能性が高いと推定できる。このため、「一日３回」が、グループ１についての「用法用量」の抽出結果として推定されている。
【００６２】
図１３（Ｋ）の例では、テーブル１３０４−３から、グループ２に「分量」に関する抽出結果が不足していると判断される。一方、「１ｇ」を含む領域は、抽出規則１３０２に従って抽出されなかったものの、グループ２に含まれる「薬剤名」及び「用法用量」の抽出結果を含む領域に近い。また、「１ｇ」を含む領域を「分量」に関する抽出結果と仮定すると、「薬剤名」及び「用法用量」の抽出結果との間で、関係性規則１３０３が満たされる。このため、「１ｇ」を含む領域が、グループ２の「分量」に該当する抽出結果として推定されている。
【００６３】
まず、ステップＳ４０３における処理について、処理手順の一例を示すフローチャートである図１１を参照して説明する。ステップＳ１１０１において検証部１３０は、抽出対象項目リストに含まれる各抽出対象についての抽出結果を取得する。
【００６４】
ステップＳ１１０２〜Ｓ１１０４において検証部１３０は、それぞれの抽出対象について抽出結果が得られたかどうかを確認する。具体的には、ステップＳ１１０２において検証部１３０は、確認対象となる抽出対象項目の項目値が得られたかどうかを判断する。項目値が得られていない場合、ステップＳ１１０３にかいて検証部１３０は、確認対象となる抽出対象項目について項目値が抽出できていないことを記録する。ステップＳ１１０４において検証部は、すべての抽出対象項目について抽出結果の確認が終わったかどうかを判断する。まだ確認されていない抽出対象項目がある場合、ステップＳ１１０２〜Ｓ１１０３の処理が実行される。
【００６５】
ステップＳ１１０５〜Ｓ１１１０において検証部１３０は、複数の抽出対象項目のそれぞれについての項目値の関係を示す関係性規則に従って、抽出部１２０が抽出した項目値をグループ化する。あるグループが、１グループを構成する全ての抽出対象項目についての抽出結果を含む場合、このグループについてのグループ化は完成したと判断される。具体的には、ステップＳ１１０５において検証部１３０は、まだグループ化されていない抽出結果を選択する。より具体的には、検証部１３０は、Ｓ１１０９で確認済であることを示す情報が記録されていない抽出結果を選択する。ここで選択された抽出結果について、ステップＳ１１０６〜Ｓ１１０９までの処理が行われる。
【００６６】
ステップＳ１１０６において検証部１３０は、関係性規則を参照して、選択された抽出結果を含むグループを特定する。例えば、検証部１３０は、関係性規則を満足し、選択された抽出結果を含む、１以上の抽出結果を特定することができる。ただし、ここでは１グループを構成する全ての抽出対象項目のそれぞれに対応する抽出結果は特定できないかもしれない。ステップＳ１１０７において検証部１３０は、特定されたグループに、１グループを構成する全ての抽出対象項目のそれぞれに対応する抽出結果が含まれているかどうかを判断する。特定されたグループに一部の抽出結果だけが含まれる場合は、このグループには抽出結果が足りないことを示す情報が記録される。ステップＳ１１０９においては、特定されたグループに含まれる抽出結果に、確認済であることを示す情報が記録される。
【００６７】
ステップＳ１１１０で検証部１３０は、全ての抽出結果についてグループ化が行われたか、例えばステップＳ１１０９で確認済であることを示す情報が記録されていない抽出結果があるかどうかを判断する。まだグループ化されていない抽出結果がある場合、ステップＳ１１０５〜Ｓ１１０９までの処理が行われる。
【００６８】
次に、ステップＳ４０５における処理について、処理手順の一例を示すフローチャートである図１２を参照して説明する。ステップＳ１２０１で推定部１４０は、抽出対象項目リストに含まれる抽出対象項目についての抽出結果及び検証結果並びに抽出結果のグループ情報及び検証結果を取得する。例えば、推定部１４０は、図１３（Ｅ）（Ｇ）（Ｊ）のテーブル１３０４−１，１３０４−２，１３０４−３に示される情報を取得することができる。また、推定部１４０は、抽出規則及び関係性規則を取得する。
【００６９】
続いて、ステップＳ１２０２〜Ｓ１２０５で推定部１４０は、関係性規則を仮の抽出規則として用いることにより、文書画像から抽出対象項目についての項目値を抽出する。こうして、推定部１４０は抽出候補を推定する。この際に推定部１４０は、さらに抽出部１２０による抽出結果を用いる。
【００７０】
ステップＳ１２０２で推定部１４０は、１つのグループを選択し、抽出結果が足りないグループであるかどうかを判断する。抽出結果が足りないグループが選択されると、処理はステップＳ１２０３に進む。このようにして、推定部１４０は、複数の抽出対象項目のうちの一部についての項目値のみ含むグループを検出する。
【００７１】
ステップＳ１２０３〜Ｓ１２０４で推定部１４０は、選択されたグループに含まれる複数の抽出対象項目のうちの一部以外の、選択されたグループに含まれない複数の抽出対象項目のうちの残りについての項目値を抽出する。この際に推定部１４０は、選択されたグループに含まれる、複数の抽出対象項目のうちの一部についての項目値と、関係性規則と、を用いる。例えば、推定部１４０は、選択されたグループに含まれる、複数の抽出対象項目のうちの一部についての項目値の文書画像上での位置と、関係性規則と、を用いることができる。
【００７２】
ステップＳ１２０３で推定部１４０は、関係性規則に基づいて、不足している抽出結果に対応する項目が文書画像中に存在するかどうかを判定する。例えば、推定部１４０は、ある文字領域が、不足している抽出結果に対応すると仮定した場合に、選択グループに含まれる他の抽出結果との間で関係性規則を満たすような文字領域を判定することができる。推定部１４０は、このような文字領域を、選択グループに含まれる他の抽出結果が抽出された文字領域に隣接する文字領域から選択してもよい。このような文字領域が存在する場合、ステップＳ１２０４において推定部１４０は、このように判定された文字領域を、不足している抽出結果についての抽出候補として抽出する。一方、このような文字領域が存在しない場合、ステップＳ１２０５で推定部１４０は、すでに抽出されている抽出結果のなかから、選択グループに一番近い抽出結果を、不足している抽出結果についての抽出候補として推定する。このように、本実施形態では、関係性規則に基づいて抽出候補が推定され、すなわち関係性規則が仮の抽出規則として用いられている。
【００７３】
ステップＳ１２０６で推定部１４０は、すべてのグループについて処理が終わったかどうかを判断する。まだ処理されていないグループがあれば、ステップＳ１２０２〜Ｓ１２０５の処理が行われる。
【００７４】
図１５は、本実施形態におけるステップＳ４０６〜Ｓ４０９の処理を説明する図である。図１５（Ａ）には、処理対象の例として文書画像１５００が示されている。図１５（Ｂ）には、一例として、抽出結果を提示しユーザによる確認結果を取得するための画面１５０１が示されている。また、図１５（Ｃ）には抽出規則を示すテーブル１５０２−１が、図１５（Ｄ）には関係性規則を示すテーブル１５０２−２が、それぞれ示されている。
【００７５】
図１５の例では、既定の抽出規則を適用した場合には、抽出対象項目「分量」についての抽出結果として、「１ｇ」という文字領域１５００ａは抽出できなかった。しかし、関係性規則を参照することにより、抽出対象項目「分量」についての抽出候補として「１ｇ」が推定され、領域１５０１ａに示されるようにユーザに提示されている。
【００７６】
また、ユーザ入力により、抽出対象項目「分量」について推定された文字領域「１ｇ」が正しいことが確認されている。したがって、「１ｇ」という領域の記述内容が解析され、抽出対象項目「分量」についての抽出規則が新規に作成され、項目１５０２ａとしてルール管理表に追加されている。
【００７７】
以下、ステップＳ４０９における処理について、処理手順の一例を示すフローチャートである図１４を参照して説明する。ステップＳ１４０１において更新部１６０は、抽出結果、推定結果、及び修正部１５０が受け付けたユーザ操作の記録を入力する。
【００７８】
ステップＳ１４０２で更新部１６０は、ユーザに正解であると確認された抽出候補があるかどうかを判断する。ユーザに正解として選択された抽出候補がある場合、ステップＳ１４０３で更新部１６０は、この抽出候補を得るために生成された仮の抽出規則があるかどうかを判断する。仮の抽出規則が生成されている場合、処理はステップＳ１４０５に進む。例えば、更新部１６０は、この抽出候補を得るために以前に生成された仮の抽出規則があるかどうかを判断できる。また、更新部１６０は、仮の抽出規則を実施形態１と同様に生成して、この抽出候補を得るために適用可能な仮の抽出規則があるかどうかを判断してもよい。
【００７９】
仮の抽出規則が生成されていない場合、ステップＳ１４０４で更新部１６０は、正解として選択された抽出候補を含む文字領域の特性を解析し、その特性を反映した抽出規則を新たに生成する。具体例として、更新部１６０は、ユーザが入力した正しい項目値を抽出できる新しい抽出規則の生成方法として、実施形態１で説明した方法を用いることができる。
【００８０】
ステップＳ１４０５で更新部１６０は、抽出候補を得るために生成された仮の抽出規則、又はステップＳ１４０４で生成された抽出規則を、抽出対象項目についての抽出規則として記録する。
【００８１】
ステップＳ１４０６で更新部１６０は、ユーザに正解であると確認された抽出候補のうち、また処理されていないものがあるかどうかを判断する。まだ処理されていない抽出候補がある場合、ステップＳ１４０２〜Ｓ１４０５の処理が行われる。
【００８２】
本実施形態では、既定の抽出規則と、関係性規則と、を用いて項目値の抽出が行われた。しかしながら、関係性規則に含まれる条件を、既定の抽出規則に含めてもよい。このような抽出規則を用いる場合、実施形態１に従って、ステップＳ４０５において既定の抽出規則に含まれる関係性規則のみを用いて仮の抽出規則を生成し、この仮の抽出規則に従って項目値を抽出してもよい。このような構成によっても、本実施形態に類似した効果を得ることができる。すなわち、実施形態１において、既定の抽出規則に含まれる条件のうち一部を除外して仮の抽出規則を生成し、この仮の抽出規則に従って項目値を抽出してもよい。こうして抽出された抽出候補が正解として選択された場合、本実施形態と同様に、この抽出候補を含む文字領域の特性を反映した抽出規則を新たに生成し、既定の抽出規則に含めることができる。
【００８３】
また、項目値の文書画像上での位置関係を示す関係性規則が用いられたが、関係性規則が有する項目値の間の関係についての条件は、位置関係の条件に限定されない。例えば、関係性規則は、項目値の間の数値関係を規定していてもよいし、様々な種類の条件の組み合わせであってもよい。
【００８４】
また、ステップＳ４０５においては、図１２に示す処理に加えて、図７に示した実施形態１の処理を行ってもよい。例えば、推定部１４０はまず図７の処理を行うことで抽出候補を推定することができる。その後、推定部１４０は、抽出部１２０が抽出した項目値と、図７の処理により推定された抽出候補との双方を用いて、図１２の処理に従いグループ化及びさらなる抽出候補の推定を行うことができる。
【００８５】
実施形態２によれば、関係性規則を用いることにより、ユーザに抽出結果を提示する前に、抽出が成功しているかを検証することができる。さらに、関係性規則を用いることにより、正解の可能性のある抽出候補をより多く推定及び提示することが可能になる。
【００８６】
［実施形態３］
次に、本発明の実施形態３について説明する。実施形態１，２では、既定の抽出規則により項目値が抽出できなかった場合に、新規の抽出規則を作成され、既存の抽出規則に追加された。実施形態３では、既定の抽出規則の更新時における、誤抽出を防ぐための工夫について説明する。実施形態３に係る画像処理装置及び情報抽出システムの構成は、図１〜３に示される実施形態１の構成と同様であり、説明を省略する。また、実施形態３に係る処理は、図４に示す実施形態１の処理と類似しており、以下では異なる点について説明する。
【００８７】
図１７は、本実施形態におけるステップＳ４０６〜Ｓ４０９の処理を説明する図である。図１７（Ａ）には、処理対象の例として文書画像１７００が示されている。図１７（Ｂ）には、一例として、抽出結果を提示しユーザによる確認結果を取得するための画面１７０１が示されている。また、図１７（Ｃ）（Ｄ）には、抽出対象項目「身長」及び「腹囲」用の抽出規則を示すテーブル１７０２−１及び１２０２−２がそれぞれ示されている。さらに、図１７（Ｅ）には、更新された抽出対象項目「身長」用の抽出規則１７０３ａを示すテーブル１７０３−１が示されている。
【００８８】
図１７の例では、既定のルール番号１の抽出規則を用いた場合、抽出対象項目「身長」についての項目値が抽出されなかった。一方、ルール番号１の抽出規則をベースとして、ルール番号２の仮の抽出規則が生成され、これを適用することにより抽出候補として「９０」が得られた。一方、図１７（Ｂ）に示すように、抽出候補「９０」はユーザに正解として選択されなかった。すなわち、ルール番号２の仮の抽出規則が妥当ではないと判定された。一方、この抽出候補「９０」は、抽出対象項目「腹囲」についてのルール番号１の抽出規則によっても抽出されている。そこで、ルール番号２の仮の抽出規則は、図１７（Ｅ）に示すように、抽出対象項目「腹囲」についてのルール番号１の抽出規則に含まれる項目名を含む領域を除外するという条件を追加するように修正されている。そして、このように修正された抽出規則が、抽出対象項目「身長」についての抽出規則として登録されている。
【００８９】
以下、本実施形態におけるステップＳ４０９の処理について、処理手順の一例を示すフローチャートである図１６を参照して説明する。ステップＳ１６０１で更新部１６０は、抽出結果、推定結果、及びユーザ操作の記録を取得する。ステップＳ１６０２で更新部１６０は、抽出候補を選択し、正解としてユーザに選択されたかどうかを確認する。ユーザに選択されなかった抽出候補については、ステップＳ１６０３〜Ｓ１６０６までの処理が行われる。すなわち、ステップＳ１６０３〜Ｓ１６０６までの処理は、推定部１４０が抽出した項目値が正しくないことを示す確認結果に応じて行われる。以下、選択された抽出候補は、ある抽出対象項目についての抽出候補であり、この抽出対象項目のことを着目抽出対象項目と呼ぶ。
【００９０】
ステップＳ１６０３で更新部１６０は、推定部１４０が抽出した項目値を抽出する、着目抽出対象項目とは異なる抽出対象項目についての既定の抽出規則を選択する。例えば、更新部１６０は、着目抽出対象項目とは異なる他の抽出対象項目についての抽出規則を適用することにより、選択された抽出候補が抽出されるかどうかを確認することにより、この選択を行うことができる。
【００９１】
抽出される場合、ステップＳ１６０５で更新部１６０は、選択された既定の抽出規則に含まれる条件を用いて、仮の抽出規則を修正する。例えば、更新部１６０は、他の抽出対象項目についての、選択された抽出候補を抽出可能な抽出規則に含まれる条件を、選択された抽出候補を抽出した仮の抽出規則に追加することで、この仮の抽出規則を修正することができる。具体的な例としては、他の抽出対象項目についての抽出規則に含まれる条件から１つを選択し、選択された条件が満たされないことを要求する条件を、仮の抽出規則に追加することができる。すなわち、他の抽出対象項目についての、文書画像上の所定位置にある項目値を抽出しないように、仮の抽出規則を修正することができる。
【００９２】
ステップＳ１６０６で更新部１６０は、修正された仮の抽出規則を含むように、着目抽出対象項目についての既定の抽出規則を更新する。例えば更新部１６０は、修正された仮の抽出規則を、着目抽出対象項目についての抽出規則として記録することができる。ステップＳ１６０７で更新部１６０は、全ての抽出候補について確認が終わったかどうかを判断する。まだ確認されていない抽出候補があれば、ステップＳ１６０２〜Ｓ１６０６までの処理が行われる。
【００９３】
以上では、抽出候補が正しくないことを示す確認結果に応じて、仮の抽出結果を修正する場合について説明した。一方、実施形態１，２では、抽出候補が正しいことを示す確認結果に応じて、既定の抽出規則に新しい抽出規則が追加される。この際に、新しい抽出規則は、文書画像のある箇所においては正しい項目値を抽出できる一方、文書画像の他の位置では誤った項目値、具体的には他の抽出対象項目についての項目値を抽出してしまうかもしれない。このような誤検出を防ぐために、実施形態１，２で得られた新しい抽出規則を既定の抽出規則に追加する前に、実施形態３の処理を行ってもよい。すなわち、着目抽出対象項目についての新しい抽出規則により得られる項目値が、他の抽出対象項目についての抽出規則によっても得られるかどうかを確認することができる。そして、得られる場合、上述のように、新しい抽出規則を、他の抽出対象項目についての抽出規則に含まれる条件で更新することができる。
【００９４】
また、実施形態１においては仮の抽出規則が生成されるが、生成された仮の抽出規則により、他の抽出対象項目についての項目値を抽出してしまうかもしれない。このような誤検出を防ぐために、実施形態１で生成された仮の抽出規則により抽出候補を推定する前に、実施形態３の処理を行ってもよい。すなわち、着目抽出対象項目についての仮の抽出規則により得られる項目値が、他の抽出対象項目についての既定の抽出規則によっても得られるかどうかを確認することができる。そして、得られる場合、上述のように、仮の抽出規則を、他の抽出対象項目についての既定の抽出規則に含まれる条件で更新することができる。
【００９５】
実施形態３によれば、新たに作成した抽出規則による誤抽出を防ぐために、既定の抽出規則との抽出結果を比較し、新しい抽出規則に既定の抽出規則の一部を制約条件として加えて更新することにより、情報の抽出精度が向上する。
【００９６】
［実施形態４］
次に、本発明の実施形態４について説明する。実施形態１〜３では、項目値を抽出する際に、生成された順に抽出規則が適用された。実施形態４では、１つの抽出対象項目についての複数の抽出規則のそれぞれについて、適用順位が設定及び更新される。実施形態４に係る画像処理装置及び情報抽出システムの構成は、図１〜３に示される実施形態１の構成と同様であり、説明を省略する。また、実施形態４に係る処理は、図４に示す実施形態１の処理と類似しており、以下では異なる点について説明する。
【００９７】
図１７は、本実施形態におけるステップＳ４０９の処理を説明する図である。図１８（Ａ）には、抽出規則を示すテーブル１８０１が示されている。テーブル１８０１には、テーブル１８０１には、各抽出対象項目について、抽出規則番号、ルール内容、ルールの適用回数、抽出結果のユーザ選択回数、及び適用優先順位が管理されている。このように、１つの抽出対象項目についての既定の抽出規則には、複数の抽出規則が含まれている。また、適用優先順位とは、１つの抽出対象項目について項目値を抽出する際の、各抽出規則についての適用優先順位である。ここでは、各抽出規則の適用優先順位は生成された順番となっている。
【００９８】
また、図１８（Ｂ）には、テーブル１８０１に示される抽出規則を更新することにより得られた、抽出規則を示すテーブル１８０２が示されている。本実施形態において、更新部１６０は、複数の抽出規則のそれぞれの適用回数と、複数の抽出規則に基づいて抽出された項目値のユーザ選択回数と、の少なくとも一方に基づき、複数の抽出規則のそれぞれの適用優先順位が更新される。すなわち、抽出規則の適用回数が多いほど、又は抽出規則の適用により得られた抽出結果の選択回数が多いほど、すなわち抽出規則がよく使われるほど、適用優先順位が高くなるように調整される。図１８（Ｂ）の例では、適用回数と選択回数との和が多いほど、適用優先順位が高くなっている。
【００９９】
例えば、ルール番号４の抽出規則は最後に生成されているため、図１８（Ａ）における適用優先順位は４番目である。しかしながら、ルール番号４の抽出規則は、図１８（Ｂ）に示すように抽出規則の適用回数、及び抽出規則の適用により得られた抽出結果の選択回数が最も多い。このため、ルール番号４の抽出規則は最初に適用したい抽出規則であるといえ、更新後のテーブル１８０２では適用優先順位が１番目になっている。図１８（Ｂ）に示す適用優先順位の設定方法は特に限定されず、例えばユーザ設定により定められてもよい。
【０１００】
実施形態４によれば、実施形態１〜３の効果に加え、抽出可能性が高い抽出規則を先に適用することにより、処理の効率性が向上する。また、抽出可能性が高い抽出規則に基づく抽出結果がユーザに提示されやすくなるため、ユーザによる確認負担を低減できる。
【０１０１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０２】
１１０：取得部、１２０：抽出部、１３０：検証部、１４０：推定部、１５０：修正部、１６０：更新部
【図１】
2019049823.tif 000003
【図２】
2019049823.tif 000004
【図３】
2019049823.tif 000005
【図４】
2019049823.tif 000006
【図５】
2019049823.tif 000007
【図６】
2019049823.tif 000008
【図７】
2019049823.tif 000009
【図８】
2019049823.tif 000010
【図９】
2019049823.tif 000011
【図１０】
2019049823.tif 000012
【図１１】
2019049823.tif 000013
【図１２】
2019049823.tif 000014
【図１３】
2019049823.tif 000015
【図１４】
2019049823.tif 000016
【図１５】
2019049823.tif 000017
【図１６】
2019049823.tif 000018
【図１７】
2019049823.tif 000019
【図１８】
2019049823.tif 000020