(57)【特許請求の範囲】
【請求項１】
認識辞書と、帳票画像の認識処理を行う帳票認識部とを備える帳票認識装置であって、
前記帳票認識部は、
前記帳票画像内から文字列領域画像を検出し、検出された前記文字列領域画像に対し、項目名もしくは項目値らしさを表す認識優先度を設定する認識優先度設定部と、
前記認識優先度の高い順にまとめられた認識グループを設定する認識グループ設定部と、
前記認識グループごとに前記認識グループ内の文字列のペアから項目名−項目値関係を抽出する項目名−項目値関係抽出部と、
前記項目名−項目値関係抽出部によって抽出された項目名−項目値関係により、帳票画像内から目的の項目名−項目値関係が抽出されたかを判定する項目名−項目値関係抽出終了判定部を有し、
前記項目名−項目値関係抽出部により、認識優先度の高い認識グループの文字列から順に項目名−項目値関係の抽出を行い、前記項目名−項目値関係抽出終了判定部により、目的の項目名−項目値関係が抽出できたと判定されれば帳票認識処理を終了する帳票認識装置。
【請求項２】
請求項１に記載の帳票認識装置において、
前記認識辞書は文字認識辞書を有し、前記帳票認識部は、前記文字認識辞書を用いて、検出された前記文字列領域画像の文字を認識する文字列認識部を有する帳票認識装置。
【請求項３】
請求項２に記載の帳票認識装置において、
前記認識辞書は項目辞書を有し、前記帳票認識部は、前記項目辞書を用いて、前記文字列認識部で認識した文字列の項目名もしくは項目値を照合する辞書照合部を有する帳票認識装置。
【請求項４】
請求項１〜３の何れか一つに記載の帳票認識装置において、
前記認識優先度設定部は、前記文字列領域画像の幅や高さ、前記文字列領域画像内の連結成分数や微小連結成分数、前記文字列領域画像が属する枠の幅や高さなどのペナルティ項目に対し、あらかじめ決められた閾値を超過するもしくは下回る際に、認識優先度を下げるよう設定を行う帳票認識装置。
【請求項５】
請求項１〜３の何れか一つに記載の帳票認識装置において、
前記認識優先度設定部は、前記文字列領域画像の幅や高さ、前記文字列領域画像内の連結成分数や微小連結成分数、前記文字列領域画像が属する枠の幅や高さなどのペナルティ項目に対し、事前に前記ペナルティ項目ごとの正規分布を学習しておき、前記文字列領域画像のペナルティ項目の値が前記正規分布の平均からの偏差が大きくなるにつれて、認識優先度を下げるように設定を行う帳票認識装置。
【請求項６】
請求項1〜５の何れか一つに記載の帳票認識装置において、
前記項目名−項目値関係抽出終了判定部は、項目名−項目値関係が読み取り対象の全属性分揃っており、かつスコアが予め指定された閾値よりも高い場合に、目的の項目名−項目値関係が抽出されたと判定する帳票認識装置。
【請求項７】
請求項1〜５の何れか一つに記載の帳票認識装置において、
前記項目名−項目値関係抽出終了判定部は、全属性において、同一属性かつ同一項目値文字列が複数得られた場合に、目的の項目名−項目値関係が抽出されたと判定する帳票認識装置。
【請求項８】
帳票定義を用いないで帳票画像の認識処理を行う帳票認識方法であって、
前記帳票画像内から文字列領域画像を検出し、検出された前記文字列領域画像に対し、項目名もしくは項目値らしさを表す認識優先度を設定する認識優先度設定ステップと、
前記認識優先度の高い順にまとめられた認識グループを設定する認識グループ設定ステップと、
前記認識グループごとに前記認識グループ内の文字列のペアから項目名−項目値関係を抽出する項目名−項目値関係抽出ステップと、
前記項目名−項目値関係抽出ステップで抽出された項目名−項目値関係により、帳票画像内から目的の項目名−項目値関係が抽出されたかを判定する項目名−項目値関係抽出終了判定ステップを有し、
前記項目名−項目値関係抽出ステップにおいて、認識優先度の高い認識グループの文字列から順に項目名−項目値関係の抽出を行い、前記項目名−項目値関係抽出終了判定ステップにおいて、目的の項目名−項目値関係が抽出できたと判定されれば帳票認識処理を終了する帳票認識方法。
【請求項９】
請求項８に記載の帳票認識方法において、
文字認識辞書を用いて、検出された前記文字列領域画像の文字を認識する文字列認識ステップを有する帳票認識方法。
【請求項１０】
請求項９に記載の帳票認識方法において、
項目辞書を用いて、前記文字列認識ステップで認識した文字列の項目名もしくは項目値を照合する辞書照合ステップを有する帳票認識方法。
【請求項１１】
請求項８〜１０の何れか一つに記載の帳票認識方法において、
前記認識優先度設定ステップは、前記文字列領域画像の幅や高さ、前記文字列領域画像内の連結成分数や微小連結成分数、前記文字列領域画像が属する枠の幅や高さなどのペナルティ項目に対し、あらかじめ決められた閾値を超過するもしくは下回る際に、認識優先度を下げるよう設定を行う帳票認識方法。
【請求項１２】
請求項８〜１０の何れか一つに記載の帳票認識方法において、
前記認識優先度設定ステップは、前記文字列領域画像の幅や高さ、前記文字列領域画像内の連結成分数や微小連結成分数、前記文字列領域画像が属する枠の幅や高さなどのペナルティ項目に対し、事前に前記ペナルティ項目ごとの正規分布を学習しておき、前記文字列領域画像のペナルティ項目の値が前記正規分布の平均からの偏差が大きくなるにつれて、認識優先度を下げるように設定を行う帳票認識方法。
【請求項１３】
コンピュータに、帳票定義を用いないで帳票画像の認識処理を実行させるプログラムであって、
前記帳票画像内から文字列領域画像を検出し、検出された前記文字列領域画像に対し、項目名もしくは項目値らしさを表す認識優先度を設定する認識優先度設定ステップと、
前記認識優先度の高い順にまとめられた認識グループを設定する認識グループ設定ステップと、
前記認識グループごとに前記認識グループ内の文字列のペアから項目名−項目値関係を抽出する項目名−項目値関係抽出ステップと、
前記項目名−項目値関係抽出ステップで抽出された項目名−項目値関係により、帳票画像内から目的の項目名−項目値関係が抽出されたかを判定する項目名−項目値関係抽出終了判定ステップを有し、
前記項目名−項目値関係抽出ステップにおいて、認識優先度の高い認識グループの文字列から順に項目名−項目値関係の抽出を行い、前記項目名−項目値関係抽出終了判定ステップにおいて、目的の項目名−項目値関係が抽出できたと判定されれば帳票認識処理を終了する処理を実行させるプログラム。
【請求項１４】
請求項１３に記載のプログラムにおいて、
文字認識辞書を用いて、検出された前記文字列領域画像の文字を認識する文字列認識ステップを有するプログラム。
【請求項１５】
請求項１４に記載のプログラムにおいて、
項目辞書を用いて、前記文字列認識ステップで認識した文字列の項目名もしくは項目値を照合する辞書照合ステップを有するプログラム。
【請求項１６】
請求項１３〜１５の何れか一つに記載のプログラムにおいて、
前記認識優先度設定ステップは、前記文字列領域画像の幅や高さ、前記文字列領域画像内の連結成分数や微小連結成分数、前記文字列領域画像が属する枠の幅や高さなどのペナルティ項目に対し、あらかじめ決められた閾値を超過するもしくは下回る際に、認識優先度を下げるよう設定を行うプログラム。
【請求項１７】
請求項１３〜１５の何れか一つに記載のプログラムにおいて、
前記認識優先度設定ステップは、前記文字列領域画像の幅や高さ、前記文字列領域画像内の連結成分数や微小連結成分数、前記文字列領域画像が属する枠の幅や高さなどのペナルティ項目に対し、事前に前記ペナルティ項目ごとの正規分布を学習しておき、前記文字列領域画像のペナルティ項目の値が前記正規分布の平均からの偏差が大きくなるにつれて、認識優先度を下げるように設定を行うプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票認識装置、帳票認識方法およびそのためのプログラムに係り、特に帳票画像上に記載される文字列の属性の理解と文字列認識の技術に関する。
【背景技術】
【０００２】
従来の帳票認識装置は、あらかじめ読取対象文字列の帳票画像上での記載位置とその属性をユーザが事前に装置に登録しておく「帳票定義」により、読取対象文字列の読取および当該文字列の属性の理解を行っていた。
【０００３】
帳票処理業務において、処理する帳票のレイアウト、すなわち文字列の記載位置や枠の記載位置、枠の並びが統一されており、任意の帳票画像における読取対象文字列の記載位置が固定である場合には、前記の帳票定義を事前に装置に登録することで読取対象文字列の位置検出および該文字列の属性の理解を行っていた。他方で、多種レイアウトが混在する帳票処理業務や、処理する帳票のレイアウトが未知である帳票処理業務が存在する。多種レイアウトとは、図３に示す帳票例のように、読取対象文字列の記載位置が帳票ごとに異なることである。図３の例は、帳票画像内から３つの属性「振込先口座番号」「納入金額」「納入期限日付」を読み取る例であるが、帳票３００と帳票３０１ではそれぞれ記載位置が異なるため、帳票ごとに帳票定義を作成する必要がある。業務によっては帳票レイアウトの種類が数万種類に及ぶ場合もあり、帳票定義による認識は、帳票定義の作成コストが膨大になり利用できなかった。
【０００４】
多種レイアウト帳票を帳票定義を用いずに認識する技術として、「金額」「口座番号」「納入期限」のような属性を表すキーワードである項目名と、「10,000円」「12345-6-78901」「22年3月1日」のような読み取るべき値である項目値を抽出し、「金額」−「10,000円」といった項目名−項目値関係を抽出することで、読取対象文字列の属性およびその値を読み取る方式がある。この例として、例えば特許文献１に開示の技術のように、帳票画像内の文字列と、項目名辞書に登録された項目名単語とを照合し、項目名単語照合に成功した文字列を項目名、項目名単語照合に失敗した文字列を項目値（特許文献１では「データ」と表現している）候補と判定し、項目名と項目値候補の配置関係から、項目名と項目値の対応関係を決定し、項目名辞書に登録された項目名の属性から、対応する項目値の属性を判定する方式がある。
【０００５】
また、特許文献２に開示の技術のように、前述の項目名辞書に加え、項目値の表記文法のルールを記述した表記辞書を備え、帳票画像内の全ての文字列に対し、項目名辞書に登録された単語である確率である項目名尤度、表記辞書に登録された表記文法に一致する確率である項目値尤度算出し、帳票画像内の全ての文字列のペアに対し、２つの文字列の配置関係が項目名−項目値関係として妥当かを示す配置尤度を計算し、項目名尤度と項目値尤度と配置尤度とを統合した評価値により、帳票画像内から項目名−項目値のペアを抽出する方式がある。
【０００６】
上述されるような帳票定義を用いずに多種レイアウト帳票を認識する技術では、図４の帳票４００のように、「口座番号」「納入金額」「納入日付」などの属性を持つ読み取り対象の項目名−項目値文字列が、帳票画像内に記載される文字列のごく一部にもかかわらず、帳票画像内の全ての文字列に対し、文字列認識および単語照合を行う必要があった。帳票認識時間の大部分は文字列認識および単語照合に費やす時間となっているため、結果として帳票定義を用いない多種レイアウト帳票認識技術は処理時間が多くかかるという問題を招いていた。例として、図４の帳票４００の場合、文字列４０１や文字列４０２は「納入金額」の属性を持つ読み取り対象の文字列であるため、文字列認識や単語照合処理を行うべき文字列であるが、一方で文字列４０３や文字列４０４は注意書きなど読み取り対象外の文字列であり、これらの文字列に要する文字列認識や単語照合処理は帳票認識全体の処理では不要な処理となる。また、レイアウトが複雑であり文字列が多い帳票や、点状ノイズが入った帳票はさらに多くの処理時間がかかるという問題を招いていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０４２２６号公報
【特許文献２】特願２０１０−１２０７５１号
【特許文献３】特開平１１−５３４６６号公報
【非特許文献】
【０００８】
【非特許文献１】F.Kimura et. al.  “Modified quadratic discriminant functions and the application to chinese character recognition” IEEE Transaction on Pattern Analysis and Machine Intelligence、 vol.9、 pp.149-153
【非特許文献２】高橋他、「回帰的遷移ネットワークを用いた文字経路探索方式の開発」、電子情報通信学会技術研究報告 Vol.109 No.418 pp.141-146
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、このような問題点に鑑みてなされたものである。
【００１０】
すなわち、本発明は、帳票定義を用いない帳票認識方式において、文字列が多数記載されている帳票画像内からも、高速に目的の項目名-項目値ペアを抽出することができる帳票認識方式を提供することを第１の課題とする。
【００１１】
また、本発明は、文字列認識および単語照合に時間がかかる点状ノイズが入った帳票画像内からも、高速に目的の項目名-項目値ペアを抽出することができる帳票認識方式を提供することを第２の課題とする。
【課題を解決するための手段】
【００１２】
本願の開示する発明のうち代表的なものは以下の通りである。
【００１３】
本発明の帳票認識装置は、認識辞書と、帳票画像の認識処理を行う帳票認識部とを備える帳票認識装置であって、前記帳票認識部は、前記帳票画像内から文字列領域画像を検出し、検出された前記文字列領域画像に対し、項目名もしくは項目値らしさを表す認識優先度を設定する認識優先度設定部と、前記認識優先度の高い順にまとめられた認識グループを設定する認識グループ設定部と、前記認識グループごとに前記認識グループ内の文字列のペアから項目名−項目値関係を抽出する項目名−項目値関係抽出部と、前記項目名−項目値関係抽出部によって抽出された項目名−項目値関係により、帳票画像内から目的の項目名−項目値関係が抽出されたかを判定する項目名−項目値関係抽出終了判定部を有し、前記項目名−項目値関係抽出部により、認識優先度の高い認識グループの文字列から順に項目名−項目値関係の抽出を行い、前記項目名−項目値関係抽出終了判定部により、目的の項目名−項目値関係が抽出できたと判定されれば帳票認識処理を終了するものである。
【００１４】
また、本発明の帳票認識方法は、帳票定義を用いないで帳票画像の認識処理を行う帳票認識方法であって、前記帳票画像内から文字列領域画像を検出し、検出された前記文字列領域画像に対し、項目名もしくは項目値らしさを表す認識優先度を設定する認識優先度設定ステップと、前記認識優先度の高い順にまとめられた認識グループを設定する認識グループ設定ステップと、前記認識グループごとに前記認識グループ内の文字列のペアから項目名−項目値関係を抽出する項目名−項目値関係抽出ステップと、前記項目名−項目値関係抽出ステップで抽出された項目名−項目値関係により、帳票画像内から目的の項目名−項目値関係が抽出されたかを判定する項目名−項目値関係抽出終了判定ステップを有し、前記項目名−項目値関係抽出ステップにおいて、認識優先度の高い認識グループの文字列から順に項目名−項目値関係の抽出を行い、前記項目名−項目値関係抽出終了判定ステップにおいて、目的の項目名−項目値関係が抽出できたと判定されれば帳票認識処理を終了するものである。
【００１５】
また、本発明のプログラムは、コンピュータに、帳票定義を用いないで帳票画像の認識処理を実行させるプログラムであって、前記帳票画像内から文字列領域画像を検出し、検出された前記文字列領域画像に対し、項目名もしくは項目値らしさを表す認識優先度を設定する認識優先度設定ステップと、前記認識優先度の高い順にまとめられた認識グループを設定する認識グループ設定ステップと、前記認識グループごとに前記認識グループ内の文字列のペアから項目名−項目値関係を抽出する項目名−項目値関係抽出ステップと、前記項目名−項目値関係抽出ステップで抽出された項目名−項目値関係により、帳票画像内から目的の項目名−項目値関係が抽出されたかを判定する項目名−項目値関係抽出終了判定ステップを有し、前記項目名−項目値関係抽出ステップにおいて、認識優先度の高い認識グループの文字列から順に項目名−項目値関係の抽出を行い、前記項目名−項目値関係抽出終了判定ステップにおいて、目的の項目名−項目値関係が抽出できたと判定されれば帳票認識処理を終了する処理を実行させるものである。
【発明の効果】
【００１６】
本発明により、帳票定義を用いずに多種レイアウト帳票から項目名−項目値関係を抽出する帳票認識技術においても、従来よりも高速に帳票認識処理を行うことができる。また、点状ノイズが入る帳票画像に対しても、ノイズの影響による帳票認識処理時間の増大の影響を抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例における、帳票認識のフロー図である。
【図２】本発明の前提となる、帳票認識の基本処理フロー図である。
【図３】多種レイアウト帳票の例を示す図である。
【図４】帳票レイアウトの一例を示す図である。
【図５】本発明の実施例における、帳票認識装置の概略構成図である。
【図６】本発明の実施例における、認識優先度設定のフローチャートである。
【図７】本発明の実施例における、認識優先度設定の他のフローチャートである。
【図８】本発明の実施例における、項目名−項目値関係の抽出結果の例である。
【図９】本発明の実施例における、項目名−項目値関係の抽出結果の他の例である。
【図１０】本発明の実施例における、認識優先度設定の際のペナルティ項目の例である。
【図１１】本発明の実施例における、認識優先度設定および認識グループ設定の例である。
【図１２】本発明の実施例における、項目名−項目値関係抽出終了判定のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図に示す実施例により本発明をさらに詳細に説明する。なお、これにより本発明が限定されるものではない。具体的な処理の内容を説明する前に、本発明の概略について説明する。
【００１９】
本発明は、帳票定義を用いずに帳票画像内から読み取り対象の文字列およびその属性を抽出する帳票認識方式において、処理時間の多くかかる文字列認識処理および辞書照合処理の回数を抑制することで、本来の帳票認識時間よりも高速に実行できる帳票認識方式である。そのためには、まず文字列認識を行う以前の文字列に対して、当該文字列のサイズや連結成分の個数、当該文字列矩形が属する枠のサイズや当該枠に属する他の文字列矩形の数などの文字列の画像情報を元に、当該文字列が読取対象の項目名もしくは項目値であるかどうかの認識優先度を設定する。次に、認識優先度の高い文字列から順に文字列認識処理、辞書照合処理、項目名-項目値関係抽出処理を行い、帳票画像内から読み取り対象の項目名-項目値関係が抽出されたと判定されれば、帳票認識処理を終了する。これにより、帳票画像内の全ての文字列に対して、文字列認識処理、辞書照合処理、項目名−項目値関係抽出処理を行うことなく、高速に帳票認識処理を行うものである。
【実施例】
【００２０】
以下、本発明の一実施例になる帳票認識装置および帳票認識方法について、図面を用いて詳細に説明する。
【００２１】
図５は、本発明の帳票認識装置のハードウェア構成例である。本実施例の帳票認識装置は、命令コマンドやデータなどを入力するための入力装置５０１、認識対象の帳票を入力する画像入力装置５０２、文字列の検出や文字列認識、項目名−項目値関係の解析を行う帳票認識部５００、文字認識辞書や項目名単語辞書を格納する認識辞書５０３、帳票画像の認識結果を表示する表示装置５０４を備える。帳票認識部５００と、入力装置５０１、画像入力装置５０２、認識辞書５０３、表示装置５０４は、物理的な接続手段に依らず、ネットワークなどを介して接続されてもよい。
【００２２】
帳票認識部５００における、本発明の帳票認識の処理フローを示す前に、本発明で前提とする帳票認識の基本処理フローについて図２を用いて説明する。図２は帳票定義を用いない帳票認識処理のうち、項目名−項目値関係を抽出することで読取対象の文字列の値およびその属性を抽出する処理の例である。
【００２３】
まず、ステップＳ２１０において、入力された帳票画像から枠を検出する。次に、ステップＳ２２０において、帳票画像から文字列を検出する。ステップＳ２１０およびＳ２２０の具体例として、例えば、特許文献３に開示の技術のように、帳票画像から罫線を抽出し、２本の罫線の交点と端点を抽出し、矩形枠の四隅に相当する右上角、左上角、右下角、左下角を検出することにより、帳票画像内から枠を検出する方式を利用することができる。
【００２４】
ステップＳ２３０では、ステップＳ２２０において検出された文字列領域の個々の文字を文字認識辞書２３１を用いて認識する。ステップＳ２３０の具体例として、例えば、非特許文献１に開示の技術のように、ベイズの定理から導かれる距離尺度である識別関数を文字カテゴリごとに定め、識別関数の出力する値に基づいて、未知の文字を文字カテゴリに分類することで、個々の文字を認識する方式などがある。
【００２５】
ステップＳ２４０では、ステップＳ２３０において認識された各文字列の文字列認識結果ごとに、項目辞書２４１と照合し、当該文字列が項目辞書２４１に登録された単語や表記文法に一致するかどうかを計算する。項目辞書２４１は、例えば特許文献１では、「金額」や「口座番号」など、当該文字列が項目名となるかを判定するためのキーワードリストである項目名辞書と、「nn,nnn円」（nは数字）や「nnnnn-n-nnnnnnn」など当該文字列が項目値となるかを判定するための表記文法リストである項目値辞書から構成される。辞書との照合時には、当該文字列がどの程度辞書内の単語や表記文法と一致するかを表す尤度が計算され、項目名辞書と照合した結果である項目名尤度が高ければ、当該文字列は項目名候補と判定され、項目値辞書と照合した結果である項目値尤度が高ければ、当該文字列は項目値候補と判定される。ステップＳ２４０における単語照合の具体的な実施例としては、例えば、非特許文献２に開示の技術のように、個別文字の識別候補をノードと見立てた識別候補文字ネットワークと状態遷移ネットワークで表現した辞書のマッチングにより、状態遷移ネットワークから最適な文字列パスを選択し、文字列認識結果を得る方法がある。一般に、識別候補文字ネットワークを用いて辞書との走査を行いマッチングを行う方式は、文字列長が長くなった場合や、ノイズ点が多く混入した場合に識別候補文字ネットワークのノード数が多くなり、処理に時間がかかるという問題がある。特に、後者のノイズ点が入るケースでは、処理に時間がかかることに加え、ノイズ点の悪影響により正しい照合結果が得られにくいといった問題がある。本発明では、上記のようなノイズ点が入る文字列による、処理時間増大の影響を抑制することも可能となる。
【００２６】
ステップＳ２５０では、ステップＳ２４０において、項目名候補や項目値候補と判定された文字列ペアに対し、当該文字列ペアの配置関係が項目名−項目値関係として妥当かどうかを判定し、妥当であれば当該文字列ペアを項目名−項目値関係として抽出する。配置関係が項目名−項目値関係として妥当かどうかの判定は、ステップＳ２１０において検出された枠の座標およびステップＳ２２０において検出された文字列領域の座標を基に行われ、２つの文字列が属する枠のサイズおよび配置関係および隣接関係や、２つの文字列矩形のサイズおよび配置関係を基に行われる。例えば、特許文献２の方式では、２つの文字列の配置関係が項目名−項目値関係として妥当かどうかを表す尺度である配置尤度を計算する。配置尤度は、配置尤度が取り得る値の最大値で初期化し、文字列ペアをなす２つの文字列の配置関係が項目名−項目値関係として非妥当であると判断できる配置パターンを配置ペナルティルールとして定義し、初期値から配置ペナルティルールによって得られた配置ペナルティ値を減算した値を計算する方法がある。配置尤度はあらかじめ定められた閾値以上の場合、当該文字列ペアの配置関係が項目名-項目値関係として妥当であると判定される。
【００２７】
また、ステップＳ２４０およびステップＳ２５０からなる項目名−項目値関係の抽出は、上記によるものではなく、例えば特許文献１のように、まずステップＳ２４０にて、ステップＳ２３０の結果得られた各文字列の文字列認識結果ごとに、前述の項目名辞書との照合を行い、当該文字列が項目名であるかどうかを判定し、次にステップＳ２５０にて、ステップＳ２４０で項目名と判定された文字列が属する枠の下に隣接する枠内の文字列もしくは右に隣接する枠内の文字列を項目値と判定し、項目名−項目値関係として抽出する方式であってもよい。また、その他、ステップＳ２４０が帳票画像内の任意の文字列が項目名もしくは項目値となるかを判定する機能を持ち、ステップＳ２５０が帳票画像内の任意の文字列ペアの配置関係が項目名−項目値関係として妥当かどうかを判定し、項目名−項目値関係を抽出する機能を持つものであれば、上記のものには依らない。
【００２８】
また、最後にステップＳ２６０において、ステップＳ２５０で抽出された項目名−項目値関係と、あらかじめ項目辞書２４１内で定義された項目名および項目値の属性を照らし合わせ、項目名−項目値関係と判定された文字列の属性を決定する。
【００２９】
次に、本発明の帳票認識フローを、図１を用いて説明する。図１のステップＳ２１０、ステップＳ２２０、ステップＳ２３０、ステップＳ２４０、ステップＳ２５０、ステップＳ２６０は、それぞれ図２のものと同一の処理となる。本発明は、図２に示した帳票認識の基本処理フローに対し、ステップＳ１１０の認識優先度設定、ステップＳ１２０の認識グループ設定、ステップＳ１３０の項目名−項目値関係抽出終了判定を付加することで、従来より高速に帳票画像内から目的の項目名−項目値関係を抽出することを実現するものである。以下、ステップＳ１１０の認識優先度設定、ステップＳ１２０の認識グループ設定、ステップＳ１３０の項目名−項目値関係抽出終了判定について、詳細に述べる。
【００３０】
ステップＳ１１０の認識優先度設定では、ステップＳ２２０で抽出された文字列に対し、項目名および項目値らしさを事前に判定し、項目名および項目値らしいものから順に認識優先度を設定する。認識優先度は文字列認識処理以前に得られる情報、すなわち文字列矩形のサイズや枠のサイズ、所属する枠に属する他の文字列数などから判定するため、文字列認識よりも高速に認識優先度を設定することができる。
【００３１】
ステップＳ１１０の処理フロー例を、図６を用いて説明する。図６の処理は、ステップＳ２２０で抽出された文字列ごとに実行される。図６のステップＳ６０１では認識優先度を初期化する。例えば、認識優先度は小さいほど、当該文字列の項目名もしくは項目値としての可能性が高いことを表す値とする。ステップＳ６０２では残りペナルティがあるかを判定し、残りペナルティルールがなければ処理を終了する。ペナルティルールとは、例えば図１０および下記の（１）〜（１２）に示すような文字列の特徴がある条件を満たす際に該当するルールとなっており、当該文字列が項目名および項目値でないと判断するための尺度となっている。例として、文字列のサイズやアスペクト比など外形情報、文字列の属する枠に関する周辺情報、文字列内の連結する黒画素の成分数などの画素情報、文字列の帳票内での位置に関する位置情報などを用いることができる。下記にそれぞれの分類ごとにペナルティルールを例を示す。
○文字列の外形情報
（１）文字列の幅STRWIDTHが閾値TH_MAX_STRWIDTH以上
（２）文字列の幅STRWIDTHが閾値TH_MIN_STRWIDTH以下
（３）文字列の高さSTRHEIGHTが閾値TH_MAX_STRHEIGHT以上
（４）文字列の高さSTRHEIGHTが閾値TH_MIN_STRHEIGHT以下
（５）文字列のアスペクト比STRASPECTが閾値TH_MAX_STRASPECT以上
○文字列の周辺情報
（６）文字列の属する枠の幅CELLWIDTHが閾値TH_MAX_CELLWIDTH以上
（７）文字列の属する枠の高さCELLHEIGHTが閾値TH_MAX_CELLHEIGHT以上
（８）文字列の属する枠内に存在する文字列数STRNUMが閾値TH_STRNUM以上
（９）文字列の属する枠のアスペクト比CELLASPECTが閾値TH_MAX_CELLASPECT以上
○文字列の画素情報
（１０）文字列内の連結成分数SEPNUMが閾値TH_SEPNUM以上
（１１）文字列内の微小連結成分数DOTNUMが閾値TH_DOTNUM以上
ここで、「連結成分」とは連結された黒画素の固まりの数、「微小連結成分」とはドット状などの小さな黒画素の固まりを表す。
○文字列の位置情報
（１２） 帳票の上下端と文字列の相対距離UPLOWRATIOがTH_MIN_UPLOWRATIO以下
上記のルールは、（１）（６）（７）（８）の特徴を持つ長い文字列や複数行の文字列は注意書きや説明書きなどの文章である可能性が高く、（２）（４）の特徴を持つ小さい文字列はノイズ点である可能性が高く、（３）の特徴を持つ通常より高さのある文字列は帳票タイトルや記号である可能性が高く、（５）（９）の特徴を持つ縦長の文字列は縦点線や読み取り対象外項目である可能性が高く、（１０）（１１）の特徴を持つ文字数が多い文字列や黒画素が混雑している文字列やドット点が多い文字列はノイズ入り文字列や背景模様である可能性が高く、（１２）の特徴を持つ文字列は帳票タイトルや注意書きである可能性が高いなどの基準に基づいて設定されるものである。
【００３２】
ステップＳ６０３では、文字列矩形がペナルティルールに該当するかどうかを判定する。この判定は、文字列のサイズや画素情報等のみに基づいて行われるため、高速に処理することができる。ステップＳ６０３でペナルティルールに該当すれば、ステップＳ６０４で認識優先度を１ずつインクリメントする。ペナルティルールに該当しなければ、ステップＳ６０２に戻り処理を継続する（Ｓ６０５）。
【００３３】
また、ステップＳ１１０の別の処理フロー例を図７を用いて説明する。図７の処理は図１のステップＳ２２０の処理にて抽出された文字列ごとに実行される。ステップＳ７０１では、認識優先度を初期化する。認識優先度は小さいほど、優先度が高いものとする。ステップＳ７０２では、残りペナルティがあるかを判定し、残りペナルティがなければ処理を終了する。ステップＳ７０３では、当該文字列のペナルティ項目の正規分布の平均からのずれΣを計算する。ずれΣの計算法は、例えばペナルティ項目が平均μで分散σの正規分布N（μ、σ）に従い、当該文字列のペナルティ項目の値がΜのとき、下記の式で定義できる。
Σ＝（Ｍ−μ）^2 ／σ
また、ペナルティ項目は、下記にしめすようなものがある。
・文字列の幅STRWIDTH
・文字列の高さSTRHEIGHT
・文字列の属する枠の幅CELLWIDTH
・文字列の属する枠の高さCELLHEIGHT
・文字列のアスペクト比STRASPECT
・文字列の属する枠のアスペクト比CELLASPECT
・文字列内の連結成分数SEPNUM
・文字列内の微小連結成分数DOTNUM
・文字列の属する枠内に存在する文字列数STRNUM
・帳票の上下端と文字列の相対距離UPLOWRATIO
それぞれのペナルティ項目の正規分布は、事前に学習用帳票サンプルを用いて学習しておくなどの方法がある。例として、学習用帳票サンプルの文字列矩形の幅が平均3.0、分散2.0の正規分布N（3.0、 2.0）に従うとすると、当該文字列矩形の幅が5.0であった場合、学習用帳票サンプルの文字列矩形幅の正規分布に対する、当該文字列矩形幅のずれΣは
Σ=（5.0 - 3.0）^2 ／ 2.0 = 2.0
となる。ステップＳ７０４では、ステップＳ７０３で得られたずれΣの分だけ、ペナルティを示す値として認識優先度に加算する。ステップＳ７０５では、次のペナルティを参照し、以上ステップＳ７０２からステップＳ７０５までの処理をペナルティの数だけ繰り返す。
【００３４】
次に図１のステップＳ１２０の処理について説明する。ステップＳ１２０では、ステップＳ１１０で得られた認識優先度の順に文字列をソートし、文字列をいくつかの認識グループに分割する。例えば、前述の図６のフローにより認識優先度が設定された場合には、認識グループ＝文字列の認識優先度とするなどがある（認識優先度＝１なら認識グループ１に所属）。このとき、文字列の認識優先度が認識グループ数を超えた場合、当該文字列の認識グループ＝認識グループ数とする（例として、認識グループ数＝５のとき、認識優先度が６以上の文字列があった場合、認識グループ５に設定する）。また、例えば、前述の図７のフローにより認識優先度が設定された場合には、認識優先度の順にソートされた全文字列を認識優先度の高い順に、認識グループの数だけ同数ずつに分割するなどがある。
【００３５】
ステップＳ１１０およびステップＳ１２０の処理例をさらに具体的に図１１を用いて説明する。ペナルティ項目テーブル１１００は帳票１１５０内の文字列に対して、ペナルティ項目の値および図６に記載の認識優先度設定処理フローによって計算した認識優先度を記載したものである。ペナルティ項目の条件はテーブル１１６０のとおりである。図１１では、文字列の幅STRWIDTH、文字列の高さSTRHEIGHT、文字列内の連結成分数SEPNUM、文字列内の微小連結成分数DOTNUMのみついて言及しているが、他のペナルティ項目についても処理例は同様である。例えば、文字列１１０７はいずれのペナルティ項目の条件にも該当せず、認識優先度は１となる。文字列１１０１はSTRWIDTH > TH_MAX_STRWIDTHおよびSTRHEIGHT > TH_MAX_STRHEIGHTとなり、２つのペナルティ項目の条件に合致するだめ、認識優先度は３となる。認識グループ数を３とするとき、図１１の場合、認識グループ１に属する文字列が文字列１１０３、文字列１１０６、文字列１１０７、文字列１１０８、文字列１１０９となり、認識グループ２に属する文字列が文字列１１０２、文字列１１０４、文字列１１１２となり、認識グループ３に属する文字列が文字列１１０１、文字列１１０５、文字列１１１０、文字列１１１１、文字列１１１３、文字列１１１４、文字列１１１５となる。ステップＳ１２０の後段の文字列認識処理Ｓ２３０、辞書照合処理Ｓ２４０、項目名-項目値関係抽出処理Ｓ２５０では、ステップＳ１２０で得られた認識グループ１、認識グループ２、認識グループ３の順に処理を実行する。このように認識グループを分割することで、項目名-項目値関係抽出に不要な文字列に対する文字列認識処理および辞書照合処理をより後の段階で処理するように制御することができる。
【００３６】
ステップＳ１３０では、ステップＳ２５０の結果得られた項目名−項目値関係の抽出結果を元に、帳票画像内から目的の項目名−項目値関係を抽出できたかどうかを判定し、抽出できたと判定されればステップＳ２６０の処理に遷移し、抽出できなかったと判定されればステップＳ２３０の処理に戻る。これにより、認識優先度の高い認識グループ（例えば本実施例においては認識優先度の値の小さいグループ）のみで項目名−項目値関係が抽出できた場合、ステップＳ２３０、ステップＳ２４０、ステップＳ２５０に要する時間は、前記の認識優先度の高いグループに要する時間のみで済むため、従来の方式よりの少ない処理時間で項目名−項目値関係の抽出処理を終えることができる。
【００３７】
帳票画像内から目的の項目名−項目値関係が抽出されたかどうかの判定は、例えば、ステップＳ２５０の結果出力された項目名−項目値関係が、図８の項目名−項目値抽出結果テーブル８５０のように読み取り対象の全属性分揃っており、かつスコアがあらかじめ指定された閾値よりも高い場合に（例えばここでは閾値＝1.50）、目的の項目名−項目値関係が抽出されたと判定する方法などがある（図１２のステップＳ１２０３）。スコアは項目名−項目値抽出結果の信頼度を表す尺度を用いる。例えば、図１のステップＳ２４０で得られた項目名照合結果の照合スコアや項目名照合結果の照合スコアと項目値照合結果の照合スコアの和などがある。
【００３８】
また、その他に、図９のような複数の帳票片９０２、９０３が連続するような帳票９０１の場合、それぞれの帳票片に読み取り対象の項目名−項目値関係が記載されている場合がある。これを利用し、全属性において、同一属性かつ同一項目値文字列が複数得られた場合に、目的の項目名−項目値関係が抽出されたと判定する方法がある（図１２のステップＳ１２０２）。項目名−項目値抽出結果テーブル９５０では、項目名−項目値抽出結果９５１と９５２にて同一の金額属性かつ項目値抽出結果が同一の”10,000”となり、項目名−項目値抽出結果９５３と９５４にて同一の口座番号属性かつ項目値抽出結果が同一の”12345-6-78901”となり、項目名−項目値抽出結果９５６と９５７にて同一の日付属性かつ項目値抽出結果が同一の”22年3月1日”となり、全属性において、同一属性かつ同一項目値文字列が得られ、読み取り対象の項目名−項目値関係が抽出されたと判定される。また、図８の項目名−項目値関係抽出結果テーブル８５０、図９の項目名−項目値関係抽出結果テーブル９５０のどちらの場合も、抽出された項目名−項目値関係は全て抽出結果として出力される。
【００３９】
以上ステップＳ１３０の処理をフロー図にまとめたものが図１２となる。ステップＳ１２０１では残り属性があるかを判断し、なければステップＳ１３０全体の処理を終了する。終了時には項目名−項目値関係抽出の終了判定をステップＳ１３０の結果として返す。ステップＳ１２０２では、現在参照している属性内で同一の項目値抽出結果が２つ以上あるかないかを判定する。２つ以上あればステップＳ１２０４の処理へ遷移し、なければステップＳ１２０３の処理へ遷移する。ステップＳ１２０３では、現在参照している属性内でスコアが閾値以上の項目名−項目値関係があるかどうかを判断する。あればステップＳ１２０４の処理へ遷移し、なければステップＳ１３０全体の処理を終了する。終了時には、項目名−項目値関係抽出の再試行判定をステップＳ１３０の結果として返す。ステップＳ１２０４では、現在参照している属性の次の属性を参照する。なお、ステップＳ１２０２およびステップＳ１２０３は必ずしも両者必要ではなく、いずれか片方のみの判定であってもよい。
【００４０】
本実施例の帳票認識装置は、図５の帳票認識部５００に、図１の各ステップに対応する処理部である、認識優先度設定部、認識グループ設定部、文字列認識部、辞書照合部、項目名−項目値関係抽出部、項目名−項目値関係抽出終了判定部などを有している。帳票認識部５００のこれらの処理部は、コンピュータにプログラムを組み込んでソフトウェアで構成することもできるし、また、それぞれハードウェアで構成することもできる。
【００４１】
以上述べた通り、本発明によれば、帳票画像内の文字列に対し、当該文字列が項目名もしくは項目値である確度である認識優先度を設定し、認識優先度の高い順に認識グループを構成し、認識グループ内の文字列ごとに段階的に項目名−項目値関係抽出処理を行い、読み取り対象の項目名−項目値関係が抽出されれば処理を終了する帳票認識処理の制御方法を用いることで、項目名−項目値関係抽出に不要な文字列に対する文字列認識処理および辞書照合処理を行わずに、高速に項目名−項目値関係を抽出できる帳票認識方式を提供することができる。
【符号の説明】
【００４２】
３００，３０１  帳票
４００  帳票
４０１〜４０４  文字列
５００  帳票認識部
５０１  入力装置
５０２  画像入力装置
５０３  認識辞書
５０４  表示装置
８０１  帳票
８５０  項目名−項目値抽出結果テーブル
９０１  帳票
９０２，９０３  帳票片
９５０  項目名−項目値抽出結果テーブル
１１００  ペナルティ項目テーブル
１１５０  帳票
１１６０  条件テーブル
【図１】
0005653817.tif 000002
【図２】
0005653817.tif 000003
【図３】
0005653817.tif 000004
【図４】
0005653817.tif 000005
【図５】
0005653817.tif 000006
【図６】
0005653817.tif 000007
【図７】
0005653817.tif 000008
【図８】
0005653817.tif 000009
【図９】
0005653817.tif 000010
【図１０】
0005653817.tif 000011
【図１１】
0005653817.tif 000012
【図１２】
0005653817.tif 000013