(57)【要約】【課題】同じ帳票種にも関わらず，帳票ごとに文字枠やフィールド枠の位置や大きさが異なったり，枠の配置関係が異なる帳票に対して，帳票ごとの書式情報を作成せずに枠の座標を検出する。【解決手段】帳票を部分領域に分割し，領域ごとに複数の部分書式情報を作成する。帳票認識時には，部分領域ごとに入力画像と部分書式との照合処理を行ない，最適な部分書式を選択する。各部分領域における最適な部分書式を合成することにより帳票全体の書式情報を生成する。このように動的に生成された書式情報から枠の座標を抽出する。【効果】準定型帳票を，部分書式情報を利用することにより精度良く認識することができる。さらに，従来に比べて書式情報の作成工数を削減し書式情報の容量を削減できる。【選択図】　図２
2004139484.tif 000002
【特許請求の範囲】
【請求項１】
帳票画像を構成する複数の領域毎に該帳票の書式情報を記憶する記憶手段と、
帳票画像を取得する入力手段と、
上記記憶手段から書式情報読み出し、上記取得した帳票画像を構成する複数の部分領域各々の書式と照合を行う手段と、
上記照合の結果に基づいて、決定された上記複数の書式情報を結合して上記帳票画像の書式を決定する手段とを有する帳票処理装置。
【請求項２】
上記照合を行う手段は、上記帳票画像から帳票の書式を表現する特徴量を抽出し，上記部分領域の上記特徴量と複数の上記書式情報との照合を行い、該書式情報のうち最も照合率が高いものを照合結果とすることを特徴とする請求項１記載の帳票処理装置。
【請求項３】
文字認識手段をさらに有し、
上記文字認識手段は、上記決定された書式、及び上記記憶手段に該書式に対応づけて記憶される属性情報を用いて上記帳票画像の文字を認識することを特徴とする請求項１又は２に記載の帳票処理装置。
【請求項４】
入力手段を介して帳票画像を取得して表示手段に表示するステップと、
上記取得した帳票画像に記載されるレイアウトを解析して格子点情報を抽出し記録手段に記録する第１のステップと，
入力手段を介して上記取得した帳票画像中の部分領域の指定を受ける第２のステップと，
上記部分領域中の格子点情報を上記記憶手段から読み出す第３のステップと，
上記入力手段を介して入力された上記部分領域の属性情報と上記格子点情報とを対応づけて上記記憶手段に記録する第４のステップとを有し、
上記部分領域以外の領域について新たに指定された部分領域について上記第３から第４のステップを繰り返すこと特徴とする帳票書式作成プログラム。
【請求項５】
帳票画像を構成する複数の領域毎に該帳票の書式情報を記憶する記憶手段を有する装置に帳票処理方法を実行させるためのプログラムであって、
上記帳票処理方法は、
入力手段を介して帳票画像を取得するステップと、
上記帳票画像を構成する複数の部分領域について、上記記憶手段から書式情報読み出し、該書式情報の領域に対応する上記帳票画像部分領域の書式と照合を行うステップと、
上記照合の結果に基づいて決定された上記複数の書式情報を結合して上記帳票画像の書式を決定するステップとを有することを特徴とするプログラム。
【請求項６】
上記帳票画像から格子点情報を抽出するステップをさらに有し、
上記照合ステップでは前記格子点情報と前記書式情報に含まれる格子点情報を用いることを特徴とする請求項５記載のプログラム。
【請求項７】
上記照合ステップはＤＰマッチングにより行うことを特徴とする請求項６記載のプログラム。
【請求項８】
上記照合ステップにおいて、所定値以上の照合値が得られない場合には該当結果なしと判断し、
上記結果なしと判断された部分領域について上記表示手段に明示するステップと、
上記結果なしと判断された部分領域のレイアウトを解析して格子点情報を抽出するステップと，
上記入力手段を介して入力された上記結果なしと判断された部分領域の属性情報と上記格子点情報とを対応づけて上記記憶手段に新たに記録するステップとを更に有し、
上記結合ステップでは、上記新たに記憶された情報を用いることを特徴とする請求項５乃至７の何れかに記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，光学式文字読取装置（ＯＣＲ）や帳票処理装置に関する。特に，帳票上に記入された文字の位置を定義する帳票書式情報作成装置及び該装置を実行するプログラムと，その書式情報を用いて帳票を認識する帳票処理装置及び該装置を実行するためのプログラムに関する。
【０００２】
【従来の技術】
まず，本発明で用いる語句である，帳票の「書式情報」を以下のように定義する。書式情報とは，帳票上の文字の読取りや位置検出のために，文字やチェックマークなどが記載される枠や領域を定義している情報である。書式情報には，座標情報だけでなく，その領域の読取項目名や文字の種類などの属性を含んでもよい。以下に示す従来技術には，１帳票種に対して１つの書式情報を保持しているという共通点がある。
第１の従来技術として，「フォーマットジェネレータ」がある（例えば、非特許文献１参照）。ここで利用されている書式情報は，帳票種ごとに文字枠やフィールド枠の位置を厳密に指定されている。既存のＯＣＲには，フォーマットジェネレータと同様の書式情報を採用している機種が多い。
【０００３】
第２の従来技術として，帳票上の表の構造をあらかじめ定義しておき，入力帳票画像に対して表を照合することにより，枠の位置を自動的に検出する方式ある（例えば、特許文献１参照）。この技術では，定型帳票に対して部分的な歪みや帳票の裁断誤差等に起因する枠の位置の違いを検出できる点や，カスレやノイズに頑健な表照合ができるという効果がある。
【０００４】
第３の従来技術として，帳票上の枠同士の配置関係を帳票書式情報とする方式がある（例えば、非特許文献２）。この技術では，あらかじめ帳票全面に対して枠同士の配置関係をモデルとして記述しておく。入力帳票画像とモデルとを照合することにより，枠の位置だけでなく大きさも異なる帳票でも枠の位置を検出できるという効果がある。
【特許文献１】特開平７−２８２１９３号公報
【非特許文献１】「日立ＯＣＲソリューションＩｍａｇｉｎｇ　ＯＣＲ　Ｐｒｏｄｕｃｔｓ」カタログ、株式会社日立製作所、２００２年１月版、Ｐ５〜６
【非特許文献２】駱琴，　渡辺豊英，　杉江昇，「多種帳票文書の構造認識」電子情報通信学会論文誌，　１９９３年，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２１６５−２１７６
【０００５】
【発明が解決しようとする課題】
まず，帳票処理装置が取扱う帳票の種類について定義する。本発明では，ＯＣＲ専用帳票以外の帳票を書式の観点から「定型帳票」，「準定型帳票」，「非定型帳票」の３つに分類して定義する。定型帳票とは，同じ種類の帳票であれば罫線や文字などの位置が固定である帳票である。準定型帳票とは源泉徴収票やレセプト（診療報酬明細書）などのように，同じ種類の帳票でも１枚ごとに罫線や枠の位置などが微妙に異なる帳票である。本発明では，罫線や枠の位置の違いが帳票サイズの２０％以内であれば準定型帳票と呼ぶことにする。非定型帳票とは，領収書などのように，同じ種類の帳票でも書式も記載内容も異なる帳票であって、上記準定型帳票を除くものとする。
本発明では，準定型帳票を認識することを課題とする。準定型帳票の課題について，図３に示す「源泉徴収票」を例に説明する。源泉徴収票は，枠の配置がほぼ決まっているものの，帳票ごとに枠の位置が微妙に異なっている。これは，記載項目の配置の順序などのおおまかな書式は決まっているものの，枠の大きさなどの厳密な書式は発行元の企業（事業主）が独自に決めているためである。図１８に書式の違いの具体例を示す。図１８（ａ）は，同じ項目でも枠の大きさが異なる例である。図１８（ｂ）は，主に金額欄において桁線の有無や長さが異なる例である。図１８（ｃ）は枠の配置自体が異なる例である。このような書式の違いの他に，帳票認識共通の課題として，画質の問題がある。帳票の印字品質や状態は様々なので，画像入力時の画質は一定でなく，かすれやノイズが発生する場合がある。かすれやノイズが発生すると，帳票画像から罫線や枠の位置を判断する際に，誤った対応付けをする確率が高くなる。
【０００６】
このような特徴を持つ準定型帳票は，前述の従来技術では認識することが困難である。
第１の従来例では，枠や文字の位置が同じであることを前提としているため，準定型帳票の認識は困難である。認識対象となる帳票の書式情報を全て登録することにより，原理的には準定型帳票の認識は可能である。しかし，以下の３つの理由により現実的には認識が非常に困難である。第１の理由は，作成すべき帳票の書式情報の数が膨大となるため，書式情報作成のコストが多くなることである。第２の理由は，全ての帳票を事前に収集して書式情報を作成することが困難なことである。源泉徴収票の例では，国内の全ての事業者が発行する源泉徴収票を収集しなければならない。その上，同じ事業者でも年度ごとに書式を変える可能性もあるため，全てを収集することは不可能である。第３の理由は，仮に上記の２つの問題を解決できたとしても，微妙な書式の違いを判別して適切な書式情報を自動的に選択する技術を実現することは非常に困難であるためである。
【０００７】
第２の従来例では，文字枠やフィールド枠の位置の違いは対応できるものの，枠の大きさが異なる準定型帳票の認識は不可能である。
第３の従来例では，文字枠やフィールド枠の位置の違いや大きさの違いには対応できるものの，帳票の一部の領域の枠の配置だけが異なる場合でも，帳票全面分の帳票書式情報を新たに作成しなければならない。このため，帳票ごとに微妙な枠の配置が異なる準定型帳票を認識するには帳票書式情報の数が膨大になるという問題がある。また，この方式で用いているモデルは矩形以外の枠を記述できないため，モデルとして記述できない帳票が多く存在するという問題がある。さらに，この方式は枠の配置情報に基づいた照合をしているため，かすれやノイズがあるために枠を正しく抽出できない帳票画像には不向きであるという問題がある。
【０００８】
本発明は，このような課題を解決するためになされたものである。同じ帳票種でも枠の位置や大きさが異なり，部分的な枠の配置が異なる準定型帳票に対して，少ない帳票書式情報で高精度に書式を照合する帳票処理装置を提供する。さらに，低品質な帳票画像に対しても頑健に書式を照合する帳票処理装置を提供する。
【０００９】
【課題を解決するための手段】
上記課題を解決するために本願において開示する代表的な発明の概要は以下の通りである。記憶手段に帳票画像を構成する複数の領域毎に該帳票の書式情報を記憶する帳票処理装置であって、取得した帳票画像を構成する複数の部分領域の各々の書式と上記記憶される書式情報と照合を行い、照合の結果に基づいて、決定された上記複数の書式情報を結合して上記帳票画像の書式を決定する帳票処理装置。
又、帳票画像を表示し、該帳票画像に記載されるレイアウトを解析して格子点情報を抽出して記録手段に記録し，
入力手段を介して指定された帳票画像中の部分領域の格子点情報を上記記憶手段から読み出し、入力される属性情報と上記格子点情報とを対応づけて上記記憶手段に記録する処理を各領域について繰り返す帳票書式作成方法を実行するためのプログラム。
【００１０】
【発明の実施の形態】
以下，図に示す実施例により本発明をさらに詳細に説明する。なお，これにより本発明が限定されるものではない。
図１は，本発明の一実施例である帳票処理装置のハードウェア構成の一例である。図１において，１０はコマンドやコードデータなどを入力するための入力装置，２０は処理対象の帳票画像を入力するための画像入力装置，３０は書式解析や書式照合などを行なう帳票認識装置，４０は部分書式情報を格納するデータベース，５０は認識結果を表示する表示装置である。なお，２０の画像入力装置の代わりに６０の画像データベースから帳票画像を入力してもよい。
【００１１】
具体的な処理の内容を説明する前に，本発明の基本方針と効果について説明する。
本発明では，前述の課題を解決するために，帳票を部分領域に分割し，その部分領域ごとに帳票書式情報を作成する。本発明では，これを部分書式情報と呼ぶことにする。同じ領域内で異なる書式があれば，その数だけ部分書式情報を作成する。
帳票処理の際には，部分領域ごとに帳票画像と部分書式情報を照合して，最適な部分書式情報を動的に選択し，その結果を合成することにより帳票全面の書式情報を得ることができる。この部分書式情報を用いた帳票処理の詳細については図２を用いて後述する。
この帳票処理により，以下に示すように準定型帳票の課題を解決することができる。
まず，照合において枠の位置や大きさの違いを吸収する方式を採用することにより，準定型帳票の課題の図１８（ａ）を解決できる。次に，照合において不要な線分と枠の罫線を区別する方式を採用することにより，図１８（ｂ）の課題を解決できる。さらに，このような照合方式を採用して罫線のかすれやノイズ線分を本来の罫線と区別することにより，低品質画像に対しても高精度な処理が可能である。
【００１２】
図１８（ｃ）の課題については，同一領域での部分書式情報を複数定義することにより解決できる。照合の際に，同じ部分領域に対して複数の部分書式情報を照合し，照合類似度が最も高い部分書式情報を選択することにより，枠の配置が異なる場合でも適切な部分書式情報を得ることができる。
部分領域ごとの書式情報が決定すれば，書式情報に記録された情報を利用して，帳票画像から文字枠やフィールド枠の位置を検出することができる。このように，部分書式情報を利用した書式照合を採用することにより，準定型帳票を認識する帳票処理装置を実現することができる。
【００１３】
従来手法では新規の書式の帳票が現れるたびに，帳票全面分の書式情報を作成しなければならなかったのに対し，本発明では，既存の部分書式情報に該当しない領域のみ，書式情報を追加すればよいため，書式情報作成のコストを大幅に削減できる。
部分書式情報を作成する手段は以下の通りである。まず，帳票画像を入力し，罫線抽出などの書式解析をすることにより，帳票書式を記述するための特徴量を生成する。次に，ユーザにより部分書式情報を生成したい部分領域が選択される。選択された部分領域内について，かすれやノイズに起因する特徴量の誤りがユーザにより修正される。最後に，部分領域内の特徴量に基づいて個々の枠領域を特定し，それぞれの枠領域の属性がユーザにより指定されることにより，部分書式情報が生成できる。この部分書式情報作成処理の詳細については図１６を用いて後述する。
【００１４】
以下，処理の詳細について図を用いて説明する。
図２は，本発明の帳票処理装置による帳票処理の概略を示すフロー図である。ステップ２００では，画像入力装置２０もしくは画像データベース６０より帳票画像を入力する。ステップ２１０では，帳票画像のレイアウトを解析しステップ２２０で利用する特徴量を抽出する。この特徴量については図７と図８を用いて後述する。ステップ２２０では，帳票画像の部分領域ごとに，部分書式情報データベース４０に記憶された部分書式情報を照合し，照合類似度が最大となる部分書式情報を選択する。この部分書式情報については図５を，照合処理については図６を用いて後述する。ステップ２３０では，部分領域ごとに決定された部分書式情報から帳票全体の書式情報を決定する。
帳票処理の詳細について説明する前に，本発明で用いる部分領域と部分書式情報の具体例について，図３から図５を用いて説明する。
【００１５】
図３は，処理対象の準定型帳票の一例である源泉徴収票を示す。図４の太線で示した領域４００から４４０は，図３の源泉徴収票に対して設定した部分領域示す。部分領域は帳票種ごとに任意に設定される部分領域の設定基準の例を以下に示す。第１の基準は，領域４００のように，項目名が記載された枠とデータが記載される枠をひとまとまりを１つの部分領域とする。以降，これらの２つの枠を項目名枠とデータ枠と呼ぶことにする。なお，１つの領域内に複数の項目名枠とデータ枠の組を含んでもよい。第２の基準は，領域４１０から４４０のように，表全体を横もしくは縦に分割する長い罫線で領域を分割するものである。なお，領域４１０から４４０には，領域内にも表を分割する罫線が存在するが，項目名枠とデータ枠を同じ領域にするという第１の基準を優先して領域を設定している。部分書式情報は，この部分領域ごとに生成される。
【００１６】
図５は，部分書式情報データベース４０に記憶された部分書式情報の構造を示す。部分書式情報は，帳票種，部分領域，部分書式の３階層から構成される木構造である。図５の例では，帳票種としてＡやＢなどが記憶されている。帳票種Ａでは，部分領域Ａ１，Ａ２などに分割されている。部分領域Ａ１では，枠の配置の違いに基づき，Ａ１ａ，Ａ１ｂなどの部分書式を記憶している。なお，各階層の要素数は必要に応じて１個でも良い。
【００１７】
部分書式情報を利用する効果は以下の通りである。帳票を認識する際に，部分書式を動的に合成して帳票全面の書式を作成れば，少ない部分書式でレイアウトの異なる多数の帳票の書式情報を合成することができる。源泉徴収票の例では，５つの部分領域においてそれぞれ３個ずつの部分書式が存在すると仮定すると，１５（３×５）個の部分書式から２４３（３の５乗）種類の帳票全面の書式情報を合成することができる。
次に，図６を用いて，図２のステップ２２０の部分書式照合処理の詳細について説明する。ステップ６００では，処理対象とする帳票種の数だけステップ６１０から６５０の処理を繰り返す。例えば，入力帳票が源泉徴収票と確定申告票の２種類であれば，２回繰り返す。ステップ６１０では，部分領域の数だけステップ６２０から６４０の処理を繰り返す。図４に示す源泉徴収票の例では５つの部分領域に分けられているので，５回繰り返す。ステップ６２０では，各部分領域内で定義された部分書式の数だけステップ６３０の処理を繰り返す。ステップ６３０では，入力画像と部分書式との照合を行ない，照合類似度を求める。照合処理の詳細については図１１から１６を用いて後述する。ステップ６４０では，各領域において最適な部分書式を選択する。選択方法の一例としては，ステップ６３０で求められた部分書式の中から，照合類似度が最も高い部分書式選択する方式が挙げられる。ステップ６５０では，帳票種ごとに帳票全面での最適な書式情報を決定する。この処理の一例としては，ステップ６４０で求められた最適な部分書式を合成する方式が挙げられる。ステップ６６０では，入力画像の帳票種を決定する。この処理の一例としては，ステップ６５０で求められた帳票全面の書式に対して，帳票種ごとに類似度を計算し，最もその類似度が高い帳票種を選択する方式が挙げられる。これらの一連の処理により，帳票種と書式情報を決定できる。
【００１８】
なお，帳票種が１種類だけの場合や，他の処理やユーザの指定により帳票種があらかじめ決定されている場合には，ステップ６００とステップ６６０の処理を省略することができる。同様に，帳票全面を一つの領域とする場合や部分領域が一つの場合は，ステップ６１０と６５０の処理を省略することができる。
【００１９】
以下，部分書式情報の照合方法について詳細に説明する。まず，図７と図８を用いて照合に利用する特徴量について説明し，図９と図１０を用いて照合対象である部分書式情報に記憶されているデータの内容について説明し，図１１から図１６を用いて具体的な照合処理のアルゴリズムについて説明する。なお，ここでは照合方式の一実施例を挙げるが，部分書式照合は他の手段を用いて実現してもよい。
【００２０】
図７は，部分書式照合に用いる特徴量の例である。本発明では，この特徴量を「格子点情報」と呼ぶことにする。格子点情報の生成方法については，特開平１１−０５３４６６号公報に開示されている。格子点情報は，格子点と呼ぶ点の配置情報である。この格子点とは傾き補正後の全ての実線と点線の端点から仮想的に水平垂直に引いた補助線の交点と定義する。各格子点では，傾き補正前後の座標値や罫線の交差形状などが記録されている。
【００２１】
図８は，各格子点における罫線の交差形状に応じて付加する符号（交点符号）の例である。交点符号０は、罫線がないことを表す。交点符号１から４は、罫線の端点を表す。交点符号５と６は、罫線の一部分であることを表す。交点符号７から１０は、２本の罫線がＬ字型に交差した交点を表す。交点符号１１から１４は、２本の罫線がＴ字型に交差した交点を表す。交点符号１５は、２本の罫線が十字型に交差した交点を表す。
図７に示すように，帳票の枠構造は格子点情報を用いて記述することができる。直交する罫線の交点座標は，該当する格子点の座標値から獲得することができる。平行する２本の縦罫線間の距離は，罫線が存在する格子点の列間の距離から算出できる。帳票上の矩形枠は，枠の四隅に相当する格子点の組合せにより表現することができる。
なお，格子点情報を作成するための実線の抽出方式の例としては特開平１１−２３２３８２号公報に，点線の抽出方式の例としては特開平０９−３１９８２４号公報に開示されている。
図９は，部分書式情報に対応する帳票の部分領域の画像と，その格子点情報の例である。図１０は，この格子点情報に基づいて生成された部分書式情報のデータの例である。
図１０の部分書式情報のデータの例として，まず，帳票種番号が記憶されている。次に，部分領域番号が記憶されている。次に，水平垂直方向の格子点の数が記憶されている。図９の例では，格子点情報は４行３列に配置されているため，水平方向が３，垂直方向が４となる。次に，帳票上の任意の位置を原点とした水平垂直方向の格子点の座標値が記録されている。この値を利用することにより，平行な罫線間の距離，すなわち枠の幅や高さを求めることができる。次に，各格子点での交点符号が記憶されている。この交点符号は図８に示す通りである。例えば，図９の格子点情報において，０行２列の格子点の交点符号は８となる。次に，この部分領域内の枠数が記憶されている。図９の例では，４つの枠が存在しているため，４となる。最後に，各枠の四隅の格子点の位置と読取項目が記憶されている。ｉ行ｊ列の格子点を（ｉ，ｊ）と記載することにすると，図９の「フリガナ」欄の枠の四隅は，左上から反時計回りに（１，１），（１，２），（２，２），（２，１）となる。この他に，罫線や領域の色情報，格子点での罫線に対する実線と点線の区別などの情報を付加してもよい。
【００２２】
なお，図１０において，処理対象の帳票種が１種類のみである場合は，帳票種番号はなくてもよい。また，枠数については，領域内の全ての枠数ではなく，読取対象の枠数だけでもよい。この場合は，「枠の頂点位置／枠属性」も読取対象分のみ指定する。さらに，枠の形状については矩形だけでなく，Ｌ字型のような多角形でもよい。この場合も，枠領域の頂点の格子点を順番に記憶しておけばよい。さらに，この例では枠内の領域のみを読取領域と指定していしているが，枠外でもよい。枠外の場合には，領域の境界上の格子点を頂点位置として指定する。
次に，部分書式照合処理のアルゴリズムについて説明する。
本実施例では，照合処理の一例として音声認識などに利用されている動的計画法（Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｉｎｇ）を用いたＤＰマッチングによる照合方式を説明する。動的計画法の原理については，Ｔ．コルメン，Ｃ．ライザーソン，Ｒ．リベスト共著，、「アルゴリズムイントロダクション」第２巻，Ｐ５〜２９、近代科学社，１９９５年出版をはじめ，さまざまな文献において解説されている。
照合アルゴリズムにＤＰマッチングを採用する理由は次の２つである。第１は，照合対象の特徴量間の距離の大小に依存しない照合ができるため，図１８（ａ）に示すような罫線間距離の大小，すなわち枠の大きさの違いに対応できるからである。第２は，特徴量の数の増減の影響を受けにくい照合ができるため，図１８（ｂ）や低品質画像に起因する罫線の本数の増減に対応できるからである。
なお，通常ＤＰマッチングは１次元のデータに対して適用される。部分書式情報は２次元の情報であるため，本実施例では横方向と縦方向に分けて処理を行なう。具体的には，格子点情報を横方向にＤＰマッチングを行い，ここで得られた結果を縦方向に検証するという方式をとる。なお，２次元のＤＰマッチングの手法も提案されているので，この方式を適用することも可能である。
【００２３】
図１１は，ＤＰマッチングを用いた部分書式照合処理のフロー図である。ステップ１１００では，部分領域ごとに照合対象の領域を設定し，ステップ２１０によって生成された帳票全面の格子点情報から領域内の格子点情報のみを抽出する。この処理を図９と図１２利用して具体的に説明する。まず，図９の部分書式情報に対する入力画像の領域を図１２（ａ）と設定する。この領域は，図９の部分書式情報の領域の位置を基準に，位置ズレを考慮して拡張した領域である。帳票全面の格子点情報から，図１２（ａ）の領域に相当する領域の格子点情報を抽出した結果が図１２（ｂ）である。この例では，０から６行目までと４０から５４列目までの領域内の格子点情報が抽出されている。以下，この入力画像における部分領域の格子点情報を部分領域格子点情報，部分書式情報における格子点情報を書式格子点情報と記す。
ステップ１１１０では，書式格子点情報の各行ごとにステップ１１２０から１１４０の処理を繰り返す。図９（ｂ）の例では，０から３行目まで繰り返す。
ステップ１１２０では，部分領域格子点情報の各行ごとにステップ１１３０の処理を繰り返す。図１２（ｂ）の例では，０から６行目まで繰り返す。
ステップ１１３０では，書式格子点情報と部分領域格子点情報の行同士をＤＰマッチングし，格子点の列同士の対応関係とその際の照合スコアを求める。この処理において，照合類似度があらかじめ設定された基準以下であれば，照合失敗としてリジェクトにすることができる。このＤＰマッチングによる照合処理の詳細については，図１３と図１４を用いて後述する。
ステップ１１４０では，ステップ１１３０にて求められた照合結果の中から，照合スコアが最大となる部分領域格子点情報の行を選択する。図９と図１２の例では，書式情報格子点の０行目に対して，部分領域格子点情報の０から６行目までの行を照合した結果，照合類似度が最大になる行として２行目が選択される。書式格子点情報の１行目以下についても同様である。
ステップ１１５０では，ステップ１１４０にて求められた最適な部分領域格子点情報の行の照合結果に基づいて，列ごとに照合の正当性を検証する。この処理の詳細については後述する。
なお，１１４０で照合類似度が基準を超える行がない場合や，１１５０で列方向の正当性が検証できない場合は，領域単位での照合失敗としてリジェクトにすることができる。
【００２４】
以下，ステップ１１３０のＤＰマッチングについて図１３と図１４を用いて説明する。図１３は，図９の書式情報格子点の１行目の交点符号と図１２の部分領域格子点情報の３行目の交点符号に対するＤＰマッチングの照合マトリクスである。この照合マトリクス上にＤＰマッチングの結果であるＤＰネットワークを構築できる。ＤＰネットワークの各ノードでは，右斜め下方向，右方向，下方向の３種類の遷移のみが許されている。このネットワークにおいて，右斜め下方向の遷移は，入力画像中の格子点と書式情報中の格子点が対応付けられたことを意味する（対応）。右方向の遷移は，入力画像中に照合対象の格子点がなかったことを意味する（欠損）。逆に，下方向の遷移は，書式情報に含まれていない格子点が入力画像中に存在することを意味する（挿入）。
次に、照合スコアの計算方法から，ＤＰネットワーク内での最適な照合経路の求め方を説明する。照合マトリクス内のノードのスコアは，左列から右列に向かって順々に計算していく。最初に照合マトリクスの最左列を０に初期化する。その他のノードのスコアは，左から，上から，左上からの３通りの遷移のうち、遷移元のスコアとその遷移のスコアとの和が最大になる遷移を選択し，そのスコアをノードのスコアとする。
ノードのスコア計算について，図１４を用いて具体的に説明する。ノード１４３０のスコアを求めるには，ノード１４００から，１４１０から，１４２０からの３通りの遷移のスコアを比較する。ここで，ノード内の値をノードのスコア，遷移の線上の値を遷移のスコアとすると，１４００からの遷移のスコアが８で最大となる。この結果，１４３０への遷移は１４００からとなり，１４３０のスコアは８に決定する。なお，遷移のスコア計算の詳細については後述する。
このようにして全てのノードのスコアを計算する。最右列のうち最もスコアの高いノード選択し，このノードを終端とする経路を最適な照合結果を示す経路とする。図１３では，太線で示した経路が最適な経路である。この最適経路の終端ノードのスコアをＤＰマッチングの照合類似度とする。
【００２５】
各ノード上での遷移のスコアの計算の一例を説明する。まず，対応を意味する右下方向への遷移について説明する。図１５は交点符号１５と交点符号１３の格子点を照合する場合のスコア計算の例である。この遷移では，照合対象の格子点の交点符号の一致度が高いほど高いスコアになるように定義する。ここでは，格子点を中心として４方向の罫線の有無の一致度から不一致度を引いた値と定義する。図１５の例では，４方向のうち３方向の罫線の存在が一致し，下方向のみ罫線の存在が一致しない。したがって，照合の遷移のスコアを（３α−β）と計算することができる。ここで，αとβは定数である。
【００２６】
次に，挿入を意味する下方向の遷移について説明する。挿入については，罫線があるべき箇所に挿入する場合とない箇所に挿入する場合に分けて計算する。図１３の書式情報格子点において，０列目と１列目の間に格子点を挿入する場合には，横罫線は存在しているべきである。したがって，このような状況では，格子点符号５（横罫線の一部）と入力画像の格子点符号との間で，上記の対応と同様のスコア計算を行なう。一方，１列目と２列目の間に格子点を挿入する場合は，罫線は存在してはいけない。したがって，このような状況では，格子点符号０（罫線なし）と入力画像の格子点符号との間で，上記の対応と同様のスコア計算を行なう。
最後に，欠損を意味する右方向の遷移について説明する。この遷移は照合対象の格子点が存在しないことを意味するので，照合スコアはペナルティとして（−γ）と定義する。ここでγは定数である。
【００２７】
なお，これらのスコア計算は一例である。各係数の可変化や，格子点間隔等の別の評価基準の導入など，スコア計算を変更してもよい。格子点間隔を評価基準に入れる場合には，罫線間隔や交点間隔の一致度を評価できるため，照合精度の向上につながる。これは，枠サイズの変動が少なく同位置の変動が多い帳票を対象とする場合に，より大きな効果が得られる。
【００２８】
図１３の太い矢印は，このようなスコア計算により求められた最適な照合結果である。この例では，書式格子点情報の０，１，２列目の格子点が，部分領域格子点情報の４２，４４，５４列目の格子点に対応したという結果が得られる。なお，部分領域格子点情報の４２列目については左方向に不要な罫線が存在している。しかし，この格子点は書式情報格子点の左端に対応付けられているため，境界条件として左方向の罫線の存在は無視している。この処理は，上下左右端で実行される。
【００２９】
以上，格子点情報を用いたＤＰマッチングについて説明した。しかし，照合方式はこの例に限定されない。照合の精度は劣るものの，単純に罫線や枠の座標値の比較などによる照合を行なってもよい。
次に，列方向の検証について図１６の例を用いて説明する。図１６は，ステップ１１４０で得られた書式情報格子点の各行における照合結果である。書式格子点情報の０行目は部分領域格子点情報の２行目に対応している。書式情報格子点の０，１，２列は，部分領域格子点情報の４２，４４，５４列に対応している。ここで，書式格子点情報の０列目と２列目は，全ての行で同じ結果が出ているため，４２，５４列が対応していると判定する。しかし，１列目は，０，１，３行目での照合結果は４４であるのに対し，２行目の照合結果４９となっており矛盾が生じている。このような矛盾に対応する一例としては多数決が挙げられる。この場合には４４が３つ，４９が１つであるため４４が選択される。その他の対応策としては，４４の結果を出した行の照合スコアの和と，４９の結果を出した照合スコアの和を比較するということも挙げられる。
【００３０】
このようにして，部分領域内において書式格子点情報の行と列が決定することができる。
書式情報格子点の行と列が決定すれば，図１０の枠の頂点位置・枠属性を利用して入力画像上での枠座標を得ることができる。フリガナ欄を例にすると，入力画像の格子点情報の中で，部分書式情報に登録された枠の四隅に対応する格子点は左上から反時計回りに（４４，３），（４４，４），（５４，４），（５４，３）である。この格子点における入力画像上の座標を検出することにより，フリガナ欄の四隅座標を得ることができる。
なお，部分書式ごとの照合類似度は，各行で計算された照合スコアの和などで定義することができる。同じ部分領域内に部分書式が複数ある場合には，照合類似度が最大となる部分書式を選択する。
帳票種ごとの照合類似度は，部分領域ごとに計算された部分書式の照合類似度の和などで定義することができる。処理対象の帳票の種類が複数である場合には，帳票種の照合類似度が最大となる帳票を選択する。
【００３１】
次に，本発明の帳票処理装置を利用した文字読取装置について説明する。図２における帳票処理によって得られた読取領域の座標を利用して，入力画像から文字もしくは文字列の画像を切り出す。切り出された画像から文字を検出して文字識別することにより，帳票上の文字を識別することができる。なお，この処理は，図２の帳票処理に利用するＣＰＵ（３０）にて行なってもよい。したがって，図２の帳票処理装置と，これを利用した文字読取装置は同じ構成で実現できる。
【００３２】
次に，本発明で用いる部分書式情報の作成方法について説明する。
図１７は，部分書式情報作成のフロー図である。ステップ１７００では，画像入力装置２０もしくは画像データベース６０より帳票画像を入力する。ステップ１７１０では，帳票画像に対して罫線抽出等のレイアウト解析を実行し，格子点情報を生成する。ステップ１７２０では，入力装置１０により入力される部分書式作成対象の領域指定に基づき，１７１０で作成された格子点情報から，指定領域内の格子点情報を抽出する。この格子点情報の抽出結果を表示装置５０で表示する。この段階での格子点情報は，画像上のかすれやノイズなどに起因する誤りを含んでいる可能性がある。このため，ステップ１７３０では，入力装置１０により指定された誤りの修正内容に基づき，１７２０にて得られた格子点情報を修正する。格子点の修正結果は表示装置５０に表示される。この修正作業は，ユーザが誤りがないと判断するまで繰り返される。抽出された格子点情報は記録手段に記録される。ステップ１７４０では，１７３０にて修正された格子点情報に対して，部分領域の識別情報，読取項目の位置や項目名などの属性情報を，入力装置１０により入力する。ステップ１７５０では，１７４０までの情報を適当な装置に保持される変換ルールを用いて所定のデータフォーマットに変換して部分書式情報を生成する。なお，図１７のフローにおいて，部分書式情報として帳票全面を対象とする場合には，ステップ１７２０を省略することが可能である。また，１７１０にて得られた格子点情報に誤りがなければ，ステップ１７３０を省略することが可能である。また，帳票画像の品質が低いために１７１０にて得られた格子点情報に誤りが多ければ，帳票画像を替えて１７００から再試行することも可能である。さらに，１７１０の書式解析を行なわずに，全ての情報を入力装置１０により入力することも可能である。
【００３３】
次に，既存の部分書式情報で対応できない帳票に対して，部分書式情報を追加作成する方法について説明する。
まず，追加作成したい帳票画像を入力し，既存の部分書式情報を用いて認識をする。既存の部分書式情報で対応できる部分領域については，照合により特定できた部分領域を表示する。この表示方法の例としては，帳票画像上に照合できた部分領域を色分けして表示することが挙げられる。この表示の結果，色分けされていない領域が既存の部分書式情報で対応できなかった領域と判断できる。この領域を自動的に検出，もしくは入力装置１０から指定することにより，追加する部分書式情報の領域を特定できる。以降は，図１７のステップ１７３０以降の処理をすることにより，部分書式情報の追加をすることができる。
【００３４】
【発明の効果】
以上説明したように，本発明によれば，同じ帳票種にも関わらず帳票ごとに枠の位置や大きさが異なったり，枠の配置が異なるという準定型帳票を，部分書式情報を利用することにより精度良く認識することができる。さらに，従来に比べて書式情報の作成工数を削減できるという効果がある。さらに，書式情報の容量を削減できるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例の関わる帳票処理装置の概略構成を示すブロック図。
【図２】本実施例における帳票処理のフローを示す図。
【図３】本実施例における処理対象の一例を示す図。
【図４】図３の帳票に対する領域分割を示す図。
【図５】本実施例における部分書式情報の構成を示す図。
【図６】図２の帳票処理のうち，部分書式情報照合のフローを示す図。
【図７】本実施例における部分書式照合で特徴量として用いる格子点情報を説明する図。
【図８】格子点情報の交点形状を示す図。
【図９】本実施例における部分書式情報を説明する図。
【図１０】本実施例における部分書式情報の内部データの一例を示す図。
【図１１】図６の部分書式照合のうち，部分書式照合のフローを示す図。
【図１２】本実施例における，入力画像から部分領域の照合対象の格子点の生成を説明する図。
【図１３】本実施例における格子点同士のＤＰマッチングを示す図。
【図１４】図１３のＤＰマッチングにおける，ノード間の遷移とスコアの計算を説明する図。
【図１５】図１３のＤＰマッチングにおける照合スコア計算を説明する図。
【図１６】図１１におけるステップ１１５０を説明する図。
【図１７】本実施例における部分書式情報作成のフローを示す図。
【図１８】本実施例における処理対象である準定型帳票の課題を示す図。
【図１】
2004139484.tif 000003
【図２】
2004139484.tif 000004
【図３】
2004139484.tif 000005
【図４】
2004139484.tif 000006
【図５】
2004139484.tif 000007
【図６】
2004139484.tif 000008
【図７】
2004139484.tif 000009
【図８】
2004139484.tif 000010
【図９】
2004139484.tif 000011
【図１０】
2004139484.tif 000012
【図１１】
2004139484.tif 000013
【図１２】
2004139484.tif 000014
【図１３】
2004139484.tif 000015
【図１４】
2004139484.tif 000016
【図１５】
2004139484.tif 000017
【図１６】
2004139484.tif 000018
【図１７】
2004139484.tif 000019
【図１８】
2004139484.tif 000020