(57)【特許請求の範囲】
【請求項１】
帳票画像上の文字を認識処理する帳票文字認識装置において、
前記帳票画像中から文字認識対象とする文字記入欄位置を抽出するフィールド抽出部と、
前記文字記入欄内の画像から文字枠線を検出する枠線検出部と、
前記枠線検出部の検出結果に基づいて、前記文字記入欄内の画像から１文字分の文字パターンを取り出して辞書との照合を行う文字パターン認識部と、
前記文字パターン認識部で得た認識結果の信頼度の値を元に当該認識結果の棄却判定を行うスコアによる棄却判定部と、
前記枠線検出部の検出結果に基づいて、前記文字記入欄内の画像から１文字分の非文字枠画像を取り出して、当該非文字枠画像に接触している文字枠線の数を計測する文字・枠線接触数検出部と、
前記非文字枠画像に接触している文字枠線数が所定の閾値を越える場合に、当該文字枠線に対応した文字の認識結果を棄却する罫線接触棄却判定部と、
前記スコアによる棄却判定部の結果と前記罫線接触棄却判定部の結果のうち、どちらかの結果が棄却であった場合は、最終的に出力する文字認識結果を棄却する棄却処理統合部を備えたことを特徴とする帳票文字認識装置。
【請求項２】
前記非文字枠画像は、文字、ノイズ及び取り消し線のうち少なくともいずれかを含むことを特徴とする請求項１記載の帳票文字認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、帳票画像上の文字を認識処理する帳票文字認識装置に関し、特に、文字枠内に乱雑に記載された文字や取り消し線あるいはノイズに起因する誤認識を抑制する構成に関するものである。
【背景技術】
【０００２】
帳票画像上の文字を認識処理する帳票文字認識装置では、誤認識を抑制するために、不明確な認識結果を棄却する棄却判定処理を有している。この棄却判定処理では、一般的に、文字パターンを辞書と照合して得た認識結果の信頼度（スコア）が、所定の閾値を超えた場合に棄却する処理が用いられる。このようなスコアによる棄却判定により、辞書に登録された字形と著しく形状が異なる文字パターンを棄却できる。
【０００３】
しかし、現実的には、スコアによる棄却判定処理単独では誤認識を全て無くすことは困難である。特に、文字が文字枠線と接触した場合や、取り消し線が描かれた場合、ノイズが重畳された場合において、スコアのみでは棄却できずに誤認識する場合がある。そのため、スコア以外の判定基準に基づく棄却判定処理が望まれる。このような棄却判定手段として、幾つかの従来技術があった。
【０００４】
例えば、特許文献１に示すように、文字画像上に文字とは異なる線分があるかを調べることで取り消し線の有無を検知し、取り消し線が有ると判定された場合は文字認識結果を棄却する文字認識装置があった。
また、非特許文献１に示すように、帳票画像上のノイズを除去してから文字認識処理を行う方式があった。例えばファクシミリで送信された帳票画像では縦方向のノイズが重畳する場合がある。そのため帳票画像を上下方向に走査して、帳票画像長さに対して一定割合以上の黒線が検出された場合、これをノイズとみなす。検知したノイズを画像中から除去した後、その画像に対して文字認識処理を行うことにより、このような縦方向のノイズを数字の“１”に誤認識する問題を抑制できる。
更に、特許文献２に示すように、文字パターンが文字枠線と接触・交差する場合に、通常の認識辞書との照合を行うと共に、文字枠線と接触・交差した場合用の特殊な辞書を用いて照合処理を行うようにしたものがあった。これにより、文字パターンが文字枠線と接触・交差した場合の認識精度を高めている。また、両方の照合結果が異なる場合は強制的に棄却することで誤認識を抑制している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３９１２２３号公報
【特許文献２】特許第３７９４２８５号公報
【非特許文献】
【０００６】
【非特許文献１】平野敬，岡田康裕，依田文夫，“表の構造解析によるＦＡＸ送信帳票からの文字認識フィールド抽出法”，電子情報通信学会技術報告，ＰＲＭＵ  ２０００−７１  （２０００）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば特許文献１に記載されているような装置では、文字ではない直線成分を探索することで取り消し線を検知する処理を行い、取り消し線が見つかった場合に文字認識結果を棄却するものであるが、そのため、直線以外の例えば曲線で描かれた取り消しには対処できないという課題があった。
また、非特許文献１に記載されているようなフィールド抽出法では、ノイズが検出されれば誤認識は抑制可能となるが、検出が困難なノイズには対処できないという課題があった。例えば、非特許文献１において、帳票画像全体を走査して縦方向のノイズを検出する処理があるが、文字記入欄付近にのみ短い縦方向のノイズが存在した場合は、方式上これをノイズとして検出できない。そのために残ったノイズを文字“１”と誤認識するといった問題点を有していた。
【０００８】
更に、特許文献２に記載されているような装置では、通常の認識辞書との照合と共に、文字枠線と接触・交差した場合用の特殊な辞書を用いた照合を行い、双方の認識結果が合致しない場合は認識結果を棄却している。しかしながら、両方の認識結果が誤るケースも存在し、この場合は誤認識を抑制できないという課題があった。
そして、これら文献に記載されている処理は別々の要因による誤認識を抑制するものである。そのため全処理を実装しなければ、ここに記載された要因（取り消し線、ノイズ、文字枠線との接触・交差）に起因した誤認識は抑制できない。しかし、これを実現するには処理コストが増大するという課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、処理コストが小さく、かつ、誤認識を抑制することのできる帳票文字認識装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る帳票文字認識装置は、帳票画像上の文字を認識処理する帳票文字認識装置において、帳票画像中から文字認識対象とする文字記入欄位置を抽出するフィールド抽出部と、文字記入欄内の画像から文字枠線を検出する枠線検出部と、枠線検出部の検出結果に基づいて、文字記入欄内の画像から１文字分の文字パターンを取り出して辞書との照合を行う文字パターン認識部と、文字パターン認識部で得た認識結果の信頼度の値を元に認識結果の棄却判定を行うスコアによる棄却判定部と、枠線検出部の検出結果に基づいて、文字記入欄内の画像から１文字分の非文字枠画像を取り出して、非文字枠画像に接触している文字枠線の数を計測する文字・枠線接触数検出部と、非文字枠画像に接触している文字枠線数が所定の閾値を越える場合に、文字枠線に対応した文字の認識結果を棄却する罫線接触棄却判定部と、スコアによる棄却判定部の結果と罫線接触棄却判定部の結果のうち、どちらかの結果が棄却であった場合は、最終的に出力する文字認識結果を棄却する棄却処理統合部を備えたものである。
【発明の効果】
【００１１】
この発明の帳票文字認識装置は、非文字枠画像に接触した文字枠線の本数が閾値以上の場合は文字認識結果を棄却するようにしたので、処理コストが小さく、かつ、誤認識を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による帳票文字認識装置を示す構成図である。
【図２】この発明の実施の形態１による帳票文字認識装置のフィールド抽出部の処理例を示す説明図である。
【図３】この発明の実施の形態１による帳票文字認識装置の枠線検出部の処理例を示す説明図である。
【図４】この発明の実施の形態１による帳票文字認識装置の文字パターン認識部の動作を示す説明図である。
【図５】この発明の実施の形態１による帳票文字認識装置の文字・枠線接触数検出部の処理例を示す説明図である。
【図６】この発明の実施の形態１による帳票文字認識装置の文字・枠線接触数検出部の接触箇所検出例を示す説明図である。
【図７】この発明の実施の形態１による帳票文字認識装置のスコアによる棄却判定部の判定処理例を示す説明図である。
【図８】この発明の実施の形態１による帳票文字認識装置の罫線接触棄却判定部の判定例を示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明の実施の形態１による帳票文字認識装置を示す構成図である。
図１において、帳票画像１０１は、紙の帳票をファクシミリやスキャナで画像化した画像データである。帳票文字認識装置１０２は、帳票画像１０１を解析して、その認識結果１０３を出力する文字認識装置であり、フィールド抽出部１０４、枠線検出部１０５、文字パターン認識部１０６、スコアによる棄却判定部１０７、棄却処理統合部１０８、結果出力部１０９、文字・枠線接触数検出部１１０、罫線接触棄却判定部１１１を備えている。
【００１４】
フィールド抽出部１０４は、帳票画像１０１中から文字記入欄の位置と大きさを抽出する。枠線検出部１０５は、文字記入欄の画像中から文字枠線を検出する。文字パターン認識部１０６は、文字枠線の検出結果を元に１文字の文字パターンを取得して辞書と照合することで文字認識結果を得る。スコアによる棄却判定部１０７は、文字認識結果に含まれる認識結果の信頼度（スコア）の値から棄却判定を行う。文字・枠線接触数検出部１１０は、非文字枠画像（文字やノイズ、取り消し線）と文字枠線との接触有無を調べて、接触している文字枠線本数を計測する。罫線接触棄却判定部１１１は、接触している文字枠線の本数を元に文字認識結果を棄却するかを判定する。棄却処理統合部１０８は、スコアによる棄却判定部１０７の結果と罫線接触棄却判定部１１１の結果を元に、文字認識結果を棄却するかを最終決定する。結果出力部１０９は文字認識結果を外部へ出力する。
【００１５】
図２は、フィールド抽出部１０４の処理例を示す説明図である。２０１は帳票画像の例である。２０２は該帳票画像から抽出した文字記入欄の画像例である。
図３は、枠線検出部１０５の処理例を示す説明図である。３０１は文字記入欄の画像例２０２に対して、文字枠線を検出した結果例である。
図４は、文字パターン認識部１０６の処理例を示す説明図である。４０１は文字枠線との接触部分を除去して作成した文字パターン、４０２は文字枠線との接触部分を文字の一部とみなして作成した文字パターンである。
図５は、文字・枠線接触数検出部１１０の処理例を示す説明図である。５０１は１個の文字枠を囲む画像バッファ、５０２は文字パターンが上側の文字枠線と接触していると判定された領域、５０３は文字パターンが左側の文字枠線と接触していると判定された領域、５０４は文字パターンが下側の文字枠線と接触していると判定された領域である。
【００１６】
図６は、文字・枠線接触数検出部１１０で得た、非文字画像と接触する文字枠線の本数を示す説明図である。６０１は２本の文字枠線と接触した文字の例、６０２は３本の文字枠線と接触した文字の例である。
図７は、スコアによる棄却判定部１０７の処理例を示す説明図である。７０１は辞書に登録された文字“３”と形状が類似した文字パターン、７０２は辞書に登録された文字“３”と形状が大きく異なる文字パターンの例である。
図８は、罫線接触棄却判定部１１１の動作例を示す説明図である。８０１は直線の取り消し線が記載された文字記入欄、８０２は直線でない取り消し線が記載された文字記入欄、８０３は短い縦方向のノイズが重畳された文字記入欄、８０４は乱雑な文字が記載された文字記入欄の例である。
【００１７】
以下、図１〜図８を適宜参照しつつ、実施の形態１の帳票文字認識装置の動作について説明する。
先ず、図１に示すフィールド抽出部１０４は、帳票画像１０１から文字記入欄の位置と大きさを検出する。この文字記入欄の抽出処理は既存の帳票ＯＣＲと同じ方式で実現できる。本処理により、例えば図２に示す帳票画像２０１から、２文字枠の文字記入欄２０２が抽出される。
【００１８】
次に、枠線検出部１０５は、抽出された文字記入欄から文字枠線を検出する。これも既存の帳票ＯＣＲと同じ方式で実現できる。例えば図３に示した文字枠線抽出結果例３０１は、文字記入欄２０２に対して本処理を適用した結果である（図３は９０度回転して表示している）。図３中の文字“５”は縦の文字枠線を示しており、“＃”は横の文字枠線である。また“＠”は非文字枠画像（文字や取り消し線、ノイズ）を示し、“＊”は非文字枠画素と文字枠線との接触位置を示す。
【００１９】
次に、文字パターン認識部１０６は、枠線検出部１０５の結果に基づいて、１文字分の非文字枠画像を取り出す。これを文字パターンとして、辞書と照合することで、その文字パターンに対する文字認識結果を取得する。例えば、図３に示す文字枠線抽出結果例３０１からは図４の４０１に示す非文字枠画像が得られるため、これを辞書と照合することで“８”という文字認識結果を得る。更に、本処理では、文字パターンが文字枠線と接触・交差している場合、文字パターンと接触した文字枠線部分（図３における“＊”部分）も文字だとみなした文字パターン４０２を作成し、これを辞書と照合する。そして信頼度（スコア）が高い方の文字認識結果を出力する。
【００２０】
次に、スコアによる棄却判定部１０７は、文字パターン認識部１０６で得た文字認識結果の信頼度（スコア）を調べ、スコアの値が閾値を越える場合は、その文字認識結果を出力する。逆にスコアの値が閾値を超えない場合は、文字認識結果を棄却とする。本処理では文字パターン認識部１０６で得た信頼度（スコア）を指標として棄却判定を行うため、辞書に記述された文字形状と異なる形状の文字パターンが棄却できる。
例えば、辞書に活字の文字パターン“３”が登録されている場合、図７に示すように辞書に登録された文字パターンと形状が類似した文字パターン７０１が入力された場合は正しい認識結果を返し、形状が異なる文字パターン７０２が入力された場合は、認識結果が疑わしいと判断して棄却する。
ここまでは通常の帳票ＯＣＲと同様な処理である。
【００２１】
次に、文字・枠線接触数検出部１１０は、１文字ずつ、文字枠領域付近の画像を調べて、非文字枠画像が、文字枠線と接触した箇所を特定して、その文字枠線の本数を計測する。具体的には図３に示した文字枠線の解析結果データから、図５に示すように１文字分の画像５０１を切り出す。そして内部を１画素ずつ走査して、上下に“＊＠”が並んだ画像領域５０２が見つかった場合、上側の横文字枠線と非文字枠画像との接触有と判断する。同様に、左右に“＊＠”が並んだ画像領域５０３が見つかった場合、左側の縦文字枠線との接触有と判断する。また、上下に“＠＊”が並んだ画像領域５０４が見つかった場合、下側の横文字枠線との接触有と判断する。このような処理を行うことで、文字やノイズ、取り消し線と接触した文字枠線の本数を測定する。このように非文字枠画像と接触した文字枠線の本数０〜４を利用して、文字の乱雑度を数値的に表現する。
【００２２】
図６は本処理の結果例を示す。ここで図中の○印は文字枠と非文字枠画像との接触位置を示す。文字６０１は２本の文字枠線と接触していると判定され、文字６０２は３本の文字枠線と接触していると判定される。
【００２３】
次に、罫線接触棄却判定部１１１は、非文字枠画像に接触した文字枠線の本数が閾値以上の場合、乱雑な文字であると判断して文字認識結果を棄却する。例えば閾値＝２の場合、図８に示した文字記入欄８０１では、全ての文字枠において、左右の文字枠線と取り消し線とが接触しており、非文字枠画像に接触した文字枠線の本数＝２となる。そのために、文字認識結果が全て棄却される。また、取り消し線が曲線で描かれた文字記入欄８０２でも、やはり非文字枠画像に接触した文字枠線の本数が２以上となり、左３個の文字枠で文字認識結果が棄却となる。また、途切れた縦方向のノイズが重畳した文字記入欄８０３（ノイズが途切れて短いためにノイズ除去が困難）でも、左端の文字枠において非文字枠画像が上下２本の文字枠線と接触しているため棄却される。さらに、乱雑な文字が記入された文字記入欄８０４では、乱雑さに応じて非文字枠画像に接触した文字枠線の本数が増加し、２本以上の文字枠線に接触した文字が棄却となる。
【００２４】
次に、棄却処理統合部１０８は、スコアによる棄却判定部１０７の結果と、罫線接触棄却判定部１１１のどちらかで棄却と判定された場合、最終的に出力する文字認識結果を棄却する。双方の棄却判定部で棄却と判定されなかった場合は、文字パターン認識部１０６で得た文字認識結果を出力する。最後に結果出力部１０９は、棄却処理統合部１０８で得た最終的な文字認識結果を外部へ出力する。
【００２５】
このように実施の形態１の帳票文字認識装置は二つの棄却手段を持つ。第一に、スコアによる棄却判定部１０７では文字パターン認識部１０６で得た信頼度を指標として棄却判定を行うため、辞書と異なる形状を持つ文字パターンを棄却し、誤認識を抑制できる。第二に、罫線接触棄却判定部１１１では非文字枠の画素に接触した文字枠線の本数を指標として棄却判定を行うため、直線・非直線からなる取り消し線がある文字枠や、ノイズ除去が難しいノイズが重畳された文字枠、乱雑な文字が記入された文字枠を棄却し、さらに誤認識を抑制できる。
また、本帳票文字認識装置では、非文字枠画像に接触した文字枠線の本数を指標として棄却判定を行う簡便な処理で、三つの要因（取り消し線、ノイズ、乱雑な文字）に起因した誤認識を抑制できるため、処理コストが少ないという効果を有する。
【００２６】
以上説明したように、実施の形態１の帳票文字認識装置によれば、帳票画像上の文字を認識処理する帳票文字認識装置において、帳票画像中から文字認識対象とする文字記入欄位置を抽出するフィールド抽出部と、文字記入欄内の画像から文字枠線を検出する枠線検出部と、枠線検出部の検出結果に基づいて、文字記入欄内の画像から１文字分の文字パターンを取り出して辞書との照合を行う文字パターン認識部と、文字パターン認識部で得た認識結果の信頼度の値を元に認識結果の棄却判定を行うスコアによる棄却判定部と、枠線検出部の検出結果に基づいて、文字記入欄内の画像から１文字分の非文字枠画像を取り出して、非文字枠画像に接触している文字枠線の数を計測する文字・枠線接触数検出部と、非文字枠画像に接触している文字枠線数が所定の閾値を越える場合に、文字枠線に対応した文字の認識結果を棄却する罫線接触棄却判定部と、スコアによる棄却判定部の結果と罫線接触棄却判定部の結果のうち、どちらかの結果が棄却であった場合は、最終的に出力する文字認識結果を棄却する棄却処理統合部を備えたので、処理コストが小さく、かつ、誤認識を抑制することができる。
【００２７】
また、実施の形態１の帳票文字認識装置によれば、非文字枠画像は、文字、ノイズ及び取り消し線のうち少なくともいずれかを含むようにしたので、乱雑な文字やノイズあるいは取り消し線による誤認識を抑制することができる。
【００２８】
尚、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００２９】
１０１  帳票画像、１０２  帳票文字認識装置、１０３  認識結果、１０４  フィールド抽出部、１０５  枠線検出部、１０６  文字パターン認識部、１０７  スコアによる棄却判定部、１０８  棄却処理統合部、１０９  結果出力部、１１０  文字・枠線接触数検出部、１１１  罫線接触棄却判定部。
【図１】
0005677139.tif 000002
【図２】
0005677139.tif 000003
【図３】
0005677139.tif 000004
【図４】
0005677139.tif 000005
【図５】
0005677139.tif 000006
【図６】
0005677139.tif 000007
【図７】
0005677139.tif 000008
【図８】
0005677139.tif 000009