(57)【特許請求の範囲】
【請求項１】
プレプリント情報を含む帳票に文字が記入された画像を取得し、取得された画像から文字認識対象の領域を抽出し、抽出された領域の画像を線分に分解し、分解された線分を取得する分解線分取得手段と、前記取得された線分の組合せを順次変えて作成した複数の画像を文字認識し、最大の信頼度を持つ文字認識結果を出力する文字認識手段とを有する文字認識装置であって、
文字認識結果、前記文字認識結果に対応する信頼度、前記文字認識結果に対応する線分を示す線分番号を格納する認識情報記憶手段を備え、
前記文字認識手段は、
前記分解線分取得手段により取得された線分の組み合わせの選択を、組み合わせの対象となる線分の本数（以降線分数とよぶ）が段階的に増加する段階１から段階ｎ（ｎは２以上の整数）の前記各段階に複数の前記線分数を含むｎ段階に分割して行い、分割された段階１から段階ｎに向けて、分割された各段階の前記線分数の全てについて前記線分数毎に前記線分の組合せを選択し、選択された前記線分の組合せの画像を生成して文字認識を行う認識手段と、
前記認識手段による前記各段階の前記線分の組合せの画像についての文字認識結果から、最大の信頼度を有する文字認識結果とその線分の組合せを抽出するとともに、前記最大の信頼度と、前記認識情報記憶手段に記憶されている信頼度と比較する信頼度抽出比較手段と、
比較した結果、抽出した信頼度が大きければ、その信頼度及びその信頼度に対応する前記文字認識結果とその文字認識結果に対応する線分を示す線分番号を前記認識情報記憶手段に格納する格納手段と、
前記段階１から段階ｎの全段階での文字認識を終了したときに、前記認識情報記憶手段に保持されている最大の信頼度の文字認識結果を採用する文字認識結果出力手段とを備え、
前記認識手段が前記各段階の文字認識のために前記線分数に応じた線分の組合せを選択するときに、前記認識情報記憶手段に格納されている前記各段階の直前の段階までの最大の信頼度を有する文字認識結果の前記線分番号に対応する前記線分をすべて含めて、前記線分の組合せを選択することを特徴とする文字認識装置。
【請求項２】
プレプリント情報を含む帳票に文字が記入された画像を取得し、取得された画像から文字認識対象の領域を抽出し、抽出された領域の画像を線分に分解し、分解された線分を取得する分解線分取得機能と、前記取得された線分の組合せを順次変えて作成した複数の画像を文字認識し、最大の信頼度を持つ文字認識結果を出力する文字認識機能とを、文字認識装置に実現させるための文字認識プログラムであって、
前記文字認識機能が有する、
前記分解線分取得機能により取得された線分の組み合わせの選択を、組み合わせの対象となる線分の本数（以降線分数とよぶ）が段階的に増加する段階１から段階ｎ（ｎは２以上の整数）の前記各段階に複数の前記線分数を含むｎ段階に分割して行い、分割された段階１から段階ｎに向けて、分割された各段階の前記線分数の全てについて前記線分数毎に前記線分の組合せを選択し、選択された前記線分の組合せの画像を生成して文字認識を行う認識機能と、
前記認識機能による前記各段階の前記線分の組合せの画像についての文字認識結果から、最大の信頼度を有する文字認識結果とその線分の組合せを抽出するとともに、前記最大の信頼度と、認識情報記憶手段に記憶されている信頼度と比較する信頼度抽出比較機能と、
比較した結果、抽出した信頼度が大きければ、その信頼度及びその信頼度に対応する前記文字認識結果と前記文字認識結果に対応する前記線分を示す線分番号を前記認識情報記憶手段に格納する格納機能と、
前記段階１から段階ｎの全段階での文字認識を終了したときに、前記認識情報記憶手段に保持されている最大の信頼度の文字認識結果を採用する文字認識結果出力機能と、
前記認識機能が、前記各段階の文字認識のために前記線分数に応じた線分の組合せを選択するときに、前記認識情報記憶手段に格納されている前記各段階の直前の段階までの最大の信頼度を有する文字認識結果の前記線分番号に対応する前記線分をすべて含めて、前記線分の組合せを選択する機能とを文字認識装置に実現させるための文字認識プログラム。
【請求項３】
プレプリント情報を含む帳票に文字が記入された画像を取得し、取得された画像から文字認識対象の領域を抽出し、抽出された領域の画像を線分に分解し、分解された線分を取得する分解線分取得ステップと、前記取得された線分の組合せを順次変えて作成した複数の画像を文字認識し、最大の信頼度を持つ文字認識結果を出力する文字認識ステップとを文字認識装置が実行する文字認識方法であって、
前記文字認識ステップは、
前記分解線分取得ステップにより取得された線分の組み合わせの選択を、組み合わせの対象となる線分の本数（以降線分数とよぶ）が段階的に増加する段階１から段階ｎ（ｎは２以上の整数）の前記各段階に複数の前記線分数を含むｎ段階に分割して行い、分割された段階１から段階ｎに向けて、分割された各段階の前記線分数の全てについて前記線分数毎に前記線分の組合せを選択し、選択された前記線分の組合せの画像を生成して文字認識を行う認識ステップと、
前記認識ステップによる前記各段階の前記線分の組合せの画像についての文字認識結果から、最大の信頼度を有する文字認識結果とその線分の組合せを抽出するとともに、前記最大の信頼度と、認識情報記憶手段に記憶されている信頼度とを比較する信頼度抽出比較ステップと、
比較した結果、抽出した信頼度が大きければ、その信頼度及びその信頼度に対応する前記文字認識結果とその文字認識結果に対応する前記線分を示す線分番号を前記認識情報記憶手段に格納する格納ステップと、
前記段階１から段階ｎの全段階での文字認識を終了したときに、前記認識情報記憶手段に保持されている最大の信頼度の文字認識結果を採用する文字認識結果出力ステップとを備え、
前記認識ステップが前記各段階の文字認識のために前記線分数に応じた線分の組合せを選択するときに、前記認識情報記憶手段に格納されている前記各段階の直前の段階までの最大の信頼度を有する文字認識結果の前記線分番号に対応する前記線分をすべて含めて、前記線分の組合せを選択するステップを有することを特徴とする文字認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字認識処理に関する発明であって、予め紙面上に書かれた文字や罫線等（以下、プレプリント情報と呼ぶ）に重なったり、接触したりして書かれている文字を認識する装置、方法、プログラムに関するものである。
【０００２】
【従来の技術】
認識すべき文字が、予め紙面上に書かれている文字（プレプリント文字）や罫線等に接触または重畳して書かれている場合に文字認識を行う方法として従来、「特願2000-334296 」が提案されている。すなわち、当該文字を含む領域の成分を線分に分解し、分解した線分の組合せを変更しながら文字認識を行い、当該組合せ中で最大の信頼度を出力する文字認識結果を採用することにより罫線、文字等のプレプリント情報に接触、重畳して記入された文字を認識する方法である。
【０００３】
図５に従来例の文字認識装置の構成図を示す。図６に従来例の読み取った画像例を示す。
まず、画像取得部２が認識の対象となる帳票等の用紙を読み取って、メモリ部６に格納する。次に認識領域指定部３により予め文字が記入される可能性のある領域がレイアウト情報として予め与えられる方法かまたはレイアウト解析の結果により文字が記入される領域が取得される方法により領域を指定する。そして、その矩形座標を線分に分割する領域として認識領域内線分分割部４に渡す。
【０００４】
図６に文字記入領域の左側から５番目の領域が指定された例を示す。
認識領域内線分分割部４は、矩形の座標情報に基づき、その領域内の成分（プレプリント情報を含む）を線分に分割する処理を行う。
次に線分全組合せ文字認識部１０は、分割された線分を全て組合せて文字認識を行い、最も認識度の高い文字を抽出する。
【０００５】
図７に従来例の文字認識装置の処理の流れ図を示す。図６に示す指定領域の例について、図８に従来例の線分画像作成の具体例を示す。
最初に領域内細線化を行う（Ｓ５１ステップ）。図８の例では、領域内の原画はＡ．に示され、帳票のプレプリントの「千」の文字と記入枠を表す線に対し手書きの文字「５」が記入されている。この領域の画像を細線化処理することで、Ｂ．に示すような細線化画像が得られる。次にこの細線化画像から、端点・交点を抽出する（Ｓ５２ステップ）。
【０００６】
従来例の端点・交点の画素の例を図９に示す。図９の(a) は端点の例であり、この例は注目画素が黒画素である場合に、注目画素を中心とした周囲８画素に１点しか黒画素がない場合であり、図９の(b) は交点の例であり、これも注目画素が黒画素である場合に、注目画素を中心とした周囲８画素に３点以上に黒画素がある場合をいう。
【０００７】
次に端点または交点での細線化画像の分割を行う（Ｓ５３ステップ）。
この分割の処理により、図８のＣ．に示すように(1) 〜(11)という１１個の細線線分に分割される。なお、この分割では横方向の線に交点を含んでいても端点から端点まで残し、縦方向の線を交点で分割している。
次に細線線分拡張が行われる（Ｓ５４ステップ）。図８の例では、この細線線分拡張の処理により、Ｄ．の(1) 〜(11)に示すように各細線線分を原画像の線幅まで線の太さを拡張する。
【０００８】
次に線分全組合せ文字認識部１０による線分画像の組合せを変更しながら文字認識処理を行う。ここでは，線分の組合せにより線分画像を合成した認識画像を作成し、文字認識処理をする。文字認識結果とその信頼度を記憶し、全ての認識結果のうち最大の信頼度を出力する文字を最終的な認識結果とする。ここで，信頼度は文字認識処理が出力する辞書との距離差や、尤度等を用いる。
【０００９】
【発明が解決しようとする課題】
しかし、「特願2000-334296 」の発明では、Ｎ本の線分が認識領域から抽出された場合に、その全組合せについて文字認識を行うと（１）式に表される回数の文字認識を行わなければならないため、時間がかかっていた。
【００１０】
【数１】
0004310943.tif 000002
【００１１】
本発明は、高速に文字認識処理を行う文字認識装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
プレプリント情報を含む帳票に文字が記入された画像を取得し、取得された画像から文字認識対象の領域を抽出し、抽出された領域の画像を線分に分解し、分解された線分を取得する分解線分取得手段と、前記取得された線分の組合せを順次変えて作成した複数の画像を文字認識し、最大の信頼度を持つ文字認識結果を出力する文字認識手段とを有する文字認識装置であって、文字認識結果、前記文字認識結果に対応する信頼度、前記文字認識結果に対応する線分を示す線分番号を格納する認識情報記憶手段を備え、前記文字認識手段は、前記分解線分取得手段により取得された線分の組み合わせの選択を、組み合わせの対象となる線分の本数（以降線分数とよぶ）が段階的に増加する段階１から段階ｎ（ｎは２以上の整数）の前記各段階に複数の前記線分数を含むｎ段階に分割して行い、分割された段階１から段階ｎに向けて、分割された各段階の前記線分数の全てについて前記線分数毎に前記線分の組合せを選択し、選択された前記線分の組合せの画像を生成して文字認識を行う認識手段と、前記認識手段による前記各段階の前記線分の組合せの画像についての文字認識結果から、最大の信頼度を有する文字認識結果とその線分の組合せを抽出するとともに、前記最大の信頼度と、前記認識情報記憶手段に記憶されている信頼度と比較する信頼度抽出比較手段と、比較した結果、抽出した信頼度が大きければ、その信頼度及びその信頼度に対応する前記文字認識結果とその文字認識結果に対応する線分を示す線分番号を前記認識情報記憶手段に格納する格納手段と、前記段階１から段階ｎの全段階での文字認識を終了したときに、前記認識情報記憶手段に保持されている最大の信頼度の文字認識結果を採用する文字認識結果出力手段とを備え、前記認識手段が前記各段階の文字認識のために前記線分数に応じた線分の組合せを選択するときに、前記認識情報記憶手段に格納されている前記各段階の直前の段階までの最大の信頼度を有する文字認識結果の前記線分番号に対応する前記線分をすべて含めて、前記線分の組合せを選択する構成である。
【００１３】
この構成により、前段階までに取得した信頼度の高い線分を次段階で必ず使用するようにしているため、次段階での組合せ数が減少する。それが累積していくため、全組合せを実施する装置に比べて文字認識する回数が大幅に削減される。
【００１４】
【発明の実施の形態】
図１に実施例の文字認識装置の構成図を示す。
文字認識装置１は、分割線分取得部５とメモリ部６と文字認識部７より構成される。
そして分割線分取得部５は、画像取得部２、認識領域指定部３、認識領域内線分分割部４より構成される。画像取得部２は、認識の対象となる帳票等の用紙を読み取ってメモリ部６に格納する。認識領域指定部３は、予め文字が記入される可能性のある領域を予めレイアウト情報として予め与えられているものを指定する方法かまたはレイアウト解析の結果により文字が記入される領域が取得される方法により文字認識対象の領域指定を行う。そしてその矩形座標が線分に分割する領域として認識領域内線分分割部４に渡す。認識領域内線分分割部４は矩形の座標情報に基づき、その領域内の成分（プレプリント情報を含む）を線分に分割する処理を行う。
【００１５】
メモリ部６は、認識対象の原画像および指定領域画像、分割線分画像、段階線分数、限定線分数、認識情報などを記憶する。
文字認識部７は段階的に組合せ数を増やして文字認識を行う段階文字認識部８と限定数を決めて文字認識を行う限定文字認識部９とからなる。
図２に実施例の文字認識装置の処理の流れ図を示す。
【００１６】
最初に領域内細線化を行う（Ｓ１１ステップ）。
次にこの細線化画像から、端点・交点を抽出し（Ｓ１２ステップ）、
端点または交点での細線化画像の分割を行う（Ｓ１３ステップ）。
この細線線分拡張の処理により各細線線分を原画像の線幅まで線の太さを拡張する（Ｓ１４ステップ）。ここまでの処理は、従来技術の図７のＳ５１ステップからＳ５４ステップまでと同様である。
【００１７】
次に文字認識部７による線分画像の組合せを変更しながら本発明の特徴である方法で文字認識処理を行う（Ｓ１５ステップ）。図３に実施例１の文字認識処理の流れ図を示す。まず、線分の組合せを段階的に絞り込むための段回数の最大数Ｄを設定する（Ｓ２１ステップ）。次に、メモリ部６に記憶されている認識情報である各段階の最大の信頼度の文字認識結果に含まれる線分数Ｐ（前段階）、Ｐ１（現段階）及びその線分番号を保持する配列Ｓ[]（前段階）、Ｓ１［］（現段階）、信頼度Ｒ（前段階）、Ｒ１（現段階）、認識結果Ａ（前段階）、Ａ１（現段階）をクリアする（Ｓ２２ステップ）。そして現段階を示す変数ｉに１を設定する（Ｓ２３ステップ）。
【００１８】
次に、１段階目として、組合せを試す線分の本数の最小値Ｌ1 を１に、また最大値Ｌ２をＬ［１］に設定する（Ｓ２４ステップ）。そして現在の組合せる線分を示す変数ｋにＬ１を設定する（Ｓ２５ステップ）。ここで、Ｌ［ｉ］は各段階の組合せを適用する最大の線分数であり、予めＬ［］の配列に設定され、メモリ部６に段階線分数として記憶されている。この線分数は対象とする文字の特徴を考慮して設定する。例えば数字の場合などはＬ[1]=５程度がよい。
【００１９】
次に、ｋ本の線分を全線分の中から選択して組合せて（Ｓ２６ステップ）文字認識（Ｓ２７ステップ）を行い、その信頼度がＲ１より大きいか否かを判定し（Ｓ２８ステップ）、大きい場合は、その信頼度をＲ１に設定し、文字認識結果をＡ１に、それを構成する線分数をＰ１、及び線分番号をＳ１［］に記憶しておく（Ｓ２９ステップ）。
【００２０】
次にｋ本の線分の組合せを全て処理しているか否かを判断し（Ｓ３０ステップ）、処理していない場合には、Ｓ２６ステップへ戻り次の組合せを作成し文字認識する処理を繰り返す。処理が全て終わった場合は、ｋがＬ２より小さいか否かを判定し（Ｓ３１ステップ）、小さい場合は、ｋをインクリメント（Ｓ３１１ステップ）Ｓ２６ステップへ戻り、この処理をｋがＬ２になるまで繰り返す。
【００２１】
ｋがＬ２を超えた場合は、信頼度ＲとＲ１を比較し（Ｓ３２ステップ）、Ｒ１の方が大きい場合は、文字認識結果Ａ１をＡにコピーし、線分数Ｐ１をＰに設定し、線分番号Ｓ１［］をＳ［］にコピーし、Ｒ１をＲに設定し認識情報としてメモリ部６に格納する（Ｓ３３ステップ）。
次にＲをＲ１に設定して（Ｓ３４ステップ）、i をＤと比較し（Ｓ３５ステップ）、i がＤより小さければｉをインクリメントし（Ｓ３６ステップ）し、次の段階に処理がうつる。その際、ｉ段階目として、組合せを試す線分の本数の最小値Ｌ１をＬ［ｉ−１］＋１、最大数Ｌ２をＬ［ｉ］に設定する（Ｓ３７ステップ）。そして、ｋにＬ１を設定し（Ｓ３８ステップ）、Ｓ２６ステップに戻る。
【００２２】
そしてＬ１本からＬ２本まで、組合せを試す線分の本数を増やし、線分の組合せを変更しながら文字認識を行い、最大の信頼度の文字認識結果及びそれを構成する線分数、及び線分番号を記憶する。
なお、２段目以降のｉ段階目の線分の組合せには前段階である（ｉ−１）段目の認識結果として記憶したＰ本の線分は組合せに必ず含めることとし、残りのｋ−Ｐ本をＰ本に含まれなかった線分の中から選択して組合せを変更しながら文字認識を行う。
【００２３】
そして、最終段階Ｄが終了した時点での最大の信頼度の文字認識結果を最終的な認識結果として採用する。
以上により、各段階毎に、組合せに含める線分が絞り込まれ、文字認識の回数が大幅に削減できる。例えば、対象とする文字が数字の場合には、数字を構成するストロークは高々数本であるため、1 段階目の組合せを適用する最大数Ｌ[1] を小さな値に設定することにより、文字認識の回数が削減される。ここで1 段階目のＬ１を５本程度とすることにより、殆どの場合には、１段階目で所望の文字認識結果が得られる。所望の文字認識結果が得られなかった場合でも、1 段階目の最大の信頼度の認識結果は、所望の文字を構成する部分パターンを、数字のうち単純な図形である「０」や「１」として抽出するという文字認識処理の性質により、これをもとに2 段階目に組合せを適用する線分の本数を更に増やすことによって、組合せを絞り込みながら所望の文字認識結果を得ることができる。
【００２４】
図４に実施例２の文字認識処理の流れ図を示す。
本処理の前処理として、プレプリント接触文字を含む領域についての画像を細線化し細線化画像を得て、細線化画像の交点・端点等によりこれを線分に分割し細線化線分を得る処理が行われる。ここで、分割して抽出された線分の全本数をN とする。
【００２５】
本処理ではまず、線分を組み合わせて文字認識する組合せの本数の最大値をM に設定する（Ｓ４１ステップ）。このＭはＮより少ない数とし、認識対象とする文字種に応じて適宜設定される数値であり、例えば数字の場合はＭ= 10程度でよい。この内容は限定線分数として予めメモリ部６に格納されている。
次に、現在の組合せ本数を変数ｉに設定する。したがって最初はｉ= 1 に設定される（Ｓ４２ステップ）。そして全線分からｉ本の線分を選択し、これを組合せた画像を作成し（Ｓ４３ステップ）文字認識処理を行う（Ｓ４４ステップ）。そして、文字認識結果の信頼度が現在保持されている文字認識結果の信頼度より大きいか否かを判定し（Ｓ４５ステップ）し、大きい場合には、その文字認識結果を記憶する（Ｓ４６ステップ）。この処理を全線分についてのｉ本の組合せを全て処理した否かを判定し（Ｓ４７ステップ）、大きい場合には、ｉがＭより小さいか否かを判定し（Ｓ４８ステップ）大きい場合は処理を終了する。小さい場合は、ｉをインクリメント（Ｓ４９ステップ）し、Ｓ４３ステップへ戻る。まだ処理が終了していない場合には組合せを試していない線分の組合せを作成し、文字認識処理を行う。この一連の処理をｉがＭになるまで行い、その際に記憶されている最大の信頼度の文字認識結果を最終的な文字認識結果とする。これにより、全線分数Ｎと同じ数まで線分の組合せを文字認識処理する必要が無く、処理時間が大幅に削減できる。なお、第２の実施例の処理は第１の実施例の処理と併用することができ、この場合、第１の実施例の最終段階での組合せる線分の最大値Ｌ［Ｄ］をＭとすることが達成できる。
【００２６】
なお、実施例１及び２に示した本発明の処理において、組み合わせた線分全てが連結する場合にのみ文字認識を行うことにより、例えば数字の場合のように文字を構成している線分が連結している場合には、線分を組み合わせた図形が連結していない場合には文字認識処理を行わないことにより処理時間が削減できる。また、認識する領域の画像について、線幅の細い線分を予め除去してから、文字認識処理を行うことにより、線分の本数を予め削減することが出来る。また、認識すべき文字が記入される記入領域が予めわかっている場合に、当該領域に含まれる線分は、前記の線分の組合せに必ず含むように各線分を組み合わせて文字認識を行うことにより、その本数分だけ線分が絞り込まれ、組合せを適用する文字認識回数が削減できる。更に、線分を組み合せ、当該組合せによる図形のサイズが一定範囲にある場合にのみ、文字認識を行うことにより、予め記入される文字のサイズの範囲が想定できる場合には、これを外れる線分の組合せについては文字認識処理を削減できる。以上の組合せにより更に処理時間が削減できる。
【００２７】
【発明の効果】
以上説明したように本発明により、プレプリント文字や罫線等に接触、重畳して書かれた文字を、線分に分解して、線分の組合せを変更しながら文字を認識する方法について、線分の組合せ文字認識を多段階に分け、各段階毎に組合せを試す線分の本数を増やし、各段階での最大の信頼度の文字認識結果に含まれる線分を次段階の線分の組合せに含める構成とすることにより、対象とする線分の組合せを絞り込むことが可能となり、文字認識回数を大幅に削減できる。また、線分数の少ない文字が認識対象である場合には、抽出された全線分数より少ない数までの組合せについて線分を選択して組み合わせる処理を行うことで、大幅に組合せ回数が削減でき、文字認識処理の回数が削減できる。
【図面の簡単な説明】
【図１】実施例の文字認識装置の構成図
【図２】実施例の文字認識装置の処理の流れ図
【図３】実施例１の文字認識処理の流れ図
【図４】実施例２の文字認識処理の流れ図
【図５】従来例の文字認識装置の構成図
【図６】従来例の読み取った画像例
【図７】従来例の文字認識装置の処理の流れ図
【図８】従来例の線分画像作成の具体例
【図９】従来例の端点・交点の画素の例
【符号の説明】
１  文字認識装置
２  画像取得部
３  認識領域指定部
４  認識領域内線分分割部
５  分割線分取得部
６  メモリ部
７  文字認識部
８  段階文字認識部
９  限定文字認識部
１０  線分全組合せ文字認識部
【図１】
0004310943.tif 000003
【図２】
0004310943.tif 000004
【図３】
0004310943.tif 000005
【図４】
0004310943.tif 000006
【図５】
0004310943.tif 000007
【図６】
0004310943.tif 000008
【図７】
0004310943.tif 000009
【図８】
0004310943.tif 000010
【図９】
0004310943.tif 000011