(57)【特許請求の範囲】
【請求項１】
帳票のイメージデータから点線候補を抽出する抽出手段と、
抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集する特徴収集手段と、
認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定する推定手段と、
前記抽出手段により抽出された前記点線候補と前記推定手段により推定された前記点線候補を前記イメージデータから除去する除去手段と、
前記除去手段により前記点線候補が除去されたイメージデータの文字の認識を行う文字認識手段とを備え、
前記推定手段は、認識対象の前記同一文字枠内又は他の文字枠内の点線候補の前記特徴情報と前記点線候補間の間隔を示す情報に基づいて、認識対象の前記文字枠内の点線候補箇所と点線の種類を推定する文字認識装置。
【請求項２】
帳票のイメージデータから点線候補を抽出する抽出手段と、
抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集する特徴収集手段と、
認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定する推定手段と、
前記抽出手段により抽出された前記点線候補と前記推定手段により推定された前記点線候補を前記イメージデータから除去する除去手段と、
前記除去手段により前記点線候補が除去されたイメージデータの文字の認識を行う文字認識手段とを備え、
前記推定手段は、認識対象の前記文字枠内又は関連性のある他の文字枠内の複数の点線候補の間隔に基づいて、認識対象の前記文字枠内に抽出されていない点線候補があるか否かを推定し、点線候補があると推定された場合には、前記イメージデータの点線が存在すると推定される位置の画像データと、複数の点線候補から得られる基準点線の画像データを比較し、前記画像データの一致度が基準値以上のとき、前記推定した位置に前記基準点線と同じ点線候補が存在すると推定する文字認識装置。
【請求項３】
帳票のイメージデータから点線候補を抽出する抽出手段と、
抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集する特徴収集手段と、
認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定する推定手段と、
前記抽出手段により抽出された前記点線候補と前記推定手段により推定された前記点線候補を前記イメージデータから除去する除去手段と、
前記除去手段により前記点線候補が除去されたイメージデータの文字の認識を行う文字認識手段とを備え、
前記推定手段は、同一文字枠内で抽出された複数の点線候補の間隔に基づいて各点線候補間を基準とした点線候補間の間隔を示す間隔表を作成し、前記間隔表の間隔の１倍、（１／ｎ）倍の値に対してそれぞれ異なる投票数を割り当て、前記間隔表の間隔毎に投票数を累計して累計値が最も大きい間隔を、前記点線候補間の間隔と推定する文字認識装置。
【請求項４】
帳票のイメージデータから点線候補を抽出し、
抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集して記憶手段に格納し、
認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定し、
抽出された前記点線候補と推定された前記点線候補を前記イメージデータから除去し、
前記点線候補が除去されたイメージデータの文字の認識を行い、
前記推定では、認識対象の前記同一文字枠内又は他の文字枠内の点線候補の前記特徴情報と前記点線候補間の間隔を示す情報に基づいて、認識対象の前記文字枠内の点線候補箇所と点線の種類を推定する文字認識方法。
【請求項５】
帳票のイメージデータから点線候補を抽出し、
抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集して記憶手段に格納し、
認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定し、
抽出された前記点線候補と推定された前記点線候補を前記イメージデータから除去し、
前記点線候補が除去されたイメージデータの文字の認識を行い、
前記推定では、前記同一文字枠内又は関連性のある他の文字枠の複数の点線候補の間隔に基づいて、抽出されていない点線候補があるか否かを推定し、点線候補があると推定された場合には、前記イメージデータの点線が存在すると推定される位置の画像データと、複数の点線候補から得られる基準点線の画像データを比較し、前記画像データの一致度が基準値以上のとき、前記推定した位置に前記基準点線と同じ点線候補が存在すると推定する文字認識方法。
【請求項６】
帳票のイメージデータから点線候補を抽出し、
抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集して記憶手段に格納し、
認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定し、
抽出された前記点線候補と推定された前記点線候補を前記イメージデータから除去し、
前記点線候補が除去されたイメージデータの文字の認識を行い、
前記推定では、同一文字枠内で抽出された複数の点線候補の間隔に基づいて、各点線候補間を基準とした点線候補間の間隔を示す間隔表を作成し、前記間隔表の間隔の１倍、（１／ｎ）倍の値に対してそれぞれ異なる投票数を割り当て、間隔毎に投票数を累計して累計値が最も大きい間隔を、前記セルにおける点線間の間隔と推定する文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票等の文字を認識する文字認識装置及びその文字認識方法に関する。
【背景技術】
【０００２】
帳票（伝票など）に印刷又は手書きされた文字等をデータとして保存するために、帳票をイメージスキャナ等でカラー画像として読み取り、読み取ったカラーイメージデータの文字認識を行う文字認識装置が知られている。【０００３】
帳票には文字が印刷（又は記入）される複数の項目があり、各項目の文字枠の大きさ、位置は帳票毎に異なっている。従来は、そのような種々の形式の帳票の文字を認識できるようにするために、文字枠の形状、位置、色等を指定する定義情報を予めオペレータが作成する必要があった。【０００４】
しかしながら、上記のように定義情報を予め作成する方法は、オペレータの作業工数が多くなるという問題点がある。
特許文献１には、２値画像の黒画素の連結成分を水平線、垂直線、文字及び破線素に分類し、水平方向の隣接する２破線素間の間隔と、間隔を含む全長との比である白割合がしきい値以下の場合、それらの破線素を連結可能と判断することが記載されている。【０００５】
特許文献２には、２値画像から矩形を抽出し、矩形内の黒画素数を計数し、矩形面積に対する黒画素数を黒画素占有率として計算する。そして、黒画素占有率を基にその矩形が点線を構成するか否かを判定することが記載されている。【０００６】
特許文献３には、２値画像から黒画素連続成分の矩形を抽出し、抽出した矩形から表のセルに相当する実線枠を抽出する。そして、実線枠内の点線要素に相当する矩形を抽出し、所定の距離内にある点線要素を結合させることで点線罫線を抽出することが記載されている。
【特許文献１】特開昭６１−１７５８８０号公報
【特許文献２】特開平１０−９７５８８号公報
【特許文献３】特開平１１−２４２７１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
帳票の数字等を記入又は印刷する文字枠内には、桁を見やすくするために点線が印刷されている。点線には通常、細い線が使用されるので、印刷状態によっては点線が掠れてしまうことがある。また、文字の印刷位置がずれて点線と重なってしまうこともある。このような場合、文字枠内の点線を正確に抽出することができなくなる。点線を正確に抽出できないと点線を除去することができず、文字認識率が低下するという問題が発生する。【０００８】
本発明の課題は、イメージデータの文字枠内の点線を除去して、文字認識率を高めることである。
【課題を解決するための手段】
【０００９】
本発明の文字認識装置は、帳票のイメージデータから点線候補を抽出する抽出手段と、抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集する特徴収集手段と、認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定する推定手段と、前記抽出手段により抽出された前記点線候補と前記推定手段により推定された前記点線候補を前記イメージデータから除去する除去手段と、前記除去手段により前記点線候補が除去されたイメージデータの文字の認識を行う文字認識手段とを備える。【００１０】
この発明によれば、文字枠内の点線に関する定義情報の作成作業を減らし、かつ文字認識精度を確保することができる。
【発明の効果】
【００１１】
本発明によれば、文字枠内の点線に関する定義情報の作成作業を減らし、かつ文字認識精度を確保することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態の文字認識装置の構成を示す図である。
【図２】点線の推定方法の説明図である。
【図３】帳票の文字認識処理のフローチャート（１）である。
【図４】帳票の文字認識処理のフローチャート（２）である。
【図５】図５（Ａ）〜（Ｂ）は、帳票のイメージデータの一例を示す図である。
【図６】図６（Ａ）〜（Ｅ）は、画素ヒストグラムの一例を示す図である。
【図７】点線候補の一次特徴テーブルの一例を示す図である。
【図８】点線候補の二次特徴テーブルの一例を示す図である。
【図９】図９（Ａ）〜（Ｃ）は、点線の形状特徴、点形状及び破線の形状特徴を示す図である。
【図１０】図１０（Ａ）、（Ｂ）は、点線候補の分類方法の説明図である。
【図１１】点線の比較方法の説明図である。
【図１２】画像レベルの比較方法の説明図である。
【図１３】図１３（Ａ）、（Ｂ）は、掠れのある点線の推定方法の説明図である。
【図１４】図１４（Ａ）は文字と点線の重なり部分を示し、図１４（Ｂ）は、点線を除去した後のイメージデータを示す図である。
【図１５】投票制による点線候補推定処理のフローチャート（１）
【図１６】投票制による点線候補推定処理のフローチャート（２）。
【図１７】投票制による点線候補の補完及び削除の説明図である。
【図１８】図１８（Ａ）、（Ｂ）は、それぞれ点線候補の間隔と間隔表を示す図である。
【図１９】投票表の一例を示す図である。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好適な実施の形態について説明する。図１は、実施の形態の文字認識装置１１の構成を示す図である。以下、帳票等の文字枠内に印刷又は記入された文字（数字を含む）の文字認識を行う場合を例に取り説明する。【００１４】
イメージ入力部１２は、読み取り対象の帳票等が置かれるスキャナー等の台などである。イメージ読取部１３は、帳票等の文字枠、文字枠内に記入された文字等をイメージデータとして読み取る。イメージ読取部１３は、例えば、スキャナーのイメージセンサなどである。【００１５】
イメージ表示部１４は、イメージ読取部１３で読み取られた帳票のイメージデータを表示する表示装置である。
解析範囲指定部１５は、イメージ表示部１４に表示された帳票のイメージデータの解析対象範囲を指定するためのものである。解析範囲指定部１５は、例えば、ユーザが範囲を指定するためのマウス、キーボード等の入力部と、入力部により指定されたイメージデータの範囲を表示装置上に表示する制御等を行うプログラムとを有する。【００１６】
点線・背景除去部１６は、帳票全体から背景色と、例えば、認識対象範囲外の点線等を除去する。点線サンプル一次収集部１７は、帳票全体から点線候補を抽出し、抽出した各点線候補をメモリ等に保存する。点線候補の一次抽出は、例えば、画素ヒストグラムを作成することにより行われる。画素ヒストグラム以外の公知の他の方法で点線を抽出しても良い。【００１７】
点線特徴収集部１８は、点線サンプル一次収集部１７で収集された点線候補から大まかな特徴を収集する。特徴要素としては、点線の長さ、間隔、太さなどの情報である。
点線サンプル二次収集部１９は、点線特徴収集部１８で収集した特徴情報に基づいて、帳票全体の点線候補を再収集する。【００１８】
点線種類特定部２０は、二次収集した複数の点線候補の種類を特定する。点線種類特定部２０は、例えば、帳票全体の点線候補の分布から複数の点線候補をいくつかのグループに分類し各グループの代表値を求める。【００１９】
解析範囲内点線評価部２１は、解析対象範囲内の点線候補を、点線種類特定部２０において特定した点線の形状と比較して評価する。
解析範囲内点線特定部２２は、解析範囲内点線評価部２１の評価に基づいて点線の種類を特定する。【００２０】
枠除去部２３は、認識対象エリアの文字枠、文字枠内の点線を除去する。文字認識部２４は、文字枠、点線等を除去したイメージデータの文字認識を行う。解析結果表示部２５は、文字認識結果のデータを表示する。【００２１】
なお、上記の文字認識装置１１の構成は一例であり、文字認識装置１１が、上記の全ての機能を有する必要はない。例えば、イメージ入力部１２、イメージ読取部１３，イメージ表示部１４等は別の装置でも良い。【００２２】
ここで、帳票等の点線が掠れて印刷されている場合、あるいは文字が点線と重なっている場合の点線の推定方法について、図２を参照して簡単に説明する。
図２（Ａ）は、同じ項目のデータが連続して記録される連記帳票において、数字の印字位置がずれて数字と点線が重なっている場合の例を示している。この場合、点線と文字が重なっているために点線を正確に抽出することができない。【００２３】
同じ項目のデータが連続して記録される帳票では、他の明細部の点線も同じ種類の点線が使用されているので、他の明細部の点線情報（点線の太さ、長さ、間隔、色等）を利用して欠落している点線を推定することができる。【００２４】
図２（Ｂ）は、別の項目の点線情報から、点線の位置を推定する場合の例を示している。帳票では、他の項目で同じ種類の点線が使用されている場合が多い。帳票のこのような特徴に注目して、ある項目の点線が抽出できない場合でも、関連性のある他の項目の点線情報を参考にして、点線の位置、点線の太さ、長さ、間隔等を推定することができる。【００２５】
図２（Ｂ）の例では、点線が抽出できなかった依頼人欄の点線を、受取人欄の点線情報を参考にして点線を推定している。また、金額欄の点線の種類を、手数料欄の点線の特徴情報から推定している。【００２６】
以下、帳票をカラーイメージスキャナ等で読み取ったときに、点線と文字が重なっていて点線を抽出できない場合、あるいは点線が掠れて点線を抽出できない場合に、点線候補の位置を推定して点線を除去し、文字認識を行う処理について説明する。【００２７】
図３及び図４は、帳票の文字認識処理のフローチャート（１）、（２）である。
イメージ読取部１３で読み取られた帳票のカラーイメージデータ３１を取得し、さらに金額欄の大まかな座標３２を取得する。なお、金額欄の座標は、ユーザが予め大まかな座標を指定しても良いし、後述するステップＳ１２のセルの抽出処理において、数字が存在する領域を金額欄として抽出し、ユーザがそれを確認して座標を確定するようにしても良い。【００２８】
最初に、帳票のカラーイメージデータから背景色と明らかな文字を除去する（図３、Ｓ１１）。
次に、帳票全体から罫線／セルを抽出する（Ｓ１２）。罫線／セルの抽出方法としては、例えば、カラーイメージデータで同じ色の画素が連続する実線（罫線）を抽出し、実線で囲まれる矩形領域をセルとして抽出する。【００２９】
図５（Ａ）〜（Ｃ）は、帳票のカラーイメージデータ（図５では白、黒の２値で表している）と処理後のイメージデータを示す図である。図５（Ａ）は、帳票のイメージデータを示している。図５（Ｂ）は、背景色・文字を削除した後のイメージデータを示し、図５（Ｃ）は、イメージデータから抽出したセルを示している。【００３０】
図５（Ｂ）は、カラーイメージから背景色と文字を削除したものであり、受取人欄の名前は、文字として正常に認識されているので「○○商事」等の文字は削除されている。他方、依頼人欄のカタカナの文字と、金額欄の数字は残っている。【００３１】
図５（Ｃ）は、帳票のイメージデータから抽出したセルを示している。上記のステップＳ１２の処理により、受取人欄からはセル４１ａ、４１ｂの２個のセルが抽出され、依頼人欄からも２個のセル４２ａ、４２ｂが抽出されている。また、金額欄から２個のセル４３ａ、４３ｂが抽出され、手数料欄からも２個のセル４４ａ、４４ｂが抽出されている。【００３２】
図３に戻り、帳票全体から縦方向（垂直方向）の点線の候補を抽出する（縦点線候補の一次抽出）（Ｓ１３）。ステップＳ１３の処理では、例えば、セル毎に垂直方向の画素ヒストグラムを作成することで縦点線候補箇所を抽出し、抽出した縦点線候補箇所をメモリに記憶する。点線は画素の無い部分（白画素の部分）が存在するので、画素ヒストグラムを作成したときに、実線に比べて画素の数が少なくなる。従って、画素ヒストグラムを作成することで点線候補箇所を推定することができる。【００３３】
点線候補を抽出する方法は、画素ヒストグラムを作成する方法に限らず、公知の点線抽出技術を用いることもできる。例えば、ステップＳ１４の処理により点線候補箇所を抽出しても良い。ステップＳ１４の処理では、イメージデータから複数の画素からなる矩形領域を抽出し、抽出した矩形領域内の画素数を計数して矩形面積に対する画素占有率を計算する。そして、画素占有率が基準値以上のものを点線候補と推定する。【００３４】
次のステップＳ１５で、横点候補の一次抽出を行う。このステップＳ１５の処理では、水平方向の画素ヒストグラムを作成し、横点線候補箇所を特定する。
図６（Ａ）〜（Ｄ）は、図５（Ａ）のイメージデータから作成される画素ヒストグラムの一例を示す図である。【００３５】
図６（Ａ）は、図５（Ａ）及び（Ｃ）の受取人欄のセル４１ａの水平画素ヒストグラムと垂直画素ヒストグラムを示している。この場合、水平方向に同じ色の画素を計数して作成する水平画素ヒストグラムには、セル４１ａの上下の実線の画素のピーク値しか存在しないので、点線候補箇所が無いものと判断される。同様に、垂直方向に同じ色の画素を計数して作成する垂直画素ヒストグラムには、セル４１ａの左右の実線の画素のピーク値しか存在しないので、点線候補箇所なしと判断される。【００３６】
図６（Ｂ）は、図５（Ａ）及び（Ｃ）の受取人欄のセル４１ｂの水平画素ヒストグラムと垂直画素ヒストグラムを示している。この場合、水平方向の同じ色の画素を計数して作成する水平画素ヒストグラムには、上下の実線の画素のピーク値の約半分の高さのピーク値が存在するので、その部分が点線候補箇所として抽出される。垂直画素ヒストグラムについては、点線部分の画素がヒストグラムに現れているが、これらのピーク値は、セル４１の左右の実線の画素のピーク値に比べてはるかに小さいので、点線候補箇所としては抽出されない。画素のピーク値が点線候補か否かの判定は、例えば、セルの実線部分の画素のピーク値の何十％以上のピーク値を点線候補として抽出するかを予め決めておけば良い。【００３７】
図６（Ｃ）は、図５（Ａ）及び（Ｃ）の依頼人欄のセル４２ｂの水平画素ヒストグラムと垂直画素ヒストグラムを示す図である。この場合、水平画素ヒストグラムには、セル４２ｂの上下の実線の画素のピーク値の約半分の高さのピーク値が存在するので、その部分が点線候補箇所として抽出される。垂直画素ヒストグラムにも幾つかのピーク値が存在するが、それらのピーク値は、セル４２ｂの左右の実線の画素のピーク値に比べて十分に小さいので点線候補箇所としては抽出されない。【００３８】
図６（Ｄ）は、図５（Ａ）及び（Ｃ）の金額欄のセル４３ｂの水平画素ヒストグラムと垂直画素ヒストグラムを示す図である。この場合、水平画素ヒストグラムには、セル４３ｂの上下の実線の画素のピーク値の１／２以上の高さのピーク値が存在するが、そのピーク値は幅が広いので、点線以外の文字等の画素によるピーク値と判定される。画素のピーク値が点線か否かの判定は、例えば、予めピーク値の幅の基準値を決めておいて、ピーク値の幅が基準値以上の場合には文字と判定し、ピーク値の幅が基準値未満のときは点線候補と判定する。【００３９】
水平画素ヒストグラムには、セル４３ｂの左右の実線の画素のピーク値の他に基準値以上のピーク値が複数存在するので、その部分が点線候補箇所として抽出される。この場合、点線にかすれがあるために、垂直画素ヒストグラムで、本来点線候補として抽出される位置に基準値以上のピーク値が存在しないので、この段階ではその部分は点線候補箇所としては抽出されないことになる。【００４０】
図６（Ｅ）は、図５（Ａ）及び（Ｃ）の手数料欄のセル４４ｂの水平画素ヒストグラムと垂直画素ヒストグラムを示す図である。水平画素ヒストグラムには、セル４４ｂの上下の実線の画素のピーク値のみが抽出され、点線候補箇所は抽出されない。また、水平画素ヒストグラムには、セル４４ｂの左右の実線のピーク値と、そのピーク値の１／２以上の高さのピーク値が３個存在し、ピーク値の幅も狭いので、それらのピーク値が点線候補箇所として抽出される。【００４１】
以上のように、セル毎に垂直方向の画素ヒストグラムと水平方向の画素ヒストグラムを作成することで、点線候補箇所を推定することができる。
図３に戻り、ステップＳ１６において、ステップＳ１３及びＳ１４で収集した点線の大まかな特徴を収集する。ここで、大まかな特徴とは、後述する点線候補の二次抽出に用いる特徴であり、この段階では点線の確定した特徴ではないので大まかな特徴と呼んでいる。点線候補の特徴としては、例えば、点線の長さ、太さ、点線の間隔、色等の情報を収集する。【００４２】
図７は、一次抽出時の点線候補の特徴情報が格納された一次特徴テーブル５１を示す図である。図７には、特徴情報に基づいて点線候補をグループ分けるときの説明図も示してある。【００４３】
一次特徴テーブル５１には、点線候補を指定する候補番号と、点線のピッチと、点線のサイズ（長さ）と、太さと、色が格納される。この一次特徴テーブル５１には、一次抽出で抽出された全ての点線候補のデータが格納される。【００４４】
上述したステップＳ１３〜Ｓ１６の処理によりイメージデータから点線候補箇所を抽出した場合、実際には同じピッチ、同じ長さの点線候補でも画素のかすれ、欠落等により異なるピッチ、あるいは異なる長さの点線候補として抽出される可能性がある。そこで、本実施の形態では、図７に示すように、二次元平面上に点線候補をプロットして、それらの分布から同じグループに属する可能性が高い点線候補を推定し、グループの代表値を算出している。【００４５】
図７の右側のグラフは、点線候補の長さを縦軸に、点線のピッチを横軸とする２次元平面上に各点線候補を配置し、一定の範囲内に入る複数の点線候補を同じグループの点線と推定している。図７の例では、一定の範囲内ある点線候補群を、点線Ａと点線Ｂの２つのグループに分類している。このとき、同じグループに属する複数の点線候補のピッチ、点線の長さ、太さ等のそれぞれの代表値を算出し、算出した各グループの点線候補の代表値をメモリ等に保存する。体表値以外の他の値、平均値と分散などを保存しても良い。【００４６】
図３に戻り、点線候補の一次抽出で収集した特徴情報を利用して帳票全体の点線候補の二次抽出を行う（Ｓ１７）。ステップＳ１７の処理では、例えば、一次特徴テーブル５１から作成した各グループの点線候補の代表値、色等を参考にして点線候補の再収集を行う。【００４７】
次に、二次抽出で抽出した全ての点線候補から形状特徴を抽出し、抽出した形状特徴を点線の太さ、長さ、ピッチ、濃度等からなる基本情報と、開始座標、色、印刷装置を示す情報等からなる補助情報としてメモリ等に保存する（Ｓ１８）。【００４８】
ステップＳ１８の処理にステップＳ１９の処理を追加しても良い。ステップＳ１９では、点線の形状が、長方形か、丸かを推定して、点線形状を補助情報としてメモリに保存する。スキャナー等で読み取った点線の画素にかすれがある場合には、正しい点線の形状が得られないので、点線の外接矩形、外接図形を求めて、点線の形状を推定する。なお、印刷装置の情報を補助情報として保存するのは、帳票の印刷に使用したプリンタが、レーザプリンタか、インクジェットプリンタか、インパクトドットプリンタかにより、画素のかすれ、欠落等の傾向が異なるからである。【００４９】
ステップＳ１８の処理にステップＳ２０の処理を追加しても良い。ステップＳ２０では、点素（点線の黒画素の部分）、破素（破線の黒画素の部分）の規則性を評価することで２点鎖線等の破線の特徴を抽出する。【００５０】
図８は、点線候補の二次特徴テーブル５２の一例を示す図である。二次特徴テーブル５２は、点線候補を指定する候補番号、点線のピッチ、点線の長さ（サイズ）、点形状、開始座標、色等の情報が格納されている。【００５１】
図８の例では、グループの代表値を最適閾値として用いることで、二次抽出で新たなに候補６が点線候補として抽出されている。また、点線の形状を推定することで、個補４の点線のサイズが「６」から「７」に変更されている。また、代表値に着目して抽出した結果、候補３は点線候補から除外されている。【００５２】
図９（Ａ）〜（Ｃ）は、それぞれ点線の形状特徴、点線形状、破線の形状特徴を示す図である。
図９（Ａ）に示すように、点線の形状特徴は、点線の太さ、長さ、点線のピッチが基本情報となる。そして、点線の開始座標、色、点の形状、使用された印刷装置が補助情報となる。【００５３】
図９（Ｂ）は、点の拡大図であり、１つの点を形成する画素の一部が掠れて（又は欠落）いる場合の例を示している。この場合、点の外接矩形を求め、その外接矩形の幅と高さを点の太さと長さと推定して保存する。【００５４】
図９（Ｃ）は、長さの異なる２種類の破素で構成される破線を示している。破素のピッチ等の規則性を比較することで同一の破線か否かを判定することができる。
次に、図４のステップＳ２１において、帳票全体から二次抽出した複数の点線候補を、それらの特徴情報に基づいてグループ分けし、各グループの点線の特徴情報の代表値を算出してメモリに保存する。具体的には、点線の長さ、ピッチ、形状、色等が類似する点線候補を同じグループに分類してそれらの代表値を算出する。グループ分けの方法として、一次抽出と同じ方法を用いることができる。【００５５】
ステップＳ２１の変形例として、ステップＳ２２に示す主成分分類法を適用して点線候補をグループに分類しても良い。主成分分類法とは、二次元平面上に分布するデータを、データの分布の幅が広くなる方向に２分割し、２分割した直線と直交する方向で、かつ２つの集合の分割に適した位置で分割する方法である。【００５６】
図１０（Ａ）、（Ｂ）は、点線候補の分類方法の説明図である。図１０（Ａ）は、二次元平面の縦軸を点線の長さ、横軸を点線のピッチとしたときの点線候補の分布示している。この場合、同じグループの点線候補は一定範囲に入ると考えられるので、点線Ａと点線Ｂの２種類の点線のグループに分類することができる。【００５７】
図１０（Ｂ）は、主成分分類法の説明図である。縦軸を点線の長さ、横軸を点線のピッチとする二次元平面上に抽出した点線候補をプロットし、点線候補群の分布の幅が最も広くなる直線ｋ１を求める。そして、その直線ｋ１と直交し、かつ２つの集合に分割するのに適した直線ｋ２を特定する。この直線ｋ２で分割することで点線候補群を２つのグループに分類することができる。【００５８】
図４に戻り、ステップＳ２３において、指定範囲の点線候補を評価する。ステップＳ２３の処理では、二次抽出によりグループ分けした点線（以下、基準点線と呼ぶ）の特徴情報（基本情報、補助情報）と、指定範囲内の点線候補の特徴情報を比較して、両者の特徴情報が一致するか否かを判定する。指定範囲とは、例えば、認識対象の数字が印刷又は手書きされている罫線領域である。【００５９】
ステップＳ２３の変形例として、ステップＳ２４の処理を実行しても良い。ステップＳ２４の処理は、抽出された点線候補が少ない場合に、過去に出現した帳票の点線の形状特徴等を記憶している点線データベース（ＤＢ）を参照して、点線候補との比較を行う。【００６０】
次に、ステップＳ２５において、指定範囲内の点線を特定する。ステップＳ２５の処理では、指定範囲内の点線候補の形状等の特徴情報が基準点線の特徴情報と一致する場合には、その点線候補を基準点線と同一の点線と判定する。他方、両者の点線の形状等の特徴情報が一致しない場合には、画像レベルで再評価を行う。画像レベルでも一致しない場合には、帳票の認識ができないので帳票をリジェクトする。画像レベルの再評価とは、例えば、認識対象の点線候補の画像と、二次抽出で抽出した基準点線の画像を重ね合わせ、画像の一致率が基準値以上か否かを判定する。画像の一致率が基準値以上のときには、指定範囲内の点線候補を基準点線と同一の点線と判定する。【００６１】
次に、ステップＳ２６において、点線候補位置の再探索を行う。点線と文字との重なりが多い場合や、点線が掠れている場合には、二次抽出においても、本来存在する点線候補箇所が抽出できないことがある。このような場合には、同じセル（又は関連性のある項目セル）の点線候補（又はその点線候補のグループを代表する基準点線）間の間隔を参考にして点線候補の位置を推定する。そして、推定した位置のイメージデータと、抽出された点線候補（又は基準点線）のイメージデータを画像レベルで比較する。【００６２】
ステップＳ２７は、ステップＳ２６の変形例であり、投票制を用いて点線候補箇所を推定する処理である。投票制とは、セル内で抽出された点線候補の間隔を示す間隔表を作成し、抽出された間隔の１／１、１／２、１／３倍の間隔に対して重み付けした値を投票し、投票数の累計値から点線の間隔を推定する方法である。投票制により点線の間隔を推定する処理については後に詳しく説明する。【００６３】
認識対象セルの点線候補箇所の推定が完了したなら、次のステップＳ２８において、文字色と点線候補の色を確認しながら点線を削除して文字認識用のイメージデータを生成する。このとき、文字と点線が重なっているために文字色とも点線色とも異なる色となっている部分は残す。【００６４】
次のステップＳ２９において、点線を削除して生成したイメージデータを利用して文字認識を行う。文字認識処理が終了したなら、点線情報（点線の基本情報、補助情報）を含む枠情報と文字認識結果３３を通知する。【００６５】
上述したステップＳ２３〜Ｓ３０の処理の一例を、図１１〜図１４を参照して説明する。図１１は、点線候補と基準点線の特徴情報を比較する場合の説明図である。
抽出した点線候補は、例えば、基準点線Ａ、Ｂの基本情報と捕縄情報と比較する。図１１の数字を含む指定範囲の左端の点線候補は、点線が数字と重なっていないので、基準点線の特徴情報と比較することで、どちらの点線と同じかを判定することができる。この場合、点線候補の特徴情報は、点線Ａの特徴情報と一致するので（図１１に一致することを○で示す）、その点線候補は点線Ａと同一と判定する。【００６６】
その右側の数字「８」と重なる位置にある点線候補は、点線Ａと点線Ｂの特徴情報と一致しないので、特徴情報の比較だけでは点線の種類を特定することができない。図１１に比較結果を△と×で示してある。特徴情報の比較で点線の種類を特定できないときには、画像レベルでの比較を行う。【００６７】
図１２は、点線候補を画像レベルで比較する場合の説明図である。この場合、数字と重なっている画像と、基準点線の画像を重ねて差分を取り、画像が一致するか否かを判定する。画像の一致率が基準値以上であれば、その点線候補は比較した基準点線と同一と判定する。【００６８】
図１３は、点線に掠れがあり、さらに点線が数字と重なっている場合の点線候補の推定方法の説明図である。
図１３（Ａ）は、数字が印刷されているセル４３ｂから、一定間隔ｂで２個の点線候補が抽出されているが、３番目の位置には点線候補が抽出されていない場合の例である。【００６９】
この場合、点線が一定の間隔で配置されていると仮定すると、左から３×ｂの位置に点線候補が存在するものと推定できる。そこで、図１３（Ｂ）に示すように、同じセルの１番目又は２番目の点線（基準点線）の画像と、掠れている画像を画像レベル比較すると、画素が存在すると思われる位置に画素の一部が存在し、点線の画素の間隔の類似性も高いことが分かる。従って、数字「４」と重なっている位置に左隣の点線候補と同じ点線候補が存在するものと推定することができる。【００７０】
これにより、画素のかすれ、あるいは文字の重なりにより点線候補が抽出できない場合でも点線の位置を推定することができる。
図１４（Ａ）、（Ｂ）は、文字と点線の重なり部分と、点線を除去した後のイメージデータを示す図である。【００７１】
文字と点線が重なる部分（図１４（Ａ）で直角に交差している部分）の色は、文字色とも点線色が混合された色となり、点線の色とは異なるので、その部分を削除しないで残すことができる。この結果、図１４（Ｂ）に示すように、点線のみが削除され、数字「９７８６５４３２」がイメージデータとして残る。【００７２】
図１５及び図１６は、ステップＳ２７の投票制による点線候補推定処理の詳細なフローチャートである。
図１５のステップＳ４１において、指定された範囲（数字が印刷されている認識対象のセル）内の各点線候補に番号を付与し、点線候補間の間隔を算出する。前述した点線候補の一次抽出と二次抽出により帳票全体の点線候補は抽出されているので、指定されたセルの点線候補の間隔を算出することができる。【００７３】
次に、ステップＳ４２において、セルの点線候補の間隔表を作成する。間隔表とは、セルの外周の実線又は各点線候補を基準とした間隔を示すものである。例えば、図１７の（ａ）、（ｂ）に示すセルから、図１８（Ａ）に示すような点線候補ａ２〜ａ９が抽出されると、各点線候補の間隔が算出され、図１８（Ｂ）に示す間隔表６１が作成される。図１８の例では、実線ａ１と点線候補ａ２の間隔が「３０ｍｍ」、点線候補ａ１と点線候補ａ３の間隔が「９０ｍｍ」となっている。点線候補ａ２−ａ３間は「６０ｍｍ」、ａ２−ａ４間は「９０ｍｍ」である。【００７４】
図１５のステップＳ４３及びＳ４４において、ステップＳ４２で作成した間隔表に基づいて投票表を作成する。ステップＳ４３では、作成した間隔表の間隔の１／１倍の値に１票を投票する。ステップＳ４４では、点線が抽出できなかったことを想定して、間隔表の間隔の１／２倍の値に２票を投票する。このとき、点線間隔としてあり得ない小さい値に対しては投票しない。【００７５】
次に、図１６のステップＳ４５において、点線が抽出できなかったことを想定して、間隔表の間隔の１／３倍の値に３票を投票する。このとき、点線間隔としてあり得ない小さい値に対しては投票しない。【００７６】
投票表の作成方法としては、例えば、図１８（Ｂ）の間隔表６１のそれぞれの間隔の１／１倍の値に対して１票を投票し、１／２倍の値に２票を投票し、１／３倍の値に対して３票を投票し、それぞれの間隔の投票数の累計値を算出して作成する。この投票表で投票数の累計値が最も高い間隔を正しい点線間の間隔と推定する。【００７７】
次に、ステップＳ４６において、点線間隔を仮定する。ステップＳ４６の処理では、投票表の投票数の最も多いものを点線の間隔と仮定する。
次のステップＳ４７において、仮定した点線間隔の位置に点線を想定し、実際のイメージデータと比較する。【００７８】
ステップＳ４７において、想定した点線とイメージデータの一致度が基準値以上と判定されたなら、ステップＳ４８において、推定した点線候補の点線の太さ、長さ、間隔、点線色、開始座標等を点線情報として通知する。【００７９】
図１７は、投票制による点線候補の補完及び削除の説明図である。図１７は、一部の位置で点線候補が抽出されず、また、本来存在しない位置に点線候補が抽出された場合の例を示している。【００８０】
図１８（Ａ）は、図１７の文字枠内の点線の間隔を示し、図１８（Ｂ）は、その点線の間隔に基づいてされる間隔表６１を示している。
図１８（Ａ）に示すように、文字枠の左端の実線ａ１と点線候補ａ２の間隔は３０ｍｍ、点線候補ａ２と点線候補ａ３の間隔は６０ｍｍである。また、点線候補ａ３と点線候補ａ４の間隔は３０ｍｍである。実線ａ１と各点線候補ａ２〜ａ９を基準としてそれぞれの間隔を計算して、図１８（Ｂ）に示す間隔表６１を作成することができる。【００８１】
図１８（Ｂ）に示すように、実線ａ１を基準とした各点線ａ２、ａ３、ａ４・・・ａ９と実線ａ１０との間隔は、「３０」、「９０」、「１２０」・・・・「２７０」となる。
また、点線ａ１を基準とした各点線ａ３、ａ４、ａ５・・・ａ９と実線ａ１０との間隔は、「６０」、「９０」、「１０５」・・・・「２４０」となる。【００８２】
図１９は、間隔表６１に基づいて作成される投票表６２の一例を示している。例えば、間隔「１０」に関しては、１／１倍の値に対する投票数が「１」、１／２倍の値に対する投票数が「２」、１／３倍の値に対する投票数が「１５」であり、間隔「１０」に対する投票数の累計値は「１８」である。間隔表６１の各間隔が、１／１倍、１／２倍、１／３倍の何れに該当するかにより、それぞれ投票数が設定され、累計値が計算される。【００８３】
図１９の例では、間隔「３０」に対する投票数の累計値が「３２」で最大であるので、点線間隔が「３０」と推定される。推定された点線間隔を参考にして、点線が存在すると推定される位置の画像レベルの比較を行うことで、点線候補箇所を推定することができる。図１７の（ｃ）に示す例では、点線間隔が「６０」の中間の位置に点線候補が補完されている。また、図１７の（ｄ）の示す例では、点線候補ｍ１、ｍ２が、点線間隔「３０」に一致しないことから削除されている。【００８４】
上述した実施の形態によれば、文字と点線が重なっていて点線を抽出できない場合、あるいは点線が掠れていて抽出できない場合でも、同一文字枠内の他の点線の特徴情報、あるいは関連性のある他の項目の文字枠の点線の特徴情報を参考にして、点線候補箇所を推定することができる。これにより、点線と文字とを含むイメージデータから点線を確実に除去して文字認識率を高めることができる。また、予め文字枠の定義情報をあまり作成する必要がないのでオペレータの作業負担を軽減できる。【００８５】
さらに、投票制を利用する場合には、同一文字枠内の点線間の間隔に基づいて点線候補箇所を推定することができる。これにより、文字枠から点線を除去し、文字認識率を高めることができる。【００８６】
上述した実施の形態は、カラーイメージデータを例に取り説明したが、白、黒のイメージデータにも適用できる。
【図１】
0005385372.tif 000002
【図２】
0005385372.tif 000003
【図３】
0005385372.tif 000004
【図４】
0005385372.tif 000005
【図５】
0005385372.tif 000006
【図６】
0005385372.tif 000007
【図７】
0005385372.tif 000008
【図８】
0005385372.tif 000009
【図９】
0005385372.tif 000010
【図１０】
0005385372.tif 000011
【図１１】
0005385372.tif 000012
【図１２】
0005385372.tif 000013
【図１３】
0005385372.tif 000014
【図１４】
0005385372.tif 000015
【図１５】
0005385372.tif 000016
【図１６】
0005385372.tif 000017
【図１７】
0005385372.tif 000018
【図１８】
0005385372.tif 000019
【図１９】
0005385372.tif 000020