(57)【要約】【課題】本発明は、文書の表面を濃淡画像として取り込み、様々な色の枠線、プレ印刷文字、背景、記入文字、記号、マークで構成されている文書画像であっても、文字、記号、マークの認識に適した２値画像を生成し、精度の高いパターン認識を実現するパターン認識方法及びパターン認識装置を提供することを目的とする。【解決手段】帳票等の文書を画像として入力し、入力された文書画像上で文書に記載された枠構造を抽出し、得られた枠構造をもとに文書画像内を複数の領域に分割し、分割された領域毎に枠内に記載された文字、記号、マーク等を認識するのに好適な２値化閾値を算出し、得られた閾値を用いて分割された領域毎に２値画像を生成し、生成された２値画像から文字、記号、マーク等の認識を行う。【選択図】　図１
2004094427.tif 000002
【特許請求の範囲】
【請求項１】
画像入力部と、処理部を有する帳票画像処理装置であって、
上記処理部は、
上記画像入力部を介して入力された帳票画像から記入枠を検出するステップと、上記検出された記入枠の情報を用いて上記帳票画像を分割するステップと、
上記分割された領域毎に２値化のための閾値を算出するステップと、
上記領域毎に上記閾値を用いて２値化を行うステップと、
を制御することを特徴とする帳票画像処理装置。
【請求項２】
上記分割するステップは、上記検出された記入枠毎に行うことを特徴とする請求項１記載の帳票画像処理装置。
【請求項３】
上記分割するステップは、さらに上記記入枠の線領域と上記記入枠の線領域に囲まれる領域とを分割することを特徴とする請求項１又は２に記載の帳票画像処理装置。
【請求項４】
上記帳票画像処理装置はさらに帳票のフォーマット情報を記憶する記憶部を有し、上記制御部は、
上記フォーマット情報を用いて上記２値化された帳票画像中の記入文字を認識するステップをさらに制御することを特徴とする請求項１乃至３に記載の帳票画像処理装置。
【請求項５】
上記処理部は、上記記入枠の検出ステップに先駆けて、上記帳票画像の２値化を行うステップをさらに制御することを特徴とする請求項１乃至４のいずれかに記載の帳票画像処理装置。
【請求項６】
上記２値化のための閾値を算出するステップは、
上記領域内の濃淡値のヒストグラムを作成し、該ヒストグラムの分布を用いて上記領域内の画素を複数の予め設定されたグループ数それぞれへクラスタリングを行い、設定されたグループ数毎に得られたクラスタリング結果から閾値をそれぞれ算出し、
上記２値化を行うステップは上記閾値毎に行い、
上記２値化された画像それぞれについて上記文字の認識を行い、記憶手段に記憶される文字列知識と上記各認識結果を比較し、該比較結果に基づいて何れかの上記認識結果を出力することを特徴とする請求項４又は５に記載の帳票画像処理装置。
【請求項７】
帳票画像の入力手段と、
上記入力手段を介して入力される帳票画像のフォーマット情報記憶する記憶手段とを有する帳票画像処理装置であって、
上記フォーマット情報から入力された帳票画像中の読み取り領域の座標を検出する手段と、
上記座標で指定される領域を所定値拡大した領域を切り出す手段と、
上記切り出された切り出し領域から枠を検出して、該切り出し領域を枠毎に分割する手段と、
上記枠毎に２値化閾値を算出する手段と、
上記閾値を用いて上記枠毎に２値画像を生成する手段と、
上記２値画像中の文字認識を行う手段と、を有することを特徴とするパターン認識装置。
【請求項８】
上記切り出し領域を表示する表示手段をさらに有することを特徴とする請求項７記載のパターン認識装置。
【請求項９】
画像入力部を介して帳票画像を取得するステップと、
該帳票画像から記入枠を検出するステップと、
上記検出された記入枠の情報を用いて上記帳票画像を分割するステップと、
上記分割された領域毎に２値化のための閾値を算出するステップと、
上記領域毎に上記閾値を用いて２値化を行うステップと、
上記２値化された領域毎に文字認識を行うステップと、
を有する特徴とするパターン認識方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書の表面を濃淡画像として取り込み、この画像から文字、記号、マーク等のパターンを認識するパターン認識方法及びパターン認識装置に関するものである。
【０００２】
【従来の技術】
文字、記号、マーク等のパターン認識の中で、文字を認識する場合を例に述べる。記号、マークのパターンを認識する場合も同様である。
一般的に文書の濃淡画像から文字認識を行う場合，文字の部分が黒，背景が白となるように２値化処理を行い，この処理で生成された２値画像から文字を切り出し、その文字の形から文字の識別を行う。この２値化方法には様々な方法が存在し、これらは２つの観点から分類できる。一つは、閾値を決定するための処理単位であり、代表的なものは▲１▼画像中の指定された全領域（全面領域）、▲２▼着目する画素を中心とする近傍の微小領域（局所領域）、▲３▼画像をメッシュ状に分割した領域（メッシュ領域）、を処理単位とする方法である。もう一つは、閾値を決定するための特徴量であり、代表的なものには（ａ）濃淡値の頻度分布、（ｂ）濃淡値の平均値、中央値、最大値、最小値を用いる方法がある。▲１▼全面領域を処理単位とする場合、斎藤泰一，山田博三，“２平均中点の荷重平均を採用するしきい値選定法と２値化評価用データ”電子情報通信学会論文誌，Ｄ−２，Ｖｏｌ．Ｊ８３−Ｄ−２，Ｎｏ．２，ｐｐ．５７５−５８３に記載の方法で、（ａ）の特徴量をもとに判別分析基準やｋ−ｍｅａｎｓ法による２値化方法を用いるのが一般的である。▲２▼局所領域を処理単位とする場合、Ｏｉｖｉｄ　Ｄｅｕ　Ｔｉｅｒ，Ａｎｂｉｌ　Ｋ．Ｊａｉｎ，“Ｇｏａｌ−Ｄｉｒｅｃｔｅｄ　Ｅｖａｌｕａｔｉｏｎ　ｏｆ　Ｂｉｎａｒｉｚａｔｉｏｎ　Ｍｅｔｈｏｄｓ”，ＩＥＥＥ　Ｔｒａｎｓ．Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１７，ｎｏ．１２，ｐｐ．１１９１−１２０１，１９９５．に記載のように、（ｂ）の特徴量（平均値）を閾値として２値化するのが一般的である。図１１にその例を示す。▲３▼メッシュ領域を処理単位とする場合、特開平６−４７０６にあるように、一度（ｂ）の特徴量（平均値）を用いて全面を２値化し、その２値画像から文字切りだしを行い、その文字切りだし結果から、一つの文字のサイズを推定し、一つの文字毎の領域（メッシュ状）に分割し、分割した領域毎に改めて（ｂ）の特徴量（平均値）を用いて２値化する方法がある。
帳票等の記入枠を多く含む文書画像において、文書中の枠内の文字をすべて認識する場合、図３に示すように、文書画像を入力し（３０１）、文書全面を上記のいずれかの方法で全面の２値画像を生成し（３０２）、生成した２値画像から枠構造を抽出し（３０３）、２値画像内を枠毎の領域に分割し（３０４）、枠領域毎に文字切りだし行い、文字認識を行う（３０５）。そして、文書画像内にある複数の枠のうち、その一部の枠内の文字だけを読取る場合は、特開２０００−２９３６２９にあるように、例えば図４に示すような文書画像を入力し（４０１）、入力された画像内の帳票位置を検出し（４０２）、スキャナ取り込み時の帳票伸縮を検出し、予め用意しておいた同一フォーマットの帳票画像の枠位置情報をもとに、濃淡画像内の読取りたい枠の領域を推定し切り出す（４０３）。そして、切り出された領域（切り出し領域）で、上記のいずれかの方法を用いて２値化を行い（４０５）、得られた２値画像から枠構造を抽出し（４０６）、２値画像内を枠毎の領域に分割し（４０７）、文字認識を行う（４０８）。ただし、帳票用紙のサイズのばらつき、画像内の帳票位置の検出誤差、スキャナ取り込み時の帳票伸縮検出誤差があり、切り出し領から記入枠や記入枠内の文字がはみ出してしまう場合がある。このため切り出す領域は推定した枠位置よりも少し広い領域を切り出さなければならない。
【０００３】
【発明が解決しようとする課題】
文字、記号、マーク等のパターン認識の中で、文字を認識する場合を例に述べる。記号、マークのパターンを認識する場合も同様である。
帳票等の文書画像には、様々な色の枠線、プレ印刷文字、背景、記入文字で構成されているものがある。このような帳票を多値画像として入力し、その多値画像内にある一部の枠内の文字を認識する場合の読取り領域は、例えば図６のように、（６０１）の記入文字（濃い）、（６０２）の記入文字（薄い）、（６０３）の枠線（濃い）、（６０４）のプレ印刷文字、（６０５）の枠線（薄い）、（６０６）の背景部（濃い）、（６０７）の背景部（薄い）で構成される。この読取り領域内を２値化する場合を考える。従来の技術で述べた▲１▼全面領域を処理単位として２値化を行うと、読取り領域内の濃淡分布は図７のように、図６中の（６０１）の濃淡分布である（７０１）、図６中の（６０２）の濃淡分布である（７０２）、図６中の（６０３）の濃淡分布である（７０３）、図６中の（６０４）の濃淡分布である（７０４）、図６中の（６０５）の濃淡分布である（７０５）、図６中の（６０６）の濃淡分布である（７０６）、図６中の（６０７）の濃淡分布である（７０７）となる。そして２値化閾値は図８に示す閾値Ａ（８０１）、閾値Ｂ（８０２）となる。しかし、閾値Ａによる２値化結果は図９となり、読取り対象の文字“６　３０”を抽出することができず、その他の文字のみ抽出しているため、文字の認識ができない。また閾値Ｂによる２値化結果は図１０であり、目的の文字が濃い背景部分に塗りつぶされてしまい、文字の認識ができない。このように従来の技術▲１▼の方法では、読取り領域内に様々な濃淡値の枠線、プレ印刷文字、背景、記入文字がある場合、濃淡分布が複雑に重なり合うため、読取りたい文字とそのまわりの背景を区別できるような閾値を推定することが難しくなるという問題がある。また従来の技術で述べた▲２▼局所領域を処理単位として２値化を行うと、記入文字の濃淡値（７０２）とプレ印刷文字の濃淡値（７０４）が低く（濃く）、背景色の濃淡値（７０６）が高い（薄い）場合、図１２に示すように、記入文字とプレ印刷文字がともに抽出されるため記入文字とプレ印刷文字が重なってしまい（１２０１、１２０２）、文字を正しく認識できない。また記入文字の背景色の濃淡値（７０２）が低く（濃く）、プレ印刷文字の濃淡値（７０４）と背景色の濃淡値（７０６）が高い（薄い）場合（ただしプレ印刷文字の濃淡値は背景の濃淡値よりも低い）、図１３に示すように、プレ印刷文字の一部が欠けてしまい、文字を正しく認識できない。また図１４に示すように枠線の濃淡値（７０３）が低く、記入文字の濃淡値（７０２）が高い場合の２値化結果は図１５となり、記入文字の一部が欠けてしまい文字を正しく認識できない。そして従来の技術で述べた▲３▼のメッシュ領域を処理単位として２値化を行うと、帳票内の文字のピッチ、大きさは様々であり、記入文字とプレ印刷文字は重なる場合があるため、文字毎（メッシュ状）に区切ることは困難である。ゆえに、それぞれのメッシュ領域内には様々な濃淡値の記入文字、プレ印刷文字、枠線、背景が含まれる場合が生じ、▲１▼▲２▼の２値化方法と同じ問題が発生する。そして、上記の問題は文書中の枠内の文字すべてを認識する場合にも同様に発生する。
また、文字認識結果の確認のために認識領域の２値画像をディスプレイに表示する場合、上記の問題が発生するため、認識対象の文字のかすれ、潰れや、認識対象となる枠のずれが生じるため、認識結果の確認が困難になる場合がある。
【０００４】
本発明はこのような従来技術がもっていた問題を鑑みてなされたものであって、帳票をはじめとする様々な色の枠線、プレ印刷文字、背景、記入文字で構成されている文書画像であっても、それぞれの枠内に記入された文字の認識に適した２値画像を生成し、精度の高い文字認識を実現し、また目視による認識結果の確認を容易にすることができる文字認識方法及び文字認識装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
前記課題を解決するために、本願の開示する代表的な発明は、様々な色の枠線、プレ印刷文字、背景、記入文字で構成されている文書画像であっても、その濃淡画像から文字認識に適した２値画像を生成する方法であって、文書全体の濃淡画像、あるいはその一部分を入力し（１０１）、その画像から文書に記載された枠の構造を抽出し（１０２）、得られた枠構造をもとに入力画像内を複数の領域に分割し（１０３）、分割された領域毎に文字認識に好適な２値化閾値を算出し（１０４）、得られた閾値を用いて分割された領域毎に２値画像を生成する（１０５）ことを特徴とする。
【０００６】
さらに帳票等の文書画像から文字、記号、マーク等のパターンを認識する方法において、文書中の特定の枠内にある文字を認識する場合に、文書の表面を濃淡画像として入力し、画像中にある文書の位置を検出し、予め同じフォーマットの文書内の枠位置を計測することにより用意しいておいたフォーマット（枠位置）情報を用いることにより、入力画像中から認識対象となる文字が記載される枠が存在する位置を推定し、推定した枠位置を上下左右に拡大し、拡大した領域を入力画像から切り出し、切り出した部分領域画像中の枠構造を抽出し、枠毎に枠内に記入されている文字を認識するのに適した２値化閾値を算出し、得られた閾値を用いて枠毎に２値画像を生成し、枠毎に文字認識を行うことを特徴としている。
【０００７】
【発明の実施の形態】
以下、図を用いて本願発明を説明する。本願の開示する発明は、図１に示すように、文書全体の濃淡画像、あるいはその一部分を入力し（１０１）、その画像から文書に記載された枠の構造を抽出し（１０２）、得られた枠構造をもとに入力画像内を複数の領域に分割し（１０３）、分割された領域毎に文字認識に好適な２値化閾値を算出し（１０４）、得られた閾値を用いて分割された領域毎に２値画像を生成する（１０５）ことを特徴とする。本願の構成により様々な色の枠線、プレ印刷文字、背景、記入文字で構成されている文書画像であっても、それぞれの枠内に記入された文字の認識に適した２値画像を生成し、精度の高い文字認識を実現する。
本発明の一実施例である帳票の枠内の文字を読取る方法の処理フローを示す図２６を用いて本願発明の全体的フローを詳細に説明する。まず、ステップ１０１にて画像を入力する。入力される画像は濃淡画像であり、図６のように様々な濃淡値を持つ記入文字、プレ印刷文字、枠線、背景で構成される。
次にステップ２６０１において、入力画像中の帳票位置を検出する。これは、図２８に示すように入力画像には、帳票部分と黒背景部分があり、入力画像中のどの位置に帳票が存在するのかを求めるものである。具体的には、入力画像の４隅のいずれかを原点とし、帳票の４隅座標を求める。
【０００８】
次にステップ２６０２において、読取り対象の文字が記載されている枠の領域を入力画像から切りだす。予め読取り対象となる帳票と同じフォーマットの帳票を用いて帳票内に記載されている枠の位置座標を計測し、図２７のフォーマット情報記憶部（２０９）にフォーマット情報として保持しておく。そして、このフォーマット情報の枠位置座標をもとに読取り対象の文字が記載されている枠の領域を切り出す。この際、画像取り込み時の帳票伸縮補正、傾き補正を行う。しかし、帳票位置検出、帳票伸縮補正、傾き補正の誤差や、帳票用紙のサイズのばらつきがあるため、読取り対象となる枠の４隅を正確に切り出すことはできず、保持していた枠の位置と読取る画像上の枠の位置がずれる場合がある。保持していた枠の位置情報をそのまま用いて領域を切り出し、その位置がずれた場合、読取り対象となる文字が欠けてしまい、読取ることができない場合がある。そこで枠の領域の切り出し処理では、予め保持しておいた帳票の枠の位置から推定した領域を上下左右に拡大した範囲を切り出す。この領域を切り出し領域と呼ぶ。図６に切り出し領域を例示する。この場合（６０２）を含み、領域の中心にある枠が読取り対象となる枠である。拡大する範囲は予め設定しておく。例えば、予め（Ａ，Ｂ，Ｃ，Ｄ）を定数として設定しておき、予め保持しておいた帳票の枠の位置から推定した領域を上方向にＡｍｍ，下方向にＢｍｍ，左方向にＣｍｍ，右方向にＤｍｍに拡大する。本構成により、切り出し領域内には読取り対象の文字が完全に含まれ、文字認識精度が向上する。また、認識結果の目視確認のために切り出し領域の画像を表示する際、読取り対象の文字が完全に含まれるため、確認が容易になる。
次に、ステップ１０２において、切り出し領域内の存在する記入枠の構造を抽出する。枠の構造を抽出するとは、枠を構成する罫線の位置を検出し（図１６）、検出された罫線によって囲まれる閉領域を検出することによって個々の枠の位置を算出することである（図１７）。図中の１７０１、１７０２、１７０３、１７０４、１７０５、１７０６、１７０７、１７０８は、枠構造抽出を行い、得られた個々の枠領域を示す。罫線の位置の検出は、一度全面を従来の技術で述べた▲２▼局所領域の平均値を閾値として２値化を行い、得られた２値画像から水平、垂直に連なる黒画素を検出することで行う。ただし、他の方法として森　俊二，坂倉　栂子，“画像認識の基礎２”，ｐ３−１１，オーム社，にあるように多値画像からハフ変換法を用いて検出する方法等を用いることもできる。また枠の位置の検出方法には様々な方法があるが、検出された水平方向の罫線と垂直方向の罫線の交点を検出し、検出した交点を辿り、交点を頂点とするような閉領域を検出する方法も用いることができる。
【０００９】
枠構造を抽出した後、ステップ１０３において、図１８に示すように得られた枠構造の情報を用いて切り出された濃淡画像内を枠毎の領域に分割する。この際、一つ一つの枠領域（単一枠領域）は、枠線の領域と枠線の領域に囲まれる領域（文字が記入される領域）に分割される。これにより、以降の処理において枠線の色を考慮しなくてもよい。　次に、ステップ１０４において単一枠領域毎に文字認識に適した２値化閾値を算出する。ステップ１０２にて枠構造を抽出するために生成した２値画像は用いず、改めて文字の認識に適した２値画像を生成する。ここでの２値化閾値の算出方法は、従来の技術で述べたｋ−ｍｅａｎｓ法を用いる。ｋ−ｍｅａｎｓ法は代表的なクラスタリング手法の一つであり、数値あるいは数値ベクトルを持つデータを、予め指定した数のグループ（クラスタ）に分割する方法である。文字認識に適した２値化閾値を算出するために、領域内の各画素を、輝度値を用いてクラスタリングすることにより、文字、プレ印刷文字、背景の画素を区別する。２値化閾値の算出方法には、従来の技術で述べたように他に様々な方法があり、例えば判別分析を用いた方法でも２値化可能であるが、尚、ｋ−ｍｅａｎｓ法は計算量が少なく処理時間が短くて済み、また精度の面でも他に劣らないという利点がある。ただし、帳票などの一般に使用されている文書画像中の単一枠領域内には、図６に記載するように１８０１や１８０７のように記入文字と背景、プレ印刷文字と背景の２色が存在する場合と、１８０４のように記入文字とプレ印刷文字と背景の３色が存在する場合のいずれかの場合であることが多い。そこで、枠領域内の濃淡値のヒストグラムを作成し、得られたヒストグラムに対してｋ−ｍｅａｎｓ法で２つのクラスタへのクラスタリング（以降クラスタリング（２）とする）と３つのクラスタへのクラスタリング（以降クラスタリング（３）とする）を行い、閾値を算出する。図２０に１８０１の濃淡ヒストグラム、図２１に１８０７の濃淡ヒストグラム、図１９に１８０４の濃淡ヒストグラムを示す。前もって単一枠領域内が何色で構成されるかがわかる場合は、予め設定しておいた数のクラスタリングを行えば良い。一方で多種のフォーマットの文書画像を扱う場合、それぞれの枠領域内の色数を事前に調べておくことは困難であるし、同種類の文書の同一位置の枠領域でもプレ印刷文字がある場合とない場合がある等、色数が限定されていない場合があるため、単一枠領域毎に、クラスタリング（２）とクラスタリング（３）を行い、それぞれ閾値を算出する。尚、扱う帳票によりクラスタ数は２若しくは３には限られない。ここでクラスタリング（３）を行うと、図１９に示すように２つの閾値が算出されるが、帳票に記入される文字、すなわち読取り対象の文字は、一般にプレ印刷文字よりも濃淡値が低い（濃い）ことから、得られた２つの閾値のうち濃淡値が低い方である閾値Ｃ（１９０４）を用いる。本実施例で取扱う帳票の単一枠領域内には上記のように２色、あるいは３色のみ存在したが、２値化を行う領域内にＮ色存在する場合には、Ｎ個のクラスタへのクラスタリングを行うことで各画素を分割することが考えられる。
【００１０】
次にステップ２６０７において、単一枠領域毎に算出した２つの閾値を用いて、単一枠領域内を２値化し２枚の２値画像を生成する。１８０４を閾値Ｃ（１９０４）で２値化した結果が図２２であり、１８０４を閾値Ｄ（１９０５）で２値化した結果が図２３である。図２２に示すように、閾値Ｃで２値化した場合には、プレ印刷文字を除き、記入文字のみを黒画素とすることができるが、図２３で示すように閾値Ｄで２値化した場合には記入文字とプレ印刷文字が重なってしまい、文字を正しく認識することができない。
【００１１】
次にステップ２６０９において、単一枠領域毎に文字認識を行う。このこのとき単一枠領域毎に、異なる２値化閾値（クラスタリング（２）による閾値とクラスタリング（３）による閾値）による２枚の２値画像があり、この２枚の２値画像に対して、それぞれ文字認識を行う。
【００１２】
次にステップ２６１０において、単一枠領域毎に得られた２値化閾値の異なる２組の文字認識結果のうち、枠内に記載される文字列の知識（金額、氏名、住所等）と一致する文字認識結果を読取り結果として出力する。文字列の知識とは、各帳票に記載されるべき個々の情報の属性をいい、枠内に記載される文字列の表記パターン、或いは全パターンのデータベースである。例えば金額ならば￥マーク、数字の羅列、カンマで構成される等の情報が格納され、氏名、住所ならば、記入される全氏名、全住所の表記パターンが蓄積される。そして、これらは図２のフォーマット情報記録部２０９に予め保持しておく。
【００１３】
図２７は、上記実施例の構成図である。図中、２７０１は帳票を濃淡画像として読み込むスキャナ等の濃淡画像を入力する手段、２７０２は読み込んだ濃淡画像、処理途中の２値画像を記憶しておく手段、２７０４は読み込んだ濃淡画像中の帳票の位置（４隅座標）を検出する手段、２７０５は読取り対象の文字が記載されている部分を濃淡画像から切り出す手段、２７０６は帳票の枠構造を抽出する手段、２６０７は濃淡画像内を枠毎の領域に分割する手段、２７０８は画像内の部分領域毎に文字認識に適した２値画像を生成する２値化閾値を算出する手段、２７０９は２７０８で得られた閾値により画像内の部分領域の２値画像を生成する手段、２７１０は２７０９で生成した２値画像から文字を切り出し、文字認識を行う手段、２７１１は２７１０で得られた文字認識結果のうち、読取り対象の枠内に記載される文字列の知識（金額、氏名、住所等）と一致するものを出力する手段である。２７０６は２７１２の枠構造を抽出するための２値化手段と２７１３の罫線を抽出する手段と２７１４の枠の位置検出する手段で構成される。そして、２７１５は２７０５にて文字が記載されている部分を切り出す際に用いる帳票のフォーマット（枠位置）情報を保持しておく手段、２７１６は２７１１で用いる文字列の知識を保持しておく手段である。
２７１８は認識結果を目視により確認するための２値画像表示部である。
尚、以上開示した本願発明はプログラムで実現し、コンピュータ等の情報機器で実行することもできる。
【００１４】
【発明の効果】
本発明によれば、帳票等の文書画像中の文字、記号、マーク等のパターン認識方法において、文書画像中の枠構造を抽出した後、この枠構造の情報を用いて文書画像内を一つ一つの枠領域に分割し、枠領域毎に枠内に記載されたパターンを認識するのに適した２値化閾値を算出し、この閾値を用いて２値画像（２値画像Ａ）を生成することによって、様々な色の枠線、プレ印刷文字、背景、記入文字で構成されている文書画像であっても、認識に好適な２値画像を生成することが可能となり認識の精度を上げることができる。また認識結果を確認するためのディスプレイに表示する２値画像を２値画像Ａにすることによって、様々な色の枠線、プレ印刷文字、背景、記入文字で構成されている文書画像であっても、かすれや潰れのない認識対象の文字を表示でき、また認識対象の枠を正確に表示できるため、認識結果を目視にて確認することが容易になる。
【図面の簡単な説明】
【図１】本発明を表す処理フローを示す図。
【図２】実施例の構成図。
【図３】帳票内の文字すべてを読取る場合の従来法による処理フローを示す図。
【図４】帳票内の特定の位置にある文字を読取る場合の従来法による処理フローを示す図。
【図５】枠構造抽出処理の処理フローの例を示す図。
【図６】様々な濃淡値の枠線、記入文字、プレ印刷文字、背景で構成される画像の例を示す図。
【図７】読取り領域内の濃淡ヒストグラムを示す図。
【図８】読取り領域の濃淡ヒストグラムをもとに算出した二値化閾値（Ａ，Ｂ）を示す図。
【図９】閾値Ａ（８０１）による二値画像を示す図。
【図１０】閾値Ｂ（８０２）による二値画像を示す図。
【図１１】局所領域毎の二値化法を示す図。
【図１２】局所領域毎の二値化法による二値画像例（１）を示す図。
【図１３】局所領域毎の二値化法による二値画像例（２）を示す図。
【図１４】濃い枠線に近接して薄い文字が存在する場合の多値画像を示す図。
【図１５】濃い枠線に近接して薄い文字が存在する場合の局所領域毎の二値化法による二値画像を示す図。
【図１６】罫線検出結果を示す図。
【図１７】枠検出結果を示す図。
【図１８】枠情報による領域分割画像を示す図。
【図１９】枠領域（１８０４）の濃淡ヒストグラムを示す図。
【図２０】枠領域（１８０１）の濃淡ヒストグラム（２）を示す図。
【図２１】枠領域（１８０７）の濃淡ヒストグラム（３）を示す図。
【図２２】閾値Ｃ（１９０４）による枠領域（１８０４）の二値画像を示す図。
【図２３】閾値Ｄ（１９０５）による枠領域（１８０４）の二値画像を示す図。
【図２４】閾値Ｅ（２００３）による枠領域（１８０１）の二値画像を示す図。
【図２５】閾値Ｆ（２１０３）による枠領域（１８０７）の二値画像を示す図。
【図２６】実施例の処理フローを示す図。
【図２７】実施例の入力画像の構成を示す図。
【符号の説明】
６０１…記入文字（濃い）、６０２…記入文字（薄い）、６０３…枠線（濃い）、６０４…プレ印刷文字、６０５…枠線（薄い）、６０６…背景部（濃い）、６０７…背景部（薄い）、７０１…図６中の上部に存在する記入文字列“０００２５７００３”と図６中の右部に存在する記入文字“１”の濃淡分布、７０２…図６の中心付近に存在する記入文字“６，３０”の濃淡分布、７０３…図６中の太い枠線の濃淡分布、７０４…図６中のプレ印刷文字“込期限，月，日，営業所”の濃淡分布、７０５…図６中の細い枠線の濃淡分布、７０６…図６中の中心部に存在する濃い背景部分の濃淡分布、７０７…図６中の薄い背景部分の濃淡分布、８０１、８０２…図６の濃淡ヒストグラムからｋ−ｍｅａｎｓ法により得られた閾値、１２０１、１２０２…局所領域毎の二値化法による二値画像例によって、記入文字とプレ印刷文字が重なる部分、１３０１、１３０２…局所領域毎の二値化法による二値画像例によって、プレ印刷文字が欠けた部分、１７０１、１７０２、１７０３、１７０４、１７０５、１７０６、１７０７、１７０８…枠構造抽出を行い、得られた個々の枠領域、１８０１、１８０２、１８０３、１８０４、１８０５、１８０６、１８０７、１８０８…枠構造の情報を用いて画像内を分割し、得られた個々の枠領域、１９０１…枠領域（１８０４）に存在する記入文字の濃淡分布、１９０２…枠領域（１８０４）に存在するプレ印刷文字の濃淡分布、１９０３…枠領域（１８０４）に存在する背景の濃淡分布、１９０４、１９０５…枠領域（１８０４）の濃淡ヒストグラムからｋ−ｍｅａｎｓ法を用いて算出した２値化閾値（Ｃ、Ｄ）、２００１…枠領域（１８０１）に存在する記入文字の濃淡分布、２００２…枠領域（１８０１）に存在する背景の濃淡分布、２００３…枠領域（１８０１）の濃淡ヒストグラムからｋ−ｍｅａｎｓ法を用いて算出した２値化閾値（Ｅ）、２１０１…枠領域（１８０７）に存在するプレ印刷文字の濃淡分布、２１０２…枠領域（１８０７）に存在する背景の濃淡分布、２１０３…枠領域（１８０７）の濃淡ヒストグラムからｋ−ｍｅａｎｓ法を用いて算出した２値化閾値（Ｆ）。
【図１】
2004094427.tif 000003
【図２】
2004094427.tif 000004
【図３】
2004094427.tif 000005
【図４】
2004094427.tif 000006
【図５】
2004094427.tif 000007
【図６】
2004094427.tif 000008
【図７】
2004094427.tif 000009
【図８】
2004094427.tif 000010
【図９】
2004094427.tif 000011
【図１０】
2004094427.tif 000012
【図１１】
2004094427.tif 000013
【図１２】
2004094427.tif 000014
【図１３】
2004094427.tif 000015
【図１４】
2004094427.tif 000016
【図１５】
2004094427.tif 000017
【図１６】
2004094427.tif 000018
【図１７】
2004094427.tif 000019
【図１８】
2004094427.tif 000020
【図１９】
2004094427.tif 000021
【図２０】
2004094427.tif 000022
【図２１】
2004094427.tif 000023
【図２２】
2004094427.tif 000024
【図２３】
2004094427.tif 000025
【図２４】
2004094427.tif 000026
【図２５】
2004094427.tif 000027
【図２６】
2004094427.tif 000028
【図２７】
2004094427.tif 000029