(57)【特許請求の範囲】
【請求項１】
帳票画像から注目線分を削除することで記入情報を抽出する記入情報抽出方法にあって、
前記注目線分と直交する帳票色のランを抽出し、抽出した帳票色のランの長さの分布に基づいて線分の太さを求め、前記注目線分の太さに応じた範囲内の長さをもつ帳票色のランの位置から前記注目線分の位置を算出し、
この算出した前記注目線分の位置を基準として該注目線分の削除範囲を決定する際に、
前記帳票色のランの端点が背景色以外の画素と接している場合には、算出した前記注目線分の位置から前記端点までを削除範囲とし、前記帳票色のランの端点が背景色以外の画素と接していない場合には、算出した前記注目線分の太さに応じた範囲を削除範囲とし、
前記削除範囲について前記記入済み帳票画像上における帳票色の画素の削除を行った後に、情報が記入された前記帳票画像より記入情報を抽出することを特徴とする記入情報抽出方法。
【請求項２】
情報が記入された記入済み帳票画像のほかに情報が記入されていない未記入帳票画像を保持し、前記記入済み帳票画像と前記未記入帳票画像とのＡＮＤ画像を用いることで前記帳票色を求めることを特徴とする請求項１に記載の記入情報抽出方法。
【請求項３】
前記帳票色のランの端点が背景色以外の画素と接していない場合には、算出した前記注目線分の位置を中心とし前記注目線分の太さに対応した範囲を削除範囲とすることを特徴とする請求項１または２に記載の記入情報抽出方法。
【請求項４】
前記請求項１ないし３のいずれか一つに記載の記入情報抽出方法をコンピュータに実行させるプログラムを記録したことを特徴とする機械読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，カラースキャナやファクシミリ装置等のカラー入出力機器から入力された記入済み帳票画像から記入情報（文字列／記号列）を抽出する記入情報抽出方法および記入情報抽出方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来，ＦＡＸＯＣＲ装置等において，例えば，ファックス受信した記入済み帳票の画像を位置合わせした後，予め指定された認識領域内の画像を抽出し，その画像から文字を切り出して認識する。一般に，帳票上には文字等の記入位置を規制するための罫線等の線分があるが，ＦＡＸＯＣＲ装置においては，例えば図１３に示すように，帳票の認識領域１３０１と線分１３０２との間に一定の間隔αを設定していた。この間隔αの大きさは，帳票画像のツブレによる文字や線分の太り，帳票画像の位置合わせの誤差によって認識領域１３０１と線分１３０２との接触を回避するための値に設定されている。
【０００３】
このような設定にも関わらず，例えば図１３に示した「２」のように線分１３０２と接触し，あるいは極めて近接した位置に文字が記入されると，文字の正常な切り出しが困難であるという問題点があった。また，間隔αを極めて小さく設定すると，画像のツブレや位置合わせ誤差によっては文字と一緒に線分の箇所も含めて切り出されてしまう。このため，本出願人（同発明者）は，入力された記入済み帳票画像上の線分の太さを測定し，該測定した線分の太さに応じた線分の削除範囲について記入済み帳票画像上の黒画素を削除し，記入済み帳票画像からその記入情報を抽出する，いわゆる２値画像を対象とした記入情報抽出方法を提案している（特開平１０−６３７７８号公報）。
【０００４】
なお，本発明の画像位置合わせに関連する参考技術文献として以下に列記するような技術が開示されている。
（１）画像上の代表点において，少しずつ画像をずらしてパターンマッチングを行い，類似度の関数を重み係数として用いて検出する方法（特開昭６３−３３８８号公報）。
（２）Ｘ方向・Ｙ方向の積算射影が最もよく一致するずれ量を算出し，それを入力画像間の画像のずれ量とする方法（特開平２−５４４９５号公報）。
（３）マウスあるいは所定マークを形状認識により抽出することにより，画像のずれを検出し，補正する方法（特開平４−２６１２５９号公報）。
（４）ウインドウ領域内でテンプレート画像を動かしながら，最もよくマッチングのとれた位置を探し，それを真の対応点として画像の位置合わせを行う方法（特開平４−３３６６７７号公報）。
（５）記入済み画像中から位置合わせに用いる要素を自動的に選択し，未記入の画像と記入済み画像の間で精度よく位置合わせを行う（特開平９−２４５１７３号公報）。
【０００５】
【発明が解決しようとする課題】
しかしながら，上記に示されるような従来の技術にあっては，２値画像を対象とした抽出方法であるために，カラー画像の帳票画像である場合に記入情報を良好に抽出することができず，カラーの記入済み帳票から記入情報を的確に抽出することが困難であった。
【０００６】
本発明は，上記に鑑みてなされたものであって，カラー画像を含む記入済みの帳票からその記入情報を的確に抽出することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る記入情報抽出方法にあっては、帳票画像から注目線分を削除することで記入情報を抽出する記入情報抽出方法にあって、前記注目線分と直交する帳票色のランを抽出し、抽出した帳票色のランの長さの分布に基づいて線分の太さを求め、前記注目線分の太さに応じた範囲内の長さをもつ帳票色のランの位置から前記注目線分の位置を算出し、この算出した前記注目線分の位置を基準として該注目線分の削除範囲を決定する際に、前記帳票色のランの端点が背景色以外の画素と接している場合には、算出した前記注目線分の位置から前記端点までを削除範囲とし、前記帳票色のランの端点が背景色以外の画素と接していない場合には、算出した前記注目線分の太さに応じた範囲を削除範囲とし、前記削除範囲について前記記入済み帳票画像上における帳票色の画素の削除を行った後に、情報が記入された前記帳票画像より記入情報を抽出するものである。
【０００９】
また、請求項２に係る記入情報抽出方法にあっては、情報が記入された記入済み帳票画像のほかに情報が記入されていない未記入画像を保持し、前記記入済み帳票画像と前記未記入帳票画像とのＡＮＤ画像を用いることで前記帳票色を求めるものである。
【００１０】
また、請求項３に係る記入情報抽出方法にあっては、前記帳票色のランの端点が背景色以外の画素と接していない場合には、算出した前記注目線分の位置を中心とし前記注目千分の太さに対応した範囲を削除範囲とするものである。
【００１９】
また、請求項４に係る機械読み取り可能な記録媒体にあっては、請求項１ないし３のいずれか一つに記載の記入情報抽出方法をコンピュータに実行させるプログラムを記録したものである。
【００２０】
【発明の実施の形態】
以下，本発明の記入情報抽出方法および記入情報抽出方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体について添付図面を参照し，詳細に説明する。
【００２１】
〔実施の形態１〕
（システムの構成）
図１は，本発明の実施の形態１に係る記入情報抽出方法を適用した記入情報抽出装置の構成を示すブロック図である。図において，１００は記入済みの帳票画像や未記入帳票の画像をカラースキャナあるいはカラーファクシミリ等のカラー画像入力機器を用いて入力する画像入力部，１０２は画像入力部１００から入力された未記入帳票画像を格納する未記入帳票画像メモリ，１０４は画像入力部１００から入力された記入済み帳票画像を格納する記入済み帳票画像メモリ，１０６は後述するＡＮＤ画像を格納するＡＮＤ画像メモリ，１０８は帳票色ラン長メモリ，１１０は後述する文字領域抽出部により抽出された画像を格納する文字画像メモリである。
【００２２】
また，１１２は記入済み帳票画像の位置を未記入帳票画像の位置（座標系）に合わせる画像位置合わせ部，１１４は位置合わせ後の記入済み帳票画像と未記入帳票画像とのＡＮＤ画像を作成するＡＮＤ画像作成部，１１６は未記入帳票画像あるいは位置合わせ後の記入済み帳票画像から，後述する方法を用いて線分を抽出する線分抽出部，１１８は注目線分の範囲に含まれるＡＮＤ画像上のある黒画素を含む縦方向の帳票色のランを抽出する帳票色ラン抽出部，１２０は帳票色ラン抽出部１１８で抽出された帳票色のランの長さを算出する帳票色ラン長算出部，１２２は帳票色ラン長メモリ１０８内の注目線分に関する帳票色のランの長さのデータを参照し，帳票色のランの長さ分布から記入済み帳票上の注目線分の太さを算出する線分太さ算出部，１２４は帳票色ラン長メモリ１０８内のデータに基づいて，記入済み帳票画像上の注目線分の位置を算出し，その位置を基準として線分の太さ分の範囲内の帳票色の画素を削除する線分削除部，１２６は記入済み帳票画像メモリ１０４上の位置合わせおよび線分削除後の記入済み帳票画像より，予め認識対象として指定された文字領域の画像を抽出する文字領域抽出部，１２８は文字画像メモリ１１０上の画像より文字画像を切り出し，その文字認識を行う文字認識部である。
【００２３】
（システムの動作）
次に，以上のように構成された記入情報抽出装置の動作について，図２に示すフローチャート等を参照しながら説明する。まず，画像入力部１００において，記入済みの帳票をカラースキャナやファクシミリ等の画像入力機器を用いて入力し，記入済み帳票画像メモリ１０４に保存する（Ｓ２０１）。同じフォーマットの未記入の帳票画像も，未記入帳票画像と同じ条件で，例えば画像入力部１００によって入力され，未記入帳票画像メモリ１０２に保存されている。
【００２４】
続いて，画像位置合わせ部１１２により，記入済み帳票画像メモリ１０４に保存されている記入済み帳票画像の位置を未記入帳票画像メモリ１０２に保存されている未記入帳票画像の位置（座標系）に合わせる（Ｓ２０２）。なお，この位置合わせは，例えば先に述べた従来技術（特開平９−２４５１７３号公報）を利用する。
【００２５】
次いで，ＡＮＤ画像作成部１１４により，上述の位置合わせ後の記入済み帳票画像と未記入帳票とのＡＮＤ画像を作成し，ＡＮＤ画像メモリ１０６に保存する（Ｓ２０３）。これを具体的に述べると，ＡＮＤ画像の各画素位置の画素色を，対応した記入済み帳票画像の画素および未記入帳票画像の画素の色が等しいと判断される場合に黒とし，それ以外の場合には白とするような画素毎のＡＮＤ演算を行い，その結果をＡＮＤ画像メモリ１０６に保存する。
【００２６】
また，色が等しいか否かを判断する方法は，表色系や相違度算出にいかなる手法を用いてもよい。例えば，以下のような判断式を用いることができる。
Ｄ＝（Ｒi −Ｒr ）2 ＋（Ｇi −Ｇr ）2 ＋（Ｂi −Ｂr ）2 ＜Ｄth  （１）
【００２７】
そして，上記式（１）を満たす場合には，色が等しいと判断し，ＡＮＤ画像の画素値を黒画素とする。例えば，図３に示す例では入力画像の赤い部分が黒画素となる。また，適用するシステムの入力系の精度にもよるが，このＡＮＤ画像に対して太め処理を施すことにより，精度の向上を図れる場合がある。
【００２８】
続いて，記入済み帳票画像に対して，ＡＮＤ画像上で黒画素である画素を削除する（Ｓ２０４）。つまり，図３（ａ）において帳票色が赤の場合，ハッチングの部分がＡＮＤ画像で黒画素となる。そして，ＡＮＤ画像上で黒画素部分を削除すると，図３（ｂ）のようになる。このように，記入済み帳票上から，帳票色の線分を抽出し，該抽出した線分等の削除を行った後に記入済み帳票画像より記入情報を抽出する。
【００２９】
そして，ここまでの処理により，例えば図６（ａ）に示すような記入済み帳票画像に対し，図６（ｄ）に示すような画像が得られる。
【００３０】
さらに，文字領域抽出部１２６により，記入済み帳票画像メモリ１０４上の位置合わせおよび線分削除後の記入済み帳票画像から，予め認識対象として指定された文字領域（例えば，図１２に示される文字領域１，２）の画像を抽出し，それを文字画像メモリ１１０に保存する（Ｓ２０５）。
【００３１】
次いで，文字認識部１２８により，文字画像メモリ１１０上の画像より文字画像を切り出し，その文字認識を行う（Ｓ２０６）。この文字認識の結果の利用形態は様々である。例えば，ファクシミリを利用した自動発注システムにおいては，商品コードと品数等が認識され，その結果に応じて発注処理が行われる。
【００３２】
以上説明してきたように，文字領域抽出の対象となる記入済み帳票画像上の線分は予め削除されている。したがって，例えば文字領域と線分との間に従来のように間隔を設けなくて，さらに図１２の文字領域１，２のように線分と一部重複するような文字領域を指定しても，線分を含まない文字の画像だけを切り出すことが可能である。また，線分に接触した文字の画像も，その全体を正しく切り出すことが可能になり，文字認識精度を向上させることができる。
【００３３】
〔実施の形態２〕
さて，前述の実施の形態１では帳票色と記入情報の色が異なる場合の例について説明した。帳票色と記入情報の色が同一である（あるいは同一の部分がある）場合には，実施の形態１に示した方法では記入情報の一部に欠けが生じる可能性が高くなる。そこで，以下の実施の形態２，３では帳票色と記入情報の色が同一（あるいは同一の部分がある）場合の処理例について説明する。
【００３４】
（システムの構成）
この実施の形態２における記入情報抽出方法を適用した記入情報抽出装置の構成は前述した実施の形態１の図１と同一構成である。
【００３５】
（システムの動作）
次に，この実施の形態２の動作について図２に示すフローチャートを参照しながら説明する。まず，初期段階では実施の形態１と同様に，画像入力部１００において，記入済みの帳票をカラースキャナやファクシミリ等の画像入力機器を用いて入力し，記入済み帳票画像メモリ１０４に保存する（Ｓ７０１）。同じフォーマットの未記入の帳票画像も，未記入帳票画像と同じ条件で，例えば画像入力部１００によって入力され，未記入帳票画像メモリ１０２に保存されている。
【００３６】
続いて，画像位置合わせ部１１２により，記入済み帳票画像メモリ１０４に保存されている記入済み帳票画像の位置を未記入帳票画像メモリ１０２に保存されている未記入帳票画像の位置（座標系）に合わせる（Ｓ７０２）。なお，この位置合わせは，例えば先に述べた従来技術（特開平９−２４５１７３号公報）を利用する。
【００３７】
次いで，ＡＮＤ画像作成部１１４により，上述の位置合わせ後の記入済み帳票画像と未記入帳票とのＡＮＤ画像を作成し，ＡＮＤ画像メモリ１０６に保存する（Ｓ７０３）。これを具体的に述べると，ＡＮＤ画像の各画素位置の画素色を，対応した記入済み帳票画像の画素および未記入帳票画像の画素の色が等しいと判断される場合に黒とし，それ以外の場合には白とするような画素毎のＡＮＤ演算を行い，その結果をＡＮＤ画像メモリ１０６に保存する。
【００３８】
また，色が等しいか否かを判断する方法は，先に述べたように，表色系や相違度算出にいかなる手法を用いてもよい。例えば，前述のような判断式（１）を用いることができる。
【００３９】
次いで，ステップＳ７０４〜ステップＳ７２０の処理ループの如く，帳票上の線分毎の処理を実行する。ここで必要な線分の情報は，あくまでも線分の太さおよび位置の推定処理の出発点を把握するためのものであり，大まかな線分の存在範囲と，その向きおよび色を得られれば十分である。この線分の情報は，例えばユーザによって入力され，それを未記入帳票画像と共に未記入帳票画像メモリ１０２に保存しておくことができる。
【００４０】
図１２にその一例を模式的に示す。この例では，未記入帳票画像１２００上に，文字領域１（日付の数字記入欄）と文字領域２（時刻の数字記入欄）があり，それぞれ文字領域に関連した横方向の線分１と線分２がある。あるいは，線分抽出部１１６で未記入帳票画像（または位置合わせ後の記入済み帳票画像）に関し，汎用的な線分抽出方法（例えば縦または横方向の線分であれば，縦または横方向の帳票色のランの連結成分を抽出し，その縦横比がある閾値以上の画像を線分として抽出する方法等）を用いて線分を抽出し，その情報を得てもよい。
【００４１】
このような線分の情報に基づいて，まず，１つの注目線分として選択され（Ｓ７０４），その注目線分に関して以下のような処理が行われる。なお，ここでは，特に断らない限り，線分方向は横方向と仮定して説明を進める。
【００４２】
まず，注目線分に関する帳票色のランの長さデータの収集を実行する（Ｓ７０５〜Ｓ７０８）。すなわち，帳票色ラン抽出部１１８において，注目線分の範囲に含まれるＡＮＤ画像上の１つの黒画素Ａを抽出し（Ｓ７０５），この黒画素Ａを起点として，その上方向および下方向に記入済み帳票画像を走査し，黒画素Ａを含む縦方向の帳票色のランを抽出する（Ｓ７０６）。該抽出された帳票色のランの中心座標（または端点座標等）が帳票色ラン長メモリ１０８に保存される。
【００４３】
帳票色ラン長算出部１２０は，帳票色ラン抽出部１１８により抽出された帳票色のランの長さを算出し，その長さがある閾値（この閾値は対象とする線分の太さを考慮して決定され，ここでは４画素が選択される）以下ならば，その帳票色のランの長さの情報を帳票色ラン長メモリに保存する（Ｓ７０８）。このステップＳ７０８を実行した後，あるいはステップＳ７０７で帳票色のラン長さが４以上であると判断されたときに，直ちにステップＳ７０５に戻り，ＡＮＤ画像上の別の黒画素Ａを選択し，同様の処理を実行する。
【００４４】
注目線分の範囲に含まれるＡＮＤ画像上の全ての黒画素を起点として上述の処理を繰り返し実行すると，ステップＳ７０５〜ステップＳ７０７の処理ループを終了する。かくして，帳票色ラン長メモリ１０８には，例えば図５に模式的に示すような長さ４以下の帳票色のランの長さ分布データが得られる。図５においては，横軸に長さがとられ，長さ毎に，抽出された帳票色のランのデータが矩形として積み上げられた形で示されている。したがって，縦軸は長さ別の帳票色のランの出現頻度を表している。また，各矩形の内部に記された（ｘ，ｙ）は帳票色のランの中心座標を表している。
【００４５】
図４は，図７におけるステップＳ７０５〜ステップＳ７０８の処理例を模式的に説明している。図４（ａ）において，４００は記入済み帳票画像，４０１は未記入帳票画像，４０２はＡＮＤ画像，４０３は注目線分の範囲を表している。
【００４６】
図４（ｂ）に示すように，注目線分の範囲内にあるＡＮＤ画像４０２上の黒画素（網かけ矩形）を起点として上下方向に記入済み帳票４００を走査し，帳票色の画素（網かけ矩形および白矩形）をサーチし，縦方向の帳票色のランを抽出する。図４（ｂ）における４０４と４０６は帳票色のランの例である。帳票色のラン４０４は長さが４で閾値以下であるので，その長さデータは保存される。また，帳票色のラン４０６は長さが５であり，閾値を超えているので，その長さデータは保存されない。
【００４７】
このように，帳票色のランの長さの閾値処理を行うのは，線分と文字が同じ色であり，かつ接触した部分のように，本来の線分の太さを正しく反映しない部分の帳票色のランの長さデータを収集しないようにすることにより，線分の太さ推定の精度を上げるためである。また，ファクシミリ装置で画像を入力した場合等には画像の潰れが生じることが少なくない。このため，画像の潰れによって記入済み帳票画像上の線分が著しく太った場合，上述の帳票色のランの長さの閾値処理を行わずに帳票色のランの長さデータを収集すると，後述の線分太さの決定において，線分の太さが不当に大きな値に決まってしまう恐れがある。その結果として線分の削除範囲（後述する）が不当に拡大し，線分に接触あるいは接近した文字等の帳票色の画素が線分と一緒に削除される恐れがある。このような不都合は，帳票色のランの長さの閾値処理を行うことによって回避される。
【００４８】
なお，注目線分の方向が縦の場合には，ＡＮＤ画像上の黒画素を起点として左右方向に記入済み帳票を走査し，横方向の帳票色のランを抽出する。そして，長さが４以下の帳票色のランの長さ分布データを収集する。
【００４９】
一般的な帳票では線分の方向は横あるいは縦であるので，縦または横方向のランを抽出すれば十分であろう。しかし，より複雑なフォーマットの帳票を対象として処理精度を向上させたい場合には，注目した線分の方向を算出し，その方向に対して垂直な方向について記入済み帳票画像を走査し，その方向の帳票色のランを抽出して，４画素以下の長さの帳票色のランの長さデータを収集すればよい。
【００５０】
次に，線分太さ算出部１２２により，帳票色ラン長メモリ１０８内の注目線分に関する帳票色のランの長さデータを参照し，帳票色のランの長さ分布から記入済み帳票画像上の注目線分の太さを算出する。この実施の形態では，帳票色ラン長メモリ１０８内の帳票色のランデータより帳票色のラン長に最頻値Ｂを求め（Ｓ７０９），これを線分の太さＣとする（Ｓ７１０）。なお，図５の例では，Ｃ＝２となる。
【００５１】
なお，帳票色のランの長さ分布の平均値，最小値あるいは中央値を線分の太さとして用いてもよく，処理対象によっては，その方が的確な場合もある。また，このようにして求めた太さの値に一定のオフセットを加えた値を，最終的に線分の太さとしてもよい。
【００５２】
次に，線分削除部１２４により，帳票色ラン長メモリ１０８内のデータに基づいて，記入済み帳票画像上の注目線分の位置を精度よく算出し，その位置を基準に線分の太さ分の範囲内の帳票色の画素を削除する。これにより記入済み帳票画像から注目線分が削除される。具体的には以下のような処理を行うことで注目線分が削除される。
【００５３】
まず，帳票色ラン長メモリ１０８内の帳票色のランデータを参照し，先に求めた線分の太さと等しいあるいは等しいとみなし得る長さを持つ帳票色のランだけを，この実施の形態ではＣ±１画素の長さを持つ帳票色のランだけを抽出し（Ｓ７１１），該抽出した帳票色のランの中心座標を用い，最小自乗法により線分の方程式Ｄを求める（Ｓ７１２）。
【００５４】
そして，注目線分の範囲内でＸ座標を順に選択し（Ｓ７１３），線分の方程式ＤよりＹ座標Ｅを算出し（Ｓ７１４），そのＸ座標で，Ｙ座標がＥ−（Ｃ／２）からＥ＋（Ｃ／２）の範囲までの画素を全て削除する（Ｓ７１４〜Ｓ７１９）。ただし，帳票色の端点が，帳票色以外の（背景色以外の）色の画素と接している場合には，文字等の記入情報が帳票色と異なる色で記入されていると考えられるので，Ｅから端点までの画素を全て削除する。これを，注目線分のＸ座標範囲全体について繰り返し実行する。
【００５５】
すなわち，帳票色ランの上端点が背景色以外の画素と接しているか否かを判断し（Ｓ７１４），接していると判断した場合には，記入済み帳票画像上で帳票色ランの上端からＹ＝０の範囲の画素を背景色とする（Ｓ７１５）。一方，接していないと判断した場合には，記入済み帳票画像上で，Ｙ＝Ｅ−（Ｃ／２）からＹ＝０の範囲の画素を背景色とする（Ｓ７１６）。この何れかの処理を行った後，さらに帳票色ランの下端点が背景色以外の画素と接しているか否かを判断する（Ｓ７１７）。
【００５６】
このステップＳ７１７で下端点が背景色以外の画素と接していると判断した場合，記入済み帳票画像上でＹ＝０から帳票色ランの下端までの範囲の画素を背景色とする（Ｓ７１８）。一方，背景色以外の画素と接していないと判断した場合には，記入済み帳票画像上でＹ＝０からＹ＝Ｅ＋（Ｃ／２）の範囲の画素を背景色とする（Ｓ７１９）。
【００５７】
図６は，上述した処理の一例を示すものであり，図６（ａ）に示す記入済み帳票画像６００上の注目線分６０１を削除する例である。注目線分６０１について求められた線分太さＣが２の場合，（ｂ）において上向き矢線６０２で指し示した長さ１〜３の帳票色のランが選択され，その中心座標を用いて最小自乗法により線分方程式が求められる。線分６０３は，その方程式によって表現される線分を表している。そして，この線分６０３の上１画素，下１画素の範囲の画素が全て削除されることにより，（ｃ）に示すように記入済み帳票画像上の注目線分が削除される。
【００５８】
線分の削除範囲は，推定した線分の位置を基準として，測定した線分の太さに応じた幅の範囲とされるため，線分だけ削除し，線分に接触あるいは接近した文字の部分を保存することができる。例えば，図６（ｃ）において，線分に接触した文字「２」の横ストローク部分の帳票色の画素群６０３の文字「１」の上端部分の帳票色の画素群６０４は保存される。
【００５９】
次に，ステップＳ７０４に戻り，別の注目線分について同様の処理を繰り返し実行する。そして，全ての線分についての処理を終了すると，図６（ｄ）に示すような線分が削除された記入済み帳票画像６０５が得られ，ステップＳ７０４〜ステップＳ７１９の処理ループを抜け出す。
【００６０】
そして，文字領域抽出部１２６において，記入済み帳票画像メモリ１０４上の位置合わせおよび線分削除後の記入済み帳票画像より，予め認識対象として指定されていた文字領域（図１２に示されている文字領域１と文字領域２）の画像を抽出し，それを文字画像メモリ１１０に保存する（Ｓ７２０）。続いて，文字認識部１２８において，文字画像メモリ１１０上の画像より文字画像を切り出し，その文字認識を行う（Ｓ７２０）。この文字認識の結果の利用形態は様々である。例えば，ファクシミリ装置を利用し自動発注システムにおいては，商品コードと品数等が認識され，その結果に応じて発注処理が行われる。
【００６１】
以上，述べてきたように，文字領域抽出の対象となる記入済み帳票画像上の線分は予め削除されている。したがって，例えば文字領域と線分との間に従来のように間隔を設けなくても，さらにが図１２の文字領域１，２のように線分と一部重複するような文字領域を指定しても，線分を含まない文字の画像だけを切り出すことが可能である。また，線分に接触した文字の画像も，その全体を正しく切り出すことが可能になり，帳票に記入された文字の認識精度が向上する。
【００６２】
また，記入済み帳票画像上の線分に関する帳票色のランの抽出のための走査を，例えば未記入帳票画像上の線分の画素を起点として行うことも不可能ではない。しかしながら，ファクシミリ装置で画像を入力した場合に多いことであるが，記入済み帳票画像のカスレによって線分が細くなった場合，あるいは画像の位置合わせ精度が良くない場合に，起点と記入済み帳票画像上の線分との間に帳票色ではない画素が介在し，帳票色のランの抽出を失敗する可能性がある。このような失敗は，ＡＮＤ画像上の黒画素を帳票色のラン抽出の走査の起点とすれば回避することができる。何故ならば，ＡＮＤ画像上の黒画素に対応する記入済み帳票画像上の画素位置には，必ず線分の帳票色の画素が存在するからである。なお，この効果を確実にするためには，未記入帳票画像上の線分をやや太めに設定しておくことがよい。
【００６３】
〔実施の形態３〕
（システムの構成）
この実施の形態２における記入情報抽出方法を適用した記入情報抽出装置の構成は前述した実施の形態１の図１と同一構成である。
【００６４】
（システムの動作）
次に，この実施の形態３の動作について図２に示すフローチャートを参照しながら説明する。まず，初期段階では実施の形態１と同様に，画像入力部１００において，記入済みの帳票をカラースキャナやファクシミリ等の画像入力機器を用いて入力し，記入済み帳票画像メモリ１０４に保存する（Ｓ９０１）。また，同じフォーマットの未記入の帳票の画像も未記入帳票画像メモリ１０２に保存されている。ただし，前述の実施の形態１と異なり，画像入力部１００と同じ条件で入力された未記入帳票画像に太め処理を施した画像が保存される。太める幅はシステムに応じて最適な値に調整すればよいが，この実施の形態３では太め幅は２画素とする。
【００６５】
続いて，画像位置合わせ部１１２により，記入済み帳票画像メモリ１０４に保存されている記入済み帳票画像の位置を未記入帳票画像メモリ１０２に保存されている未記入帳票画像の位置（座標系）に合わせる（Ｓ９０２）。なお，この位置合わせは，例えば先に述べた従来技術（特開平９−２４５１７３号公報）を利用する。なお，太め処理された未記入帳票画像を用いて記入済み帳票画像との位置合わせを行うと，位置合わせの精度が不足する場合には，太め処理が施されない未記入帳票画像も未記入帳票画像メモリ１０２に保存しておき，画像の位置合わせの際には，この太め処理が施されない未記入帳票画像を用いる方法を採用してもよい。
【００６６】
次いで，ＡＮＤ画像作成部１１４により，実施の形態２と同様に位置合わせ後の記入済み帳票画像と未記入帳票とのＡＮＤ画像を作成し，ＡＮＤ画像メモリ１０６に保存する（Ｓ９０３）。
【００６７】
次いで，ステップＳ９０４〜ステップＳ９１２の処理ループの如く，帳票上の線分毎の処理を実行する。ここで必要な線分の情報は，あくまでも線分の太さおよび位置の推定処理の出発点を把握するためのものであり，大まかな線分の存在範囲と，その向きおよび色を得られれば十分である。この線分の情報は，例えばユーザによって入力され，それを未記入帳票画像と共に未記入帳票画像メモリ１０２に保存しておいてもよく，あるいは線分抽出部１１６で未記入帳票画像（あるいは位置合わせ後の記入済み帳票画像）に関し，汎用的な線分抽出手法を用い，線分を抽出することにより取得してもよい。
【００６８】
このような線分の情報に基づいて，まず，一つの線分が注目線分として選択され（Ｓ９０４），その注目線分に関して以下のような処理が行われる。ここでは特に断らない限り，線分方向は横方向と仮定して説明を進める。
【００６９】
まず，注目線分に関する帳票色のランデータの収集を実行する（Ｓ９０５〜Ｓ９０７）。すなわち，帳票色ラン抽出部１１８において，注目線分の範囲に含まれるＡＮＤ画像上の１つの黒画素Ａを抽出し（Ｓ９０５），この黒画素Ａを起点として，その上方向および下方向に記入済み帳票画像を走査し，黒画素Ａを含む縦方向の帳票色のランを抽出する（Ｓ９０６）。該抽出された帳票色のランの端点座標が帳票色ラン長メモリ１０８に保存される。
【００７０】
帳票色ラン長算出部１２０は，帳票色ラン長メモリ１０８を参照し，帳票色ラン抽出部１１８により抽出された帳票色のランの両方の端点が，太めに処理された未記入帳票画像上の注目線分に対応した帳票色の画素領域の内部にあるかを否かを判断する（Ｓ９０７）。ここで，内部にあると判断した帳票色のランを対象に，その長さを算出し，それを帳票色ラン長メモリ１０８に格納する（Ｓ９０８）。
【００７１】
ステップＳ９０８を実行した後，あるいはステップＳ９０７で帳票色のランの端点が帳票色の画素領域内に存在しないと判断した場合にステップＳ９０５に戻り，ＡＮＤ画像上の別の黒画素Ａを選択し，同様の処理を実行する。注目線分に対応するＡＮＤ画像上の全ての黒画素を起点として上述の処理を繰り返し実行すると，ステップＳ９０５〜ステップＳ９０８の処理ループを終了する。かくして，帳票色ラン長メモリ１０８には，例えば，図５に模式的に示すような帳票色のランの長さ分布データが得られる。
【００７２】
図１０は，ステップＳ９０５〜ステップＳ９０８の処理例を模式的に説明している。図８には図４（ｂ）に対応したＡＮＤ画像の黒画素群１０００と関連した記入済み帳票画像上の帳票色の画素群が示されているが，さらに太められた未記入帳票画像上の対応した帳票色の画素領域も網かけ領域１００１として示されている。図示の１００２と１００３は抽出される帳票色のランの例である。一方の帳票色のラン１００２は上下端点ともに網かけ領域１００２に入っているため，その長さが算出されて帳票色ラン長メモリ１０８に保存される。しかし，他方の帳票色のラン１００３は上端点が網かけ領域１００１の外にあるため，その長さは保存されない（端点座標は保存される）。
【００７３】
なお，注目線分の方向が縦の場合には，ＡＮＤ画像上の黒画素を起点として左右方向に記入済み帳票を走査し，横方向の帳票色のランを抽出する。より複雑なフォーマットの帳票を対象として処理精度を向上させたい場合には，注目した線分の方向を算出し，その方向に対して垂直な方向について記入済み帳票画像を走査し，その方向の帳票色のランを抽出すればよい。
【００７４】
次に，線分太さ算出部１２２により，帳票色ラン長メモリ１０８内の注目線分に関する帳票色のランの長さデータを参照し，帳票色のランの長さ分布から記入済み帳票画像上の注目線分の太さを算出する。この実施の形態では，前述の実施の形態２と同様に，帳票色ラン長メモリ１０８内の帳票色のランデータより帳票色のラン長に最頻値Ｂを求め（Ｓ９０９），これを線分の太さＣとする（Ｓ９１０）。
【００７５】
なお，前述の実施の形態と同様に，帳票色のランの長さ分布の平均値，最小値あるいは中央値を線分の太さとして用いてもよい。また，このようにして求めた太さの値に一定のオフセットを加えた値を最終的に線分の太さとしてもよい。
【００７６】
次に，線分削除部１２４により，帳票色ラン長メモリ１０８内のデータを参照し，記入済み帳票画像上の注目線分の削除処理を実行する（Ｓ９１１〜Ｓ９１２）。すなわち，帳票色ラン長メモリ１０８を参照し，記入済み帳票画像より抽出された一つの帳票色のランを選択する（Ｓ９１１）。そして，その帳票色のランの各端点が太め処理された未記入帳票画像上の帳票色の画素領域内にあるか否かを調べ，帳票色の画素領域内にある端点より線分太さＣ分だけ，帳票色のラン上の画素を削除する（Ｓ９１２）。
【００７７】
ただし，帳票色の画素領域内にある端点の反対側の端点が背景以外の色と接している場合には，記入情報は帳票色とは別の色で記入されていると判断することができるので，帳票色のラン全体を削除する。注目線分に対応した帳票色のランすべてについて同様の処理を繰り返し実行することにより，記入済み帳票画像上の注目線分が削除される。
【００７８】
図１１は，このような線分削除処理の一例を示す説明図である。ここで，線分の太さＣは２画素と仮定する。各矩形は帳票色の画素を表している。図１１（ａ）において，１１０２と１１０３は記入済み帳票画像より抽出された帳票色のランの例である。
【００７９】
帳票色のラン１１０２は，上の端点も下の端点も太め処理された未記入帳票画像上の帳票色の画素領域１１０１内に存在するので，帳票色のラン１１０２は，上端点から２画素分，下端点から２画素分の帳票色の画素が削除される。その結果，帳票色のラン１１０２は全体が削除される。他方の帳票色のラン１１０３は，下端点は帳票色の画素領域１１０１内にあるが，上端点は帳票色の画素領域の外にある。よって，帳票色のラン１１０３は，下端点から２画素分の帳票色の画素が削除されるだけである。同様の処理を繰り返し実行することにより，図１１（ｂ）に示すような処理結果が得られる。１１０４と１１０５は線分に接触あるいは近接する文字等の一部であり，このような線分以外の文字は帳票色の画素であっても保存される。
【００８０】
以上のようにして一つの注目線分に対する削除処理が終了すると，ステップＳ９０４に戻り，別の注目線分について同様の処理を繰り返し実行する。全ての線分について処理を終了すると，ステップＳ９０５〜ステップＳ９１２の処理ループを抜け出す。
【００８１】
そして，文字領域抽出部１２６において，記入済み帳票画像メモリ１０４上の位置合わせおよび線分削除後の記入済み帳票画像より，予め認識対象として指定されていた文字領域（図１２に示されている文字領域１と文字領域２）の画像を抽出し，それを文字画像メモリ１１０に保存する（Ｓ９１３）。続いて，文字認識部１２８において，文字画像メモリ１１０上の画像より文字画像を切り出し，その文字認識を行う（Ｓ９１４）。
【００８２】
さて，ファクシミリ装置で画像を入力したいような場合，画像の潰れが生じることが少なくない。また，画像に位置合わせの誤差も少なからず発生する。この実施の形態では，このような記入済み帳票画像の潰れによる線分の太りや，画像の位置合わせ誤差が生じても，記入染み帳票画像上の線分が必ず未記入帳票画像上の線分の範囲に含まれる状況を作り出すために，未記入帳票画像に予め太め処理を施す。
【００８３】
そして，図１０に関連して述べたように，記入済み帳票画像上の線分に関する帳票色のランの中で，未記入帳票画像上の線分の帳票色の画素領域内に包含される帳票色のランだけを線分の帳票色のランとみなし，その長さデータを収集する。一方の端点でも帳票色の画素領域から出た帳票色のランは接触文字等の帳票色のランである可能性があるとして長さデータの収集対象から除外する。このようにして収集した長さデータの分布によれば，画像の潰れや位置合わせ誤差があっても，線分の太さを的確に決定することができる。
【００８４】
また，図１１に関連して述べたように，線分に関して抽出した各帳票色のランについて，太め処理された未記入帳票画像上の帳票色の画素領域内にある端点と，それより線分の太さ分離れた画素位置までの間の帳票色のラン上の画素を，線分の削除範囲内の帳票色の画素として削除する。ただし，太め処理された未記入帳票画像上の帳票色の画素領域内にない方の端点が，帳票色以外の（背景色以外の）色の画素と接している帳票色のランについては，文字等の記入情報が帳票色と異なる色で記入されていると考えられるので帳票色のラン全体を削除する。
【００８５】
帳票色の画素範囲から外れた帳票色のランの端点側の帳票色の画素は，線分に接触あるいは近接した帳票色の文字等の画素である可能性が高いため，その端点側からは帳票色の画素の削除は行わない。このようにすることで記入済み帳票画像の潰れによる線分の太りや，画像の位置合わせの誤差があっても，線分だけを的確に削除し，線分に接触あるいは近接した文字等の帳票色の画素を保存することができる。
【００８６】
したがって，文字領域と線分との間に従来のように間隔を設けなくとも，さらに図１２の文字領域１，２のように線分と一部重複するような文字領域を指定しても，線分を含まない文字の画像だけを切り出すことが可能である。また，線分に折衝した帳票色の文字の画像も，その全体を正しく切り出すことが可能になり，帳票に記入された文字の高精度の認識が実現可能となる。
【００８７】
【発明の効果】
以上説明したように、本発明に係る記入情報抽出方法（請求項１ないし３）によれば、記入済み帳票画像の注目すべき線分の太さを測定し、該測定した線分の太さに応じた線分の削除範囲を対象として記入済み帳票画像の記入情報以外の画像を削除し、記入済み帳票画像から記入情報を抽出するといった処理を実行するため、帳票上の線分と記入情報の認識領域との間に隙間を設けなくとも、線分に接触あるいは接近して記入された文字や記号等を含め、帳票の記入情報を高精度に抽出することができる。
【００８８】
また，カラーファクシミリ装置やカラーイメージスキャナ等により入力されたカラー帳票画像のカスレや潰れ，さらには画像の位置合わせ誤差があっても，的確な線分削除を行って記入情報を高精度の抽出することができ，例えばファクミリ装置を用いた自動発注システム等の性能を大幅に向上させることが可能となる。
【００８９】
また、本発明に係る機械読み取り可能な記録媒体（請求項４）によれば、請求項１ないし３のいずれか一つに記載の記入情報抽出方法をコンピュータに実行させるプログラムを記録したことにより、請求項１ないし３のいずれか一つの動作をコンピュータによって実現することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る記入情報抽出方法を適用した記入情報抽出装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る記入情報抽出方法を示すフローチャートである。
【図３】本発明の実施の形態１に係る記入情報抽出方法の一例を示す説明図である。
【図４】本発明の実施の形態２に係る記入情報抽出方法の一例を示す説明図である。
【図５】本発明の実施の形態１に係り，収集される帳票色ランの長さ分布の例を示す説明図である。
【図６】本発明の実施の形態１に係る線分方程式の決定および線分削除例を示す説明図である。
【図７】本発明の実施の形態２に係る記入情報抽出方法（１）を示すフローチャートである。
【図８】本発明の実施の形態２に係る記入情報抽出方法（２）を示すフローチャートである。
【図９】本発明の実施の形態３に係る記入情報抽出方法を示すフローチャートである。
【図１０】本発明の実施の形態３に係り，記入済み帳票画像上の横方向線分の太さを推定するための帳票色ランの長さデータを収集例を示す説明図である。
【図１１】本発明の実施の形態３に係る線分削除例を示す説明図である。
【図１２】本発明の実施の形態に係る線分情報および文字領域情報を示す説明図である。
【図１３】従来における帳票画像の読取領域設定例を示す説明図である。
【符号の説明】
１００  画像入力部
１０２  未記入帳票画像メモリ
１０４  機済み帳票画像メモリ
１０６  ＡＮＤ画像メモリ
１０８  帳票色ラン長メモリ
１１０  文字画像メモリ
１１２  画像位置合わせ部
１１４  ＡＮＤ画像作成部
１１６  線分抽出部
１１８  帳票色ラン抽出部
１２０  帳票色ラン長算出部
１２２  線分太さ算出部
１２４  線分削除部
１２６  文字領域抽出部
１２８  文字認識部
【図１】
0003895473.tif 000002
【図２】
0003895473.tif 000003
【図３】
0003895473.tif 000004
【図４】
0003895473.tif 000005
【図５】
0003895473.tif 000006
【図６】
0003895473.tif 000007
【図７】
0003895473.tif 000008
【図８】
0003895473.tif 000009
【図９】
0003895473.tif 000010
【図１０】
0003895473.tif 000011
【図１１】
0003895473.tif 000012
【図１２】
0003895473.tif 000013
【図１３】
0003895473.tif 000014