(57)【特許請求の範囲】
【請求項１】
表領域を含む文書画像の表領域の罫線である枠を認識する表認識方法において、
文書画像の黒画素の連結成分の外接矩形を抽出し、抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、文字候補となった矩形の範囲の画像を白で埋め、枠候補と分類された矩形に対して面積の小さい順に並び替え、枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠を抽出した枠候補となった矩形の画像を白で埋めることを繰返すことを特徴とする表認識方法。
【請求項２】
表領域を含む文書画像の表領域の罫線である枠を認識する表認識方法において、
文書画像の黒画素の連結成分の外接矩形を抽出し、抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、文字候補となった矩形の範囲の画像を白で埋め、枠候補と分類された矩形に対して面積の小さい順に並び替え、枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にない場合は、枠を抽出した枠候補となった矩形の画像を白で埋め、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にある場合には枠を抽出した枠候補となった矩形の画像を白で埋めることを抑制して次の枠候補の矩形について枠抽出を行うことを特徴とする表認識方法。
【請求項３】
表領域を含む文書画像の表領域の罫線である枠を認識する表認識装置において、
外接矩形抽出部と矩形分類部と枠候補抽出部及び罫線抽出部を有し、
外接矩形抽出部は文書画像の黒画素の連結成分の外接矩形を抽出し、矩形分類部は抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、枠候補抽出部は文字候補となった矩形の範囲の画像を白で埋め、罫線抽出部は枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠を抽出した枠候補となった矩形の画像を白で埋めることを繰返すことを特徴とする表認識装置。
【請求項４】
表領域を含む文書画像の表領域の罫線である枠を認識する表認識装置において、
外接矩形抽出部と矩形分類部と枠候補抽出部及び罫線抽出部を有し、
外接矩形抽出部は文書画像の黒画素の連結成分の外接矩形を抽出し、矩形分類部は抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、枠候補抽出部は文字候補となった矩形の範囲の画像を白で埋め、罫線抽出部は枠候補と分類された矩形に対して面積の小さい順に並び替え、枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にない場合は、枠を抽出した枠候補となった矩形の画像を白で埋め、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にある場合には枠を抽出した枠候補となった矩形の画像を白で埋めることを抑制して次の枠候補の矩形について枠抽出を行うことを特徴とする表認識装置。
【請求項５】
請求項３又は４の表認識装置を有することを特徴とする文字認識装置。
【請求項６】
請求項１又は２の表認識方法の表認識プログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、文字認識装置で手書きや活字の帳票処理など罫線を多く含む文書の罫線を認識して後方処理へわたすための表認識方法と表認識装置と文字認識装置及び表認識プログラムを記録した記憶媒体に関するものである。
【０００２】
【従来の技術】
例えば手書きや活字の帳票処理のために文字認識装置で罫線を多く含む帳票データや表データのようなものを取り扱う場合、罫線がかすれていると罫線であるか文字であるかの判別が困難になるという問題がある。この問題を解消するために、例えば特開平１０−４９６７６号公報に示すように、文書画像から黒ランのヒストグラムを算出し、算出したヒストグラムを基に罫線抽出のためのパラメータである黒ランの閾値を抽出する。この抽出した閾値以上の黒ランの連結成分である矩形を抽出し、近接している矩形を統合して実線罫線を抽出する。また、文書画像の罫線の長さのヒストグラムを算出し、算出したヒストグラムを基に罫線の長さ抽出のための閾値を抽出する。そして抽出した罫線の長さ抽出のための閾値以上の長さを持つ実線罫線を罫線として認識するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら一続きの黒画素の連続が各閾値以下であったりすると、罫線を接続するための特別な処理が必要になってくる。この特別な処理として、例えばあらかじめ罫線があると考えられる候補領域を選り分けておき、その候補領域が本当に罫線であるかどうかを判定するようにしている。しかしながら、この場合も例えばタイトルとして書かれている大き目の文字の部分を罫線として抽出したり、罫線候補の位置に偶然長いランをもった文字矩形がたくさんある場合に、罫線があると判定してしまう間違いが生じる。また、枠の内部にさらに枠が複数ある場合、罫線候補となる位置が膨大になり、そのための抽出失敗がでたり、メモリのオーバーフローが起きたりするという短所がある。
【０００４】
この発明はかかる短所を改善し、罫線を正しく抽出することができる表認識方法と表認識装置と文字認識装置及び表認識プログラムを記録した記憶媒体を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
この発明に係る表認識方法は、表領域を含む文書画像の表領域の罫線である枠を認識する表認識方法において、文書画像の黒画素の連結成分の外接矩形を抽出し、抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、文字候補となった矩形の範囲の画像を白で埋め、枠候補と分類された矩形に対して面積の小さい順に並び替え、枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠を抽出した枠候補となった矩形の画像を白で埋めることを繰返すことを特徴とする。
【０００７】
この発明に係る第２の表認識方法は、表領域を含む文書画像の表領域の罫線である枠を認識する表認識方法において、文書画像の黒画素の連結成分の外接矩形を抽出し、抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、文字候補となった矩形の範囲の画像を白で埋め、枠候補と分類された矩形に対して面積の小さい順に並び替え、枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にない場合は、枠を抽出した枠候補となった矩形の画像を白で埋め、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にある場合には枠を抽出した枠候補となった矩形の画像を白で埋めることを抑制して次の枠候補の矩形について枠抽出を行うことを特徴とする。
【０００８】
この発明に係る表認識装置は、表領域を含む文書画像の表領域の罫線である枠を認識する表認識装置において、外接矩形抽出部と矩形分類部と枠候補抽出部及び罫線抽出部を有し、外接矩形抽出部は文書画像の黒画素の連結成分の外接矩形を抽出し、矩形分類部は抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、枠候補抽出部は文字候補となった矩形の範囲の画像を白で埋め、罫線抽出部は枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠を抽出した枠候補となった矩形の画像を白で埋めることを繰返すことを特徴とする。
【００１０】
この発明に係る第２の表認識装置は、表領域を含む文書画像の表領域の罫線である枠を認識する表認識装置において、外接矩形抽出部と矩形分類部と枠候補抽出部及び罫線抽出部を有し、外接矩形抽出部は文書画像の黒画素の連結成分の外接矩形を抽出し、矩形分類部は抽出した外接矩形の縦横比や黒画素数や黒ランの数などの情報から抽出した外接矩形を文字候補と枠候補に分類し、枠候補抽出部は文字候補となった矩形の範囲の画像を白で埋め、罫線抽出部は枠候補と分類された矩形に対して面積の小さい順に並び替え、枠候補と分類された矩形の面積の小さい矩形から順に枠を抽出し、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にない場合は、枠を抽出した枠候補となった矩形の画像を白で埋め、枠候補と分類された矩形が２つ以上包含でなく、互いに一部が重なっている位置関係にある場合には枠を抽出した枠候補となった矩形の画像を白で埋めることを抑制して次の枠候補の矩形について枠抽出を行うことを特徴とする。
【００１１】
この発明に係る文字認識装置は上記表認識装置を有することを特徴とする。
また、この発明に係る記憶媒体は上記表認識方法の表認識プログラムを記録したことを特徴とする。
【００１２】
【発明の実施の形態】
この発明の文字認識装置は画像入力部と画像メモリと画像圧縮部と表認識部と文字認識部及び表示部を有する。表認識部は文字認識部で入力した画像データから文字を認識するときの前処理を行なうものであり、外接矩形抽出部と矩形分類部と枠候補抽出部及び罫線抽出部を有する。
【００１３】
読取ユニットで原稿の画像を読み取って文字認識装置の画像入力部に入力すると、画像圧縮部は入力した画像データを圧縮処理して画像メモリに格納する。表認識部は画像メモリに格納された画像データを読み出す。外接矩形抽出部は読み出した画像データの処理したい領域である画像の全面に対して黒画素の連結成分から外接矩形を抽出する。矩形分類部は抽出した外接矩形から文字候補の矩形か枠候補の矩形かの分類を行う。この分類を行なうときに、矩形分類部は縦横比の大きなものは枠候補とし、内部の黒画素比率が高いものは文字候補としたり、内部の黒ランの長さのヒストグラムの最大をとり、それが罫線の太さに相当するはずであるので、その太さの罫線が矩形の外側にあると仮定した場合の黒画素の数より、実際の黒画素の数が小さい場合は文字候補とする。枠候補抽出部は文字候補に分類された矩形に対しては、その矩形の座標値内部を白画素で埋める。罫線抽出部は枠候補として残った矩形から罫線である枠を認識して抽出する。
【００１４】
【実施例】
図１はこの発明の一実施例の構成を示すブロック図である。図に示すように、文字認識装置１は画像入力部２と画像メモリ３と画像圧縮部４と表認識部５と文字認識部６及び表示部７を有する。画像入力部２は例えばスキャナや電子スチールカメラ等の読取ユニット８で読み取った画像を入力する。画像メモリ３は入力した画像データや各種処理を行なった画像データを記憶する。画像圧縮部４は画像入力部２から入力した画像データを圧縮して画像メモリ３に格納する。表認識部５は文字認識部６で入力した画像データから文字を認識するときの前処理を行なうものであり、外接矩形抽出部５１と矩形分類部５２と枠候補抽出部５３及び罫線抽出部５４を有する。外接矩形抽出部５１は入力した画像データの処理したい領域に対して黒画素の連結成分から外接矩形を抽出する。矩形分類部５２は抽出した外接矩形について文字候補の矩形か枠候補の矩形かの分類を行う。枠候補抽出部５３は文字候補に分類された矩形に対して、その矩形の位置を元画像上で白で埋め、枠候補として残った矩形の枠を抽出する。罫線抽出部５４は抽出した枠から罫線を抽出する。
【００１５】
上記のように構成された文字認識装置１に入力された画像データから表認識部５で枠を抽出して罫線を抽出するときの動作を図２のフローチャートを参照して説明する。
【００１６】
読取ユニット８で、例えば図３に示す原稿の画像１１を読み取って文字認識装置１の画像入力部２に入力すると（ステップＳ１）、画像圧縮部４は使用メモリや処理時間の低減のため、入力した画像データを圧縮処理して画像メモリ３に格納する（ステップＳ２）。この画像圧縮部４で画像データを圧縮するときに例えばＯＲ方式で圧縮を行うと罫線のかすれはより強くなる。表認識部５は画像メモリ３に格納された画像データを読み出す。読み出した画像データの処理したい領域である画像１１の全面に対して外接矩形抽出部５１は読黒画素の連結成分から外接矩形を抽出する（ステップＳ３）。この抽出した外接矩形から矩形分類部５２で文字候補の矩形か枠候補の矩形かの分類を行う。この矩形分類部５２で矩形を分類する方法として、例えば縦横比の大きなものは枠候補とし、内部の黒画素比率が高いものは文字候補としたり、内部の黒ランの長さのヒストグラムの最大をとり、それが罫線の太さに相当するはずであるので、その太さの罫線が矩形の外側にあると仮定した場合の黒画素の数より、実際の黒画素の数が小さい場合は文字候補とする。このようにして文字候補の矩形か枠候補の矩形かを分類する。そして小さくて細長い矩形などは罫線のかすれによって生じた可能性もあるので、そのようなものは文字候補でないと分類しておく（ステップＳ４）。この分類の結果、文字候補に分類された矩形に対して枠候補抽出部５３で、図４に示すように、その矩形の座標値内部を白画素で埋める（ステップＳ５）。このように文字候補に分類された矩形の座標値内部を白画素で埋めることにより、画像１２のその位置には画素がなかったことと等しくなり、文字上の長いランなどの影響が枠抽出に悪影響を与えないようにできる。次ぎに、枠候補として残った矩形Ａ〜Ｄから罫線抽出部５４で罫線である枠を認識して抽出する（ステップＳ６）。
【００１７】
このように文字候補の矩形か枠候補の矩形かを分類し、文字候補に分類された矩形の座標値内部を白画素で埋めるようにしたから、文字の位置に必要のない罫線を抽出することを防ぐことができる。
【００１８】
次ぎに第２の実施例の処理について、図５のフローチャートを参照して説明する。読取ユニット８で、図３に示す原稿の画像１１を読み取って文字認識装置１の画像入力部２に入力すると（ステップＳ１１）、画像圧縮部４は使用メモリや処理時間の低減のため、入力した画像データを圧縮処理して画像メモリ３に格納する（ステップＳ１２）。この画像圧縮部４で画像データを圧縮するときに例えばＯＲ方式で圧縮を行うと、罫線のかすれはより強くなる。表認識部５は画像メモリ３に格納された画像データを読み出す。読み出した画像データの処理したい領域である画像１１の全面に対して外接矩形抽出部５１は読黒画素の連結成分から外接矩形を抽出する（ステップＳ１３）。この抽出した外接矩形から矩形分類部５２で文字候補の矩形か枠候補の矩形かの分類を行う。この矩形分類部５２で矩形を分類する方法として、例えば縦横比の大きなものは枠候補とし、内部の黒画素比率が高いものは文字候補としたり、内部の黒ランの長さのヒストグラムの最大をとり、それが罫線の太さに相当するはずであるので、その太さの罫線が矩形の外側にあると仮定した場合の黒画素の数より、実際の黒画素の数が小さい場合は文字候補とする。このようにして文字候補の矩形か枠候補の矩形かを分類する。そして小さくて細長い矩形などは罫線のかすれによって生じた可能性もあるので、そのようなものは文字候補でないと分類しておく（ステップＳ１４）。この分類の結果、文字候補に分類された矩形に対して枠候補抽出部５３で、図６（ａ）に示すように、画像１２のなかのその矩形の座標値内部を白画素で埋める（ステップＳ１５）。このように文字候補に分類された矩形の座標値内部を白画素で埋めることにより、その位置には画素がなかったことと等しくなり、文字上の長いランなどの影響が枠抽出に悪影響を与えないようにできる。次ぎに、罫線抽出部５４で枠候補として残った矩形の全てを、面積の小さい枠候補の矩形から矩形Ａ，矩形Ｂ，矩形Ｃ，矩形Ｄのように昇順にソートする（ステップＳ１６）。そして面積の小さい枠候補の矩形Ａから罫線である枠を抽出する（ステップＳ１７）。一つの枠候補の矩形Ａに対して枠の抽出が完了したら、図６（ｂ）に示すように、その枠候補の矩形Ａの位置を白画素で埋める（ステップＳ１８）。このように枠候補の矩形Ａの位置を白画素で埋めることにより、その矩形Ａの位置には黒画素がなかったことと等しくなり、次の枠候補に対して枠抽出をする場合、一つ前以上の枠候補の矩形の位置には黒画素がなかったものとして処理することができる。この処理を全ての枠候補の矩形Ｂ，Ｃ，Ｄに対して順次繰返す（ステップＳ１９）。
【００１９】
このように面積の小さい枠候補の矩形Ａから罫線である枠を抽出するようにしたから、枠の内部に枠がある場合でも正しく罫線を抽出することができる。
【００２０】
次ぎに、第３の実施例の処理について、図７のフローチャートを参照して説明する。読取ユニット８で、図３に示す原稿の画像１１を読み取って文字認識装置１の画像入力部２に入力すると（ステップＳ２１）、画像圧縮部４は使用メモリや処理時間の低減のため、入力した画像データを圧縮処理して画像メモリ３に格納する（ステップＳ２２）。この画像圧縮部４で画像データを圧縮するときに例えばＯＲ方式で圧縮を行うと、罫線のかすれはより強くなる。表認識部５は画像メモリ３に格納された画像データを読み出す。読み出した画像データの処理したい領域である画像１１の全面に対して外接矩形抽出部５１は読黒画素の連結成分から外接矩形を抽出する（ステップＳ２３）。この抽出した外接矩形から矩形分類部５２で文字候補の矩形か枠候補の矩形かの分類を行う。この矩形分類部５２で矩形を分類する方法として、例えば縦横比の大きなものは枠候補とし、内部の黒画素比率が高いものは文字候補としたり、内部の黒ランの長さのヒストグラムの最大をとり、それが罫線の太さに相当するはずであるので、その太さの罫線が矩形の外側にあると仮定した場合の黒画素の数より、実際の黒画素の数が小さい場合は文字候補とする。このようにして文字候補の矩形か枠候補の矩形かを分類する。そして小さくて細長い矩形などは罫線のかすれによって生じた可能性もあるので、そのようなものは文字候補でないと分類しておく（ステップＳ２４）。この分類の結果、文字候補に分類された矩形に対して枠候補抽出部５３でその矩形の座標値内部を白画素で埋める（ステップＳ２５）。このように文字候補に分類された矩形の座標値内部を白画素で埋めることにより、その位置には画素がなかったことと等しくなり、文字上の長いランなどの影響が枠抽出に悪影響を与えないようにできる。次ぎに、罫線抽出部５４で枠候補として残った矩形の全てを、面積の小さい矩形からソートする（ステップＳ２６）。そして枠候補として残った矩形の相互の位置関係を調べ、包括関係でなく一部分が重なっている状態の矩形のペアを探索して、見つかった場合にフラグを立てておく（ステップＳ２７）。そして面積の小さい矩形Ａから罫線である枠を抽出する（ステップＳ２８）。一つの枠候補の矩形に対して枠の抽出が完了した後、その外接矩形に部分的な重なりを持つ矩形が存在することを示すフラグが立っている場合は、そのまま処理を処理を終了して次の枠候補の矩形について枠抽出を行う（ステップＳ２９，Ｓ２８）。また外接矩形に部分的な重なりを持つ矩形が存在することを示すフラグが立っていない場合は、その枠候補の矩形の位置を白画素で埋める（ステップＳ３０）。この処理を全ての枠候補の矩形に対して順次繰返す（ステップＳ３１）。
【００２１】
このように部分的に重なりのない矩形の場合は、その枠候補の矩形の位置を白画素で埋めることにより、あとの処理に悪影響を与えることを防ぐことができる。また、部分的に重なりのある矩形の場合は、その枠候補の矩形の位置を白画素で埋めることを抑制して先に処理する矩形のために本来必要な部分の画素を白で消されることを防ぐことができる。
【００２２】
上記実施例は表認識部５の外接矩形抽出部５１と矩形分類部５２と枠抽出部５３及び罫線抽出部５４で文字候補と枠候補の矩形を分類し、枠候補の矩形から罫線である枠を抽出する場合について説明したが、図８のブロック図に示すように、上記各処理プログラムをハードディスク等の外部メモリ９に格納しておき、前処理部５で外部メモリ９に格納した各処理プログラムをメモリインタフェース１０を介して読み込み、読み込んだ処理プログラムにより文字候補と枠候補の矩形を分類し、枠候補の矩形から罫線である枠を抽出するようにしても良い。
【００２３】
【発明の効果】
この発明は以上説明したように、文書画像の表領域を文字候補の矩形か枠候補の矩形かに分類し、文字候補に分類された矩形の座標値内部を白画素で埋めるようにして枠候補に分類された矩形から罫線である枠を抽出するようにしたから、文字の位置に必要のない罫線を抽出することを防ぐことができる。
【００２４】
また、枠候補に分類された矩形から罫線である枠を抽出するときに、面積の小さい枠候補の矩形から罫線である枠を抽出するようにしたから、枠の内部に枠がある場合でも正しく罫線を抽出することができる。さらに、多くの枠がある場合でも面積の小さい枠候補の矩形から罫線である枠を抽出するから、メモリがオーバーフローすることを防ぐことができる。
【００２５】
また、枠候補に分類された矩形から罫線である枠を抽出するときに、部分的に重なりのある矩形の場合は、その枠候補の矩形の位置を白画素で埋めることを抑制して先に処理する矩形のために本来必要な部分の画素を白で消されることを防ぐことができる。
【００２６】
この表認識を行なう表認識装置を文字認識装置に有することにより、文字を認識する前に表の位置を抽出することができ、文字の認識精度を高めることができる。
【００２７】
また、この表認識を行なう表認識プログラムを記憶媒体に格納しておくことにより、文字を認識する前に表の位置を容易に抽出することができる。
【図面の簡単な説明】
【図１】この発明の実施例の文字認識装置の構成を示すブロック図である。
【図２】上記実施例の処理を示すフローチャートである。
【図３】入力した文書画像の一例を示す表示図である。
【図４】枠候補に分類された矩形を示す表示図である。
【図５】第２の実施例の処理を示すフローチャートである。
【図６】第２の実施例の処理を示す表示図である。
【図７】第３の実施例の処理を示すフローチャートである。
【図８】他の実施例の構成を示すブロック図である。
【符号の説明】
１；文字認識装置、２；画像入力部、３；画像メモリ、４；画像圧縮部、
５；表認識部、６；文字認識部、７；表示部、８；読取ユニット，
９；外部メモリ、５１；外接矩形抽出部、５２；矩形分類部、
５３；枠候補抽出部、５４；罫線抽出部。
【図１】
0004159720.tif 000002
【図２】
0004159720.tif 000003
【図３】
0004159720.tif 000004
【図４】
0004159720.tif 000005
【図５】
0004159720.tif 000006
【図６】
0004159720.tif 000007
【図７】
0004159720.tif 000008
【図８】
0004159720.tif 000009