(57)【特許請求の範囲】
【請求項１】
ある注目領域から、連結情報に基づき部分パターンを抽出する部分パターン抽出部と、
抽出された部分パターンの縦横成分に対してマスク処理を行って細線化してマスク処理画像を得、得られたマスク画像に対して隣接投影値を算出し、縦横両方向に対して所定の長さの線分又は直線の一部を矩形近似して線分を検出し、検出された線分のうち近隣の矩形線分同士を統合して長い直線を検出する直線検出部と、
検出した縦横の直線の中で枠を構成する直線を決定し、上下左右の四辺を枠で囲まれた矩形範囲を左上から順番に抽出して直線を検出し、該検出した直線が枠の構成要素であるかどうか判断し、判断された枠で四方を囲まれた矩形範囲を抽出する判断部と、
抽出された矩形範囲について、連結情報に基づき部分パターンを抽出し、抽出された部分パターンと予め登録されている網がけエレメントとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかチェックし、網がけエレメントと認識された部分パターンの密度が閾値以上ある場合には、前記判断部で抽出された矩形範囲を網がけ領域と判定して、網がけ領域を抽出する網がけ領域抽出部と、
を具備して構成される網がけ領域抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は文字を抽出する際における網掛け領域抽出装置に関する。
近年、入力周辺機器として文字認識装置（ＯＣＲ）の需要が増加している。本願発明は、この文字認識装置に用いる文字認識処理の前処理において、文字パターンの背景に網がけされている網がけ領域を精度よく抽出するものである。
【０００２】
【従来の技術】
文字認識においては、文字パターンの背景への網がけの有無に拘らず、パターンを認識処理部に渡す領域に分割して、網がけのエレメントを含めたまま認識処理を行なうと、文字認識精度が低下する。このための、文字認識の前処理として、背景に網がけされた網がけ領域を精度よく抽出する必要がある。
【０００３】
図８は従来対象としていた網がけ領域の説明図である。図に示す例は表形式であり、その表の枠の中に文字が記入されている。図のＡが網がけ領域である。この網がけ領域を形成するパターンは、点パターンである。つまり、細かい点の集合から構成されている。
【０００４】
従来の網がけ領域の抽出処理は以下のようなものである。先ず、連結情報（黒い点（ピクセル）のつながり）に基づき抽出した部分パターン（矩形で定義づけされる：連結パターン）のうち、そのサイズがある閾値以下のものだけを網がけエレメントの候補とし、この候補の数或いは密度が位置関係等を基にして、網がけ領域を抽出している。そして、網がけ領域を構成するエレメントとしては、図８に示すような点パターンのみを対象としている。
【０００５】
【発明が解決しようとする課題】
前記した従来の方法では、網がけエレメントの候補として、連結パターンの外接矩形のサイズが小さいものを候補としており、また対象とする網がけエレメントは点であるため、以下のような問題があった。
▲１▼網がけエレメントが大きい場合は領域の抽出ができない。
▲２▼点パターンを対象としているため、それ以外（例えば★等のパターン）の網がけエレメントの抽出が困難である。
▲３▼文字を構成する小さな部分パターンも網がけのエレメントとして抽出してしまう。
等の問題があり、従って正確な網がけ領域を抽出できなかった。図９は従来抽出できなかった網がけ領域の説明図である。図においてＢが抽出困難な網がけ領域を示している。図では明らかでないが、この黒い領域には数字が記載されている。
【０００６】
本発明はこのような課題に鑑みてなされたものであって、文字パターンの背景に網がけされた網がけ領域を精度よく抽出することができる網がけ領域抽出装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
（１）図１は本発明方法の原理を示すフローチャートである。本発明は、
連結情報に基づき部分パターンを抽出し（ステップ１）、抽出した部分パターンと予め登録されている網がけエレメントとのマッチングをとり（ステップ２）、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかチェックし（ステップ３）、網がけエレメントと認識された部分パターンの密度が閾値以上ある場合には当該領域を網がけ領域と判定する（ステップ４）ことを特徴としている。
【０００８】
この発明の構成によれば、連結情報に基づき抽出された部分パターンと基準パターンとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかをチェックすることにより、網がけ領域を精度よく抽出することができる。また、この発明の構成によれば、点以外のパターン又は大きなサイズの網がけ領域でも精度よく抽出することができる。
【０００９】
（２）この場合において、大きな部分パターンの近くに小さな部分パターンがある場合には、その小さい部分パターンを網がけエレメントの候補から除外することを特徴としている。
【００１０】
この発明の構成によれば、例えば「か」のように、文字を構成する小さい点等のパターンを網がけ領域と認識するおそれがなくなる。
（３）また、前記マッチング用に文字認識用とは別に高速処理が可能な特徴パラメータを用いることを特徴としている。
【００１１】
この発明の構成によれば、マッチング用に高速処理が可能な特徴パラメータを用いることにより、網がけ領域の抽出処理速度を速めることができる。
（４）また、連結情報に基づき部分パターンを抽出する部分パターン抽出部と、抽出された部分パターンを正規化する正規化部と、該正規化部の出力を受けて特徴パラメータを算出する特徴パラメータ算出部と、算出した特徴パラメータと予め登録されている網がけエレメントとのマッチングをとるマッチング部と、該マッチング部の出力を受けて網がけエレメントと認識されたパターンの密度が閾値以上あるかどうかチェックし、閾値以上ある場合に当該領域は網がけ領域であると判断する網がけ領域判定部とを具備することを特徴としている。
【００１２】
この発明の構成によれば、連結情報に基づき抽出された部分パターンと基準パターンとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかをチェックすることにより、網がけ領域を精度よく抽出することができる。また、この発明の構成によれば、点以外のパターン又は大きなサイズの網がけ領域でも精度よく抽出することができる。
【００１３】
（５）更に、ある注目領域から、連結情報に基づき部分パターンを抽出する部分パターン抽出部と、
抽出された部分パターンの縦横成分に対してマスク処理を行って細線化してマスク処理画像を得、得られたマスク画像に対して隣接投影値を算出し、縦横両方向に対して所定の長さの線分又は直線の一部を矩形近似して線分を検出し、検出された線分のうち近隣の矩形線分同士を統合して長い直線を検出する直線検出部と、検出した縦横の直線の中で枠を構成する直線を決定し、上下左右の四辺を枠で囲まれた矩形範囲を左上から順番に抽出して直線を検出し、該検出した直線が枠の構成要素であるかどうか判断し、判断された枠で四方を囲まれた矩形範囲を抽出する判断部と、抽出された矩形範囲について、連結情報に基づき部分パターンを抽出し、抽出された部分パターンと予め登録されている網がけエレメントとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかチェックし、網がけエレメントと認識された部分パターンの密度が閾値以上ある場合には、前記判断部で抽出された矩形範囲を網がけ領域と判定して、網がけ領域を抽出する網がけ領域抽出部とを具備して構成されることを特徴としている。
【００１４】
この発明の構成によれば、表形式で表される図形中に含まれる網がけ領域の抽出を精度よく行なうことができる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を詳細に説明する。
図２は本発明を実施するシステムの第１の実施の形態例を示す図である。図において、１は原稿から連結パターンを抽出する連結パターン抽出部、２は該連結パターン抽出部１の出力を受けて、パターンの正規化を行なう正規化部、３は該正規化部２で正規化されたパターンから特徴パラメータを算出する特徴パラメータ算出部である。特徴パラメータとしては、例えば線密度や投影が用いられる。
【００１６】
４は特徴パラメータ算出部３で算出された特徴パラメータと、予め登録されている基準の網がけエレメントとのマッチングを行なうマッチング部である。１０は該マッチング部４の出力を受けて、網がけ領域を抽出する網がけ領域判定部である。該網がけ領域判定部１０は、前記マッチング部４の出力を受けてマッチング適合数を算出するマッチング適合数算出部５と、該マッチング適合数算出部５の出力を受けてそれが部分パターンの密度が閾値以上あるかどうかをチェックする閾値処理部６から構成されている。このように構成されたシステムの動作を説明すれば、以下の通りである。
【００１７】
先ず、連結パターン抽出部１は、ある注目領域に対して８連結でつながっているパターンをラベリングにより抽出する。図３は８連結の説明図である。注目画素１ａが図に示す▲１▼〜▲８▼までの８方向に連結しているパターンを抽出するものである。ラベリングとは、パターンに番号付けすることをいう。この時、連結パターン抽出部１は、各ラベル毎に外接矩形の情報も得ておく。外接矩形とは、連結パターンを囲む矩形をいう。
【００１８】
図４は外接矩形の説明図である。図において、１ｂが連結パターン、１ｃが連結パターン１ｂを囲むように形成される外接矩形である。
次に、正規化部２は、各ラベル毎に連結パターン抽出部１で抽出された連結パターンを特定のサイズに正規化を行なう。正規化を行なうのは、予め登録されている基準パターン（後述）とサイズを合わせる必要があるからである。特徴パラメータ算出部３は、正規化された連結パターンから特徴パラメータを算出する。特徴パラメータとは、例えば線密度や投影等をいう。このような特徴パラメータを用いることにより、特徴量として線密度又は投影を用いてマッチングを精度よく行なうことができる。なお、この特徴パラメータとして、文字認識用のそれとは別に高速処理が可能な特徴パラメータを用いることができる。これによれば、マッチング用に高速処理が可能な特徴パラメータを用いるので、網がけ領域の抽出処理速度を速めることができる。マッチング部４は、算出された特徴パラメータと、予め登録されている基準パラメータ（網がけエレメント）とのマッチング（相互比較）を行なう。
【００１９】
マッチング適合数算出部５は、マッチング処理で適合した候補数をカウントする。カウントされたマッチング適合数は、閾値処理部６に入る。該閾値処理部６は、マッチング処理で適合した候補数が閾値以上である場合、当該連結パターン領域は網がけ領域と判定する。
【００２０】
この実施の形態例によれば、連結情報に基づき抽出された部分パターンと基準パターンとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかをチェックすることにより、網がけ領域を精度よく抽出することができる。また、この発明の構成によれば、点以外のパターン又は大きなサイズの網がけ領域でも精度よく抽出することができる。
【００２１】
この場合において、サイズが大きいラベルの近傍にある小さなラベルは、網がけエレメントの候補から除外する処理を加える。例えば「か」のように、文字を構成する小さい点を網がけ領域から除外することにより、文字を構成するパターンを網がけ領域と認識するおそれがなくなる。
【００２２】
次に、網がけ領域抽出の第２の実施の形態例を説明する。先ず、連結パターン抽出部１は、ある注目領域に対して８連結でつながっているパターンをラベリングにより抽出する。次に、正規化部２は、各ラベル毎に連結パターン抽出部１で抽出された連結パターンを特定のサイズに正規化を行なう。特徴パラメータ算出部３は、得られた矩形情報から連結パターンの大きさが小さいものの密度を該当領域内で求めておく。この時に、文字成分に含まれる小さな部分パターンは含めないようにする。
【００２３】
マッチング部４は、算出された特徴パラメータと、予め登録されている基準パラメータ（網がけエレメント）とのマッチング（相互比較）を行なう。マッチング適合数算出部５は、マッチング処理で適合した候補数をカウントする。カウントされたマッチング適合数は、閾値処理部６に入る。該閾値処理部６は、マッチング処理で適合した候補数が閾値以上である場合、当該連結パターン領域は網がけ領域と判定する。
【００２４】
この実施の形態例によれば、文字の一部として除かれた小さい文字パターンが網がけ領域でないことを判定することができる。
次に、本発明の第３の実施の形態例について説明する。この実施の形態例では、連結パターン抽出部１で抽出した連結パターンに対して、特徴パラメータ等を算出することなく（途中の処理を飛ばし）、閾値処理部６が連結パターンの黒画素数（黒画素密度）をカウントする。そして、カウントした黒画素数（黒画素密度）が所定の閾値よりも大きいと即、網がけ領域と判定するものである。この方法は、黒画素の密度（数）で網がけ領域を判定するので、最も高速に網がけ領域を判定することができる。
【００２５】
図５は本発明を実施するシステムの第４の実施の形態例を示す図である。図２と同一のものは、同一の符号を付して示す。この実施の形態例は、表の枠内部を注目領域として、網がけされた枠を抽出するものである。ここでは、表形式について網がけ領域を抽出する場合について説明するが、本発明はこれに限るものではなく、広い意味での図形の中にある網がけ領域の抽出に適用することができる。
【００２６】
図において、１は連結パターンを抽出する連結パターン抽出部、７は連結パターン抽出部１で抽出された連結パターンに対してマスク処理を行なうマスク処理部、８は該マスク処理部７の出力から線分を検出する線分検出部、９は線分検出部８の出力から直線を検出する直線検出部である。
【００２７】
１１は直線検出部９の出力を受けて横枠を検出する横枠検出部、１２は直線検出部９の出力を受けて縦枠を検出する縦枠検出部、１３は該縦枠検出部１２の出力を受けて矩形を表現する矩形表現部、１４は該矩形表現部１３の出力を受けて入れ子（後述）を検出する入れ子処理部である。これら横枠検出部１１、縦枠検出部１２、矩形表現部１３及び入れ子処理部１４とで枠検出部２０を構成している。１５は入れ子処理部１４の出力を受けて網がけ領域を抽出する網がけ領域抽出部である。このように構成されたシステムの動作を説明すれば、以下の通りである。
【００２８】
連結パターン抽出部１では、８連結でつながっているパターンをラベリングにより抽出する。以下、このラベリング情報を基に表の枠を抽出する。また、ラベリングで得られた部分パターンのサイズが後で必要になるので、部分パターンを矩形近似し、矩形座標を処理中に算出しておくことが必要である。このようにして抽出された部分パターンの中で、一定以上の大きさをもつパターンを表の候補として抽出する。
【００２９】
マスク処理部７は、連結パターン抽出部１の出力を受けて以下の処理を行なう。画像から極端な斜め成分を省き、枠だけに存在する長い直線を抽出しやすくするため、縦横線分に対してマスク処理を行ない、細線化を行なう。
【００３０】
続く線分検出部８は、マスク処理部７の出力を受けて以下の処理を行なう。前記マスク処理画像に対して隣接投影値（投影値にその周囲の投影値を足しあわせ、その値を投影値とすることで周囲を大局的にとらえることを可能にするもの）を算出し、縦横両方向に対して、ある一定長さの線分或いは直線の一部を矩形近似して検出する。図６は線分検出の説明図であり、線分を矩形近似していることがわかる。
【００３１】
なお、該線分検出部８はマスク処理画像を使用するが、以下の処理には原画像を使用する。
直線検出部９は、前記線分検出部８で検出された矩形線分（矩形近似して検出した線分）のうち、近隣の矩形線分同士を統合して長い直線を検出し、検出した直線を矩形近似し、矩形情報を求める。図７は直線検出の説明図である。近隣の矩形線分同士を統合して１つの矩形線分としている。この直線検出部９の出力は枠検出部２０に入力される。
【００３２】
枠検出部２０は、検出した縦横の直線の中で枠を構成する直線を決定し、上下左右の四辺を枠で囲まれた矩形範囲を左上から順番に抽出する。これにより、枠の構造を表現する。なお、枠の内部が更に細かく分割されている状態を入れ子と呼ぶ。
【００３３】
先ず横枠検出部１１は、上部から順番にある規則に従って１行を構成する２本の横線の組を決定し、横枠とする。次に、縦枠検出部１２は、横枠検出部１１で検出した横枠を構成する組として抽出した横線２本によって作られる間隔、即ち１行毎に処理を行なう。そして、抽出した縦線の中で、横枠を構成する２本の直線に上下ともに達しているものを縦枠とする。
【００３４】
矩形表現部１３は、前述の処理で決定された横枠と縦枠とで四方を囲まれた矩形範囲を抽出する。入れ子処理部１４は、前述の処理で抽出した矩形範囲の内部が更に細かく分割されている場合に、入れ子処理を行なう。矩形範囲の全体が細かく分割されている場合にはその全体を、その一部分だけが細かく分割されている場合にはその一部を新たに表と見なし、同様の処理を行なう。
【００３５】
以上の処理を繰り返すことで、表の矩形表現を行なうことができる。
網がけ領域抽出部１５は、前述までの処理で抽出した矩形範囲（セル）のそれぞれを注目領域として、第１〜第３の実施の形態例で説明した網がけ領域抽出方法をそれぞれ単独、或いは組み合わせて用いることにより、網がけ領域の抽出を行なう。
【００３６】
この実施の形態例によれば、表形式で表される図形中に含まれる網がけ領域の抽出を精度よく行なうことができる。
【００３７】
【発明の効果】
以上、詳細に説明したように、本発明によれば、
（１）連結情報に基づき部分パターンを抽出し（ステップ１）、抽出した部分パターンと予め登録されている網がけエレメントとのマッチングをとり（ステップ２）、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかチェックし（ステップ３）、網がけエレメントと認識された部分パターンの密度が閾値以上ある場合には当該領域を網がけ領域と判定する（ステップ４）
ことにより、
この発明の構成によれば、連結情報に基づき抽出された部分パターンと基準パターンとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかをチェックし、網がけ領域を精度よく抽出することができる。また、この発明の構成によれば、点以外のパターン又は大きなサイズの網がけ領域でも精度よく抽出することができる。
【００３８】
（２）この場合において、大きな部分パターンの近くに小さな部分パターンがある場合には、その小さい部分パターンを網がけエレメントの候補から除外することにより、
例えば「か」のように、文字を構成する小さい点等のパターンを網がけ領域と認識するおそれがなくなる。
【００３９】
（３）また、前記マッチング用に文字認識用とは別に高速処理が可能な特徴パラメータを用いることにより、
マッチング用に高速処理が可能な特徴パラメータを用いることにより、網がけ領域の抽出処理速度を速めることができる。
【００４０】
（４）また、連結情報に基づき部分パターンを抽出する部分パターン抽出部と、抽出された部分パターンを正規化する正規化部と、該正規化部の出力を受けて特徴パラメータを算出する特徴パラメータ算出部と、算出した特徴パラメータと予め登録されている網がけエレメントとのマッチングをとるマッチング部と、該マッチング部の出力を受けて網がけエレメントと認識されたパターンの密度が閾値以上あるかどうかチェックし、閾値以上ある場合に当該領域は網がけ領域であると判断する網がけ領域判定部とを具備することにより、
連結情報に基づき抽出された部分パターンと基準パターンとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかをチェックし、網がけ領域を精度よく抽出することができる。また、この発明の構成によれば、点以外のパターン又は大きなサイズの網がけ領域でも精度よく抽出することができる。
【００４１】
（５）更に、ある注目領域から、連結情報に基づき部分パターンを抽出する部分パターン抽出部と、抽出された部分パターンの縦横成分に対してマスク処理を行って細線化してマスク処理画像を得、得られたマスク画像に対して隣接投影値を算出し、縦横両方向に対して所定の長さの線分又は直線の一部を矩形近似して線分を検出し、検出された線分のうち近隣の矩形線分同士を統合して長い直線を検出する直線検出部と、検出した縦横の直線の中で枠を構成する直線を決定し、上下左右の四辺を枠で囲まれた矩形範囲を左上から順番に抽出して直線を検出し、該検出した直線が枠の構成要素であるかどうか判断し、判断された枠で四方を囲まれた矩形範囲を抽出する判断部と、抽出された矩形範囲について、連結情報に基づき部分パターンを抽出し、抽出された部分パターンと予め登録されている網がけエレメントとのマッチングをとり、網がけエレメントと認識された部分パターンの密度が閾値以上あるかどうかチェックし、網がけエレメントと認識された部分パターンの密度が閾値以上ある場合には、前記判断部で抽出された矩形範囲を網がけ領域と判定して、網がけ領域を抽出する網がけ領域抽出部とを具備することにより、
表形式で表される図形中に含まれる網がけ領域の抽出を精度よく行なうことができる。
【００４２】
このように、本発明によれば、文字パターンの背景に網がけされた網がけ領域を精度よく抽出することができる網がけ領域抽出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明方法の原理を示すフローチャートである。
【図２】本発明を実施するシステムの第１の実施の形態例を示す図である。
【図３】８連結の説明図である。
【図４】外接矩形の説明図である。
【図５】本発明を実施するシステムの第４の実施の形態例を示すブロック図である。
【図６】線分検出の説明図である。
【図７】直線検出の説明図である。
【図８】従来対象としていた網がけ領域の説明図である。
【図９】従来抽出できなかった網がけ領域の説明図である。
【符号の説明】
１  連結パターン抽出部
２  正規化部
３  特徴パラメータ算出部
４  マッチング部
５  マッチング適合数算出部
６  閾値処理部
１０  網がけ領域判定部
【図１】
0003936039.tif 000002
【図２】
0003936039.tif 000003
【図３】
0003936039.tif 000004
【図４】
0003936039.tif 000005
【図５】
0003936039.tif 000006
【図６】
0003936039.tif 000007
【図７】
0003936039.tif 000008
【図８】
0003936039.tif 000009
【図９】
0003936039.tif 000010