(57)【特許請求の範囲】
【請求項１】
網点によって網掛けされた画像から網点による網掛けを取り除く網点除去方法であって、
処理対象の領域の黒画素の連結パターンの密度から網掛け領域を特定する網掛け領域特定ステップと、
該網掛け領域に含まれる黒画素の連結パターンの縦横サイズの平均値と標準偏差を算出し、（該平均値＋該標準偏差×所定の定数）より小さいサイズの連結パターンを除去すると共に、（該連結パターンの輪郭長／該連結パターンに含まれる黒画素数）が所定値以上の連結パターンを取り除く連結パターン除去ステップと、
を備えることを特徴とする網点除去方法。
【請求項２】
前記輪郭長は、連結パターンの外接矩形の辺の長さを利用することを特徴とする請求項１に記載の網点除去方法。
【請求項３】
前記網掛け領域に含まれる網点以外の画像に付いている突起を取り除く突起除去ステップを更に備えることを特徴とする請求項１に記載の網点除去方法。
【請求項４】
前記突起除去ステップは、前記連結パターン除去ステップにおいて除去された連結パターンのサイズ以下のサイズを有する突起を除去することを特徴とする請求項３に記載の網点除去方法。
【請求項５】
前記突起除去ステップは、二値画像を多値画像に変換し、前記網掛け領域にぼかし処理を施し、更に、ぼかし処理後の画像に対して２値化を行うことを特徴とする請求項３に記載の網点除去方法。
【請求項６】
前記連結パターン除去ステップにおいては、連結パターンのサイズの平均値を標準偏差から決定された閾値に基づいて、処理を行うことを特徴とする請求項１に記載の網点除去方法。
【請求項７】
網点により網掛けされた画像から網点による網掛けを取り除く網点除去システムであって、
処理対象の領域の黒画素の連結パターンの密度から網掛け領域を特定する網掛け領域特定手段と、
該網掛け領域に含まれる黒画素の連結パターンの縦横サイズの平均値と標準偏差を算出し、（該平均値＋該標準偏差×所定の定数）より小さいサイズの連結パターンを除去すると共に、（該連結パターンの輪郭長／該連結パターンに含まれる黒画素数）が所定値以上の連結パターンを取り除く連結パターン除去手段と、
を備えることを特徴とする網点除去システム。
【請求項８】
網点により網掛けされた画像から網点による網掛けを取り除く網点除去方法であって、
処理対象の領域の黒画素の連結パターンの密度から網掛け領域を特定する網掛け領域特定ステップと、
該網掛け領域に含まれる黒画素の連結パターンの縦横サイズの平均値と標準偏差を算出し、（該平均値＋該標準偏差×所定の定数）より小さいサイズの連結パターンを除去すると共に、（該連結パターンの輪郭長／該連結パターンに含まれる黒画素数）が所定値以上の連結パターンを取り除く連結パターン除去ステップと、
を備えることを特徴とする網点除去方法をコンピュータに実現させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字認識装置などにおける、網点のある画像から正確に文字を抽出するための網点除去方法及びシステムに関する。
【０００２】
【従来の技術】
以下の説明においては、文書の文字認識に関する説明をするが、一般に以下に記載する技術は、文書だけではなく、図面認識における文字認識などのように、広い意味での網点のある画像からの文字抽出を行う技術に関するものであって、網掛け文字から文字を抽出する技術に限定されない。
【０００３】
近年、スキャナ等の入力機器の普及に伴って、画像を取り扱う機会が増加しており、それに伴って、文字認識装置（またはソフト）ＯＣＲの需要が増加している。
【０００４】
以下に、従来技術における網点の除去方法について述べる。
従来法１）網点によって網掛けされた網点領域（以下同じ）を含む画像を文字認識する場合には、従来は網点領域として、パターンの密度の高い部分を検出し、その領域を網点領域とする。しかし、網点を含む領域の文字は正確に認識できないため、網点領域は文字認識対象外として文字認識は行われない。
従来法２）網点密度等により網点が存在すると判断された領域に対して、ある一定値以下のサイズを持つパターンを消去し、その結果を文字認識を行う。
【０００５】
【発明が解決しようとする課題】
従来法１においては、文字認識を全く行うことができない。また、従来法２においては、一定サイズのパターンを消去しているため、網点のサイズに変動があった場合には網点を除去することができない。また、網点どうしが接触し、縦横サイズが大きくなった場合には網点を除去することができない。また、網点を除去できた場合にも、網点に文字が接触することによりおこる、文字の変形により正確に文字認識ができない。そのため、従来法においては、予め設定されている閾値が、対象の網点サイズに適合し、網点の文字の接触による文字の変形が、文字認識に影響の無い場合に限り処理が可能となり、それ以外の場合には処理できないという問題があった。
【０００６】
本発明の課題は、文字認識に適した文字を抽出することができる網点除去方法及びシステムを提供することである。
【０００７】
【課題を解決するための手段】
本発明の網点除去方法は、網点により網掛けされた画像から網点による網掛けを取り除く網点除去方法であって、処理対象の領域の黒画素の連結パターンの密度から網掛け領域を特定する網掛け領域特定ステップと、該網掛け領域に含まれる黒画素の連結パターンのサイズの統計から所定のサイズ以下の連結パターンを取り除く連結パターン除去ステップとを備えることを特徴とする。
【０００８】
本発明の網点除去システムは、網点により網掛けされた画像から網点による網掛けを取り除く網点除去システムであって、処理対象の領域の黒画素の連結パターンの密度から網掛け領域を特定する網掛け領域特定手段と、該網掛け領域に含まれる黒画素の連結パターンのサイズの統計から所定のサイズ以下の連結パターンを取り除く連結パターン除去手段とを備えることを特徴とする。
【０００９】
本発明によれば、網点により網掛けされた領域にある文字などの有意の画像を、網点を効率的かつ有効に取り除くことによって、抽出することができる。従って、文字を抽出した場合には、より精度の良い文字認識結果を得ることができる。
【００１０】
【発明の実施の形態】
本発明の実施形態においては、文書中からパターンの密度を用いて網点領域を検出し、網点除去、文字に接触した網点による突起の除去の順番で処理を行う。網点領域を抽出した後、網点領域内に存在するパターンの縦横サイズの平均値及び、標準偏差を算出する。網点領域の点パターンの数は、文字パターンと比較して極めて多いため、平均値、標準偏差の値は、点パターンの大きさ、及び、大きさのばらつきに影響を受ける。標準偏差が小さい場合には、点パターンの大きさのばらつきが小さく、大きさがほぼ一定しているとみなし、平均値に小さい値を加えたものを文字パターンと点パターンの大きさを分ける閾値として用い、標準偏差が大きい場合には、点パターンの大きさのばらつきが大きいとして、大きい値を平均値に加えたものを閾値として用いる。求められた閾値より小さいものを網点パターンとして除去を行う。
【００１１】
または、網点領域と判定された領域内のすべてのパターンのサイズからヒストグラムをつくり、ヒストグラムの谷部分を閾値として設定し、閾値より小さいパターンを網点として除去することでも可能である。
【００１２】
また、パターンの縦横サイズは大きい場合であっても、他の文字パターンと比較してパターンが細かったり、また黒画素が固まって存在せず、ばらけているような場合は、網点同士の接触した結果のノイズである。そのような網点を除去するために、個々のパターンの輪郭長／パターンの黒画素数がある一定以上の値をとる場合には、文字パターンではないと判断し、除去を行う。
【００１３】
次に、文字に接触した網点による突起の除去を行う。網点を除去した文字パターンを二値画像から多値画像へ変換し、その画像に対してぼかし処理を行う。画像をぼかすことで細かい突起部分の変動を吸収し、その後、再度二値化を行うことで突起部分の除去を行う。
【００１４】
または、除去された網点サイズから、除去する突起の幅、長さを算出し、それに従って、除去を行う。
例として、罫線による表構造を持つ文書中のセル内に網点を持つ場合を例示して示す。文書中から罫線で囲まれたセル領域を抽出することが可能で有れば、如何なる方法でもかまわないが、一例として文書から罫線を抽出し、罫線で４方を囲まれたセルを抽出する方法を示す。
【００１５】
図１は、罫線による表構造を有する文書の例を示す図である。
同図では、表の中の「住所」と書かれている部分に網掛けがされており、この網掛けの中から「住所」という文字を抽出する必要がある。この場合、「住所」が含まれるセルを１つの処理単位として設定する。なお、ここでは、表構造の文書についてセルを１つの処理単位とするとしたが、表構造以外の文書では、任意の処理単位を決定して処理して良い。
【００１６】
入力画像
入力する画像は、（極端な傾きのない）２値画像であるとする。ここで、「極端な傾きの無い」という要件は、表構造の文書において、表の存在とセルを特定することが容易であるようにするための要件であり、本実施形態の主な処理とは直接は関係がない。従って、一般に入力する画像は、単なる２値画像であってよい。
【００１７】
連結パターン抽出
複数の枠が配置される位置の相対的な関係に依存することなく、各パターンに安定にピックアップするために、連結パターン抽出部では、８連結でつながっているパターンをラベリングにより抽出する（特願平７−２０３２５９号参照）。
マスク処理
マスク処理は画像から極端な斜め成分を省き、枠だけに存在する長い直線を抽出しやすくするために、縦横方向の成分の細線化を行う。直線成分候補を正確に抽出するために、処理は１００ｄｐｉ相当の低解像度画像を用いる（特願平７−２０３２５９号参照）。
【００１８】
線分抽出
マスク処理画像に対して隣接投影値（隣接投影：ある行または列の投影値に、その周囲の行または列の投影値を足し合わせ、その値を投影値とする投影法。周囲を大局的にとらえることが可能である（特願平５−１０３２５７号参照）。縦横方向に関して、直線あるいは直線の一部を矩形近似して検出する。縦横両方向同様の処理を行う。本処理においては、マスク処理の結果画像を使用する。
【００１９】
直線抽出
線分抽出部において抽出された矩形近似された線分のうち、近隣の線分同士を統合して長い直線を検出する。検出された直線は矩形近似を行う（特願平７−２０３２５９号参照）。
【００２０】
セル抽出
前記の処理で罫線候補と判断されたものを用いて、セルの抽出を行う。直線で４方を囲まれた領域であるセルの抽出を行う方法は、如何なる方法でもかまわない（特願平７−２０３２５９号参照）。
【００２１】
網点除去／網点による文字の突起除去
この処理が本実施形態の主な処理である。まず、セル抽出した後、セル毎に網点領域の判定、網点除去、網点による文字の突起除去を行う。このとき、連結パターンを抽出することで、個々のパターンのサイズ、個数を算出するが、連結パターンとして４連結でつながっている部分を抽出する。４連結でつながった部分を抽出することで、網点どうしが斜めに接触した場合であっても、まとめて１つのパターンとすることなく、別の網点であるとして認識できる。
【００２２】
セル抽出した後、セル毎に網点領域を含むか否かの判定を行う。セル内に含まれる一定サイズ以下のパターン数の密度が一定以上の値である場合には、網点領域を含むセルと判断し、一定以下の場合には文字パターンのみのセル領域であると判断する。パターン数の密度は、（パターンの数／領域の面積）で演算する。
【００２３】
網点を含むセルであると判断された場合には、セル毎に網点除去を行う。
まず、セル内に存在するパターンの縦横サイズの平均値及び、標準偏差を算出する。網点領域内の点パターンの数は文字パターンと比較して極めて多いため、平均値、標準偏差の値は、点パターンの大きさ、及び大きさのバラツキに影響を受ける。標準偏差が小さい場合には、点パターンの大きさのバラツキが小さく大きさがほぼ一定しているとみなし、網点の大きさは平均値からの変動が少ないものとして、平均値に小さい値を加えたものをも文字パターンと点パターンの大きさを分ける閾値とし、標準偏差が大きい場合には点パターンの大きさのばらつきは大きいとして、網点の大きさは平均値からの変動が大きい場合があるとし、大きい値を平均値に加えたものを閾値とする。閾値＝平均値＋標準偏差＊αと書くことができ、αは一定値とする。求められた閾値より小さいサイズのパターンを網点パターンとして除去を行う。
【００２４】
または、網点領域と判定された領域内のすべてのパターンのサイズからヒストグラムをつくり、ヒストグラムの谷部分を閾値として設定し、閾値より小さいパターンを網点として除去する方法でも可能である。ヒストグラムから閾値を求める方法としては、濃淡画像を二値化する際に用いられる大津の二値化の方式と同様な処理を行うことで可能となる。
【００２５】
大津の二値化については以下の文献を参照されたい。
N. Otsu:" A Threshold selection methodfrom gray level histograms," IEEE trans. Systems, Man, and Cybernetics,Vol. 9, No. 1, pp.62-66,1979.
パターンの縦横サイズは、大きい場合であっても、文字パターンと比較してパターンが細かったり、また黒画素が固まって存在せず、ばらけているような場合は、網点どうしの接触した結果であり除去対象である。そのような網点を除去するために、個々のパターンの（輪郭長／パターンの黒画素数）がある一定以上の値をとる場合には、文字パターンではないと判断し除去を行う。（輪郭長／パターンの黒画素数）が大きいと言うことは、パターンの幅が狭いということと等しくなり、値が小さい場合には、パターンの幅が大きいことを示す。
【００２６】
図２は、パターンの大きさと輪郭長の違いの例を示す図である。
左側のパターンと右側のパターンは同じ黒画素数（同じパターンの大きさ）で構成されている。しかし、黒画素が固まって存在する左図の方が右図より輪郭が短くなることが分かる。文字パターンの場合は、網点パターンと比較してパターンの幅が大きいため、（輪郭長／パターンの黒画素数）の値が大きくなり、判別を行うことが可能となる。また、輪郭長の代わりに、パターンの外接矩形の辺の長さを使用することも可能である。また、網点以外のノイズに関しても除去することが可能である。
【００２７】
文字に接触した網点は、上記の網点除去では除去することができず、文字パターンは網点による突起によって変形している。そのままの画像を文字認識を行うと、文字の変形により認識率が低下する。そこで、突起の除去を行い、文字パターンを整形する。
【００２８】
文字の突起は文字パターンの本来の形状と比較して小さい変動である。そのため、突起による変動を吸収することができる程度に画像をぼかすことで突起の除去を行う。まず、対象領域を二値画像から多値画像へ変換し、ガウシアンフィルタなどのぼかしフィルタをかけることで画像をぼかす処理を行う。その後、二値化処理を行うことで突起の無いパターンを得る。
【００２９】
または、除去した網点サイズから、文字の突起の幅、長さを推測し、推測されたサイズの突起の除去を全て除去する処理を行う。
図３は、ガウンシアンフィルタの動作の概略を説明する図である。
【００３０】
同図右に示されているような形の黒画素のパターンがあったとすると、ガウシアンフィルタは、パターンに含まれている各画素毎に、各画素の近傍にわたって、濃度の平均値を取り、この値を当該画素の値とする。したがって、パターンの周辺領域にある画素の値は、パターンの黒画素の値と白紙部分の画素値との平均となるので、値が小さくなり、黒よりも薄い、灰色となる。このような処理を繰り返すことにより、同図左に示されるように、パターンの内部は黒いが、周辺部が灰色にぼけた画像が得られる。
【００３１】
このような処理を抽出すべき文字に施すことにより、文字の周辺に付いた突起の形状及び色がぼやかされる。従って、文字を再び２値化する場合に、突起が及ぼす影響を小さくすることができる。すなわち、綺麗な文字が２値化の結果得られることになる。
【００３２】
文字認識
最後に、必要な場合には、セル毎に網点除去及び、網点による文字の突起除去を行った画像を対象に文字認識を行う。文字認識は、必ずしも本実施形態に必須の処理ではない。すなわち、文字認識を行わなくても、網点を除去し、綺麗な文字抽出ができた時点で、文字データとして格納しておけば、後に、印刷などをした場合にも、綺麗な文字が得られると言う効果があるからである。
【００３３】
図４は、本実施形態と従来技術の網点除去能力の差を示す図である。
図４（ａ）は、原画像であり、「住」という文字に網掛けがなされている。これに、一定サイズ以下の小さい網点を除去する方法を採用した従来技術によって、網点を除去すると、図４（ｂ）のようになる。図４（ｂ）から明らかなように、網点が十分には除去されておらず、文字認識などを使用とする場合にも、必ずしも良い結果がえられないと予想される。これに対し、上記で説明した本実施形態によれば、「住」という文字の周りの網点が完全に除去されており、文字認識する場合にも良い結果が得られると予想される。
【００３４】
図５は、本実施形態の処理の流れを示すフローチャートである。
まず、ステップＳ１において、入力画像を入力する。ステップＳ２において、入力画像から連結パターンを抽出する。そして、ステップＳ３でマスク処理し、ステップＳ４で、線分抽出、ステップＳ５において、直線抽出、ステップＳ６において、セル抽出を行う。そして、ステップＳ７において、処理対象セル選択を行う。処理対象セルが無いと判断された場合には、処理を終了する。
【００３５】
処理対象セルが決定されると、ステップＳ８において、セル内連結パターンを抽出する。ここでは、４連結成分を抽出する。そして、ステップＳ９において、（連結パターンの内、一定以下のサイズを持つパターン数／セル面積）が一定閾値より大きいか否かを判定し、判断がＮＯである場合には、ステップＳ７に戻る。ステップＳ９の判断がＹＥＳの場合には、網点セルであると判断して、ステップＳ１０に進む。
【００３６】
ステップＳ１０においては、連結パターンの縦横サイズの平均値、標準偏差の算出を行う。ステップＳ１１においては、平均値＋標準偏差＊α（αは定数）より、小さいサイズのパターンを除去する。ここで、ステップＳ１０においては、パターンのサイズから作られたヒストグラムの谷部分を閾値として設定し、それより小さいサイズのパターンを除去するようにしても良い。
【００３７】
そして、ステップＳ１２においては、連結パターンの輪郭長／パターンの黒画素数が一定値以上のパターンを除去する。ステップＳ１１とステップＳ１２の処理により、多くの網点が除去される。ステップＳ１３においては、除去した網点サイズを突起サイズとしてもつ突起をパターンから除去する。これにより、文字パターンから突起が除去される。ただし、ステップＳ１３においては、ぼかし処理及び、再２値化によって突起を除去するようにしてもよい。
【００３８】
そして、ステップＳ１４において文字認識を行い、ステップＳ１５において、次のセルを選択し、未処理セルがある場合には、ステップＳ７に戻り、全てのセルが処理済みである場合には、処理を終了する。
【００３９】
前述したように、ステップＳ１４の文字認識処理は本実施形態においては、必須処理ではない。
図６は、本実施形態の網点除去方法を適用した場合の網点の除去の様子を示す図である。
【００４０】
まず、原画像に対して、パターンのサイズの平均（ｘ軸、ｙ軸を適当に定めた場合のｘ軸方向及びｙ軸方向の平均の大きさ、ｓｉｚｅｘ ａｖｅ、ｓｉｚｅｙ ａｖｅ）及び、標準偏差（ｘ軸方向及びｙ軸方向の標準偏差、ｈｘ、ｈｙ）を求める。そして、平均値及び標準偏差から閾値（ｘ軸、ｙ軸方向の閾値、ｔｈｘ＝ｓｉｚｅｘ ａｖｅ＋ｈｘ、ｔｈｙ＝ｓｉｚｅｙ ａｖｅ＋ｈｙ）を求める。そして、それぞれのパターンの縦横長さが閾値以下である場合（ｓｉｚｅｘ＜ｔｈｘ、かつ、ｓｉｚｅｙ＜ｔｈｙ）となるを網点として除去する。この処理を施した後の画像が図６の網点除去１の図である。
【００４１】
次に、除去されなかったパターンについて、（輪郭長／黒画素数）が一定以上のパターンを除去する。これにより得られる画像が図６の網点除去２の図である。そして、最後に、除去した網点サイズを用いて突起サイズを推定し（または、ぼかし処理により）、突起除去を行う。これにより得られる画像が図６の突起除去の図である。
【００４２】
図６から分かるように、本実施形態の網点除去を完全に行うことにより、網点がほとんど除去され、文字認識に適している文字が抽出される。
図７は、本実施形態をプログラムで実現する場合のプログラムを実行するコンピュータのハードウェア環境を示す図である。
【００４３】
ＣＰＵ１０は、バス１６に接続されており、ＲＯＭ１１、ＲＡＭ１２からプログラムを読み取って、実行する。プログラムは、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤなどの可搬記録媒体１９あるいはハードディスクなどの記憶装置１７に通常格納されている。読み取り装置１８を使って、可搬記録媒体１９から読み取られたプログラム、あるいは、記憶装置１７から読み取られたプログラムは、ＲＡＭ１２に展開されてＣＰＵ１０によって実行される。
【００４４】
入出力装置２０は、バス１６を介してユーザの指示をＣＰＵ１０に伝えたり、ＣＰＵ１０の演算結果をユーザに提示したりするためのものであり、ディスプレイ、キーボード、マウス、テンプレートなどからなる。
【００４５】
通信インターフェース１３は、ネットワーク１４を介して、情報提供者１５のデータベースにアクセスし、当該プログラムをダウンロードしてＣＰＵ１０が実行可能とすることができる。あるいは、情報提供者１５に接続したまま、ネットワーク環境下で、当該プログラムを実行することが可能である。
【００４６】
以上、本発明の実施形態によれば、白黒二値画像から網点パターンを除去する方式において、パターンの密度により網点の存在する領域を抽出し、小さいパターンを除去する手段として、個々のパターンの縦横サイズを算出し、閾値より小さいサイズを持つパターンを消去することで、網点サイズが画像毎に変動がある場合でも正確に網点の除去を行うことが可能となる。
【００４７】
網点パターンを除去する手段について、個々のパターンの輪郭長／パターンの黒画素数がある一定以上の値をとる場合んは、文字パターンではないと判断し、除去を行う。または、パターンの輪郭長の代わりにパターンの外接矩形サイズを用いることで、網点同士が接触し、外接矩形サイズが大きくなった場合や、文字パターンと比較して細かいノイズパターンを除去することが可能となる。
【００４８】
網点パターンを除去する手段について、網点領域と判定された領域内のすべてのパターンのサイズからヒストグラムをつくり、ヒストグラムの谷部分を閾値として設定し、閾値より小さいパターンを網点として除去することで、網点サイズが画像毎に変動がある場合でも正確に網点の除去を行うことが可能となる。
【００４９】
文字に接触した網点による文字の突起を除去する手段について、白黒二値画像を多値画像に変換し、文字パターンをぼかしフィルタによりぼかし処理を行い、ぼかし画像に対して再度二値化を行うことで文字突起を除去することで、文字認識への悪影響を削減し、認識精度を向上させることができる。
【００５０】
文字に接触した網点による文字の突起を除去する手段について、除去した網点サイズから突起サイズを推定し、推定された幅、長さに従って、パターンから突起状の部分を除去することで、文字認識への悪影響を削減し、認識精度を向上させることができる。
【００５１】
【発明の効果】
本発明によれば、網点を効果的に除去し、効率的にな文字認識に耐える文字の抽出を行うことができる。
【図面の簡単な説明】
【図１】罫線による表構造を有する文書の例を示す図である。
【図２】パターンの大きさと輪郭長の違いの例を示す図である。
【図３】ガウンシアンフィルタの動作の概略を説明する図である。
【図４】本実施形態と従来技術の網点除去能力の差を示す図である。
【図５】本実施形態の処理の流れを示すフローチャートである。
【図６】本実施形態の網点除去方法を適用した場合の網点の除去の様子を示す図である。
【図７】本実施形態をプログラムで実現する場合のプログラムを実行するコンピュータのハードウェア環境を示す図である。
【符号の説明】
１０      ＣＰＵ
１１      ＲＯＭ
１２      ＲＡＭ
１３      通信インターフェース
１４      ネットワーク
１５      情報提供者
１６      バス
１７      記憶装置
１８      読み取り装置
１９      可搬記録媒体
２０      入出力装置
【図１】
0004049560.tif 000002
【図２】
0004049560.tif 000003
【図３】
0004049560.tif 000004
【図４】
0004049560.tif 000005
【図５】
0004049560.tif 000006
【図６】
0004049560.tif 000007
【図７】
0004049560.tif 000008