(57)【特許請求の範囲】
【請求項１】
グレースケール画像を第１の２値画像と第２の２値画像とに変換する段階と；
前記第１の２値画像と前記第２の２値画像とを比較して、前記第１の２値画像と前記第２の２値画像との差を示すマップを生成する段階と；
前記マップの垂直方向プロファイルに基づいて、該垂直方向プロファイル内の複数のピークを検出する段階と；
検出された前記複数のピークに基づいて、前記マップに垂直方向に配置された複数のパターンの各領域を位置づける段階と；
前記マップ内の垂直方向に配置された前記複数のパターンに基づいて、前記第１の２値画像から各画素を反転させる段階と；
を備える画像処理方法であって、
前記第１の２値画像及び前記第２の２値画像のうち、いずれか一方が通常のコントラストパラメータを有し、他方が低コントラストパラメータを有していることを特徴とする画像処理方法。
【請求項２】
前記変換する段階は、エッジ基準画像しきい値処理を前記グレースケール画像に作用させ、該グレースケール画像を前記第１の２値画像に変換する段階と；
２度目の前記エッジ基準画像しきい値処理を前記グレースケール画像に作用させ、該グレースケール画像を前記第２の２値画像に変換する段階と；
を備えることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記比較する段階は、
前記第１の２値画像と前記第２の２値画像とを画素毎に比較する段階と；
前記マップを生成するために、比較された前記画素間に差がある場合には画素を黒画素と定め、かつ比較された前記画素間に差がない場合には画素を白画素と定める段階と；
を備えることを特徴とする請求項１記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オリジナルの文書を走査することにより生成される画像上における複数のラインのような垂直方向のアーティファクトを画像情報を損失することなく除去する画像処理システムに関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】
予期しない垂直方向の黒色パターン（すなわち、複数のライン、複数のドット、及び複数のダッシュ等といった各アーティファクト）は、既成のペーパースキャナにより生成された２値化文書画像内にて通常見られる画像アーティファクトである。垂直方向の各黒色パターンはオリジナルの文書画像の一部ではない。しかしながら、これらのパターンは、発光源と走査されるペーパー文書との間で光を遮る多数の塵や埃のために生じるものである。例えば、スキャナの発光経路内における透明な画像ガイド上に付着するような多数の塵や埃が、スキャナを介して移動する文書上にて暗い複数のラインとなって現れる。文書がＣＣＤ素子により電子的に捕捉された場合には、上記暗いラインがディジタル文書画像内に現れることになる。グレースケール画像内の垂直方向の暗い複数のラインは、画像内の一部として不明確に扱われる。適応しきい値処理をグレースケール画像に対して作用させた後に、影のついた複数のラインが２値化画像内で黒色ラインとして現れる。
【０００３】
上記問題点に対する現時点での解決策の一つは、透明な各画像ガイドを掃除することによって、発光経路から塵や埃を日常的に除去することである。しかしながら、この解決策は、既成のスキャナ内で望ましくないスキャナ作動の中断を必要とする。
【０００４】
本発明の目的は、垂直方向に並んだ各パターン（すなわち、スキャナ内の汚れた画像ガイドにより生じた各アーティファクト）を特定し、かつ走査した文書の最終画像を生成する前に、これら垂直方向に並んだパターンを削除するディジタル画像処理方法を提供することである。垂直方向に並んだ各パターンは、複数のライン、ダッシュ、及びドット等の形態となりうる。
【０００５】
【課題を解決するための手段】
本発明は、（１）それぞれ異なるコントラストパラメータ設定により、エッジ基準適応しきい値処理（edge-based adaptive thresholding method）を２度作用させ、グレースケール画像といった画像を２値化画像に変換する段階と；（２）２つの２値画像の差のマップを生成する段階と；（３）前記マップの垂直方向のプロファイルを投影する段階と；（４）前記垂直方向の投影プロファイルから複数の局所的ピーク（すなわち、複数の垂直方向のライン、ダッシュ、ドット等）を検出する段階と；（５）検出された前記各局所的ピークに基づくマップに、前記垂直方向のライン、ダッシュ、ドット等の各領域を位置づける段階と；（６）前記マップの前記複数の垂直方向のライン、ダッシュ、ドット等に基づく各２値画像から複数の画素を反転させる段階と；を有するディジタル画像処理方法を提供するものである。
【０００６】
本発明の方法は、ラスター走査方式でＣＣＤアレイにより文書画像を捕捉する段階と；通常のコントラスト設定によりエッジ基準適応しきい値処理技法［１］を作用させての全詳細画像情報を抽出し、かつ前記生成した２値画像（Ｂ１と称する）を格納する段階と；高コントラストの全詳細画像（Ｂ２と称する）のみを抽出する低コントラスト設定により同じエッジ基準適応しきい値処理技法を作用させる段階と；Ｂ１とＢ２との差をラベル付けし、かつこの差のマップ（Ｄと称する）を格納する段階と；マップ（Ｄ）の垂直方向プロファイルを投影する段階と；垂直方向の投影プロファイル内の局所的な複数のピークを検出することにより、垂直方向に配列された各パターンを位置づけ、かつ垂直方向に配置された各パターンのマップ（Ｖと称する）を生成する段階と；２値画像（Ｂ１）と垂直方向に配置された各パターンのマップ（Ｖ）とを読み出す段階と；Ｖマップ内の黒画素位置に対応するＢ１画像内の各画素を反転させる段階と；を有している。
【０００７】
本発明は、一つの画像を第１の２値画像と第２の２値画像とに変換する段階と；前記第１の２値画像と前記第２の２値画像とを比較する段階、かつ前記第１の２値画像と前記第２の２値画像との差を示すマップを生成する段階と；前記マップの垂直方向のプロファイルを投影し、かつ該垂直方向のプロファイル内の複数のピークを検出する段階と；検出された前記各ピークに基づくマップ内に、垂直方向に配置された各パターンの領域を位置づける段階と；前記マップ内の垂直方向に配置された各パターンに基づく前記第１の２値画像から複数の画素を反転する段階と；を備える画像処理方法を提供する。
【０００８】
さらに、本発明は、画像を捕捉する段階と；前記画像から画像情報を抽出し、かつ第１の２値画像として生成画像を格納する段階と；前記画像から高コントラスト詳細情報を抽出し、かつ第２の２値画像として生成画像を格納する段階と；前記第１の２値画像と前記第２の２値画像とを比較し、かつ前記第１の２値画像と前記第２の２値画像との差を示すビットマップを生成する段階と；前記ビットマップの垂直方向プロファイルを投影する段階と；前記垂直方向プロファイル内の局所的な各ピークを検出することにより、前記ビットマップに垂直方向に配置された各パターンの各領域を位置づけ、垂直方向に配置された各パターンのマップを提供する段階と；前記マップの垂直方向に配列された各パターンに基づく第１の２値画像から複数の画素を反転させる段階と；を備える画像処理方法に関するものである。
【０００９】
本発明は、さらに、一つの画像を第１の２値画像と第２の２値画像とに変換する段階と；前記第１の２値画像と前記第２の２値画像との差を示すマップを生成する段階と；前記マップ内の垂直方向に配置された各パターンに基づく前記第１の２値画像から複数の画素を反転させる段階と；を備える画像処理方法に関するものである。
【００１０】
さらに、本発明は、画像を捕捉する画像捕捉部と；前記捕捉した画像を（前記捕捉した画像を示す）ディジタル画像情報に変換する変換部と；前記ディジタル情報を受け取り、かつ前記捕捉した画像を第１の２値画像及び第２の２値画像に変換する処理部と；を備える画像捕捉組立体に関するものである。この処理部は、前記第１の２値画像と前記第２の２値画像とを比較して第１の２値画像と第２の２値画像との差を示すマップを生成し、かつマップ内の垂直方向に配置された各パターンに基づいて第１の２値画像から複数の画素を反転させるものである。
【００１１】
本発明は、あらゆる実社会の文書は意味のある低コントラストの「ページ長さにわたる」複数の垂直方向ラインを有しないという一般的な傾向を利用している。通常、変更可能な日付（手書き、タイプライタ等）のみ低コントラストとなり、一方、ライン及び図形は（高コントラストな）フォーム（form）の一部となり得る。
【００１２】
【発明の実施の形態】
図１は、グレースケールの画像を最小画像アーティファクトを有する２値画像に変換するための画像処理段階の流れ図である。
図２は、本発明のシステムを組み込んだ画像捕捉組立体の概略図である。
図３は、エッジ基準適応しきい値処理（ＡＴＰ）の各段階を概説する流れ図である。
図４は、現在の画素(i, j) に対する勾配強度を定める際に使用する画素位置を規定する３×３マトリックスを示している。
図５は、画像強度記録における、現在の画素(i, j) を中心としたN×Nの近傍画素の説明図を示している。
図６は、画像強度勾配記録における、画素位置(i, j) を中心とした(N-2)×(N-2)近傍画素の説明図を示している。
図７は、既成のスキャナにより捕捉されたグレースケール画像の一例である。
図８は、通常のコントラストパラメータ設定によりしきい値処理された画像（Ｂ１）の一例である。
図９は、低コントラストパラメータ設定によりしきい値処理された画像（Ｂ２）の一例である。
図１０は、２つの２値画像間の差のマップを生成する流れ図である。
図１１は、それぞれ図７における２値画像Ｂ１と図８における２値画像Ｂ２との差のマップの一例である。
図１２は、２つの画像間の差のマップを分析し、かつ垂直方向のラインマップを生成する流れ図である。
図１３は、図１１のマップから得られた垂直方向投影プロファイルの一例である。
図１４は、得られた各垂直方向ラインの一例である。
図１５は、しきい値処理された画像における垂直方向黒ラインを除去する流れ図である。
図１６は、最終的な２値画像の一例である。
【００１３】
各図面（全図面を通して同様の部材あるいは対応する部材には同一の参照符号が付されている）を参照すると、最小垂直方向ラインの複数のアーティファクトに画像しきい値処理を施す画像処理方法のブロック図が図１に示されている。本発明の方法及び組立体は垂直方向の複数のラインについて記載するが、本発明が各ラインの除去に限られないことは理解されよう。本発明は、垂直方向に配置された複数の視覚的パターン（すなわち、複数のライン、ダッシュ、マーク、及びこれらを組み合わせたものといった複数のアーティファクト）を除去あるいは減じるように作用させることが可能である。本発明の画像処理方法において、ディジタルグレースケール画像データ（Ｇ）といった画像が入力情報として受け取られ（ステップ７）、かつ本方法は以下のように作動する。（１）まずエッジ基準画像しきい値処理が施され（ステップ９）、の全詳細画像情報を抽出する通常のコントラストパラメータ設定により、グレースケール画像（Ｇ）を２値画像（Ｂ１）に変換する；（２）エッジ基準画像しきい値処理が再び施され（ステップ１１）、複数の暗い高コントラスト対象を抽出するのみの低コントラストパラメータ設定によりグレースケール画像（Ｇ）を別の２値画像（Ｂ２）に変換する；（３）２つの２値画像（Ｂ１）及び（Ｂ２）が画素毎に比較され（ステップ１５）、もし差があれば「黒」画素として画素を特定し、もし差がなければ「白」画素として画素を特定し、２つの２値画像（Ｂ１）と（Ｂ２）との間の差のマップ（（Ｄ）と称する）を生成する；（４）マップ（Ｄ）内の垂直方向の複数のラインといった垂直方向の視覚的アーティファクトが、垂直方向の複数のラインのマップ（（Ｖ）と称する）を生成する垂直方向投影プロファイル分析を行うことにより、位置づけられる（ステップ１７）；（５）対応する黒画素を除去し、かつしきい値処理された画像Ｂ１内の対応する白画素をビットマップ（Ｖ）内の黒画素の位置に満たすことにより、しきい値処理された最終的画像（Ｂ）が得られる（ステップ１９）。
【００１４】
図２は、本発明の上述した特徴点に従って捕捉された画像を処理する画像捕捉組立体３００の概略図を示している。画像捕捉組立体３００は、画像を捕捉する（例えば電荷結合素子の形態の）画像捕捉部３０１と、捕捉した画像をディジタル情報に変換する（例えばＡ／Ｄコンバータの形態の）変換部３０３とを有するスキャナとすることも可能である。このディジタル情報は、図１を参照して記載されたように（さらに図３，図１０，図１２，及び図１５を参照して記載されるように）、ディジタル画像情報を処理する処理部３０５に送られる。
【００１５】
＜エッジ基準適応画像しきい値処理法＞
図３は、エッジ基準適応しきい値処理を行う画像処理システムのブロック図である。このしきい値処理法は、入力としてスキャナからのディジタル画像とIT（強度しきい値）及びGT（勾配しきい値）の入力パラメータを定めた演算子とを受け取り、さらに以下の段階を有するものである。
【００１６】
第１段階では、ゾーベル勾配演算子が画像強度記録に作用し、勾配強度記録を生成する（ステップ２１）。ゾーベル演算子は、図４に示されるように、画素の３×３の窓に働き、画像位置(i, j) において水平方向の強度勾配GX(i, j)と垂直方向の強度勾配GY(i, j) を計算する。画素位置(i, j) における勾配強度GS(i, j) は、水平方向の強度勾配GX(i, j) の絶対値と垂直方向の強度勾配GY(i, j)の絶対値との和である。GX(i, j) とGY(i, j) は以下のように定義されている。
GX(i, j) = L(i+1, j-1) + 2L(i+1, j) + L(i+1, j+1) - L(i-1, j-1) - 2L(i-1, j) - L(i-1, j+1);
GY(i, j) = L(i-1, j+1) + 2L(i, j+1) + L(i+1, j+1) - L(i-1, j-1) - 2L(i, j-1) - L(i+1, j-1);
GS(i, j) = ｜GX(i, j)｜+｜GY(i, j)｜.
ここで、GS(i, j) = 勾配処理後の画素位置(i, j) における勾配強度記録であり、
L(i, j) = 画素位置(i, j) における画像強度である。
【００１７】
第２段階では、N×Nの窓において、最小強度Lmin(i, j) 及び最大強度Lmax(i, j) が、図５に示すように画像強度記録から測定され（ステップ２７）、図６に示すように、(N-2)×(N-2) の窓における勾配強度GS(i, j) の和が勾配強度から計算される（図３のステップ２３）。勾配GS(i, j) の和は領域勾配として定義されている。次に、３特性値GS(i, j)，Lmin(i, j)，及びLmax(i, j) が、(i, j)における画素を画像強度記録内の黒または白に分類するために使用される。最後の処理は、黒画素（対象物）の抽出である。抽出の第１段階は、エッジ近傍の画素を検出することである。領域勾配が予設定値（勾配しきい値；GT）よりも高くかつ大きい場合には、エッジ近傍の(i, j)における画素であることが確認される（ステップ２５）。その後、強度がLmin(i, j)とLmax(i, j)との平均よりも小さいときには、エッジ近傍の画素（局所窓の中央画素）が黒（対象物）として分類されることが判る（ステップ２９及びステップ３０）。すなわち、この画素がエッジの暗い側にあることが判る。他方、この強度がLmin(i, j)とLmax(i, j)との平均（PA）よりも大きい場合には、画素が白（背景）に分類される（ステップ３０）。領域勾配が勾配しきい値（GT）より小さい場合には（ステップ２５）、平坦な領域内を移動するN×Nの窓のような、簡単なしきい値処理により分類（classification）がなされる。これは、画素のグレー値を別の予設定された強度しきい値（IT）と比較することである。画素のグレー値がIT よりも小さい場合には、画素は黒と分類され；それ以外は白の背景として扱われる（ステップ３３）。
【００１８】
上述の技法によりしきい値処理された後の画像品質は、２つのしきい値（GT及びIT）設定のユーザの選択により制御される。GT はエッジの近傍の画素を分類するためにセットされ、かつIT は一様領域内の各画素を分類するためにセットされる。低GT設定は薄い対象物のエッジ画素を抽出する傾向があり、低IT設定はグレーの一様領域の各画素を白い背景に分類する傾向がある。他方、非常に高いGT設定の場合には、アルゴリズムはIT のしきい値設定により固定されたしきい値処理のように作用する。この条件下では、GT は常に領域勾配よりも大きいので、図３に示すように、画像の画素分類がIT を注目する画素における強度と比較することにより唯一的に定められる。さらに、この技法は、ITをゼロに単に設定することにより、輪郭画像も生成することができる。ここで、領域勾配がGT よりも大きいエッジ画素を除いて、全ての画素が白と分類される。
【００１９】
既成のスキャナを使用して捕捉されたグレースケールの文書画像の一例が、図７に示されている。いくつかの薄い垂直方向ライン画像アーティファクト５０が見られる。図８は、通常のコントラスト設定でエッジ基準しきい値処理技法を図７におけるグレースケール画像に作用させることにより得られたしきい値処理された画像である。通常のコントラスト設定での画像しきい値処理はグレースケール画像内の全詳細画像情報を抽出しようとするので、この場合の画像しきい値処理は望ましくない複数の薄い垂直方向ラインをも垂直方向の黒ライン５０’に変えてしまう。低コントラスト設定の場合には、薄い垂直方向ライン、薄い文字、及び薄い対象物といった薄いコントラスト対象物はしきい値処理過程で無視され、かつそれらの対象物は、図９に示したように、しきい値処理された画像内に現れない。
【００２０】
＜画像差のマップの生成＞
図１０は、図１の２つのしきい値処理された画像Ｂ１とＢ２との画像差のマップを生成するブロック図である。図１０に示すように、画像Ｂ１の位置(i, j) において、１（黒）または０（白）であるビットマップ値B1(i, j) が読み出され（ステップ４０ａ）、かつ画像Ｂ２の対応する位置(i, j) におけるビットマップ値B2(i, j) も読み出される（ステップ４０ｂ）。値B1(i, j)が値B2(i, j)と異なる（つまり、一方が黒で他方が白である）場合には（ステップ４１）、新しいマップＤの位置(i, j) での値d(i, j) が１（黒画素）とマークされ（ステップ４２）、さもなくばＯ（白画素）とマークされる（ステップ４３）。上記処理は、画像Ｂ１及びＢ２内の全ての画素位置(i, j) に作用され、かつＢ１とＢ２の差を示す画像マップＤを生成する。この処理は、低コントラスト（すなわち薄い）対象物のみが抽出され、かつ差のマップに示されることを示している。図１１は、図８及び図９における２つのしきい値処理された画像の差である生成されたマップの一例である。
【００２１】
＜垂直方向ラインのマップの生成＞
図１２は、垂直方向ラインのマップを生成するブロック図である。垂直方向ラインの生成はマップＤの垂直方向プロファイルを投影することにより行われ（ステップ６０ａ）、かつ標準連結成分分析（standard connected component analysis）（２）を行うことで、文字のような成分及び垂直方向ではないライン成分を位置づける（ステップ６０ｂ）。垂直方向投影プロファイルは１次元平面内の黒画素の度数分布である。１次元度数分布内の各ピークを検出することにより、垂直方向ラインを容易に位置づけることができる（ステップ６１）。図１１のマップの垂直方向投影プロファイルの一例が、図１３に示されている。図１３内の多数のピークが、マップＤ内には多数の垂直方向ラインが存在することを示している。各ピークの位置は、所定のしきい値で各位置の値を比較することにより検出される。しきい値よりも大きな値の各ピークは、複数のラインの位置として認識される。
【００２２】
連結成分分析は、マップＤから連結成分を抽出するために作用される（例えば、USSN 08/739,076参照）。各連結成分は対象物を表す。対象物は、文字、図形、ライン、あるいはノイズすら意味する。対象物のサイズがサイズのしきい値よりも大きい、あるいは対象物のアスペクト比（高さ／幅）がアスペクトしきい値よりも大きい場合には、その対象物は画像の一部と見なされる。次に、対象物に対応する黒画素がマップＤから除去される（ステップ６２）。
【００２３】
垂直方向ラインのマップが、成分分析と垂直方向投影プロファイルとの組合せから得られる。成分分析はマップＤから画像情報の黒画素を除去し、かつ垂直方向投影プロファイルは、多数の塵や埃により生成された薄い複数の垂直方向ラインと思われる複数の垂直方向ラインを位置づける。上述した画像処理の後に、図１１におけるマップＤが、図１４に示されるような垂直方向ラインのマップに変換される。
【００２４】
＜垂直方向のパターン（アーティファクト）の除去＞
図１５は、垂直方向ライン除去に対応して（しかしダッシュ、ドット等にも適用可能である）記載されている垂直方向パターン（あるいはアーティファクト）除去過程のブロック図である。この過程において、画像Ｂ１内の位置(i, j) におけるビットマップ値b1(i, j) が読み出され、かつビットマップＶ内の対応する位置(i, j) でのビットマップ値v(i, j) も読み出される（ステップ７０）。値v(i, j) が「１」（ここで「１」は黒を、「０」は白を示す）とマークされているならば（ステップ７１）、値b1(i, j) が調べられる（ステップ７２）。値v(i, j) が「０」とマークされているならば、値b(i, j) がb1(i, j) に等しくセットされる（ステップ７５）。値b1(i, j) が「１」（黒画素）とマークされているならば、値b1(i, j) は「０」（白）に変えられる（ステップ７３）。他方、値b1(i, j) が「０」とマークされているならば、値b1(i, j) は「１」（黒）に変えられる（ステップ７４）。ビットマップＢは、垂直方向ラインを除去した後のビットマップＢ１を複写したものである。ただし、b(i, j) は位置(i, j) におけるビットマップＢの値である。この処理が、全ての画像Ｂ１及びＶ内の画素位置(i, j) に作用され、複数の垂直方向ラインが除去されたビットマップＢを生成する。図１６は、最終的にしきい値処理された画像の一例である。ここで複数の垂直方向ラインアーティファクトは、図７のビットマップから除去されている。
【図面の簡単な説明】
【図１】  グレースケールの画像を最小画像アーティファクトを有する２値画像に変換するための画像処理段階の流れ図である。
【図２】  本発明のシステムを組み込んだ画像捕捉組立体の概略図である。
【図３】  エッジ基準適応しきい値処理（ＡＴＰ）の各段階を概説する流れ図である。
【図４】  現在の画素(i, j) に対する勾配強度を定める際に使用する画素位置を規定する３×３マトリックスを示す図である。
【図５】  画像強度記録における、現在の画素(i, j) を中心としたN×Nの隣接画素の説明図である。
【図６】  画像強度勾配記録における、画素位置(i, j) を中心とした(N-2)×(N-2) 隣接画素の説明図である。
【図７】  既成のスキャナにより捕捉されたグレースケール画像の一例を示す図である。
【図８】  通常のコントラストパラメータ設定値を用いてしきい値処理された画像（Ｂ１）の一例を示す図である。
【図９】  低コントラストパラメータ設定値を用いてしきい値処理された画像（Ｂ２）の一例を示す図である。
【図１０】  ２つの２値画像間の差のマップを生成する流れ図である。
【図１１】  それぞれ図７における２値画像Ｂ１と図８における２値画像Ｂ２との差のマップの一例を示す図である。
【図１２】  ２つの画像間の差のマップを分析し、かつ垂直方向のラインマップを生成する流れ図である。
【図１３】  図１１のマップから得られた垂直方向投影プロファイルの一例を示す図である。
【図１４】  除去された各垂直方向ラインの一例を示す図である。
【図１５】  しきい値処理された画像における垂直方向黒色ラインを除去する流れ図である。
【図１６】  最終的な２値画像の一例を示す図である。
【符号の説明】
Ｇ  グレースケール画像
【図１】
0004334712.tif 000002
【図２】
0004334712.tif 000003
【図３】
0004334712.tif 000004
【図４】
0004334712.tif 000005
【図５】
0004334712.tif 000006
【図６】
0004334712.tif 000007
【図７】
0004334712.tif 000008
【図８】
0004334712.tif 000009
【図９】
0004334712.tif 000010
【図１０】
0004334712.tif 000011
【図１１】
0004334712.tif 000012
【図１２】
0004334712.tif 000013
【図１３】
0004334712.tif 000014
【図１４】
0004334712.tif 000015
【図１５】
0004334712.tif 000016
【図１６】
0004334712.tif 000017