(57)【要約】【課題】スキャンされた写真又は他の画像から欠陥を除去することに適用可能なシステム、方法および処理技法を提供する。【解決手段】局所的画像特性を使用して、画像内のいずれの潜在的欠陥が補正されるべきかを判断するシステム、方法、及び技法が提供される。代表的な一実施の形態では、画像内の潜在的欠陥は、そのエッジの鮮明度に基づいて特定され、種々の潜在的欠陥の強度の測定値が計算される。次に、潜在的欠陥の強度の測定値は、補正される画像欠陥を特定するために、このような潜在的欠陥のすぐ近傍における、画像の一定の局所的特性を考慮して評価される。【選択図】図１
2009543214.tif 000002
【特許請求の範囲】
【請求項１】
画像から欠陥を除去する方法であって、
画像を取得すること、
エッジ鮮明度に基づき、前記画像内の潜在的欠陥を特定すること、
異なる前記潜在的欠陥の強度の測定値を求めること、
前記画像内の異なる位置の局所的特性を計算すること、
前記潜在的欠陥のすぐ近くの前記画像の前記局所的特性を考慮して前記潜在的欠陥の前記強度の測定値を評価することにより、画像欠陥を特定すること、及び
前記画像欠陥に対応する画像データを、前記画像欠陥の周囲の画像データに基づいて置換すること、
を含む方法。
【請求項２】
前記局所的特性は、局所的なピクセル値の変化の測定値を含む、請求項１に記載の方法。
【請求項３】
前記局所的特性は、局所的な近傍のエッジの広がりの測定値を含む、請求項１に記載の方法。
【請求項４】
前記潜在的欠陥及び前記強度の測定値は、第１の構造要素でトップハット変換を行うこと、第２の構造要素でトップハット変換を行うこと、及び、それらの結果を比較することによって特定される、請求項１に記載の方法。
【請求項５】
前記第１の構造要素及び前記第２の構造要素は、ピラミッド形状である、請求項４に記載の方法。
【請求項６】
異なる解像度の前記画像のコピーを取得するステップと、
前記異なる解像度について、（ｉ）潜在的欠陥を特定するステップ、（ｉｉ）強度の測定値を求めるステップ、及び（ｉｉｉ）画像欠陥を特定するステップを遂行するステップと、
をさらに含む、請求項１に記載の方法。
【請求項７】
前記画像データを置換するステップは、複数の再構成画像を取得するように前記異なる解像度のそれぞれについて遂行され、前記方法は、前記再構成画像を単一の補正された画像に結合するステップをさらに含む、請求項６に記載の方法。
【請求項８】
前記局所的特性は、前記潜在的欠陥のエッジを特定するのに使用されるものよりも大きな局所的領域に基づいて計算される、請求項１に記載の方法。
【請求項９】
前記画像データの前記置換は、前記画像欠陥の周囲の前記画像データの方向的なパターンに基づく、請求項１に記載の方法。
【請求項１０】
前記潜在的欠陥を特定するステップは、エッジの鮮明度に基づいて異なる結果を生成する複数の異なるマスクで前記画像を処理することを含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、及び画像処理技法に関し、特に、スキャンされた写真又は他の画像から欠陥を除去することに適用可能である。
【背景技術】
【０００２】
ほこり、ひっかき傷、及び他の欠陥を画像から除去するための既存の自動化された技法に関する重大な問題は、このような技法が、多くの場合、線分及びさまざまなテクスチャ等の実際の画像特徴を、写真をスキャンする時に生じるアーティファクト等の真の欠陥と十分に区別することができないということである。
加えて、このような既存の技法は、多くの場合、特に、このような低コントラストの欠陥がより暗い領域に位置している場合に、低コントラストの欠陥を分離するのが非常に不得手であり、このような技法の本来的な限界により、多くの場合、このような欠陥を頻繁に見落とすか、又は、画像特徴を欠陥として頻繁に分類を誤るかの二者択一に直面する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、スキャンされた写真又は他の画像から欠陥を除去することに適用可能なシステム、方法および処理技法を提供する。
【課題を解決するための手段】
【０００４】
本発明は、局所的画像特性を使用して、画像内のいずれの潜在的欠陥が補正されるべきかを判断することにより、この問題に対処する。
代表的な一実施の形態では、画像内の潜在的欠陥は、そのエッジの鮮明度に基づいて特定され、種々の潜在的欠陥の強度の測定値が計算される。
次に、潜在的欠陥の強度の測定値は、補正される画像欠陥を特定するために、このような潜在的欠陥のすぐ近傍における、画像の一定の局所的特性を考慮して評価される。
【０００５】
上記概要は、単に、本発明の一般的な性質の簡潔な説明を提供することを意図しているにすぎない。
本発明のより完全な理解は、特許請求の範囲、及び、添付の図面に関する好ましい実施形態の以下の詳細な説明を参照することによって得ることができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の第１の代表的な実施形態による、画像欠陥を除去するためのシステムを示すブロック図である。
【図２】本発明の代表的な一実施形態による、第１の構造要素を使用する画像のトップハット変換の結果を示す図である。
【図３】本発明の代表的な一実施形態による、第２の構造要素を使用する画像のトップハット変換の結果を示す図である。
【図４】本発明の代表的な一実施形態による、第１のスケールにおける欠陥マップを示す図である。
【図５】本発明の代表的な一実施形態による、第２のスケールにおける欠陥マップを示す図である。
【図６】本発明の第２の代表的な実施形態による、画像欠陥を除去するためのシステムを示すブロック図である。
【図７】本発明の第３の代表的な実施形態による、画像欠陥を除去するためのシステムを示すブロック図である。
【発明を実施するための形態】
【０００７】
図１は、本発明の第１の代表的な実施形態による、画像欠陥を除去するためのシステム１０を示すブロック図である。図示するように、画像１２（たとえば、スキャンされた写真又は他の任意のデジタル写真）がシステム１０に入力される。
【０００８】
欠陥を検出するために、本発明は、包括的には、画像特徴を比較して、欠陥エッジの鮮明度の差分に依拠する。
この点について、画像内の欠陥は、たとえば、写真プリント上のひっかき傷の結果の場合もあるし、又はスキャナプラテン上のほこり、インク、若しくは毛髪の結果の場合もある。
【０００９】
このような欠陥は、一般に、周辺エッジ、すなわち、異なるピクセル値の領域を分離する比較的細い線又は他の形状の曲線、を有する閉じた形状によって表すことができる。
換言すれば、エッジは、ピクセル値の突然の変化が生じる境界をマークするものである。
実際の画像のコンテキストでは、このようなエッジ又は境界は、多くの場合、「画像特徴」と呼ばれる。
以下の論述では、エッジは、欠陥エッジであろうと画像特徴であろうと、多くの場合、「特徴」と呼ばれる。
【００１０】
エッジの鮮明度は、ピクセル値がどれくらい突然に変化するのかを示す。
すなわち、２つの異なる領域間のピクセル値の変化に関して、それらの領域間で遷移領域の幅がどれくらい狭いのかを示す。
たとえば、非常に鮮明なエッジの場合、変化全体を２つの隣接するピクセル間で観察することができる（すなわち、真のエッジは、３つのピクセルにわたるピクセル境界に正確に含まれない。ただし、その場合でも、傾きは２ピクセルである）。
他のエッジは、たとえば、４〜５ピクセルにわたって、幾分、より段階的な変化を示す。
これらのエッジは、適度な高解像度画像の場合、依然として肉眼にはかなり鮮明に見える。
【００１１】
上記で言及した鮮明度の差分は、画像が十分な高解像度（たとえば、２００ドット毎インチ（ｄｐｉ）以上）でスキャンされた場合に、欠陥が、多くの場合、画像特徴のエッジよりも鮮明なエッジを示すという観察結果に基づいている。
たとえ画像特徴の全体のコントラストが欠陥のコントラストよりも大きくなる可能性があっても、画像特徴は、通例、より大きな度合いのブラーを示す。
より具体的には、画像特徴は、欠陥エッジについてよくある段差状の変化ではなく、通例、グレイレベルプロファイルの直線的で単調な変化を有する。
この差は、画像特徴が、多くの場合、複数のブラーを受けるということに起因する可能性が最も高い。
たとえば、多くの場合、最初のブラーリング段階は、写真が撮影されたカメラの光学素子によって引き起こされる。
また、デジタル写真撮影の場合、圧縮及びノイズ除去等のさまざまな画像後処理ステップがあり、さらなる量のブラーリングを引き起こす。
最後に、写真がスキャンされる時は、スキャナ光学素子によってブラーリングが引き起こされる。
【００１２】
これとは対照的に、たとえば、ひっかき傷及びほこりによる遮蔽によって引き起こされる物理的な欠陥の結果としてスキャン画像に現れるオブジェクトは、たった１つのブラーリング段階、すなわち、スキャナの光学素子によって導入されたブラーリング段階しか受けない。
したがって、これらの特徴は、非常に鮮明な段差状のエッジを有する傾向がある。
【００１３】
システム１０の初期処理段階１４は、画像１２内の潜在的欠陥の強度の測定値を求めると共に、それらの潜在的欠陥を特定して出力する。
より具体的には、好ましい実施形態では、潜在的欠陥は、それらの潜在的欠陥のエッジの鮮明度に少なくとも部分的に基づいて検出され、各欠陥の強度は、好ましくは、対応する潜在的欠陥のエッジの鮮明度、及び、潜在的欠陥の背景に対するその潜在的欠陥のコントラストの双方を反映する。
【００１４】
本発明による、このような潜在的欠陥を特定してこのような強度の測定値を求めるための好ましい技法は、形態学に基づいている。
具体的には、この技法は、２つの異なる構造要素を有するトップハット変換を適用することによって取得された２つの極大値マップを比較し、また、２つの異なる構造要素を有するトップハット変換を適用することによって取得された２つの極小値マップも比較する。
【００１５】
最初に、或る背景を論述する。２つの基本的なグレイ値形態学的演算が次のように定義される。
画像Ｘ［ｍ，ｎ］のグレイ値拡張
【００１６】
【数１】
2009543214.tif 000003
【００１７】
は、
【００１８】
【数２】
2009543214.tif 000004
【００１９】
によって定義される。
【００２０】
上記定義から、
【００２１】
【数３】
2009543214.tif 000005
【００２２】
の各出力座標［ｍ，ｎ］は、特定の構造要素Ｓを、画像Ｘのシフトされたバージョンとまず合計することによって取得される。
次に、ＳのＪ×Ｋ領域内のすべてのシフトにわたる最大値が結果として選ばれる。画像拡張（たとえば、対称的なもの）が、Ｘの境界エリアに使用される。
【００２３】
画像Ｘ［ｍ，ｎ］のグレイ値侵食は、
【００２４】
【数４】
2009543214.tif 000006
【００２５】
によって定義される。
グレイ値の拡張及び侵食の二重性を使用すると、
【００２６】
【数５】
2009543214.tif 000007
【００２７】
となることに留意されたい。
ここで、
【００２８】
【数６】
2009543214.tif 000008
【００２９】
は、Ｓ［ｊ，ｋ］をＳ［−ｊ，−ｋ］に置換することによって取得される。
【００３０】
上記グレイレベル形態学的演算の特別な場合は、単純な構造要素を使用することによって達成することができる。
たとえば、Ｓ＝定数＝０の特定の場合には、上記２つの演算は、領域［ｊ，ｋ］⊂Ｓ上の最小値及び最大値、すなわち、
【００３１】
【数７】
2009543214.tif 000009
【００３２】
に低減される。
【００３３】
より高レベルの形態学的演算は、以下のように定義される。
グレイ値のオープニングは、
【００３４】
【数８】
2009543214.tif 000010
【００３５】
である。
グレイ値のクロージングは、
【００３６】
【数９】
2009543214.tif 000011
【００３７】
である。
二重性を使用すると、
【００３８】
【数１０】
2009543214.tif 000012
【００３９】
である。
クロージング演算子は、極小値の検出に適していることが知られている。
したがって、暗い欠陥（すなわち、それよりも明るい背景に対する）の検出にはクロージング演算子が使用される。
これとは対照的に、オープニング演算子は、極大値の検出に適しており、したがって、明るい欠陥（すなわち、それよりも暗い背景に対する）の検出にはオープニング演算子が使用される。
【００４０】
トップハット変換は、
Ｙｄａｒｋ（Ｘ［ｍ，ｎ］，Ｓ）＝（Ｘ・Ｓ）［ｍ，ｎ］−Ｘ［ｍ，ｎ］、及び
Ｙｂｒｉｇｈｔ（Ｘ［ｍ，ｎ］，Ｓ）＝Ｘ［ｍ，ｎ］−（ＸｏＳ）［ｍ，ｎ］
として計算される。
Ｙｄａｒｋ（Ｘ［ｍ，ｎ］，Ｓ）は、極大値と、対応する局所的な背景レベルとの間の差分を反映することに留意されたい。
同様に、Ｙｂｒｉｇｈｔ（Ｘ［ｍ，ｎ］，Ｓ）は、極小値と、対応する局所的な背景レベルとの間の差分を反映する。
換言すれば、これらは、一般的に、局所的な特徴コントラストのマップと考えることができる。
【００４１】
以下の論述では、提示を容易にするために、暗い欠陥（すなわち、それよりも明るい背景に対する）の場合のみに言及し、Ｙに関して「暗い」又は「明るい」というインデックスを省略することにする。
同様の考慮は、明るい欠陥（すなわち、それよりも暗い背景に対して）の場合にも適用される。
【００４２】
欠陥は、Ｙｄａｒｋ（又はＹｂｒｉｇｈｔ）が所定のしきい値Ｔ１よりも大きいピクセルにおいて特定することができる。
しかしながら、このような手法の欠点は、この手法が、欠陥と、線分及びさまざまなテクスチャ等の本来的な画像特徴との区別を行わないということである。
【００４３】
したがって,好ましい実施形態では、以下の手法が採用される。
たとえば、L. Joyeux、S. Boukir、B. Besserer、O. Buisson著「Reconstruction of Degraded Image Sequences. Application to Film Restoration」（Image and Vision Computing, 19, 2001, pp. 503-516）に論述されているように、ピラミッド形状の構造要素が使用される。
より具体的には、好ましい実施形態では、以下のような２つの別個の構造要素、すなわち、
【００４４】
【数１１】
2009543214.tif 000013
【００４５】
が構築される。
ここで、ｔは、たとえば１〜１０の範囲にある経験的に選択されたパラメータである。発明者のこれまでの経験では、本技法は、特に、ｔに使用される正確な値の特徴の影響は受けにくい。
【００４６】
構造要素は、オープニングを計算するのに使用されるとき、マスクとして働き、その結果のマップは、マスクパターンが見つかった箇所を特定する。
逆に、同じ構造要素が、クロージングを計算するのに使用されるとき、マスクパターンの反転したものが見つかった箇所を特定する。
したがって、Ｓ１は、それらの背景とのコントラストを最も強く有する孤立した１ピクセルスポットを見つける傾向があるが、任意の線分及びエッジセグメントも特定する。
また、Ｓ２も、それらの背景とのコントラストを有する１ピクセルスポットを見つける傾向があるが、このようなスポットが、３つの隣接するピクセルにわたってピクセル値の直線的な変化を示す場合に、いっそう大きな規模の結果を提供する。
同様に、Ｓ２は、エッジも特定し、このようなエッジが、３つの隣接するピクセルにわたってピクセル値の直線的な変化を示す場合に、いっそう大きな規模の結果を提供する。換言すれば、Ｓ１及びＳ２は、エッジ鮮明度の異なるレベルに対して異なる応答を有するマスクとして機能する。
結果のトップハット変換は、このように、コントラストの関数だけでなくエッジ鮮明度の関数でもあり、特徴の強度の全体の測定値を提供する。特徴の鮮明度に対するトップハット変換の感度は、構造要素Ｓ１及びＳ２のいずれが使用されていたかによって決まる。
【００４７】
非常に鮮明なエッジと比較的平滑な（又はブラーリングされた）エッジとの間の相違を示すために、２つの異なる構造要素Ｓ１及びＳ２について取得される、画像の２つのトップハット変換の間の差分が以下のように計算される。
ｄＹ＝｜Ｙ（Ｘ［ｍ，ｎ］，Ｓ１）−Ｙ（Ｘ［ｍ，ｎ］，Ｓ２）｜
非常に鮮明な特徴は、一般に、双方のトップハット変換にほぼ同じように現れる。
これとは対照的に、単調でブラーのあるエッジプロファイルを示す特徴は、第２の構造要素Ｓ２が使用されたときに、第１の構造要素Ｓ１で取得された同じ特徴と比較してより強く現れる。
【００４８】
したがって、双方のマップＹ（Ｘ［ｍ，ｎ］，Ｓ１）及びＹ（Ｘ［ｍ，ｎ］，Ｓ２）に現れる特定の特徴が、欠陥に対応するのか、それとも、本来的な画像特徴であるのかの第１の指示は、差分マップｄＹから取得することができる。
対応するｄＹ値が所定のしきい値ＴｄＹ（たとえば、１グレイレベル）よりも小さい特徴は、非常に鮮明であり、したがって、ほこり、ひっかき傷、又は他の或るタイプの欠陥に対応すると考えられる。
【００４９】
その結果、以下のように、ｄＹがＴｄＹよりも大きいＹのピクセルをゼロにすることによって、２つの構造要素の潜在的欠陥の初期しきい値処理マップ
【００５０】
【数１２】
2009543214.tif 000014
【００５１】
が取得される。
【００５２】
【数１３】
2009543214.tif 000015
【００５３】
同様に、
【００５４】
【数１４】
2009543214.tif 000016
【００５５】
【数１５】
2009543214.tif 000017
【００５６】
及び
【００５７】
【数１６】
2009543214.tif 000018
【００５８】
は、極小値と、対応する局所的な背景レベルとの差分のＴｄＹしきい値処理マップであることに留意されたい。
換言すれば、これらは、局所的な特徴コントラストのＴｄＹしきい値処理マップである。
本発明の本実施形態では、（各欠陥の強度の測定値と共に潜在的欠陥を特定する）しきい値処理された
【００５９】
【数１７】
2009543214.tif 000019
【００６０】
及び
【００６１】
【数１８】
2009543214.tif 000020
【００６２】
のマップ１５が、検出モジュール１４から出力される。
【００６３】
３つ以上の異なる構造要素も本発明のさまざまな実施形態で使用できることに留意すべきである。
実際には、異なるサイズの欠陥を特定するには、構造要素を追加することが有益である可能性がある。
【００６４】
たとえば、上記で具体的に特定された２つの構造要素に関してのみトップハット変換を計算することによって、多くの場合、非常に大きな欠陥を特定することが困難になり、特に、低いコントラストを有する大きな欠陥を特定することが困難になる。
すなわち、この技法は、コントラストが十分大きいという条件で、欠陥の境界（非常に鮮明なエッジを有する）を特定することができるが、欠陥の内部（ほとんど変化を有しないか、又は、少なくとも全般に鮮明な変化を何ら有しない）を特定することはできない。
したがって、異なるサイズの欠陥を特定するには、他のいくつかの処理ステップが一般に望ましい。
１つの手法は、最大の構造要素が、予想される最大の欠陥を検出することができる、多数の異なるサイズの構造要素を使用することである。
代替的な一手法は、以下でより詳細に説明するように、原画像のいくつかのバージョン、すなわち、原画像のいくつかの異なる解像度に適用される上記２つの構造要素を使用することである。
【００６５】
より大きな潜在的欠陥を特定するために、２つの構造要素が、上述したものと同様の方法であるが、中央部分がより多くのゼロ値の要素を含む（欠陥の内部空間に対応する）方法で構成される。
たとえば、次に大きなスケールでは、２つの構造要素は、好ましくは、ゼロから成る２×２矩形行列（rectangle）を含み、その次に大きなスケールでは、２つの構造要素は、好ましくは、ゼロから成る４×４矩形行列を含み、以下同様である。
したがって、本処理は、異なるスケールに関して（すなわち、異なる潜在的欠陥サイズについて）繰り返すことができ、２つの構造要素は、各スケールにおいて使用される。
一般的に言えば、本実施形態は、単一のスケールのみを考慮する。後述する他の実施形態は、異なるサイズの欠陥を検出するために考慮すべき事項をより詳細に対処する。
【００６６】
また、上記説明は、より鮮明なエッジ又は特徴を、それよりも鮮明でないエッジ又は特徴と区別するための１つの技法にしか言及していない。
しかしながら、本発明によれば、さまざまな異なるエッジ検出技法及びさまざまな鮮明度測定値のいずれかをこの目的のために利用できることに留意すべきである。
この点について、本発明による技法は、たとえば異なるパラメータを有する２つ以上の異なるエッジ検出器を代わりに使用することができる。
たとえば、この目的のために、さまざまな度合いの平滑化を有する微分フィルタを画像１２に適用することができる。
【００６７】
いずれにしても、エッジが処理モジュール１４で特定されているのと同時に、局所的な画像解析が、モジュール１７で入力画像１２に対して行われる。
このような局所的な画像解析は、本来的な画像特徴と欠陥との弁別をさらに改善するのに使用されると共に、疑わしい欠陥に関する処理を調整するのにも使用される。
本発明の好ましい実施形態では、局所的な画像特性が計算され、それらの局所的な画像特性を使用して、特徴に依存したしきい値マップが生成される。
最後に、このようなマップは、暗い（又は明るい）欠陥のマップ１５
【００６８】
【数１９】
2009543214.tif 000021
【００６９】
に適用される。
次の論述は、この技法の背後にある一定のヒューリスティクスを解説している。
【００７０】
第一に、モジュール１７で求められたしきい値は、好ましくは、局所ルミナンスレベルに依存する。
この点について、より明るい領域に現れる暗い欠陥は、より暗い領域に現れる同じ明るさの欠陥よりも知覚されるコントラストが高い。
したがって、本発明の一般的なルールとして、しきい値は、明るいエリアほど高く設定される。
このヒューリスティクスは、潜在的欠陥を誤って分類した可能性があるあらゆる可能性に基づくのではなく、人間の知覚（人間視覚モデルＨＶＳ）にのみ基づいていることに留意する。
換言すれば、このヒューリスティクスは、人間の知覚の一定の特性に依拠して、一定の状況において誤差のより大きなマージンを提供する。
【００７１】
第二に、ビジーな（たとえば、テクスチャを含むか又はエッジを含む）エリアでは、（たとえば、ほこりによる遮蔽によって引き起こされた）欠陥は、平滑なエリアに現れる欠陥よりも混乱を引き起こすことは少ない（別の考慮すべき事項は、一定の状況で誤差のより大きなマージンを許容できる人間の知覚に関係するものである）。
加えて、このようなエリアでは、一般に、本来的な画像特徴を欠陥として誤って分類する確率はより高くなる。
この後者の考慮すべき事項は、潜在的欠陥のマップ１５を生成する際に生じた可能性がある誤差に対応することを対象とする。
上記理由の双方により、本発明の一般的なルールとして、非常にビジーなエリアでは、しきい値は、平坦で平滑なエリアよりも高く設定される。
【００７２】
したがって、１）平均局所ルミナンスレベル、２）エリアのビジー度の指標である局所的分散、及び３）エッジが存在することの指標である、局所的勾配の絶対値の合計、の３つのパラメータの関数としてしきい値マップが定義される。
したがって、ルミナンスに加えて、局所的領域全体にわたる全体のピクセル変化（たとえば、分散）が考慮され、また、局所的領域内の直接的変化（たとえば、局所的勾配等のピクセルごとの変化）の或る複合測定値も考慮される。
換言すれば、ピクセル変化の２つの空間スケールが、各局所的領域内で考慮される。
【００７３】
全体のピクセル変化は、局所的領域にエッジ又はテクスチャのいずれかが存在することを示すことができる一方、直接的ピクセル変化は、局所的領域に複数のエッジが存在することを示す。
局所的領域それ自体は、好ましくは、検出モジュール１４でエッジを特定するのに使用された領域よりも大きくなるように定義される（後者は、一般に、幅が２〜３ピクセルにすぎない）。
一般に、他の統計的記述子を同様に（又は代わりに）使用することができる。
たとえば、ビジーで、テクスチャを含むか又はエッジを含むエリアを検出するために、局所的な尖度及び疎性を使用することができる。
【００７４】
本発明の本実施形態では、ブロックＢについて計算された最初の２つのパラメータである平均局所的ルミナンスμＢ及び局所的分散ｓＢは、
【００７５】
【数２０】
2009543214.tif 000022
【００７６】
によって定義される。
本実施形態の第３のパラメータは、局所的勾配の絶対値の合計である。より具体的には、導関数の単純なゼロ次近似
【００７７】
【数２１】
2009543214.tif 000023
【００７８】
が使用される。
【００７９】
本発明の好ましい実施形態では、コンテキスト適応型しきい値関数を構築するための以下のストラテジーが使用される。
まず、しきい値の初期値Ｔ０が設定される。この値は、ユーザがインタラクティブに入力することもできるし、実証的研究に基づいて事前に設定することもできる。次に、鮮明なエッジ、すなわち、欠陥のマップ１５
【００８０】
【数２２】
2009543214.tif 000024
【００８１】
及び
【００８２】
【数２３】
2009543214.tif 000025
【００８３】
に現れる非ゼロの要素、の勾配値の経験的分布の平均及び標準偏差が評価される。
【００８４】
次に、最小欠陥しきい値（すなわち、許容される最小の欠陥コントラスト）が、
【００８５】
【数２４】
2009543214.tif 000026
【００８６】
として定義される。
ここで、
【００８７】
【数２５】
2009543214.tif 000027
【００８８】
及び
【００８９】
【数２６】
2009543214.tif 000028
【００９０】
は、初期欠陥マップ
【００９１】
【数２７】
2009543214.tif 000029
【００９２】
の経験的な平均及び経験的な標準偏差である（
【００９３】
【数２８】
2009543214.tif 000030
【００９４】
についても同様である）。
Ｃσは、たとえばユーザによって定義された所望の検出レベルに反比例する定数である。
Ｃσの一般的な値は、１〜６である。
【００９５】
最小欠陥しきい値を定義するこのストラテジーの背後にある洞察は、以下の通りである。
たとえば、Ｔ０が事前に２０に設定されていたが、
【００９６】
【数２９】
2009543214.tif 000031
【００９７】
に関する欠陥コントラストの平均値が２０未満である場合であっても、上記定義を使用することによって、２０未満のコントラストを有する欠陥が見つけることが可能になる。
他方、あまりにも多くの誤った検出が見られる場合、これは、Ｃσの値をより高く設定することによって解決することができる。
【００９８】
上記しきい値は、開始点として使用され、画像の局所的なコンテンツに従って局所的に補正される。
本実施形態では、この補正は、上述したヒューリスティクスに基づいており、上記で言及した３つのパラメータの値（すなわち、平均局所ルミナンスレベル、局所的分散、及び、局所的勾配の絶対値の合計）に依存する。
より具体的には、本実施形態では、局所的なブロック依存しきい値は、
ＴＢ（Ｓ１）＝Ｔｍｉｎ（Ｓ１）［１＋Ｃ１μＢ＋Ｃ２ｓＢ＋Ｃ３ｇＢ］、及び
ＴＢ（Ｓ２）＝Ｔｍｉｎ（Ｓ２）［１＋Ｃ１μＢ＋Ｃ２ｓＢ＋Ｃ３ｇＢ］
によって定義される。
ここで、Ｃ１、Ｃ２、及びＣ３は、経験的に求められる定数である。
好ましくは、これらの定数は、それらの対応するパラメータを正規化するように選ばれる。
たとえば、Ｃ１、Ｃ２、及びＣ３は、１／ｍａｘ（μＢ）、１／ｍａｘ（ｓＢ）、及び１／ｍａｘ（ｇＢ）、にそれぞれ比例して選ぶことができる。
代替的な実施形態では、パラメータの非線形関数が代わりに使用される。これらの関数は、たとえばＨＶＳモデルに基づいて定義することができる。
【００９９】
欠陥マップ処理モジュール１９では、上記しきい値は、その後、以下のように、欠陥のマップ１５
【０１００】
【数３０】
2009543214.tif 000032
【０１０１】
及び
【０１０２】
【数３１】
2009543214.tif 000033
【０１０３】
に適用される。
【０１０４】
【数３２】
2009543214.tif 000034
【０１０５】
上述した前提によれば、欠陥は、２つの構造要素について計算された双方のマップに現れるはずである。
したがって、２つの構造要素のマップを結合することによって、欠陥Λの最終マップ２２が取得される。
好ましくは、これは、欠陥の２つのマップ
【０１０６】
【数３３】
2009543214.tif 000035
【０１０７】
及び
【０１０８】
【数３４】
2009543214.tif 000036
【０１０９】
の成分ごとの乗算、すなわち、
【０１１０】
【数３５】
2009543214.tif 000037
【０１１１】
によって行われる。
【０１１２】
上記論述は、一般に、単一のスケールのみが処理されると仮定していることに留意されたい。
複数のスケールが上記のように処理された場合、複数の複合欠陥マップΛｉ（各異なる解像度ｉにつき１つ）が、マップの対応する対から生成される。
これらの複数の異なるマップΛｉは、次に、平均化、又はピクセル単位の最大値の選択、すなわち、
【０１１３】
【数３６】
2009543214.tif 000038
【０１１４】
等の算術演算を使用して結合され、欠陥Λの単一の最終マップ２２にされる。
或いは、欠陥が２値シンボル（たとえば、欠陥の場合に１、欠陥がない場合に０）を使用して特定されていた場合、マップは、ピクセル単位のブール「ＯＲ」演算子を使用して結合することができる。
いずれにしても、任意のスケールで所与のピクセルについてしきい値を超える場合、そのピクセルは、補正される欠陥とみなされるべきである。
【０１１５】
再構成モジュール２４では、原画像１２が、最終欠陥マップ２２に基づいて修正される。
具体的には、最終マップ２２内の欠陥に対応する原画像１２内のピクセルは、周囲のピクセルデータに基づく画像データに置換される。
しかしながら、本発明は、単に周囲のピクセルデータの平均を使用するのではなく、好ましくは、画像データの任意の方向的な傾向を保存する、方向感受性の置換技法を使用する。
したがって、たとえば、欠陥が、原画像１２の特徴エッジ上に生じている場合、置換画像データは、好ましくは、そのエッジを維持する。
【０１１６】
実際には、この時点で、１つは暗い欠陥を示し、１つは明るい欠陥を示す２つの欠陥マップ２２があることに留意すべきである。
これらは、以下で対処される。
【０１１７】
画像データの方向感受性の置換を行うための１つの技法は、クロージング演算及びオープニング演算に基づいている。
まず、点接続性の問題に対処するために、欠陥ピクセルのマップ２２が拡張される（ただし、他の方法を代わりに使用することもできる）。
スキャンされた画像ピクセルは、マップ２２の対応するエントリーが非ゼロの値を有する場合に、欠陥として特定される。
次に、暗い欠陥の場合、これらの欠陥ピクセルは、画像１２のクロージングからの対応するピクセルに置換される。
明るい欠陥の場合、欠陥として特定されたピクセルは、画像１２のオープニングからの対応するピクセルに置換される。
すなわち、
Ｘｄａｒｋ（［ｍ，ｎ］∈Ｄ）＝（Ｘ・Ｓ）（［ｍ，ｎ］∈Ｄ）、及び
Ｘｂｒｉｇｈｔ（［ｍ，ｎ］∈Ｄ）＝（ＸｏＳ）（［ｍ，ｎ］∈Ｄ）
となる。
ここで、Ｄは、欠陥ピクセル、すなわち、Λの非ゼロの値のピクセル、の部分集合であり、Ｓ２が、好ましくはＳの代わりに使用される。Ｄに含まれない、Ｘ内のピクセルは、変化しないままである。
原画像は、欠陥ピクセルが上述したように置換されると、その後、再構成画像２７として出力される。
【０１１８】
図２〜図５は、上記処理の一例を示している。
より具体的には、図２は、上述したＳ１構造要素を使用する一例の画像（図示せず）のトップハット変換５０を示し、図３は、上述したＳ２構造要素を使用する同じ画像のトップハット変換５１を示している（すなわち、共に単一のゼロ値の中央ピクセルを有する）。
上述したように、変換５０及び５１の双方は、画像特徴（たとえば、特徴５２〜５４）を示す。
しかしながら、これらの画像特徴は、幾分、ブラーリングされ、それによって、構造要素Ｓ２のパターンとより密接にマッチングするので、変換５０よりも変換５１ではるかに強くなっている。
同時に、欠陥６１〜６４が、変換５０及び５１の双方で全く同一に現れている。
【０１１９】
欠陥６１及び６３は、変換５０及び５１の双方で全く同一に特定されるが、それよりも大きな欠陥６２及び６４は、輪郭の形でしか示されないことにも留意されたい。
すなわち、使用される２つの構造要素は、欠陥６２又は欠陥６４のいずれかのすべてをキャプチャするほど十分大きなものではない。
実際には、輪郭であっても、コントラストが十分高くない限り、キャプチャされていない可能性がある。
２つの変換５０と５１との差分を取り、次いで、指定されたしきい値よりも小さな対応する差分値を有する変換マップ（５０又は５１のいずれか）のあらゆるピクセルをゼロにした後の結果の欠陥マップ２２Ａを図４に示す。
【０１２０】
欠陥マップ２２Ａにおいて特定された欠陥ピクセルを単に置換するだけで、欠陥６２又は６４の全体が削除されるものではなく、むしろそれらの欠陥の周囲しか削除されない（すなわち、それらの欠陥はより小さくなる）。したがって、これは、（異なる欠陥サイズに対応する）複数の異なるスケールにおける処理が望ましい場合の一例である。
構造要素のより大きな対による処理の結果、図５に示す欠陥マップ２２Ｂが得られる。図から分かるように、欠陥６１及び６３のいずれもこの欠陥マップ２２Ｂにおいてキャプチャされないが、欠陥６２及び６４の双方は、この場合、それらの全体がキャプチャされる。
しかしながら、たとえばブール「ＯＲ」演算又は算術演算（たとえば、最大化（max）又は平均化）を使用して、２つの欠陥マップ２２Ａ及び２２Ｂを結合することにより、すべての欠陥６１〜６４が十分特定される。
【０１２１】
計算効率をより良くすることができる、異なるサイズの欠陥を検索する他の手法は、原画像１２の異なるバージョンを作成することを伴う。
各バージョンは、異なる解像度を有する。次に、上記技法の１つが、各異なる解像度に適用され、結果が結合される。
【０１２２】
このようなシステム８０の一例が図６に示されている。容易に理解されるように、システム８０の処理モジュールの多くは、（図１に示す）システム１０の同じ要素符号を有する処理モジュールと同一である。
したがって、このような処理モジュールは、この実施形態では、概略のみが論述される。
【０１２３】
本実施形態における１つの相違は、原画像１２がモジュール８５内で変換されて、複数の異なるバージョン８６にされるということである。
各バージョンは、異なる解像度を有する。これは、たとえば、ダウンサンプリング・平均演算を原画像に適用し、それに続いて、再帰的なダウンサンプリング・平均演算を各結果の画像に適用することにより行うことができる。
或いは、画像は、ウェーブレット変換技法やウェーブレットパケット技法等のマルチスケール変換に基づいていくつかの解像度で作成することもできるし、他の任意の技法に基づいて作成することもできる。
【０１２４】
各結果の画像は、次に、上述したようなモジュール１４、１７、及び１９で処理される。
上述した異なるスケールでの処理と同様に、異なる欠陥マップΛｉ'が、各解像度ｉで生成される。
【０１２５】
処理モジュール８８では、異なる欠陥マップΛｉ'は、まず、同じ解像度（たとえば、原画像１２の解像度）に変換される。
この場合も、このような変換は、ピクセル値を反復すること、補間すること、又は変換ベースの技法（たとえば、ゼロ詰め）を使用すること等による任意の既知の技法を使用して行うことができる。
その結果、たとえば、ピクセル単位で、平均化するか、最大値を取るか、又はブール「ＯＲ」演算子を使用するといった、上述した技法のいずれかを使用して結合できる一組の欠陥マップΛｉが得られる。
【０１２６】
欠陥マップが、処理モジュール８８で結合されて単一の最終マップ（実際には、暗い欠陥及び明るい欠陥のそれぞれについて１つ）にされると、再構成モジュール２４でそのマップを使用して原画像１２が再構成され、その結果、最終の再構成画像２７が得られる。
【０１２７】
本発明によるシステム９０のさらなる実施形態が図７に示されている。
この実施形態では、この場合も、それぞれが異なる解像度を有する、原画像１２の複数のバージョン８６が、マルチグリッド変換処理モジュール８５で生成される。
しかしながら、直前の実施形態と異なり、この実施形態では、各結果画像は、（図１に示す）システム１０で原画像１２が処理された方法と同一に処理され、その結果、複数の再構成画像が、再構成処理モジュール２４によって出力される。
【０１２８】
それらの個々の再構成画像は、次に、画像結合モジュール９２で結合される。それらの再構成画像は、異なる解像度であるので、それぞれが、好ましくは、（たとえば、上述した技法のいずれかを使用して）共通の解像度に変換される。
次に、解像度が変換された画像は、たとえば、ピクセルごとの算術演算（平均化等）を使用して、又は、ピクセル単位で、以下の優先順位に従って異なる画像から画像データを選択して、結合される。
この優先順位とは、（ｉ）ピクセルデータが、画像のいずれにおいても置換されていない場合、最も高い解像度の画像からピクセルデータを選択すること、又は、（ｉｉ）そうでない場合には、ピクセルデータが置換されたすべての画像にわたって、置換された画像データに対して算術演算を行うか、若しくは、置換された画像データの関数を別の方法で計算すること（たとえば、単純な平均若しくは画像の解像度に基づく加重平均）である。
後者の技法の目標は、欠陥がみつかったので画像データが置換されたという前提のもとで、可能な限り、置換された画像データを使用することである。
いずれにしても、最終結合画像２７が出力される。
【０１２９】
上述した実施形態は、異なるサイズの欠陥を検出するためのさまざまな技法を含む。
これらの手法のいずれも採用されず、且つ、構造要素の最小の対しか利用されない場合、多くの場合、より大きな欠陥の周辺しか検出されないことになる。
このような場合、一般に、欠陥のエッジが特定された後に、あらゆる内部ピクセルを特定するための追加の処理を含めることが望ましい。
【０１３０】
また、上述した実施形態では、欠陥マップが生成され、入力画像を補正するのに使用される。
本発明の欠陥マップは、他の目的にも同様に利用できることに留意されたい。
たとえば、本発明による処理を含むスキャナドライバソフトウェアを、複数のスキャンにわたって特定された欠陥のロケーションの経過を追跡するように構成することができる。
次に、欠陥が、同じロケーションで繰り返し再発する場合、スキャンプラテンをクリーニングすべきであることをユーザに自動的に通知することができる。
より特定的な実施形態では、汚染粒子が存在すると思われる場所のマップがユーザに提供される。
【０１３１】
上述したように、本発明は、かなりの量の自動的な画像欠陥の検出を提供する。
しかしながら、同様に上述したように、本発明の一定の実施形態では、ユーザには、たとえば、欠陥サイズ、欠陥コントラスト、欠陥検出レベル、又は再構成品質を指定することによって、技法のいくつかのパラメータを変更する能力が提供される。
その上、半自動モードでは、ユーザには、欠陥が目に見える画像領域におおまかにマーキングする能力も提供することができる。
【０１３２】
システム環境
一般的に言えば、本明細書で説明した方法及び技法のほぼすべては、汎用コンピュータシステムを使用することで実施することができる。
このようなコンピュータは、通常、たとえば、共通バスを介して互いに相互接続された以下のコンポーネントの少なくともいくつかを含む。
そのコンポーネントは、１つ又は複数の中央処理装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、他のデバイスとインターフェースすると共に１つ又は複数のネットワークに接続するための入出力ソフトウェア及び回路部（本発明の多くの実施形態では、１つ又は複数のネットワークは、インターネット又は他の任意のネットワークに接続する）、ディスプレイ（陰極線管ディスプレイ、液晶ディスプレイ、有機発光ディスプレイ、高分子発光ディスプレイ、又は他の任意の薄膜ディスプレイ等）、他の出力デバイス（１つ又は複数のスピーカ、ヘッドホンセット、及びプリンタ等）、１つ又は複数の入力デバイス（マウス、タッチパッド、タブレット、タッチ検知式ディスプレイ、又は他のポインティングデバイス；キーボード、マイクロホン、及びスキャナ等）、マスストレージユニット（ハードディスクドライブ等）、リアルタイムクロック、着脱可能ストレージ読み出し／書き込みデバイス（ＲＡＭ、磁気ディスク、磁気テープ、光磁気ディスク、光ディスク等からの読み出し用及びそれらへの書き込み用等）、並びにモデム（これも、好ましくは、ダイヤルアップ接続を介してインターネット又は他の任意のコンピュータネットワークに接続する）である。
動作時に、上記方法をこのような汎用コンピュータによって遂行される範囲で実施するためのプロセスステップは、通常、最初は、マスストレージ（たとえば、ハードディスク）に記憶され、ＲＡＭにダウンロードされ、次いで、ＲＡＭからＣＰＵによって実行されることになる。
【０１３３】
本発明を実施する際の使用に適したコンピュータは、さまざまな製造供給元から取得することができる。
一方、タスクのサイズ及び複雑度に応じて、さまざまなタイプのコンピュータを使用することができる。
適したコンピュータには、スタンドアロンであるか、ネットワークに配線接続されているか、又はネットワークに無線接続されているかにかかわらず、メインフレームコンピュータ、マルチプロセッサコンピュータ、ワークステーション、パーソナルコンピュータ、及び、ＰＤＡ、無線電話、又は他の任意の電気機器若しくはデバイス等のさらに小さなコンピュータが含まれる。
加えて、汎用コンピュータシステムを上述したが、代替的な実施形態では、専用コンピュータが代わりに（又は追加して）使用される。
詳細には、上述した機能のいずれも、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせで実施することができ、特定の実施態様は、既知のエンジニアリングトレードオフに基づいて選択される。
この点について、当該技術分野で既知のように、上述した機能は、主として、固定論理ステップを通じて実施され、したがって、プログラミング（たとえば、ソフトウェア若しくはファームウェア）、論理コンポーネント（ハードウェア）の適切な配列、又はそれらの２つの任意の組み合わせを通じて達成できることに留意されたい。
【０１３４】
本発明は、本発明の方法を遂行するためのプログラム命令が記憶されたマシン可読媒体にも関係していることが理解されるべきである。
このような媒体には、例として、磁気ディスク、磁気テープ、ＣＤ  ＲＯＭ及びＤＶＤ  ＲＯＭ等の光学的可読媒体、ＰＣＭＣＩＡカード等の半導体メモリ等が含まれる。
各場合において、媒体は、小型ディスク、ディスケット、カセット等のポータブルアイテムの形態を取る場合もあるし、コンピュータに設けられたハードディスクドライブ、ＲＯＭ、又はＲＡＭ等の比較的大きなアイテム又は固定アイテムの形態を取る場合もある。
【０１３５】
上記説明は、主として、電子コンピュータに重点を置いている。
しかしながら、電子処理、光処理、生物学的処理、及び化学処理の任意の組み合わせを利用するコンピュータ等、他の任意のタイプのコンピュータを代わりに使用できることが理解されるべきである。
【０１３６】
追加の考慮すべき事項
本発明のいくつかの異なる実施形態が上述され、このような各実施形態は、一定の特徴を含むものとして説明されている。
しかしながら、当業者には理解されるように、任意の単一の実施形態の論述に関連して説明された特徴は、その実施形態に限定されるものではなく、他の実施形態のいずれにも同様に含めることができ、さまざまな組み合わせで構成できることが意図されている。
【０１３７】
同様に、上記論述では、機能は、時に、特定のモジュール又はコンポーネントのものとされている。
しかしながら、いくつかの場合には、特定のコンポーネント若しくはモジュールを完全に不要にするか、新しいコンポーネント若しくはモジュールの追加を必要とするか、又は、その双方を行い、一般に、所望に応じて、機能を任意の異なるモジュール又はコンポーネント間に分散し直すことができる。機能の正確な分散は、当業者に理解されるように、好ましくは、本発明の具体的な実施形態に関する既知のエンジニアリングトレードオフに従って行われる。
【０１３８】
上記のように、本発明の例示の実施形態及び添付図面に関して、本発明を詳細に説明してきたが、本発明の精神及び範囲から逸脱することなく本発明のさまざまな適合及び変更を行えることが当業者には明らかなはずである。
したがって、本発明は、図面に示し上記で説明した正確な実施形態に限定されるものではない。そうではなく、本発明の精神から逸脱しないこのようなすべての変形は、本明細書に添付した特許請求の範囲によってのみ限定される本発明の範囲内にあるものとみなされることが意図されている。
【符号の説明】
【０１３９】
１０・・・システム
１２・・・スキャン画像
１４・・・欠陥検出
１５・・・潜在的欠陥及び強度のマップ
１７・・・局所的画像解析−しきい値マッピング
１９・・・局所的特徴を意識した処理
２２・・・最終検出マップ
２４・・・画像再構成
２７・・・再構成画像
８０・・・システム
８５・・・マルチグリッド変換
８６・・・複数の解像度
８８・・・検出マップ結合
９０・・・システム
９２・・・画像結合
【図１】
2009543214.tif 000039
【図２】
2009543214.tif 000040
【図３】
2009543214.tif 000041
【図４】
2009543214.tif 000042
【図５】
2009543214.tif 000043
【図６】
2009543214.tif 000044
【図７】
2009543214.tif 000045
【国際調査報告】
2009543214.tif 000046
2009543214.tif 000047
2009543214.tif 000048