(57)【要約】【課題】撮像によって得られた画像信号を新規な方法で処理することにより、欠陥の検出や種類の判別を精度よく行うことができる表面欠陥検出方法を提供する。【解決手段】まず、被検査対象物の表面を撮像してグレー画像を得る。次に、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ単一または複数の構造要素を使用したトップハット変換の演算を行う。これにより、背景ノイズの影響を取り除いて、欠陥を強調して画像化することができる。その結果得られた画像から欠陥の抽出を行う【選択図】　図４
2004045356.tif 000002
【特許請求の範囲】
【請求項１】
被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ単一または複数の構造要素を使用したトップハット変換の演算を行い、その結果得られた画像から欠陥の抽出を行う工程を有することを特徴とする表面欠陥検出方法。
【請求項２】
請求項１に記載の表面欠陥検出方法であって、その結果得られた画像から欠陥の抽出を行う工程が、その結果得られた画像を２値化し、２値化画像を基に欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項３】
請求項２に記載の表面欠陥検出方法であって、複数の構造要素を使用してトップハット変換の演算を行うものであり、２値化画像を基に欠陥の抽出を行う工程が、得られた複数の構造要素に対応する２値化画像の演算を行うことにより、欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項４】
請求項１に記載の表面欠陥検出方法であって、複数の構造要素を使用してトップハット変換の演算を行うものであり、その結果得られた画像から欠陥の抽出を行う工程が、各トップハット変換により得られた画素の値の最大値又は最小値からなる画像に基づいて、欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項５】
請求項１に記載の表面欠陥検出方法であって、複数の構造要素を使用してトップハット変換の演算を行うものであり、その結果得られた画像から欠陥の抽出を行う工程が、得られた各トップハット変換結果の線形結合によって得られる画像に基づいて、欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項６】
被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ複数の構造要素を使用したトップハット変換の演算を行い、その結果得られた複数の構造要素に対応するトップハット変換後の画像画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とする表面欠陥検出方法。
【請求項７】
請求項６に記載の表面欠陥検出方法であって、トップハット変換後の画像画像を２値化し、２値化画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とする表面欠陥検出方法。
【請求項８】
被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、方向性のある特定の陰影を持つ複数の構造要素を使用したトップハット変換の演算を行い、その結果得られた複数の構造要素に対応するトップハット変換後の画像画像を２値化して残存画素を計算し、これらの比率から情報のエントロピーを計算し、欠陥の方向性の偏りを定量的に評価する工程を有することを特徴とする表面欠陥検出方法。
【請求項９】
請求項１から請求項８のうちいずれか１項に記載の表面欠陥検出方法であって、被検査対象物の表面を撮像してグレー画像を得る工程の後に、別の方法により欠陥の候補となる部分とその欠陥の特性を求め、欠陥の候補となる部分毎に、その欠陥の特性に対応した構造要素を使用して、トップハット変換の演算を行うことを特徴とする表面欠陥検出方法。
【請求項１０】
請求項９に記載の表面欠陥検出方法であって、別の方法が、撮像によって得られた画像信号に対しまずシェーディング処理と２値化を施して欠陥候補を抽出し、２値化画像から欠陥の候補となる部分とその欠陥の特性を求めるものであることを特徴とする表面欠陥検出方法。
【請求項１１】
請求項１０に記載の表面欠陥検出方法であって、２値化画像から欠陥の候補となる部分とその欠陥の特性を求める方法が、２値化画像中の画素の、２値化前の中心輝度、ランレングスの少なくとも一つに基づいて求める方法であることを特徴とする表面欠陥検出方法。
【請求項１２】
被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ単一または複数の構造要素対を使用したｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算を行ってその差分を求め、その結果得られた画像から欠陥の抽出を行う工程を有することを特徴とする表面欠陥検出方法。
【請求項１３】
請求項１２に記載の表面欠陥検出方法であって、その結果得られた画像から欠陥の抽出を行う工程が、その結果得られた画像を２値化し、２値化画像を基に欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項１４】
請求項１３に記載の表面欠陥検出方法であって、複数の構造要素対を使用してｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分を求めるものであり、２値化画像を基に欠陥の抽出を行う工程が、得られた複数の構造要素対に対応する２値化画像の演算を行うことにより、欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項１５】
請求項１２に記載の表面欠陥検出方法であって、複数の構造要素対を使用してｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分を求めるものであり、その結果得られた画像から欠陥の抽出を行う工程が、各ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分により得られた画素の値の最大値又は最小値からなる画像に基づいて、欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項１６】
請求項１２に記載の表面欠陥検出方法であって、複数の構造要素対を使用してｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分を求めるものであり、その結果得られた画像から欠陥の抽出を行う工程が、得られた各ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の線形結合によって得られる画像に基づいて、欠陥の抽出を行う工程であることを特徴とする表面欠陥検出方法。
【請求項１７】
被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ複数の構造要素対を使用したｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の演算を行い、その結果得られた複数の構造要素対に対応するｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の画像画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とする表面欠陥検出方法。
【請求項１８】
請求項１７に記載の表面欠陥検出方法であって、ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の演算後の画像画像を２値化し、２値化画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とする表面欠陥検出方法。
【請求項１９】
被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、方向性のある特定の陰影を持つ複数の構造要素対を使用したｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の演算を行い、その結果得られた複数の構造要素対に対応するｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の画像を２値化して残存画素を計算し、これらの比率から情報のエントロピーを計算し、欠陥の方向性の偏りを定量的に評価する工程を有することを特徴とする表面欠陥検出方法。
【請求項２０】
請求項１２から請求項１９のうちいずれか１項に記載の表面欠陥検出方法であって、被検査対象物の表面を撮像してグレー画像を得る工程の後に、別の方法により欠陥の候補となる部分とその欠陥の特性を求め、欠陥の候補となる部分毎に、その欠陥の特性に対応した構造要素対を使用して、ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の演算を行うことを特徴とする表面欠陥検出方法。
【請求項２１】
請求項２０に記載の表面欠陥検出方法であって、別の方法が、撮像によって得られた画像信号に対しまずシェーディング処理と２値化を施して欠陥候補を抽出し、２値化画像から欠陥の候補となる部分とその欠陥の特性を求めるものであることを特徴とする表面欠陥検出方法。
【請求項２２】
請求項２１に記載の表面欠陥検出方法であって、２値化画像から欠陥の候補となる部分とその欠陥の特性を求める方法が、２値化画像中の画素の、２値化前の中心輝度、ランレングスの少なくとも一つに基づいて求める方法であることを特徴とする表面欠陥検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、フィルム、紙、鉄鋼等の被検査体の表面欠陥を光学的に検出する技術に関するものである。
【０００２】
【従来の技術】
工業製品の表面に生じる欠陥を光学的方法で検出する方法として、例えば、特開平８−８２６０４号公報にあるように、撮像によって得られた画像信号に対し、例えば欠陥幅、欠陥部面積、縦横比、最大強度等の各種特徴量によるツリー型の論理により欠陥の分類を行う方法が知られている。
【０００３】
また特開平８−１８９９０４号公報には、画像データまたは微分画像データに、あらかじめ表面欠陥に対応するようにあらかじめ設計しておいたテンプレートを作用させ特徴量を抽出する方法が提案されている。さらには、同公報には、画像データまたは微分画像データに対して濃度共起行列を生成し、そこから特徴量を求める方法の提案もなされている。
【０００４】
【発明が解決しようとする課題】
しかしながら、前述の各特許方法に開示されている技術をはじめとして、従来の技術は、いずれも被検査対象物の表面欠陥を精度良く検出するには不十分であった。
【０００５】
たとえば、特開平８−８２６０４号公報に記載される技術は、欠陥種類または有害度を分類するために重要な因子である欠陥画像の形態とそのテクスチャーの方向性について、有効な特徴量を得る手段がなく分類は不完全であった。画像のテクスチャーの方向性を知る方法については例えば画像信号に２次元のフーリエ変換を施しスペクトル解析を行う方法が知られていたが、画像信号が全域にわたって同じテクスチャーの方向性を持っておらず、評価対象とすべき欠陥画像が局在している場合は有効な結果を得ることができなかった。
【０００６】
また、特開平８−１８９９０４号公報に記載される技術では、判断すべき欠陥種類および有害度は多岐にわたっているため、すくなくとも２００種類以上のテンプレートを設計する必要があり、しかもそれぞれについて最適設計を行うにあたって明確な指針がない。さらに、画像データまたは微分画像データに対して濃度共起行列を生成し、そこから特徴量を求める方法では、画像信号が全域にわたって同じテクスチャーの方向性を持っておらず、評価対象とすべき欠陥画像が局在している場合は有効な結果を得ることができなかった。また特定の方向でのテクスチャーの特徴量を抽出するだけであり、もっと複雑な形態を構造要素とするような幾何学的な特徴量抽出することができないという問題点があった。
【０００７】
また欠陥の自動検出においては輝度むらのある画像信号の正規化のため、２値化前にシェーディング処理が使われるが、大きな正極性欠陥の信号の立ち下がりの部分が反対の負極性の信号となったり、また大きな負極性欠陥の信号の立ち上がりの部分が、反対の正極性の信号となり、その結果、欠陥でないものを欠陥として頻繁に誤検出することがある。
【０００８】
これは前方の複数ラインで移動平均をとり対象ラインに対して引き算または割り算をしているため、処理後に正極性欠陥信号の立ち下がり部分が中心輝度より低いレベルとなり負極性の信号、負極性欠陥信号のたちあがり部分が中心輝度より高いレベルとなり正極性の信号となってしまうためである。欠陥信号の極性を見極めるのが有害欠陥の自動検出において重要であるのに対して、従来から知られているシェーディング手法など微分的な処理は上のような本質的な欠陥をもっている。
【０００９】
さらに、欠陥の分類について考えると、撮像によって得られた画像信号に対し従来は欠陥幅、欠陥部面積、縦横比、最大強度等の各種特徴量によるツリー型の論理により欠陥の分類をおこなってきた。しかしながら例えば対象とする欠陥画像の形態について長手方向に広がっているか、幅方向に広がっているか、斜め方向に広がっているか、あるいはもっと複雑な輝度分布をしているか、その形態について欠陥の有害性は異なる。
【００１０】
例えば長手方向において急峻な変化を有し、幅方向に広がった欠陥信号が特に重要で、このような信号のみを抽出しなければならないといった要求が場合には、有効な手段がなかった。
【００１１】
この欠陥の有害性を分類するために重要な因子である欠陥の形態について特定のもののみを抽出する手段がなく、しばしば過検出がおこっていた。例えばロール疵に起因する周期性欠陥の多くは長手方向に狭く鋭い信号として現れるため、このような形態を選択的に抽出し出力する必要があるが、これについても有効な手段がなかった。
【００１２】
本発明は、こうした状況に鑑みてなされたもので、撮像によって得られた画像信号を新規な方法で処理することにより、欠陥の検出や種類の判別を精度よく行うことができる表面欠陥検出方法を提供することを課題とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するための第１の手段は、被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ単一または複数の構造要素を使用したトップハット変換の演算を行い、その結果得られた画像から欠陥の抽出を行う工程を有することを特徴とする表面欠陥検出方法（請求項１）である。
【００１４】
後に発明の実施の形態で詳しく説明するように、モルフォロジーにおける特定の構造要素を使用してトップハット変換を行うと、画像における緩やかな変化を取り除き、急峻な変化のみを抽出することができる。よって、表面欠陥をノイズと区別して抽出しやすくなる。また、構造要素の特性を変えることにより、抽出される欠陥の種類を変えることができる。さらに、構造要素を複数使用してトップハット変換を行い、その結果得られた変換画像を比較することにより、欠陥の有無をより正確に検出することができる。
【００１５】
前記課題を解決するための第２の手段は、前記第１の手段であって、「その結果得られた画像から欠陥の抽出を行う工程」が、その結果得られた画像を２値化し、２値化画像を基に欠陥の抽出を行う工程であることを特徴とするもの（請求項２）である。
【００１６】
本手段においては、トップハット変換の結果得られた画像を、所定の閾値で２値化し、得られた２値化画像を基に欠陥の抽出を行う。よって、簡単な方法により欠陥の検出が可能となる。
【００１７】
前記課題を解決するための第３の手段は、前記第２の手段であって、複数の構造要素を使用してトップハット変換の演算を行うものであり、「２値化画像を基に欠陥の抽出を行う工程」が、得られた複数の構造要素に対応する２値化画像の演算を行うことにより、欠陥の抽出を行う工程であることを特徴とするもの（請求項３）である。
【００１８】
本手段においては、複数の構造要素を使用してトップハット変換の演算を行い、その結果を２値化して、得られた複数の構造要素に対応する２値化画像の論理演算を行うことにより、欠陥の抽出を行っている。よって、欠陥の有無をより正確に検出することができる。
【００１９】
前記課題を解決するための第４の手段は、前記第１の手段であって、複数の構造要素を使用してトップハット変換の演算を行うものであり、その結果得られた画像から欠陥の抽出を行う工程が、各トップハット変換により得られた画素の値の最大値又は最小値からなる画像に基づいて、欠陥の抽出を行う工程であることを特徴とするもの（請求項４）である。
【００２０】
本手段においては、複数の構造要素を使用してトップハット変換の演算を行い、各トップハット変換により得られた画素の値の最大値又は最小値からなる画像に基づいて欠陥の抽出を行う。
【００２１】
このようにすると、欠陥を最も検出しやすい構造要素によるトップハット変換に基づいて欠陥の抽出が行われることになり、欠陥の有無を正確に検出することができる。例えば、一つの欠陥がうねりを有するような場合に、方向性を有する構造要素一つのみで検出しようとすると、欠陥の一部を見逃してしまう場合があるが、本手段においては、このような複雑な形状の欠陥も一つの欠陥として正確に認識することが可能となる。
【００２２】
前記課題を解決するための第５の手段は、前記第１の手段であって、複数の構造要素を使用してトップハット変換の演算を行うものであり、その結果得られた画像から欠陥の抽出を行う工程が、得られた各トップハット変換結果の線形結合によって得られる画像に基づいて、欠陥の抽出を行う工程であることを特徴とするもの（請求項５）である。
【００２３】
本手段においては、得られた各トップハット変換結果の線形結合によって得られる画像に基づいて欠陥の抽出を行っているので、線形結合の係数を変化させることにより、目的とする形状の欠陥を強調して検出したり、所定の形状を有する欠陥の全てを精度良く検出したりすることが可能となる。
【００２４】
前記課題を解決するための第６の手段は、被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ複数の構造要素を使用したトップハット変換の演算を行い、その結果得られた複数の構造要素に対応するトップハット変換後の画像画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とする表面欠陥検出方法（請求項６）である。
【００２５】
本手段においては、構造要素の特性を変えることにより、抽出される欠陥の種類を変えることができる。さらに、構造要素を複数使用してトップハット変換を行い、その結果得られた変換画像を比較することにより、欠陥の種類やその程度、種類を正確に検出することができる。
【００２６】
前記課題を解決するための第７の手段は、前記第６の手段であって、トップハット変換後の画像画像を２値化し、２値化画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とするもの（請求項７）である。
【００２７】
本手段においては、トップハット変換の結果得られた画像を、所定の閾値で２値化し、得られた２値化画像を基に欠陥の抽出を行う。よって、簡単な方法により欠陥の分類、欠陥の程度判別の少なくとも一方が可能となる。
【００２８】
前記課題を解決するための第８の手段は、被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、方向性のある特定の陰影を持つ複数の構造要素を使用したトップハット変換の演算を行い、その結果得られた複数の構造要素に対応するトップハット変換後の画像画像を２値化して残存画素を計算し、これらの比率から情報のエントロピーを計算し、エントロピーの値から欠陥の方向性の偏りを定量的に評価する工程を有することを特徴とする表面欠陥検出方法（請求項８）である。
【００２９】
本手段においては、方向性のある特定の陰影を持つ複数の構造要素を使用したトップハット変換を行い、得られた画像を２値化して残存画素を計算する。そして、その比率からエントロピーを計算する。そしてエントロピーの値が大きい場合は欠陥に方向性が少ない判断し、エントロピーの値が小さい場合は、方向性のある欠陥であると判断できる。
【００３０】
前記課題を解決するための第９の手段は、前記第１の手段から第８の手段のいずれかであって、被検査対象物の表面を撮像してグレー画像を得る工程の後に、別の方法により欠陥の候補となる部分とその欠陥の特性を求め、欠陥の候補となる部分毎に、その欠陥の特性に対応した構造要素を使用して、トップハット変換の演算を行うことを特徴とするもの（請求項９）である。
【００３１】
本手段においては、たとえば従来の任意の方法で、大まかな欠陥の特性を求めておき、それに応じた構造要素を使用してトップハット変換の演算を行うようにしているので、個々の欠陥に適当な構造要素を選択して使用することができ、全構造要素を使用するのに比して演算時間を短縮することができる。また、欠陥の候補となる部分が予め定められているので、トップハット変換を行う領域が少なくて済む。
【００３２】
前記課題を解決するための第１０の手段は、前記第９の手段であって、別の方法が、撮像によって得られた画像信号に対しまずシェーディング処理と２値化を施して欠陥候補を抽出し、２値化画像から欠陥の候補となる部分とその欠陥の特性を求めるものであることを特徴とするもの（請求項１０）である。
【００３３】
本手段においては、撮像によって得られた画像信号に対しまずシェーディング処理と２値化を施して欠陥候補を抽出し、２値化画像から欠陥の候補となる部分とその欠陥の特性を求め、その結果に応じて構造要素を使い分けている。よって、簡単な前処理によって、構造要素を使い分けることができる。
【００３４】
前記課題を解決するための第１１の手段は、前記第１０の手段であって、２値化画像から欠陥の候補となる部分とその欠陥の特性を求める方法が、２値化画像中の画素の、２値化前の中心輝度、ランレングスの少なくとも一つに基づいて求める方法であることを特徴とするもの（請求項１１）である。
【００３５】
本手段においては、２値化画像が欠陥のおおよその範囲を示す。そして、その範囲における２値化前の画素の中心輝度は、欠陥の深さを代表するものであり、ランレングスは、欠陥の長さを代表するものである。よって、これらの少なくとも一方を基準にして構造要素を選ぶことにより、欠陥深さ、欠陥長さの少なくとも一方を基準にして、適当な構造要素を選ぶことができる。
【００３６】
前記課題を解決するための第１２の手段は、被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ単一または複数の構造要素対を使用したｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算を行ってその差分を求め、その結果得られた画像から欠陥の抽出を行う工程を有することを特徴とする表面欠陥検出方法（請求項１２）である。
【００３７】
前記課題を解決するための第１３の手段は、前記第１２の手段であって、その結果得られた画像から欠陥の抽出を行う工程が、その結果得られた画像を２値化し、２値化画像を基に欠陥の抽出を行う工程であることを特徴とするもの（請求項１３）である。
【００３８】
前記課題を解決するための第１４の手段は、前記第１３の手段であって、複数の構造要素対を使用してｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分を求めるものであり、２値化画像を基に欠陥の抽出を行う工程が、得られた複数の構造要素対に対応する２値化画像の演算を行うことにより、欠陥の抽出を行う工程であることを特徴とするもの（請求項１４）である。
【００３９】
前記課題を解決するための第１５の手段は、前記第１２の手段であって、複数の構造要素対を使用してｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分を求めるものであり、その結果得られた画像から欠陥の抽出を行う工程が、各ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分により得られた画素の値の最大値又は最小値からなる画像に基づいて、欠陥の抽出を行う工程であることを特徴とするもの（請求項１５）である。
【００４０】
前記課題を解決するための第１６の手段は、前記第１２の手段であって、複数の構造要素対を使用してｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の演算の差分を求めるものであり、その結果得られた画像から欠陥の抽出を行う工程が、得られた各ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の線形結合によって得られる画像に基づいて、欠陥の抽出を行う工程であることを特徴とするもの（請求項１６）である。
【００４１】
前記課題を解決するための第１７の手段は、被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、特定の陰影を持つ複数の構造要素対を使用したｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の演算を行い、その結果得られた複数の構造要素対に対応するｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の画像画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とする表面欠陥検出方法（請求項１７）である。
【００４２】
前記課題を解決するための第１８の手段は、前記第１７の手段であって、ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の演算後の画像画像を２値化し、２値化画像から、欠陥の分類、欠陥の程度判別の少なくとも一方を行う工程を有することを特徴とする表面欠陥検出方法（請求項１８）である。
【００４３】
前記課題を解決するための第１９の手段は、被検査対象物の表面を撮像してグレー画像を得る工程と、得られた画像信号の少なくとも一部に対しグレースケールのモルフォロジーにおける、方向性のある特定の陰影を持つ複数の構造要素対を使用したｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の演算を行い、その結果得られた複数の構造要素対に対応するｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分の画像を２値化して残存画素を計算し、これらの比率から情報のエントロピーを計算し、欠陥の方向性の偏りを定量的に評価する工程を有することを特徴とする表面欠陥検出方法（請求項１９）である。
【００４４】
前記課題を解決するための第２０の手段は、前記第１２の手段から第１９の手段のいずれかであって、被検査対象物の表面を撮像してグレー画像を得る工程の後に、別の方法により欠陥の候補となる部分とその欠陥の特性を求め、欠陥の候補となる部分毎に、その欠陥の特性に対応した構造要素対を使用して、ｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算を行うことを特徴とするもの（請求項２０）である。
【００４５】
前記課題を解決するための第２１の手段は、前記第２０の手段であって、別の方法が、撮像によって得られた画像信号に対しまずシェーディング処理と２値化を施して欠陥候補を抽出し、２値化画像から欠陥の候補となる部分とその欠陥の特性を求めるものであることを特徴とするもの（請求項２１）である。
【００４６】
前記課題を解決するための第２２の手段は、前記第２１の手段であって、２値化画像から欠陥の候補となる部分とその欠陥の特性を求める方法が、２値化画像中の画素の、２値化前の中心輝度、ランレングスの少なくとも一つに基づいて求める方法であることを特徴とするもの（請求項２２）である。
【００４７】
これら、第１２の手段から第２２の手段は、それぞれ前記第１の手段から第１２の手段に対応するものである。前記第１の手段から第１２の手段においては、構造要素を使用したトップハット変換を使用していたのに対し、第１３の手段から第２４の手段は、構造要素の対を使用し、各々の構造要素を使用したｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の結果の差分を演算し、その差分演算の結果に基づいて以後の演算を行い、其の結果に基づいて欠陥の検出を行っている点が異なっている。
【００４８】
構造要素の対によるｃｌｏｓｉｎｇ演算又はｏｐｅｎｉｎｇ演算の差分をとることにより、両者の構造要素の中間の大きさを有する欠陥を強調して抽出することができる。例えば、大きな構造要素と小さな構造要素を対とし、大きな構造要素が輝度ムラのような緩やかな変化に追随できるようにし、小さな構造要素が微小ノイズに追随できないようにしておけば、緩やかな変化には両方の構造要素が追随でき、微小ノイズには両方の構造要素が追随できないので、差分をとれば、これらのものは検出されなくなる。そして、大きな構造要素が追随できず、小さな構造要素が追随できるような大きさの欠陥のみを抽出することができる。
【００４９】
【発明の実施の形態】
以下、本発明の実施の形態の例を、図を用いて説明する。最初に、例えば光源とカメラ等を用いた撮像系で被検査対象物の表面の画像を画像メモリに記憶する。本実施の形態では得られた画像信号に対しシェーディングを施し、当該画像にグレースケールのモルフォロジーにおける、特定の陰影を持つ構造要素を使用したトップハット変換を行い、その結果得られた画像から、欠陥の抽出を行う。
【００５０】
先ず画像メモリに採取された画像データに対して、光学系に起因する輝度ムラを除去するためにシェーディング補正を行う。このときシェーディング補正による規格化は従来からよく知られているとおり、注目ラインの前後の決められた範囲で移動平均をとり注目ラインの信号から引き算または割り算を行うことによって行われる。このシェーディング補正後の画像は例えば２５６階調のグレースケールとされているので、所定値の閾値を用いて２値化処理を行い、２値化画像を得ることができる。
【００５１】
この２値化画像から欠陥候補を求める。すなわち、例えば２値化画像で画素の値が「１」となっている領域を欠陥候補とする。この欠陥候補にはシェーディング補正の副作用である影の部分など欠陥信号以外も含まれている。
【００５２】
次にモルフォロジー処理の１例と知られるトップハット変換により、欠陥候補から真の欠陥信号を見つける。すなわち、欠陥候補とその近傍の画素の画像を切り出して、注目する欠陥信号の形態に応じた特定の構造要素をトップハット変換に使用して処理を行う。この処理に使用する画像信号は、シェーディング補正前のグレースケール画像である。
【００５３】
トップハット変換に使用する構造要素は、特定の１種類でもよいが、まず、２値化画像を、その長さや縦横比、長さ方向等を基にいくつかのパターンにより分類し、分類毎に別の構造要素を用いるようにしてもよい。構造要素の例としては、例えば簡単のため￣／｜＼の方向性と特定のスケールを持つ複数の構造要素を使用してもよい。各線の方向は、その方向に長い形状を有する構造要素を表す。なお各構造要素はこれに限定されるものではなく更に複雑な形態を採用してもよい。
【００５４】
各構造要素にてトップハット変換後得られた複数の処理後画像Ｓ￣（ｘ、ｙ）、Ｓ／（ｘ、ｙ）、Ｓ｜（ｘ、ｙ）、Ｓ＼（ｘ、ｙ）の最大値
Ｄｍａｘ（ｘ、ｙ）＝ｍａｘ｛Ｓ￣（ｘ、ｙ），Ｓ／（ｘ、ｙ），Ｓ｜（ｘ、ｙ），Ｓ＼（ｘ、ｙ）｝
を求めれば各方向に直角な方向に長い線状の欠陥を中心として抽出することができる。
【００５５】
また処理後画像の各画素での係数Ａ￣、Ａ／、Ａ＼、Ａ｜で重みづけられた線形結合
Ｄｌｉｎｅａｒ（ｘ、ｙ）
＝Ａ￣・Ｓ￣（ｘ、ｙ）＋　Ａ／・Ｓ／（ｘ、ｙ）＋　Ａ｜・Ｓ｜（ｘ、ｙ）＋　Ａ＼・Ｓ＼（ｘ、ｙ）
をとってもよい。このとき例えばＡ￣＜Ａ／＝Ａ＼＜Ａ｜ととっておけば横方向の線状の欠陥について特に敏感になり縦方向の線状の欠陥に対して重み付ができる。また得られた複数の画像をそれぞれ所定の閾値で２値化して論理和や論理積などの演算を実行し、真の有害欠陥の抽出を行うことも可能である。
【００５６】
グレースケールのモルフォロジーについては例えば「モルフォロジー」（コロナ社）に詳しい。モルフォロジーは例えば乳癌のＸ線による検診など医療画像の解析に応用されつつある新しい画像処理技術であり、あらかじめ設定した構造要素を使用した集合論的操作によって、元画像から特定の幾何学的構造をもった要素のみを選択的に抽出するものである。
【００５７】
濃淡画像へのモルフォロジー処理は構造要素と呼ばれる画像を移動させる要素とＭｉｎｋｏｗｓｋｉ和とＭｉｎｋｏｗｓｋｉ差と呼ばれる演算を基礎としており、代表的な処理にｄｉｌａｔｉｏｎ演算とｅｒｏｓｉｏｎ　演算また、それらの組み合わせのｏｐｅｎｉｎｇ演算とｃｌｏｓｉｎｇ演算がある。
【００５８】
処理する２次元画像の濃淡値を２次元空間の定義域Ｆで関数ｆ（Ｘ）、構造要素の濃淡値を２次元空間の定義域Ｇで構造関数ｇ（Ｘ）と表現すると（Ｘは２次元変数、以下に現われるＵも２次元変数である）、離散データの場合にまずＭｉｎｋｏｗｓｋｉ和は、
【００５９】
【数１】
2004045356.tif 000003
【００６０】
またＭｉｎｋｏｗｓｋｉ差は
【００６１】
【数２】
2004045356.tif 000004
【００６２】
と定義される。なお、Ｍｉｎｋｏｗｓｋｉ差を定義する記号には、通常○の中に−を入れた記号が使用されるが、フォントの制約上こうした記号が使用できないので、Θで代用することにする。更にｄｉｌａｔｉｏｎ（ずらし重ね）演算はＭｉｎｋｏｗｓｋｉ和のｇ（Ｘ）を対称なｇｓ（Ｘ）＝ｇ（−Ｘ）で置き換えて、
【００６３】
【数３】
2004045356.tif 000005
【００６４】
またｅｒｏｓｉｏｎ（掻き取り）演算はＭｉｎｋｏｗｓｋｉ和のｇ（Ｘ）をｇｓ（Ｘ）で置き換えて、
【００６５】
【数４】
2004045356.tif 000006
【００６６】
で定義される。関数ｆ（Ｘ）に対してｇ（Ｕ）を平行移動し、両者の垂直方向の対応点同士の和の最大値をとればｄｉｌａｔｉｏｎ演算であり、差の最小値をとればｅｒｏｓｉｏｎ演算になる。
ここでｏｐｅｎｉｎｇ演算はＭｉｎｋｏｗｓｋｉ和とｅｒｏｓｉｏｎ演算を組み合わせて
【００６７】
【数５】
2004045356.tif 000007
【００６８】
ｃｌｏｓｉｎｇ演算はＭｉｎｋｏｗｓｋｉ差とｄｉｌａｔｉｏｎ演算を組み合わせて
【００６９】
【数６】
2004045356.tif 000008
【００７０】
となる。
【００７１】
図１に、１次元関数ｆ（ｘ）に対して、半円状の構造関数ｇ１（ｘ）にてｏｐｅｎｉｎｇ演算を行った結果と、半円状の構造関数ｇ２（ｘ）にてｃｌｏｓｉｎｇ演算を行った結果を示す。この場合、ｏｐｅｎｉｎｇ演算は下からの平滑化処理、ｃｌｏｓｉｎｇ演算は上からの平滑処理に対応する。
【００７２】
ｏｐｅｎｉｎｇ演算による下からの平滑化処理を行った画素の値を、元画素の値からから引き算をすれば下からのトップハット変換、ｃｌｏｓｉｎｇ演算による上からの平滑処理を行った画素の値を、元画素の値からから引き算をすれば上からのトップハット変換となる。画像からの欠陥信号抽出の観点で言えば下からのトップハット変換は正極性欠陥信号の抽出、上からのトップハット変換は負極性欠陥信号の抽出を意味している。
【００７３】
上からのトップハット変換について図２で１次元信号の場合を例にとって説明する。関数の値がゆるやかに変化しているところでは、球はそれを正確になぞっていくことができるが、負のパルスがあると、その部分には球が入れないために、トレース可能な範囲からはずれることになる。よって、球の軌跡としては、（ｂ）に示すように、滑らかな曲線が得られることになる。この球の軌跡を元信号から引き算すれば鋭い負極性信号のみ抽出することができる（ｃ）。
【００７４】
図２から明らかなように、どのような信号を抽出するかは構造要素の形態によって決定される。また２次元の場合についても図３のような構造要素を用いることにより、鋭い変化を有する欠陥信号のみを抽出できることは、容易に想像できる。
【００７５】
図３においては、（ａ）に示すように、構造要素として下に凸な楕円球の形状をしたものでトップハット変換を行っている。（ｂ）が変換前の画像（グレー画像であるが、出願書類に制約のため２値化画像となっている）であり、緩やかな階調の変化の中に、鋭い階調の変化を有する２つの欠陥が存在している。実際の構造要素の大きさは、（ｂ）の下側に示される大きさである。（ｃ）がトップハット変換後のグレー画像であり、欠陥のみが抽出されていることが分かる。
【００７６】
更に真の有害欠陥の抽出をするのみならず、欠陥の種類および有害度について分類を行うとき、複数の構造要素にてトップハット変換を行うことが考えられる。以下の例では、簡単のため￣／｜＼の方向性と特定のスケールを持つ複数の構造要素を使用する場合について説明するが、これに限定されるものではなく更に複雑な形態を構造要素として採用してもかまわない。
【００７７】
このように、構造要素を用いてトップハット変換を行い、トップハット変換後の画像に基づいて欠陥の検出、程度判別、種類判別を行うのが本発明の特徴部であり、トップハット変換後の画像に基づいて欠陥の検出、程度判別、種類判別の方法は特に規定せず、従来用いられているものを適宜使用してもよいし、極端な場合には人間がトップハット変換後の画像を見てこれらのことを行ってもよい。
【００７８】
以下、欠陥の種別判定の例を説明する。最初に、欠陥が方向性を有するか、方向性のない欠陥かを判別する方法について説明する。
【００７９】
まず各構造要素にてトップハット変換後Ｓ￣（ｘ、ｙ）、Ｓ／（ｘ、ｙ）、Ｓ｜（ｘ、ｙ）、Ｓ＼（ｘ、ｙ）を得て、適当な閾値により複数の２値化を行い、各残存画素数を算出する。この例では￣／｜＼の方向性と特定のスケールを持つ４つの構造要素を使用して行い図７に示したとおり４つの画像の各残存画素数を得る。このとき複数の処理後画像Ｓ￣（ｘ、ｙ）、Ｓ／（ｘ、ｙ）、Ｓ｜（ｘ、ｙ）、Ｓ＼（ｘ、ｙ）から得られる特徴量は２値化後の各残存画素数に限られるものではなく例えば適当な閾値を越える最大輝度などを用いてもかまわない。
【００８０】
計算された特徴量を４次元ベクトルＵ＝（ｕ１，ｕ２，ｕ３，ｕ４）で表し、特徴量パターンと呼ぶ。今回の例では前述の￣での残存画素数ｕ１、／での残存画素数ｕ２｜での残存画素数ｕ３、＼での残存画素数ｕ４を特徴量とする。
【００８１】
更にそれぞれの残存画素数の比率から情報のエントロピーを計算することにより欠陥のテクスチャーの偏りを定量的に評価して新たな特徴量として扱ってもよい。エントロピーは事象の予測しやすさを表現する量であり事象ｌの生成確率をＰｌ（ただし
【００８２】
【数７】
2004045356.tif 000009
【００８３】
総和は起こる事象全てについてとる）とすると
【００８４】
【数８】
2004045356.tif 000010
【００８５】
（総和は起こる全ての事象についてとる）
という式で表される。全ての事象が同じ確率で起こる最も予測しにくいとき情報のエントロピーは最大となり、ある事象だけが起こり（すなわちその生成確率１）他の事象が全く起こらない最も予測しやすいとき（すなわちその生成確率０）情報のエントロピーは最低値（０）になる。
【００８６】
ここではテクスチャーの方向性がランダムな場合は情報のエントロピーが大きく、テクスチャーの方向性が偏っている場合は情報のエントロピーが小さくなる。それぞれの残存画素数ｕ１、ｕ２、ｕ３、ｕ４が与えられたとき、
【００８７】
【数９】
2004045356.tif 000011
【００８８】
のように
【００８９】
【数１０】
2004045356.tif 000012
【００９０】
（総和は全てのカテゴリについてとる。すなわち、上記の場合、ｍ＝１〜４））となるよう規格化してから上式で情報のエントロピーｕ５＝Ｈを計算して新たな特徴量としてもよい。このようにして、エントロピーを計算することにより、特定の方向性を持った欠陥か、方向性の無い欠陥かを判別することができる。
【００９１】
次に得られた各残存画素数から欠陥の種類および有害度について分類するための方法として、例えばベイズの定理に基づいた最尤決定を用いた方法の例を説明する。
【００９２】
まず、前述のように、欠陥について特徴量ｕ１，ｕ２，ｕ３，ｕ４からなるベクトルである特徴量パターンＵを求める。今回は４次元の特徴量パターンからＣ種類の欠陥種別又は欠陥程度を分類する
分類すべき欠陥種類または欠陥程度等をそれぞれカテゴリと呼ぶこととする。特徴量パターンＵ＝（ｕ１，ｕ２，ｕ３，ｕ４）が観測されたとき、その欠陥のカテゴリがｊである確率をＰ（ｊ｜Ｕ）、カテゴリｊ（カテゴリ数Ｃ）が特徴量パターンＵを生起する確率をＰ（Ｕ｜ｊ）、カテゴリｊの生起確率をＰ（ｊ）、特徴量パターンＵの生起確率をＰ（Ｕ）とすれば、ベイズの定理により
Ｐ（ｊ｜Ｕ）＝｛Ｐ（Ｕ｜ｊ）Ｐ（ｊ）｝／Ｐ（Ｕ）
【００９３】
ここでＰ（Ｕ｜ｊ）、Ｐ（ｊ）はあらかじめ多数のサンプルを集めて求めておくことができる。またＰ（Ｕ）は、通常はカテゴリによらないとする。そして、この式でｊを変えてＰ（ｊ｜Ｕ）が最大となるカテゴリｉを、欠陥のカテゴリ（欠陥種類または欠陥程度等）とすればよい。
【００９４】
実際には、Ｕ＝（ｕ１，ｕ２，ｕ３，ｕ４）は無限に存在するので、ｕ１，ｕ２，ｕ３，ｕ４のそれぞれについて、０から所定の最大値までの間を所定数Ｋに区分し、その区分毎にＵを決定する。このようにすれば、ＵはＫ４個だけについて考慮すればよい。
【００９５】
あらかじめ、特徴量パターンＵとそのカテゴリ（欠陥種類または欠陥程度等）との対応の分かっている多量の学習用サンプルから教師付学習を行っておく。カテゴリｊの生成確率Ｐ（ｊ）を求め、また、カテゴリｊに分類された特徴量パターンＶ（Ｖ⊆Ｚ、Ｚは考えられるパターン全体の集合）のそれぞれの要素ｖｋ（ｋ＝１〜４）のｋごとの平均値ｍｋ、と分散σｋｋ２、さらにｖｋとｖｌの共分散σｋｌ２＝σｌｋ２（ｋ≠ｌ）を計算しておく（ｋ＝１，２，３，４、ｌ＝１，２，３，４）。平均ベクトルをＭｊ＝（ｍ１，ｍ２，ｍ３，ｍ４）Ｔ，４×４の共分散行列を
【００９６】
【数１１】
2004045356.tif 000013
【００９７】
と表す。ここで、
ｍ１：学習用サンプルでの￣を構造要素としたときの残存画素数の平均
ｍ２：学習用サンプルでの／を構造要素としたときの残存画素数の平均
ｍ３：学習用サンプルでの｜を構造要素としたときの残存画素数の平均
ｍ４：学習用サンプルでの＼を構造要素としたときの残存画素数の平均
σ１１２：学習用サンプルでの￣を構造要素としたときの残存画素数の分散
σ２２２：学習用サンプルでの／を構造要素としたときの残存画素数の分散
σ３３２：学習用サンプルでの｜を構造要素としたときの残存画素数の分散
σ４４２：学習用サンプルでの＼を構造要素としたときの残存画素数の分散
σ１２２＝σ２１２：学習用サンプルでの￣を構造要素としたときの残存画素数と／を構造要素としたときの残存画素数の共分散
σ２３２＝σ３２２：学習用サンプルでの／を構造要素としたときの残存画素数と｜を構造要素としたときの残存画素数の共分散
σ３４２＝σ３４２：学習用サンプルでの｜を構造要素としたときの残存画素数と＼を構造要素としたときの残存画素数の共分散
σ１３２＝σ３１２：学習用サンプルでの￣を構造要素としたときの残存画素数と｜を構造要素としたときの残存画素数の共分散
σ２４２＝σ４２２：学習用サンプルでの／を構造要素としたときの残存画素数と＼を構造要素としたときの残存画素数の共分散
σ１４２＝σ４１２：学習用サンプルでの￣を構造要素としたときの残存画素数と＼を構造要素としたときの残存画素数の共分散
である。
これらの平均ベクトルと分散行列は、全てのカテゴリｊについて計算しておく。
【００９８】
カテゴリｊを生起する確率が特徴量パターンＵのｎ次元（今回の場合はｎ＝４）正規分布に従うと仮定すると、ベイズの定理からの計算により、尤度関数は｜Σｊ｜をΣｊの行列式として
【００９９】
【数１２】
2004045356.tif 000014
【０１００】
となる。
【０１０１】
ある検査で、特徴量パターンＷ（Ｗ⊆Ｚ）が検出されたとき、ｊを変えて、この尤度関数ｇ（ｊ｜Ｗ）が最大となるカテゴリｉを探せば、このｉでＰ（ｊ｜Ｗ）（特徴量パターンＷが観測されたときそれがカテゴリｊである確率）も最大となり、カテゴリｉに欠陥種類または欠陥程度を分類することができる。
【０１０２】
ここでは本発明の手法から得られる情報以外に欠陥信号の面積、輝度積算値、半値幅等の従来から使われてきた各種特徴量をも含めて認識してもよいので一般的にはｎ次元でのベイズの定理に基づいた最尤決定が考えられる。
【０１０３】
すなわち￣での残存画素数ｕ１、／での残存画素数ｕ２、｜での残存画素数ｕ３、＼での残存画素数ｕ４、情報のエントロピーｕ５、欠陥信号の面積ｕ６、輝度積算値ｕ７、半値幅ｕ８・・・を要素とするベクトルを特徴量パターンＵとして考える。各残存画素数からのパターン認識には上記したベイズの定理に基づいた最尤決定の他にツリー型の論理や最近傍決定則（ｎｅａｒｅｓｔ　ｎｅｉｇｈｂｏｒ　ｒｕｌｅ）あるいはニューラルネットワークの手法などさまざまなものが考えられる。
【０１０４】
以上の実施の形態は、特定形態欠陥の抽出または欠陥種類または欠陥程度の分類に主眼をおいて書かれているが、同様の原理から生産工程における処理むら等の無害な信号を欠陥候補から除外するために用いてもよい。
【０１０５】
以上の実施の形態は、単独の構造要素を用いたトップハット変換により、ノイズを除去する方法であった。この方法によると、画像の濃淡のように大きなうねりをもった大きなノイズを効果的に除去し、微小な欠陥を効果的に検出することができる。
【０１０６】
しかしながら、実際の表面欠陥を検出する場合には、微小ではあるが急峻な信号変化を持ったノイズが存在することがある。たとえば、受光素子であるＣＣＤの素子の感度むらに起因する画質の荒れなどがこのようなノイズに相当する。このような場合には、照明系に起因する緩やかな輝度斑と画質の荒れなどの急峻で細かいノイズ要素の両者を除去し、これらに対して中間的な急峻さの信号変化でを有する欠陥信号のみを抽出する必要がある。
【０１０７】
このような要望に適えるためには、サイズの異なる構造要素の対｛ｇ＋（ｘ），　ｇ−（ｘ）｝を使用し、それぞれのｃｌｏｓｉｎｇ演算またはｏｐｅｎｉｎｇ演算の差分を求めて中心輝度を通常１２８（即ち最大信号の半分の信号）にし、バンドパスフィルターにように中間的な信号変化をもつ欠陥のみを選択的に抽出すればよい。
【０１０８】
図１２に大きな半円状の構造要素ｇ＋（ｘ）と小さな半円状の構造要素ｇ−（ｘ）を対としてｃｌｏｓｉｎｇ演算を行い、その差分により欠陥検出を行う方法を１次元の例として説明する。
【０１０９】
図１２において（ａ）は元信号であり、図に示すように大きなうねりの中に、中程度のｘ軸方向の大きさと傾斜を有する欠陥と、ｘ軸方向の大きさは小さいが、急峻な傾斜を有するノイズとが混在している。
【０１１０】
これに対して、大きな半円状の構造要素ｇ＋（ｘ）を用いてｃｌｏｓｉｎｇ演算を行うと、半円状の構造要素ｇ＋（ｘ）は、欠陥信号の中にもノイズ信号に中にも入り込めず、（ｂ）に示すような軌跡をたどるので、結局、構造要素ｇ＋（ｘ）によるｃｌｏｓｉｎｇ演算の結果は（ｃ）のようになる。
【０１１１】
また、小さな半円状の構造要素ｇ−（ｘ）を用いてｃｌｏｓｉｎｇ演算を行うと、半円状の構造要素ｇ−（ｘ）は、欠陥信号の中には入り込めるがノイズ信号の中には入り込めず、（ｄ）に示すような軌跡をたどるので、結局構造要素ｇ−（ｘ）によるｃｌｏｓｉｎｇ演算の結果は（ｅ）のようになる。
【０１１２】
よって、（ｄ）と（ｅ）との差分をとるとその結果は（ｆ）のようになり、ノイズ信号と大きなうねりが除去され、欠陥信号が強調されて残る。図１２では模式的に１次元の負極性欠陥の例で説明したが、正極性の場合も、２次元の場合も、これから容易に想像できるとおりである。２次元の場合に使用する構造要素の対の例を図１３に示す。図１３において、数字は深さを示す。
【０１１３】
【実施例】
＜実施例１＞
以下、本発明を鉄鋼分野の鋼板の表面検査における有害欠陥抽出に適用した第１の例について述べる。
【０１１４】
画像処理装置内での信号処理の流れを図４に沿って説明する。先ずステップＳ１１において画像データを採取して入力する。次に、ステップＳ１２〜Ｓ１５において、それぞれ―、／、｜、＼方向に長い構造要素（例えば、図３の構造要素２のように長手方向に延びた楕円状の形態を有する構造要素）によりトップハット変換Ｓ￣（ｘ、ｙ）、Ｓ／（ｘ、ｙ）、Ｓ｜（ｘ、ｙ）、Ｓ＼（ｘ、ｙ）を行い、それぞれについてトップハット変換後の変換画像を得る。
【０１１５】
輝度の小さい欠陥を抽出したい場合は上からのトップハット変換、輝度の大きな欠陥を抽出したい場合は、下からのトップハット変換、両者を抽出したい場合は、両方のトップハット変換を行い、それぞれに変換後の変換画像を得る。上記のような構造要素によるトップハット変換により、構造要素の長手方向に急峻な信号変化をもつもののみを強調し、他の陰影をならした画像信号が得られる。
【０１１６】
次に、ステップＳ１６において、前述の計算によりＤｍａｘ（ｘ、ｙ）とＤｌｉｎｅａｒ（ｘ、ｙ）を求める。そして、ステップＳ１７においてＤｍａｘ（ｘ、ｙ）とＤｌｉｎｅａｒ（ｘ、ｙ）で形成されるグレースケール画像を出力し、ステップＳ１８でそれから２値化画像を得る。このときトップハット変換により注目する信号変化以外は慣らされ規格化することができるため適当な固定の閾値により、シェーディング補正を経た画像の場合と同様に容易に２値化を行うことができる。この段階で、人間が２値化画像を見て、欠陥を判別するようにしてもよい。
￣／｜＼それぞれの構造要素を使用してトップハット変換後に２値化した画像の例を図５に示す。
【０１１７】
また、方向性を有する構造要素を、０〜１８０°に亘って、４５°おきに回転させて、それぞれトップハット変換を行い、Ｄｍａｘ（ｘ、ｙ）を求めた画像を図６に、Ｄｌｉｎｅａｒ（ｘ、ｙ）を求めた画像を図７に示す。Ｄｌｉｎｅａｒ（ｘ、ｙ）において、各構造要素のトップハット変換に対する重み係数は、横（−）方向の信号を出しやすくするため、Ａ−＜Ａ／＝Ａ＼＜Ａ｜のように調整してある。
【０１１８】
図６、図７のいずれにおいても、複雑な方向性を有する欠陥画像が、背景（ノイズ）に対して強調されて抽出されていることが分かる。
【０１１９】
この実施の形態では、その濃度積算値等の特徴量を求める。まず、ステップＳ１９で、２値化画像のうち、不要な孤立点を除去したうえで残存する画素を欠陥候補とする。次に、ステップＳ２０で、欠陥候補中の濃度（グレースケール値）の積算値、最低値（又は最高値）を求め、これらより欠陥の程度を判定する。また、欠陥候補と判定された２値化画像の面積より欠陥の大きさを求める。
【０１２０】
この実施の形態では、元画像にシェーディング補正をかけることは行っていない。シェーディング補正をかけると、その段階では欠陥の形状についての評価がおこわれてないため、鋼板上の大きな冷却水の流れなどを拾って過検出をおこしてしまう。またシェーディング処理においては、前述のように大きな正極性欠陥の信号のたちさがりの部分が反対の負極性の信号となり、正極性信号の影の部分を検出してしまうことになる。欠陥分類のための代表的なパラメータである濃度積算値は欠陥の領域で各画素の輝度を積算したものであるが、シェーディング処理によればこの特徴量を誤って計算してしまうことになる。
【０１２１】
よって、シェーディング補正を行わず、そこで元画像に対して欠陥より大きい適当な形の構造要素を使った下からのトップハット変換・上からのトップハット変換により負極性信号と正極性信号をそれぞれ抽出し、濃度積算値を求めれば適切な値が求められる。
【０１２２】
＜実施例２＞
以下、本発明を鉄鋼分野の鋼板の表面検査における有害欠陥抽出に適用した第２の例について述べる。
【０１２３】
画像処理装置内での信号処理の流れを図８に沿って説明する。先ずステップＳ２１において画像データを採取して入力する。次にステップＳ２２で、光学系に起因する輝度ムラを除去するためにシェーディング補正を行い、ステップＳ２３で２値化処理をおこなって欠陥候補を求める。そして、この欠陥候補のランレングスと中心輝度（２値化前）を求める。
【０１２４】
欠陥候補が挙げられると元画像に戻って、ステップＳ２６において、欠陥候補の近傍の画像を切り出す。これは、欠陥候補を含む画素と、その周辺の特定範囲の画素（例えば周囲の、ｘ、ｙ方向特定数の範囲の画素）を切り出すことによって求められる。そして、ステップＳ２８で、前述のようなグレースケールのモルフォロジーにおける、特定の形態を持つ構造要素を使用したトップハット変換の演算を行うが、本実施例においては、それに先立ち、ステップＳ２７において使用する構造要素を、ステップＳ２５で求められたランレングスと中心輝度とを使用して、図９に示すような表により求めている。
【０１２５】
すなわち、本実施例においては、ステップＳ２５で求められたランレングスと中心輝度を利用して予想される欠陥の形状を求め、その欠陥を有効に抽出できるような構造要素を、図９に示すような表から求めている。これにより、多種類の欠陥について、最適な構造要素でトップハット変換を行うことができる。
【０１２６】
ステップＳ２８でのトップハット変換で求められた画像について、ステップＳ２９で２値化処理を行い、２値化画像を得る。そして、ステップＳ３０で、２値化された残存画素数を算出し、ステップＳ３１で残存画素数が閾値以上であるかどうかを算出する。
【０１２７】
残存画素数が閾値以上の場合は、ステップＳ３２で欠陥として出力する。ステップＳ２６〜Ｓ３２は、抽出された欠陥候補の全てについて実施する。
【０１２８】
トップハット変換はシェーディング補正のかわりに元画像全体にわたっておこなってもよいが、処理速度を上げるため、本実施例では欠陥候補の近傍において行うこととする。このようにトップハット変換を施す領域を狭めても広い領域での移動平均が必要となるシェーディング補正と異なり、構造要素より充分に大きい面積であれば、その正規化の能力を弱めることはない。
【０１２９】
また、本手段においては、欠陥候補の特性に応じて構造要素を選択して適用しているので、元画像全体に亘って全ての構造要素を使用してトップハット変換を行う場合に比して、大幅に処理時間を短縮できる。
【０１３０】
＜実施例３＞
以下、本発明を鉄鋼分野の鋼板の表面検査における有害欠陥分類に適用した例について述べる。
【０１３１】
例えば冷間圧延の工程において例えば通常の欠陥が流れ方向と垂直につくのに対してロールの圧下による欠陥は鋼板の流れ方向につく傾向があり、鋼板の表面検査においてはこのようなロールマークを特定する必要がある。このように欠陥の分類において形態およびテクスチャーの評価は重要である。
【０１３２】
この処理の流れを図１０のフローチャートに従って説明する。まず先ずステップＳ４１において画像データを採取して入力する。次に、ステップＳ３２〜Ｓ５３において、￣／｜＼の方向性と特定のスケールを持つ複数の構造要素を使用してトップハット変換を行い、それぞれ、Ｓ￣（ｘ、ｙ）、Ｓ／（ｘ、ｙ）、Ｓ｜（ｘ、ｙ）、Ｓ＼（ｘ、ｙ）の画像を得て、適当な閾値により２値化することにより各残存画素数を算出し比較する。
【０１３３】
図１１に、構造要素の例を示す。各構造要素中の数字は、紙面に垂直な方向の深さに対応する。（ａ）はほぼ球状の構造要素であり、方向性を有しない欠陥の抽出に適している。（ｂ）はやや横長の楕円球状の構造要素であり、横長の欠陥を除外し、縦長の欠陥を検出するのに適している。（ｃ）は縦に長い角錐台状の構造要素であり、縦長の欠陥を除外し、横長の欠陥を検出するのに適している。個の実施例では、（ｃ）に示すような構造要素を使用した。｜の方向性をもった構造要素は、（ｃ）に対応するが、他の方向性をもった構造要素については、これを所定角度傾けたものとすればよい。￣／｜＼それぞれの構造要素を使用してトップハット変換後に２値化した画像の例を図５に示す。
【０１３４】
各残存画素数を比較して欠陥の種類および有害度について分類するためには、ステップＳ５４においてベイズの定理に基づいた最尤（ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ）決定を行う。そして、その結果（欠陥分類結果）をステップＳ５５において出力する。
【０１３５】
＜実施例４＞
本発明を，鉄鋼分野の鋼板の表面検査における有害欠陥抽出に適用した第３の例について述べる。これは構造要素対を使用した例である。画像処理装置内での信号処理の流れを図１４に沿って説明する。先ず画像データを入力する（ステップＳ６１）、次に構造要素ｇ−（ｘ，ｙ）を使用し、画像データに対してｃｌｏｓｉｎｇ演算を行い、その結果として演算画像Ｓ−（ｘ，ｙ）を得る（ステップＳ６２）。
【０１３６】
続いて、構造要素ｇ−（ｘ，ｙ）とはサイズの異なる構造要素ｇ＋（ｘ，ｙ）を使用し、画像データに対してｃｌｏｓｉｎｇ演算を行、その結果として演算画像Ｓ＋（ｘ，ｙ）を得る（ステップＳ６３）。そして、ステップＳ６４において演算画像Ｓ−（ｘ，ｙ）とＳ＋（ｘ，ｙ）の差分画像Ｄ（ｘ，ｙ）を求める。この際、２５６階調のグレースケールを有する差分画像に対して、１２８のバイアスをはかせ、差分画像のグレースケールが中央値近傍にくるようにする（ステップＳ６４）。
【０１３７】
次に、この画像信号を固定の閾値によって２値化し（ステップ６５）不要な孤立点を除去したうえで残存する画素を欠陥候補とする（ステップＳ６６）。このとき上記処理により注目する信号変化以外は慣らされ規格化することができるため適当な固定の閾値により、シェーディング補正を経た画像の場合と同様に容易に２値化を行うことができる。
【０１３８】
【発明の効果】
以上説明したように、本発明によれば、撮像によって得られた画像信号を新規な方法で処理することにより、欠陥の検出や種類の判別を精度よく行うことができる表面欠陥検出方法を提供することができる。
【図面の簡単な説明】
【図１】１次元関数ｆ（ｘ）に対して、半円状の構造関数ｇ１（ｘ）にてｏｐｅｎｉｎｇ演算を行った結果と、半円状の構造関数ｇ２（ｘ）にてｃｌｏｓｉｎｇ演算を行った結果を示す図である。
【図２】上からのトップハット変換について、１次元信号の場合を例にとって説明する図である。
【図３】トップハット変換に使用する構造要素の例と、トップハット変換の結果を示す図である。
【図４】本発明の第１の実施例における処理のフローを示すフローチャートである。
【図５】￣／｜＼それぞれの構造要素を使用してトップハット変換後に２値化した画像の例を示す図である。
【図６】方向性を有する構造要素を、０〜１８０°に亘って、４５°おきに回転させて、それぞれトップハット変換を行って求めた、Ｄｍａｘ（ｘ、ｙ）を示す画像である。
【図７】方向性を有する構造要素を、０〜１８０°に亘って、４５°おきに回転させて、それぞれトップハット変換を行って求めた、Ｄｌｉｎｅａｒ（ｘ、ｙ）を示す画像である。
【図８】本発明の第２の実施例における処理のフローを示すフローチャートである。
【図９】ランレングスと中心輝度からトップハット変換に使用する構造要素を決定する表の１例を示す図である。
【図１０】本発明の第３の実施例における処理のフローを示すフローチャートである。
【図１１】構造要素の例を示す図である。
【図１２】図１２に大きな半円状の構造要素ｇ＋（ｘ）と小さな半円状の構造要素ｇ−（ｘ）を対としてｃｌｏｓｉｎｇ演算を行い、その差分により欠陥検出を行う方法を説明する図である。
【図１３】２次元の場合に使用する構造要素の対の例を示す図である。
【図１４】構造要素の対を使用した処理における画像処理装置内での信号処理の流れを説明する図である。
【図１】
2004045356.tif 000015
【図２】
2004045356.tif 000016
【図３】
2004045356.tif 000017
【図４】
2004045356.tif 000018
【図５】
2004045356.tif 000019
【図６】
2004045356.tif 000020
【図７】
2004045356.tif 000021
【図８】
2004045356.tif 000022
【図９】
2004045356.tif 000023
【図１０】
2004045356.tif 000024
【図１１】
2004045356.tif 000025
【図１２】
2004045356.tif 000026
【図１３】
2004045356.tif 000027
【図１４】
2004045356.tif 000028