(57)【要約】【課題】表面検査技術において、最も欠陥を明確に抽出可能な画像処理条件を抽出する。【解決手段】本発明の画像処理条件の抽出方法は、(i)検出したい表面欠陥を含む教示画像を用意するステップと、(ii)撮像画像に対して、複数の画像処理フィルタを適用し、複数のフィルタ処理後画像を得るステップと、(iii)ステップ(ii)で得られた複数のフィルタ処理後画像の各々に対して、複数の閾値をもって複数の二値化画像を得るステップと、(iv)ステップ(iii)で得られた複数の二値化画像に対して、追加の画像処理を行うステップと、(v)ステップ(iv)で得られた複数の二値化画像と、ステップ(i)で用意した教示画像との一致度を検出するステップと、(vi)ステップ(iv)で得られた一致度が最も高い、ステップ(ii)での画像処理フィルタと、ステップ(iii)での二値化の閾値と、ステップ(iv)での追加の画像処理とを、最適な画像処理条件とするステップとを有する。【選択図】図２
2017182578.tif 000002
【特許請求の範囲】
【請求項１】
被測定物の被検査面を撮像する撮像部と、前記撮像部で得られた撮像画像に存在する表面欠陥を検出する検出部を備えた表面欠陥検査装置において、前記検出部における最適な画像処理の条件を抽出するに際して、
(i)検出したい表面欠陥を二値化画像の形で指定した教示画像を用意するステップと、
(ii)撮像部で得られた撮像画像に対して、複数の画像処理フィルタを適用することで、複数のフィルタ処理後画像を得るステップと、
(iii)  前述したステップ(ii)で得られた複数のフィルタ処理後画像の各々に対して、複数の閾値をもって二値化処理を行い複数の二値化画像を得るステップと、
(iv)  前述したステップ(iii)で得られた複数の二値化画像に対して、追加の画像処理をを行うステップと、
(v)  前述したステップ(iv)で得られた複数の二値化画像と、ステップ(i)で用意した教示画像との一致度を検出するステップと、
(vi)  前述したステップ(iv)で得られた一致度が最も高い場合における、ステップ(ii)での画像処理フィルタと、ステップ(iii)での二値化の閾値と、ステップ(iv)での追加の画像処理とを、前記検出部における最適な画像処理条件とするステップと、
を有することを特徴とする最適な画像処理条件の抽出方法。
【請求項２】
前記ステップ(i)〜(iv)を複数回行うことで、更に複数の画像を得て、
得られた複数の画像を結合した結合画像を作成し、
前記結合画像に対して、ステップ(v)及びステップ(iv)を行うことを特徴とする請求項１に記載の最適な画像処理条件の抽出方法。
【請求項３】
撮像画像において、明らかに欠陥が存在しないと思われる部分を排除するフィルタ処理を行うことを特徴とする請求項１又は２に記載の最適な画像処理条件の抽出方法。
【請求項４】
検出したい欠陥の特徴量を予め取得しておき、得られた特徴量を加味した上で、ステップ(v)に記された一致度の計算を行うことを特徴とする請求項１〜３のいずれかに記載の最適な画像処理条件の抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検査物の表面欠陥を検査する表面検査技術において、最適な画像処理条件（最も欠陥を明確に抽出可能な画像処理条件）を抽出する方法に関する。
【背景技術】
【０００２】
例えば、紙、フィルム、金属薄板や金属箔などの帯状に連続する製品の製造工程で、製品の表面に発生する疵、すなわち、表面欠陥（以降、単に欠陥と呼ぶこともある）を検査することは非常に重要な事項である。そのため、製造工程においては、画像検査装置に代表される表面欠陥検査装置が利用されている。この表面欠陥検査装置により検出された表面欠陥の分布や表面欠陥の特徴、表面欠陥が写り込んだ画像の特徴は、製造工程の異常を分析する際に重要な情報である。
【０００３】
このような表面欠陥の検査装置に関する技術を開示するものとして、特許文献１、２などがある。
特許文献１は、被観察試料の画像を取得し、当該画像から欠陥に該当する領域を欠陥画像として抽出する機能を備えた欠陥レビュー装置において、前記被観察試料を撮像し、撮像した画像を画像信号として出力する電子光学系と、前記欠陥画像の抽出処理を行うＡＤＲ処理部と、前記欠陥を複数のカテゴリに自動分類するＡＤＣ処理部と、当該ＡＤＣ処理部による自動分類結果のうち、人手によるマニュアル分類を行うべきカテゴリを判断するための判断情報が表示される画面表示手段とを備えた欠陥レビュー装置を開示する。
【０００４】
また、特許文献２は、カメラによって捕捉されるシーンの画像シーケンスのデジタル画像における関心点の検出方法であって、該方法は、前記画像において検出される関心点の数が前記閾値レベルに応じて変動するように検出閾値を用いてパラメータ化可能な関心点探索アルゴリズムを実施し、該方法は、検出される関心点の前記数（Ｎ）を前記閾値（τ）に応じて与える特性の減少指数関数によるモデル化によって特徴付けられ、この指数関数は解析される画像にリンクされた値を用いて動的にパラメータ化可能であり、ａ）現在の画像について、前記減少指数関数のパラメータ化の値（Ｃ、σ）を求めるステップと、ｂ）前記現在の画像について、ステップａ）において求められた前記値を用いてパラメータ化された前記モデル化された特性を用いることによって、前記検出閾値の最適値を予測するステップと、ｃ）前記現在の画像に続く少なくとも１つの画像に対し、ステップｂ）において計算された前記最適な検出閾値を用いて前記関心点探索アルゴリズムを適用するステップと、を含むカメラによって捕捉されるシーンの画像シーケンスのデジタル画像における関心点の検出方法を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開ＷＯ２０１１／１５５１２３号公報
【特許文献２】特開２０１５−２０１２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１の技術によれば、表面欠陥が写り込んでいるとして抽出された画像に対しては、自動分類あるいは手動による分類、抽出の作業が施され、その結果、欠陥が判別されて、判別された欠陥は種別毎に分類され、この情報を基に工程での異常を推定することとなる。
しかしながら、特許文献１にも開示があるように、表面欠陥の特徴は何らかの特徴量に基づいて判別されるものであるため、欠陥の検出に用いる画像処理によりその特徴の一部が失われてしまうことも少なくなく、欠陥見逃しや過検出を起こしたりすることがある。
【０００７】
特に、過検出を減らす目的で画像中の輝度に対する２値化閾値を高く設定すると、表面欠陥の一部が欠けるなど、本来の特徴を失った画像になってしまうことがある。２値化の閾値最適化については過去より多くの知見があり、例えば、「大津の２値化法（判別分析法）」に代表される自動の２値化法がある。これらは基本的に大多数を占める背景との輝度分布との差から、背景とは異なる部分を見つけ出すというものであり、欠陥を検出することはできても、欠陥の形状が良く再現されているかというところまで気を配ったものではない。
【０００８】
一方、特許文献２には、物体移動を検知するための画像観測用に、興味対象の個数とのバランスをとって最適閾値を探索する方法が記載されている。
この技術は、関心領域を追従する際には関心領域を認識しなければならないことから、ある程度関心領域の特徴を残して閾値を決めなければならず、その評価値として関心領域として抽出された個数を用いるというもので、欠陥検出の閾値決定手法としても有効なものである。
【０００９】
しかしながら、特許文献２にしても、抽出される領域の個数は関心領域の特徴を残して抽出していると仮定しているに過ぎず、実際に関心領域が意図した形で抽出される条件を決めるものではない。
また、欠陥を検出するという意味では複数の画像処理を並列に行い、それぞれの画像処理の結果において二値化処理を行って、いずれかの画像処理で閾値以上の領域が得られたものを欠陥候補とする方法が一般的にとられているが、この方法をとるにしても、結局それぞれの画像処理で得られた結果では欠陥の一部の特徴を記述できるのみである。
【００１０】
さらに、得られた二値化画像をオペレータが確認しながら画像フィルタの処理内容や閾値を決定することも考えられるが、この手法だと判断基準が定量化されていないという課題がある。
本発明は、上記問題点を鑑みて為されたものであり、被検査物の表面欠陥を検査する表面検査技術において、オペレータの技量などに左右されることなく、最も欠陥を明確に抽出可能な画像処理条件を抽出する方法に関する。
【課題を解決するための手段】
【００１１】
上述の目的を達成するため、本発明は以下の技術的手段を講じた。
すなわち、本発明に係る画像処理条件の抽出方法は、被測定物の被検査面を撮像する撮像部と、前記撮像部で得られた撮像画像に存在する表面欠陥を検出する検出部を備えた表面欠陥検査装置において、前記検出部における最適な画像処理の条件を抽出するに際して、
(i)検出したい表面欠陥を二値化画像の形で指定した教示画像を用意するステップと、
(ii)撮像部で得られた撮像画像に対して、複数の画像処理フィルタを適用することで、複数のフィルタ処理後画像を得るステップと、
(iii)  前述したステップ(ii)で得られた複数のフィルタ処理後画像の各々に対して、複数の閾値をもって二値化処理を行い複数の二値化画像を得るステップと、
(iv)  前述したステップ(iii)で得られた複数の二値化画像に対して、追加の画像処理をを行うステップと、
(v)  前述したステップ(iv)で得られた複数の二値化画像と、ステップ(i)で用意した教示画像との一致度を検出するステップと、
(vi)  前述したステップ(iv)で得られた一致度が最も高い場合における、ステップ(ii)での画像処理フィルタと、ステップ(iii)での二値化の閾値と、ステップ(iv)での追加の画像処理とを、前記検出部における最適な画像処理条件とするステップと、
を有することを特徴とする。
【００１２】
好ましくは、前記ステップ(i)〜(iv)を複数回行うことで、更に複数の画像を得て、得られた複数の画像を結合した結合画像を作成し、前記結合画像に対して、ステップ(v)及びステップ(iv)を行うとよい。
好ましくは、撮像画像において、明らかに欠陥が存在しないと思われる部分を排除するフィルタ処理を行うとよい。
【００１３】
好ましくは、検出したい欠陥の特徴量を予め取得しておき、得られた特徴量を加味した上で、ステップ(v)に記された一致度の計算を行うとよい。
【発明の効果】
【００１４】
本発明によれば、被検査物の表面欠陥を検査する表面検査技術において、オペレータの技量などに左右されることなく、最も欠陥を明確に抽出可能な画像処理条件を抽出することができる。
【図面の簡単な説明】
【００１５】
【図１】表面欠陥検査装置を模式的に示した斜視図である。
【図２】本発明にかかる画像処理条件の抽出方法をフローチャートの形で示した図である。
【図３】部分教示画像と、全体教示画像とを示した図である。
【図４】様々な条件で画像処理を行った結果を示した図である。
【図５】結合画像の一例を示した図である。
【発明を実施するための形態】
【００１６】
以下、本発明にかかる表面欠陥検査装置１の実施形態を、図を基に説明する。
本発明にかかる表面欠陥検査装置１（以降、単に「検査装置１」ということもある）は、例えば、紙、フィルム、金属薄板や金属箔などの帯状に連続する製品の表面に存在する表面欠陥（以降、単に「欠陥」ということもある）を検出するものである。
より具体的には、本発明は、被検査物Ｗの表面欠陥を検査する表面検査技術において、最適な（最も欠陥を明確に抽出可能な）画像処理条件を抽出する方法に関するものである。
【００１７】
まず、本発明の画像処理条件を抽出する方法について説明する前に、本発明を適用可能な表面欠陥検査装置１の一例について述べる。本発明の技術は、以下に述べる画像処理検査装置１に限定されるものでなく、検査対象（被検査物Ｗ）も、紙、フィルム、金属薄板や金属箔などに限定されるものではない。
図１に示すように、例えば、検査装置１では、水平方向に移動する被検査物Ｗの被検査面に対して斜め上方からライン状の拡散光を照射する照射部２と、被検査面で反射してきた光を撮像する撮像部３と、撮像部３で撮像された撮像画像（以降、単に画像と呼ぶこともある）に基づいて被検査面に存在する表面欠陥を検出する検出部４と、を有している。
【００１８】
図１では、照射部２として、蛍光灯のようなライン状の光源を図示しているが、スポット状の光源であってもよく、白熱灯やＬＥＤなどを用いたものであってもよい。
撮像部３は、ＣＣＤカメラ（エリアカメラ）で構成され、被測定物の被検査面を写し込むように配置されていて、表面欠陥を含む画像を撮像可能なものとされている。撮像部３は、被検査面に対して照射部２とは反対の位置に設けられている。しかしながら、照射部２と撮像部３との位置関係はこれに限定されるものではない。
【００１９】
検出部４は、パーソナルコンピュータやＤＳＰ等で構成されており、撮像部３で撮像された画像（表面欠陥が写り込んでいる撮像画像）に対して、画像処理を行うことで、表面欠陥を抽出するようにしている。特に、本発明は、オペレータの技量などに左右されることなく、最も欠陥を明確に抽出可能な画像処理条件を抽出する方法に関する。
検出部４において行われる処理について、以下、詳細に述べることとする。
【００２０】
本発明の表面欠陥検査装置１を使用するユーザー（以降、オペレータという）は、まず、代表的なあるいは見つけたい欠陥（撮像画像内のおける欠陥形状）を教示する。すなわち、見つけたい欠陥を含んだ「教示画像」を用意する。
例えば、図３の上段に示されるような欠陥を確実に抽出するためには、教示画像として、図３の中段のような黒丸（実欠陥と同じ大きさ、面積、位置を有する）を教示画像（部分教示画像）として与えてもよく、図３の下段のような黒丸線（実欠陥と同じ大きさ、面積、位置を有する）を教示画像（全退教示画像）として与えてもよい。
【００２１】
教示する方法は画像の欠陥部分を逐次選択していく方法が容易に想像できる。この際、作業を簡便にするため、指定した周辺の類似輝度の部分を同時に選択するなどの処理を入れてもよい。欠陥の部分ごとに特徴がある場合は、欠陥の部分ごとに分けて教示を行ってもよい。教示した欠陥部を以後、欠陥指定部と呼ぶこともある。これらの処理は、図２に示すフローチャートでは、Ｓ０の処理に対応する。
【００２２】
その後、図２のＳ１に示すように、被検査物Ｗの表面を検査面として、撮像部３は、ＣＣＤカメラにより被検査面を写し込むよう撮像し、撮像画像を得る。
得られた撮像画像（画像）は検出部４に転送され、検出部４では、以下に示すＳ２〜Ｓ５の処理が施されることとなる。
検出部４では、まず、図２のＳ２に示すように、複数のフィルタ処理が撮像部３で撮像された１枚の画像に対して施されることになる。
【００２３】
フィルタ処理としては、移動平均フィルタ、ガウシアンフィルタ、ソーベルフィルタなどが考えられる。また、各フィルタにおいての閾値も複数の値に変更し画像処理を行う。
そこで、Ｓ２では、撮像画像に対するフィルタ処理（前処理）と閾値を決定する。
画像処理の方法については、手動で処理フィルタの処理内容を設定してもよいし、標準的な処理をランダムに組み合わせて計算機に自動で計算させてもよい。ただし、多数の条件および多数の画像に対してこれを実施するためには、手動で実施することは難しいため、画像処理フィルタのセットを設定し、ＦＦＴやｎ×ｎのボックスフィルタを欠陥サイズや背景の周期構造から判断される範囲内で網羅的に計算させることが望ましい。
【００２４】
その後、図２のＳ３に示すように、複数のフィルタ処理が施された複数枚の画像に対して、更に、二値化を行う。二値化の際の閾値は複数用意し、複数の閾値での処理を実行する。
この時点で、「Ｓ２の処理による画像の数×Ｓ３の処理による画像の数」だけの多数の画像が生成される。
【００２５】
その上で、Ｓ４で後処理（追加の画像処理）として、多数の画像のそれぞれに対して、例えば、マスク処理などの後処理を行う。このときも複数の条件で画像処理を行うこととする。
以上述べたＳ２〜Ｓ４を経て得られた多数枚の画像と、前述したＳ０で予め付与した教示画像との一致度を計算する。
【００２６】
一致度の計算は、フローチャートのＳ５で行われることとなり、一致度は、パターンマッチングや画素間の相関を取る方法、ある輝度値の占める面積を比較する方法など、既知の画像処理方法が採用可能である。一致度の計算を行うことで得られる結果、すなわち一致度の評価値は１つの値である必要は無く、２つ以上の値のベクトルとして与えられてもよい。例えば、誤抽出が多いかどうかの判断をするために、欠陥が含まれない部分の画像を用いて誤抽出の個数を把握し、総面積中の誤抽出割合を特徴量１とし、画像中に対して欠陥が占める割合を特徴量２とし、評価値ベクトルとして（特徴量１、特徴量２）を与えることが可能である。
【００２７】
以上の処理の結果、Ｓ６において、一致度の評価値が高かった画像処理と閾値の組み合わせをルールセットとして記憶しておく。こうすることで、オペレータの技量などに左右されることなく、最も欠陥を明確に抽出可能な画像処理条件を、このルールセットを利用することにより選択可能となる。Ｓ６で得られた最適な画像処理条件を用いることで、画像処理における再計算および近傍条件での計算が可能になり、２度目以降の調整や、新たに欠陥種を追加するときに、これまでの処理とできる限り共通が可能な形での閾値計算をすることができる。
【００２８】
なお、欠陥の部分ごとに抽出し、複数の処理を結合する場合には、最終的な抽出結果をもって評価値を算出してもよいし、欠陥を部分ごとに定義できる場合には部分ごとの評価値を持って評価値を算出してもよい。
また、画像を結合する際には、単純に和（重ね合わせ）をとってもよいし、キーとなる欠陥の部分を決めておき、その部分に結合あるいは近接した部分だけを残してもよい。この結合処理は閾値を決める際には必ずしも本質的ではないが、閾値を適用して検査を行う際には、キーとなる部分と離れた部分は除去可能とする欠陥を検出するためのフィルタとしても利用できるという利点がある。
【実施例】
【００２９】
以上述べた、本発明にかかる最適な画像処理条件の抽出方法の実施例を、以下に示す。
この画像のキーポイントとなる部分教示画像を画像１（図３の中段）に示す。この欠陥は小さな異物を引きずって生じたものであり、異物があるだけでなく、引きずっていることが重要なものである。もともとの研磨スジの様に、スジ状にある部分が有害とは限らないため、従来は異物部分を抽出するフィルタを用いて抽出していたものである。しかしながら、引きずったという事実を画像から得るためには、画像２の全体教示画像（図３の下段）に示すように、引きずっている部分も抽出したい。
【００３０】
そこで、部分教示画像にマッチングの高いフィルタと閾値を抽出した後、２種類のフィルタ後画像の結合から、最終的に得たい分類用の画像を得る最適設定を探索する。欠陥画像に対して、半径nの平滑化およびその差分フィルタをかけた画像、更に閾値を10ずつ変えて画像を作成した結果の抜粋を図４に示す。
図４に結果を示した画像処理は、半径は0〜5、閾値は大津の２値化で得られた閾値を中心に-20〜+10で設定し、自動で抽出したものである。
【００３１】
図４を基にし、これらの抽出画像について、まず部分教示画像で教示した部分をどの程度抽出できたかの割合を表１に示す。
【００３２】
【表１】
2017182578.tif 000003
【００３３】
表１でみれば明らかなように、半径４の平滑化（４×４平滑）で高い抽出率（一致率）が得られている。
一方、不必要な部分を抽出した誤抽出の比率（誤抽出面積／欠陥を含む画像面積）を表２に示す。
【００３４】
【表２】
2017182578.tif 000004
【００３５】
さてここで、評価値Ｌを「Ｌ＝抽出率−誤抽出率×１０」と設定し、評価値の最も高いものを部分抽出用フィルタとして採用することにする。このとき、最も評価値が高いのは半径４×４の平滑化フィルタを閾値設定３（大津の２値化−１０）の設定のときであるため、このフィルタ設定を部分抽出用フィルタとして採用する（表３参照）。
【００３６】
【表３】
2017182578.tif 000005
【００３７】
次に、全体抽出の最適化、すなわち、最適な画像処理条件の抽出方法を考える。
部分抽出用フィルタで作成された抽出画像と、それ以外のフィルタで作成された画像を結合し、部分フィルタを選定したものと同様に、全体教示画像についての部分抽出比率、誤抽出率、評価値を算出する。結果を表４〜６に示す。
【００３８】
【表４】
2017182578.tif 000006
【００３９】
【表５】
2017182578.tif 000007
【００４０】
【表６】
2017182578.tif 000008
【００４１】
この結果では４×０の平滑差分、すなわち縦方向の線分抽出との組み合わせが有効である結果を得られている。なお、部分抽出用フィルターと線分抽出フィルターとの抽出結果で結合した部分のみを正とした場合については、いずれも誤抽出率は0となった。
閾値による２値化後の背景除去処理は計算機の処理能力によっては負荷が大きくなるため、本実施例においては誤抽出の割合が全面積の１％以下となるようなものを許容し、そのなかで最良の結果を残すものを最適フィルタの組み合わせとした。この場合では４×４平滑化、閾値設定３と４×０差分フィルタ、閾値設定４の組み合わせとなる。得られた結合画像は図５に示すとおりで、教示した画像をよく再現していることが分かる。
【００４２】
以上述べたように、被測定物の被検査面を撮像する撮像部３と、撮像部３で得られた撮像画像中に存在する表面欠陥を検出する検出部４を備えた画像処理検査装置１において、検出部４における最適な画像処理条件の抽出方法に際して、
(i)検出したい欠陥を二値化画像の形で指定した教示画像を用意するステップと、
(ii)撮像部３で得られた撮像画像に対して、複数の画像処理フィルタを適用することで、複数のフィルタ処理後画像を得るステップと、
(iii)  前述したステップ(ii)で得られた複数のフィルタ処理後画像のそれぞれに対して、複数の閾値をもって二値化処理を行い複数の二値化画像を得るステップと、
(iv)  前述したステップ(iii)で得られた複数の二値化画像に対して、追加の画像処理をを行うステップと、
(v)  前述したステップ(iv)で得られた複数の二値化画像と、ステップ(i)で用意した教示画像との一致度を検出するステップと、
(vi)  前述したステップ(iv)で得られた一致度が最も高い場合における、ステップ(ii)での画像処理フィルタと、ステップ(iii)での二値化の閾値と、ステップ(iv)での追加の画像処理とを、検出部４における最適な画像処理条件とするステップと、
を有する画像処理条件の抽出方法を行うことで、被検査物Ｗの表面欠陥を検査する表面検査技術において、オペレータの技量などに左右されることなく、最も欠陥を明確に抽出可能な画像処理条件を抽出することができる。
【００４３】
なお、今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。特に、今回開示された実施形態において、明示的に開示されていない事項、例えば、運転条件や操業条件、各種パラメータ、構成物の寸法、重量、体積などは、当業者が通常実施する範囲を逸脱するものではなく、通常の当業者であれば、容易に想定することが可能な値を採用している。
【符号の説明】
【００４４】
１  表面欠陥検査装置（検査装置）
２  撮像部
３  照射部
４  検出部
Ｗ  被検査面
【図１】
2017182578.tif 000009
【図２】
2017182578.tif 000010
【図３】
2017182578.tif 000011
【図４】
2017182578.tif 000012
【図５】
2017182578.tif 000013