(57)【要約】【課題】鋼板の表面欠陥を適切に判別することができる表面欠陥検査装置及び表面欠陥検査方法を提供する。【解決手段】鋼板１０の表面をカメラ３，４で撮影し、その撮影画像から表面欠陥に対応する欠陥画像を抽出する。次に、欠陥画像に対して、画像サイズを予め設定した基準サイズに変換する正規化処理を施し、正規化した欠陥画像と、予め欠陥ライブラリに登録しておいた表面欠陥のテンプレート画像とをマッチングにより比較し、当該欠陥画像に対応する表面欠陥の種類を特定する。ここで、テンプレート画像には、上記正規化処理と同一の処理を施しておく。【選択図】図２
2014020926.tif 000002
【特許請求の範囲】
【請求項１】
鋼板の表面欠陥を検出する表面欠陥検査装置であって、
前記鋼板の表面画像を撮影する撮影手段と、
前記撮影手段で撮影した表面画像から、前記表面欠陥に対応する欠陥画像を抽出する欠陥画像抽出手段と、
前記欠陥画像抽出手段で抽出した欠陥画像に対して、画像サイズを予め設定した基準サイズに変換する処理を施す画像変換手段と、
前記画像変換手段により得られた前記欠陥画像と、前記画像変換手段と同一の画像変換処理を施した表面欠陥のテンプレート画像とをマッチングにより比較することで、当該欠陥画像に対応する表面欠陥の種類を特定する欠陥特定手段と、を備えることを特徴とする表面欠陥検査装置。
【請求項２】
前記画像変換手段は、前記欠陥画像抽出手段で抽出した欠陥画像に対して、画素の輝度を平滑化する処理を施すことを特徴とする請求項１に記載の表面欠陥検査装置。
【請求項３】
前記画像変換手段は、前記欠陥画像抽出手段で抽出した欠陥画像に対して、平均化処理を施すことを特徴とする請求項１又は２に記載の表面欠陥検査装置。
【請求項４】
前記欠陥抽出手段で抽出した前記欠陥画像の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段で抽出した特徴点を予め設定した特徴点閾値と比較することで、前記欠陥画像に対応する表面欠陥の種類及び程度を判定する特徴点比較手段と、を備えることを特徴とする請求項１〜３の何れか１項に記載の表面欠陥検査装置。
【請求項５】
鋼板の表面欠陥を検出する表面欠陥検査方法であって、
前記鋼板の表面画像を撮影し、撮影した表面画像から、前記表面欠陥に対応する欠陥画像を抽出し、抽出した欠陥画像に対して、画像サイズを予め設定した基準サイズに変換する処理を施した後、その欠陥画像と、それと同一の画像変換処理を施した表面欠陥のテンプレート画像とをマッチングにより比較することで、当該欠陥画像に対応する表面欠陥の種類を特定することを特徴とする表面欠陥検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鋼板の表面欠陥を検査する表面欠陥検査装置及び表面欠陥検査方法に関する。
【背景技術】
【０００２】
従来の表面欠陥検査装置では、カメラ等で鋼板表面の欠陥を撮影した２次元の欠陥画像から欠陥の特徴量を抽出し、当該特徴量を用いて欠陥の種類や程度を検査している。上記特徴量は、欠陥の特徴を数値化した情報であり、例えば、幅、長さ、面積、傾き、位置情報、輪郭（周長など）、濃度（輝度）の分布などがある（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１９５９５２号公報
【特許文献２】特許第３１９４９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、欠陥判定には、特徴量と所定の閾値との比較の繰り返しにより行うツリー状のロジックが広く採用されるが、この場合、特徴量の何れか１つが不当であると、予期しないルートを辿ることで不当な検出結果をもたらしてしまう。
ところが、鋼板表面に発生する欠陥には、単純な長さや幅等の特徴量で表しきれない複雑なものがある。また、同じ発生源の欠陥でも、発生時間や発生場所によってサイズが変化することがある。つまり、同じ欠陥であっても特徴情報は固定ではない。
【０００５】
したがって、判定の方法を固定化していると、同じ欠陥であっても別の欠陥として誤判定してしまったり、欠陥として検出できなかったりする場合がある。
そこで、本発明は、鋼板の表面欠陥を適切に判別することができる表面欠陥検査装置及び表面欠陥検査方法を提供することを課題としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る表面欠陥検査装置の一態様は、鋼板の表面欠陥を検出する表面欠陥検査装置であって、前記鋼板の表面画像を撮影する撮影手段と、前記撮影手段で撮影した表面画像から、前記表面欠陥に対応する欠陥画像を抽出する欠陥画像抽出手段と、前記欠陥画像抽出手段で抽出した欠陥画像に対して、画像サイズを予め設定した基準サイズに変換する処理を施す画像変換手段と、前記画像変換手段により得られた前記欠陥画像と、前記画像変換手段と同一の画像変換処理を施した表面欠陥のテンプレート画像とをマッチングにより比較することで、当該欠陥画像に対応する表面欠陥の種類を特定する欠陥特定手段と、を備えることを特徴としている。
【０００７】
このように、欠陥画像のサイズを正規化してテンプレート画像と比較するので、同じ発生源の欠陥が発生時間や発生場所などの影響で異なる大きさとなっている場合であっても、適切に欠陥種類を特定することができる。また、欠陥画像とテンプレート画像との比較はマッチングにより行い、両者を重ね合わせたときのマッチング誤差の大小により欠陥の一致判定を行うので、単純な長さや幅等の特徴量を明確に表現できない複雑な欠陥の場合であっても、適切に欠陥判定を行うことができる。
また、上記において、前記画像変換手段は、前記欠陥画像抽出手段で抽出した欠陥画像に対して、画素の輝度を平滑化する処理を施すことを特徴としている。
【０００８】
これにより、欠陥の輝度が暗から明に徐々に変化する場合など、数値として欠陥の大きさを明確に表現できない場合であっても、適切に欠陥判定を行うことができる。
さらに、上記において、前記画像変換手段は、前記欠陥画像抽出手段で抽出した欠陥画像に対して、平均化処理を施すことを特徴としている。
これにより、欠陥画像をぼかしてピクセル数を減らすことができるので、１画素単位で輝度を比較した際のばらつきを抑制することができる。
【０００９】
また、上記において、前記欠陥抽出手段で抽出した前記欠陥画像の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段で抽出した特徴点を予め設定した特徴点閾値と比較することで、前記欠陥画像に対応する表面欠陥の種類及び程度を判定する特徴点比較手段と、を備えることを特徴としている。
このように、欠陥画像とテンプレート画像とのマッチングによる欠陥判定に加えて、欠陥画像の特徴点を用いた欠陥判定を行うことで、より適切な欠陥判定が可能となる。
【００１０】
さらにまた、本発明に係る表面欠陥検査方法の一態様は、鋼板の表面欠陥を検出する表面欠陥検査方法であって、前記鋼板の表面画像を撮影し、撮影した表面画像から、前記表面欠陥に対応する欠陥画像を抽出し、抽出した欠陥画像に対して、画像サイズを予め設定した基準サイズに変換する処理を施した後、その欠陥画像と、それと同一の画像変換処理を施した表面欠陥のテンプレート画像とをマッチングにより比較することで、当該欠陥画像に対応する表面欠陥の種類を特定することを特徴とするとしている。
これにより、特徴量として明確に表現できない複雑な欠陥の欠陥判定を適切に行うことができる。
【発明の効果】
【００１１】
本発明によれば、特徴量として明確に表現できない複雑な欠陥や、発生時間等によって大きさが変化する欠陥についても、欠陥判定を容易且つ適切に行うことができる。したがって、単純な長さや幅等の特徴量を用いた欠陥判定のみを行う場合と比較して、表面欠陥の判定精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における表面欠陥検査装置の構成を示す図である。
【図２】信号処理部で実行する欠陥判定処理手順を示すフローチャートである。
【図３】正規化サイズの例を示す図である。
【図４】長さで正規化した例を示す図である。
【図５】幅で正規化した例を示す図である。
【図６】長さと幅とで正規化した例を示す図である。
【図７】輝度とサイズとで正規化した例を示す図である。
【図８】欠陥判定の流れを示す図である。
【図９】欠陥誤判定の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態における表面欠陥検査装置の構成を示す図である。
図中、符号１はプロセスライン（薄鋼板製造ライン）上を走行する鋼板１０の表面欠陥を検査する表面欠陥検査装置である。ここで、鋼板１０は、ブリキ鋼板、自動車鋼板、珪素鋼板、ステンレス鋼板等である。
表面欠陥検査装置１は、投光器２と、２組のライン型カメラ（以下、単にカメラという）３，４と、信号処理部５と、表示部６とを備える。ここで、投光器２及びカメラ３，４が撮影手段に対応している。
【００１４】
投光器２は、ライン型光源からなり、鋼板１０の上方に配置されて鋼板表面の幅方向全体に亘ってライン状の光を照射する。カメラ３及び４は、鋼板１０の上方に配置され、投光器２による光照射位置の画像を撮影する。カメラ３及び４は、異なる取り付け位置に異なる取り付け角度で配置されており、それぞれ撮影した画像データを信号処理部５に出力する。
信号処理部５は、カメラ３，４から入力された画像データを合成する。このように、取り付け位置と取り付け角度とが異なる２台のカメラ３，４でそれぞれ鋼板表面を撮影し、これら２つの撮影画像を合成していくことで、表面欠陥１１が強調された鋼板全面の２次元画像データを得ることができる。
【００１５】
ここでは、カメラ３，４としてライン型カメラを用い、１次元画像信号から２次元画像データを生成する場合について説明したが、２次元式のカメラを用いて鋼板面の画像認識を行うようにしてもよい。
そして、信号処理部５は、後述する欠陥判定処理を行って、鋼板１０の表面画像から鋼板１０の表面欠陥に対応する欠陥画像を抽出し、欠陥の種類や程度を判定する。欠陥判定処理の判定結果は、モニタ等の表示部６に表示する。
【００１６】
次に、信号処理部５で実行する欠陥判定処理について、具体的に説明する。
図２は、欠陥判定処理手順を示すフローチャートである。
先ず、ステップＳ１で、信号処理部５は、カメラ３，４で撮影した鋼板１０の表面画像を取得し、ステップＳ２に移行する。
ステップＳ２では、信号処理部５は、前記ステップＳ１で取得した表面画像に対して閾値処理を施す。この閾値処理では、上記表面画像の各画素の輝度変化と予め設定した閾値との大小関係を比較し、輝度変化が閾値以下のものはノイズであると判断してその部分を除去する処理を行う。
【００１７】
次にステップＳ３で、信号処理部５は、前記ステップＳ２で得られた画像データから、予め設定した大きさ以下の極小欠陥部分を消去し、ステップＳ４に移行する。
ステップＳ４では、信号処理部５は、前記ステップＳ３で得られた画像データに対して、近接欠陥の結合処理を行う。ここでは、欠陥候補の像を個々に拡大し、これらの像を結合した後、その像を縮小する処理を行う。これにより、近接された途切れ状態の像を結合することができる。
【００１８】
次にステップＳ５では、信号処理部５は、前記ステップＳ４で得られた画像データから、鋼板１０の表面欠陥に対応する欠陥画像を抽出し、ステップＳ６に移行する。ここでは、例えば二値化処理等により欠陥画像を抽出する。
ステップＳ６では、信号処理部５は、前記ステップＳ５で抽出した欠陥画像に対して正規化処理を施す。本実施形態では、欠陥画像のサイズ及び輝度を正規化する。サイズの正規化は、欠陥画像を、図３に示すように、予め設定した基準サイズ（幅Ｗ、長さＬ）の画像となるように拡大若しくは縮小する処理である。
【００１９】
すなわち、図４の（ａ）及び（ｂ）に示すように、欠陥画像の長さが基準サイズよりも短い場合には、長さ方向に拡大し、図４（ｃ）に示す基準サイズの欠陥画像を得るようにする。また、図５の（ａ）及び（ｂ）に示すように、欠陥画像の幅が基準サイズよりも短い場合には、幅方向に拡大し、図５（ｃ）に示す基準サイズの欠陥画像を得るようにする。さらに、図６の（ａ）〜（ｅ）に示すように、欠陥画像の長さ及び幅が共に基準サイズとは異なる場合には、長さ方向と幅方向の両方を変更し、図６（ｆ）に示す基準サイズの欠陥画像を得るようにする。
【００２０】
また、輝度の正規化は、欠陥画像の各画素の明るさを平滑化し予め設定した基準輝度となるようにする処理である。すなわち、図７の（ａ）〜（ｄ）に示すように、欠陥画像の長さ及び幅が基準サイズとは異なり、且つ輝度が基準輝度とは異なる場合には、長さ及び幅で正規化した後、輝度の正規化を行う。このようにして、図７（ｅ）に示す基準サイズ、基準輝度の欠陥画像を得るようにする。
ここでは、例えば、５×５のガウシアンフィルターを用いるなどして、輝度の平均や、最大、最小の輝度あるいは傾きにより欠陥画像の輝度差を正規化する。なお、輝度は、１から２５６の段階にグレイスケール化するものとする。
【００２１】
次にステップＳ７では、信号処理部５は、前記ステップＳ６で正規化した欠陥画像に対し、平均化処理を行う。ここで、平均化処理は、例えば４×４画素で輝度平均値を算出し、当該４×４画素を、輝度が上記輝度平均値である１画素とみなすことで、ピクセル数を減らす（画像をぼかす）処理である。なお、平均化サイズは欠陥の複雑さに応じて適宜選択可能であり、例えば、比較的単純なものは大きな８×８の平均化を行い、複雑なものはガウシアンフィルターでの平均化を行う。
【００２２】
ステップＳ８では、信号処理部５は、前記ステップＳ７で平均化処理した欠陥画像と、予め欠陥ライブラリに登録しているテンプレート画像とを比較する。欠陥ライブラリには、予め複数の欠陥（穴、すり疵、サビ、ゴミ等）の撮影画像を、テンプレート画像として欠陥名と対応付けて登録しておく。なお、テンプレート画像には、上述した正規化及び平均化と同様の画像変換処理を施しておく。
【００２３】
そして、欠陥画像とテンプレート画像との比較を行った結果、マッチングする場合（マッチング率が所定値以上である場合）はステップＳ９に移行し、マッチングしない場合（マッチング率が所定値を下回る場合）は後述するステップＳ１０に移行する。
ステップＳ９では、信号処理部５は、欠陥画像とマッチングしたテンプレート画像の欠陥名を欠陥ライブラリから取得する。そして、取得した欠陥名を表示部６に表示してから、後述するステップＳ１１に移行する。このように、サイズ及び輝度を正規化した欠陥画像と欠陥ライブラリに登録されたテンプレート画像とのマッチングにより、欠陥名を特定する。
【００２４】
ステップＳ１０では、信号処理部５は、欠陥ライブラリに登録されている複数のテンプレート画像の全てについて、欠陥画像との比較を行ったか否かを判定する。そして、全てのテンプレート画像との比較が終了していない場合には前記ステップＳ８に移行して、欠陥画像と未だ比較を行っていないテンプレート画像とを比較する。一方、全てのテンプレート画像との比較が終了している場合には、ステップＳ１１に移行する。
ステップＳ１１では、信号処理部５は、前記ステップＳ５で抽出した正規化する前の欠陥画像の特徴量を抽出する。ここで、特徴量とは、欠陥の特徴を数値化したものであり、例えば、欠陥の長さ、幅、面積、周長、傾き、位置、濃度の分布等を用いる。
【００２５】
次にステップＳ１２で、信号処理部５は、前記ステップＳ１１で抽出した特徴量と所定の特徴量閾値との比較を繰り返す、所謂ツリー状ロジックを用いて欠陥判定を行う。そして、特徴量が特徴量閾値によって定められる条件に適合する場合、ステップＳ１３に移行して欠陥の種類や程度を判定し、その判定結果を表示部６に表示してから欠陥判定処理を終了する。
なお、前記ステップＳ９で欠陥名が特定されている場合には、このステップＳ１２では、欠陥の大きさを示す特徴量に基づいて、欠陥の程度の判定のみを行うようにしてもよい。
【００２６】
一方、前記ステップＳ１２で、特徴量がそれぞれ特徴量閾値によって定められる条件に適合しない場合には、ステップＳ１４に移行して、当該欠陥は有害な欠陥ではないと判定し、その判定結果を表示部６に表示してから欠陥判定処理を終了する。
図２において、ステップＳ２〜Ｓ５が欠陥画像抽出手段に対応し、ステップＳ６及びＳ７が画像変換手段に対応し、ステップＳ８〜Ｓ１０が欠陥特定手段に対応している。また、ステップＳ１１が特徴点抽出手段に対応し、ステップＳ１２〜Ｓ１４が特徴点比較手段に対応している。
【００２７】
次に、本実施形態の動作について、図８を参照しながら説明する。
プロセスラインを鋼板１０が走行している間、表面欠陥検査装置１の投光器２は鋼板１０の表面にライン状の光を照射し、２台のライン型カメラ３，４は鋼板１０の表面を撮影する。これにより、図８（ａ）に示すように、鋼板１０の表面欠陥が撮影された２次元の表面画像が得られる。表面欠陥検査装置１は、得られた鋼板１０の表面画像をもとに、表面欠陥の種類及び程度を検査する。
【００２８】
先ず、この表面画像に対して事前処理（図２のステップＳ２〜Ｓ４）を施し、表面欠陥部分に対応する欠陥画像を抽出する（ステップＳ５）。次に、その欠陥画像のサイズ及び輝度を正規化し、予め設定した基準サイズ及び基準輝度に変換する（ステップＳ６）。さらに、１画素単位の輝度の比較ではばらつきが大きいため、ピクセル数を減らすための平均化処理を施す（ステップＳ７）。このようにして、図８（ｂ）に示すような表面欠陥検査用の欠陥画像を生成する。
【００２９】
表面欠陥検査用の欠陥画像は、欠陥ライブラリに予め登録された様々な表面欠陥のテンプレート画像と比較される。ここでは、欠陥ライブラリに登録された複数のテンプレート画像を１つずつ読み出し、表面欠陥検査用の欠陥画像とマッチングさせていく。
この適合確認の結果、図８に示すように、表面欠陥検査用の欠陥画像と欠陥ライブラリに登録されたテンプレート画像１とがマッチングすると（ステップＳ８でＹｅｓ）、当該欠陥画像は、テンプレート画像１と同じ欠陥種類を撮影した画像であると判断され、欠陥名が特定される（ステップＳ９）。特定された欠陥名は、表示部６に表示する。
【００３０】
ところで、鋼板表面を撮影した２次元画像をもとに欠陥判定を行う方法として、単純に欠陥画像から長さ、幅、傾き、輝度等の特徴量を抽出し、抽出した特徴量と所定の閾値とを比較して欠陥の種類や程度を判定する方法が広く用いられている。しかしながら、この方法を採用した場合、誤検出や未検出等の結果を招いてしまう。
これは、同じ発生源の欠陥であっても、発生時間とともに欠陥のサイズが変化したり、投光器２から照射した光の反射光の輝度が変化したりすることがあるためである。このような場合、上記のように単純に撮影された欠陥画像の特徴量に基づいて欠陥判定を行うだけでは、同じ種類の欠陥であっても別の種類の欠陥であると誤判定してしまう。
【００３１】
さらに、特徴が明確な場合であっても、輝度が徐々に暗から明に変化するような場合もあり、この場合にも欠陥の大きさを数値として明確に表現することができないため、特徴量を用いた欠陥判定では誤判定となる場合がある。
また、表面欠陥の形状は複雑で、単純な長さや幅等の特徴量で表しきれない場合が多い。例えば、図９（ａ）に示すように、「丸」や「四角」のように欠陥の外形を明確に表現できない欠陥について、特徴量として長さと幅を抽出すると、長さ＝Ｌ３、幅＝Ｗ３となる。ところが、図９（ａ）の欠陥とは形状も発生源（欠陥種類）も全く異なる図９（ｂ）に示す欠陥の特徴量も、同様に長さ＝Ｌ３、幅＝Ｗ３となる。したがって、単純な長さや幅といった特徴量により欠陥判定を行うと、図９（ａ）に示す欠陥を、図９（ｂ）に示す欠陥と同一であると誤判定してしまう。
【００３２】
特徴量としては、欠陥の長さや幅といった情報の他に、欠陥外周の長さ項目を用いることもできる。図９（ａ）に示す欠陥と図９（ｂ）に示す欠陥とでは、外周の長さが全く異なるため、外周の長さで比較すれば両者の区別が可能なように思えるが、画素の平均化処理を行うと隣の欠陥と外周が平均化されるので、一概に外周の特徴量のみでは区別が付かなくなる。
【００３３】
これに対して、本実施形態では、サイズや輝度が予め設定した基準値となるように正規化した欠陥画像と、事前に登録しておいたテンプレート画像とを順次重ね合わせて比較する方法を用いて欠陥判定を行う。したがって、発生時間とともに欠陥のサイズや輝度が変化する表面欠陥や、数値化できないような表面欠陥についても、適切に欠陥種類を判定することができる。
【００３４】
欠陥画像とテンプレート画像とのマッチングによって欠陥種類が特定されると、次に、欠陥画像の特徴量（長さ、幅、傾き、輝度等）を抽出し（ステップＳ１１）、抽出した特徴量と所定の閾値とを比較して欠陥の種類や程度を判定する（ステップＳ１２）。このとき、テンプレート画像との比較によって大まかに特定された欠陥種類に応じた判定条件（特徴量閾値や判定順番）で欠陥判定を行えば、より詳細な欠陥種類判定が可能となる。また、正規化した欠陥画像からは確認できない欠陥の程度の判定を適切に行うことができる。この判定結果は、表示部６に表示される。
【００３５】
一方、欠陥画像とテンプレート画像との適合確認の結果、全てのテンプレート画像について、図８に示す欠陥画像と欠陥ライブラリに登録されたテンプレート画像２とのマッチングのような適合不良となった場合には（ステップＳ８でＮｏ、ステップＳ１０でＹｅｓ）、長さや幅等の特徴量を用いた欠陥判定のみを行う（ステップＳ１１、Ｓ１２）。
このように、本実施形態では、欠陥画像のサイズ及び輝度を正規化し、正規化した欠陥画像とテンプレート画像とを比較して欠陥判定を行うので、発生時間とともに欠陥のサイズや輝度が変化することに起因する欠陥種類の誤判定や欠陥の未検出を抑制することができ、欠陥判定の精度を向上させることができる。また、このとき、平均化処理を施して画像をぼかしてからテンプレート画像との比較を行うので、１画素単位で輝度を比較した結果のばらつきを低減することができる。
【００３６】
さらに、欠陥画像とテンプレート画像との重ね合わせにより欠陥判定を行うので、特徴量として明確に表現できない複雑な欠陥についても、適切に欠陥種類を特定することができる。また、欠陥画像とテンプレート画像との比較に際し、それぞれ正規化した画像を用いるので、単純な引き算によりマッチング率を求めることができ、複雑なマッチング処理を必要としない。
【００３７】
また、欠陥画像とテンプレート画像との重ね合わせによって欠陥判定を行った後、長さや幅等の特徴量に基づいてツリー状ロジックを用いた欠陥判定を行うので、欠陥種類を大まかに特定した後、欠陥種類の詳細判定と欠陥の程度（有害／無害）の判定とを詳細に行うことができる。
なお、上記実施形態においては、長さや幅等の特徴量を用いた欠陥判定を行う前に、欠陥画像とテンプレート画像との重ね合わせによる欠陥判定を行う場合について説明したが、これら２つの欠陥判定を同時に行うようにしてもよい。
【符号の説明】
【００３８】
１…表面欠陥検査装置、２…投光器、３，４…ライン型カメラ、５…信号処理部、６…表示部、１０…鋼板
【図１】
2014020926.tif 000003
【図２】
2014020926.tif 000004
【図３】
2014020926.tif 000005
【図４】
2014020926.tif 000006
【図５】
2014020926.tif 000007
【図６】
2014020926.tif 000008
【図７】
2014020926.tif 000009
【図８】
2014020926.tif 000010
【図９】
2014020926.tif 000011