(57)【特許請求の範囲】
【請求項１】
鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、
２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、
各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、
を含む表面欠陥検出方法。
【請求項２】
前記明部の重なり度合は、前記検査対象部位において、表面欠陥候補部に対する前記明部の重なり部分が占める割合である、請求項１に記載の表面欠陥検出方法。
【請求項３】
前記検出ステップは、
各照明光の反射光による２つ以上の画像から抽出された明部から、検査対象部位における表面欠陥候補部を算出するステップと、
表面欠陥候補部に対する前記明部の重なり部分が占める割合に基づいて、前記検査対象部位における表面欠陥を検出するステップと、
を含む請求項１に記載の表面欠陥検出方法。
【請求項４】
前記検出ステップは、前記２つ以上の画像から抽出された明部の重なり度合が入力された際に該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力するように、機械学習が施された表面欠陥判定モデルを用いて、前記検査対象部位における前記表面欠陥を検出するステップを含む請求項１〜３のうち、いずれか一項に記載の表面欠陥検出方法。
【請求項５】
鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、
２つ以上の弁別可能な光源で同一の検査対象部位に異なる方向から照明光を照射する照射手段と、
各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出手段と、
を備える表面欠陥検出装置。
【請求項６】
請求項１〜４のうち、いずれか１項に記載の表面欠陥検出方法を用いて鋼材の表面欠陥を検出しながら鋼材を製造するステップを含む鋼材の製造方法。
【請求項７】
請求項１〜４のうち、いずれか１項に記載の表面欠陥検出方法を用いて表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理するステップを含む鋼材の品質管理方法。
【請求項８】
鋼材を製造する製造設備と、
前記製造設備によって製造された鋼材を検査する、請求項５に記載の表面欠陥検出装置と、
を備える鋼材の製造設備。
【請求項９】
２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照射された照明光の反射光による２つ以上の画像から抽出された明部の重なり度合と、前記検査対象部位に表面欠陥があるか否かの判定結果と、を教師データとして用いて、
前記２つ以上の画像から抽出された明部の重なり度合を入力値、該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、表面欠陥判定モデルとして機械学習により生成する
表面欠陥判定モデルの生成方法。
【請求項１０】
請求項９に記載の表面欠陥判定モデルの生成方法により生成された表面欠陥判定モデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルに関する。
【背景技術】
【０００２】
近年、鉄鋼製品の製造工程では、大量不適合防止による歩留まり向上の観点から、熱間又は冷間で鋼材の表面欠陥を検出することが求められている。ここで述べる鋼材とは、鋼管（継目無鋼管、溶接鋼管等）、鋼板（熱延鋼板、冷延鋼板、厚板等）、及び形鋼等の鉄鋼製品、並びにこれら鉄鋼製品が製造される過程で生成される半製品（スラブ等）のことを意味する。光学式の表面検査によって鋼材の表面欠陥の検出を試みた際、単純に鋼材の画像を撮影しただけでは、有害な凹凸性の表面欠陥と無害な平らなスケール模様（冷却むら等に起因する）とを弁別困難なときがある。【０００３】
そこで、凹凸性の表面欠陥と平らなスケール模様とを精度よく弁別する手法として、異なる方向から弁別可能な光線を照射し、各光線の反射光を受光して画像を取得し、取得した画像間の差分画像を得ることによって表面欠陥を検出する手法が提案されている(特許文献１参照)。また、得られた差分画像に基づいて表面欠陥の形状によって発生する明暗パターンを認識し、表面欠陥の凹形状又は凸形状を判別することにより、表面欠陥の検出精度をさらに向上させる手法も提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１２５０８９号公報
【特許文献２】特開２０１５−２１０１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２に記載の手法によれば、凹凸性の表面欠陥と平らなスケール模様とを差分画像によって精度よく弁別することができる。しかしながら、本発明の発明者らが検討したところ、特許文献１，２に記載の手法では、凹凸がほとんど存在しない表面反射率が高い地鉄部の差分後の信号が、凹形状の表面欠陥信号と類似しているために弁別が困難な場合があることが判明した。なお、地鉄部は、主に表面に黒皮スケールが生成する温度未満において、擦れや衝突等によって黒皮スケールが剥離することで発生し、冷間スリ疵等がこれに該当する。通常、凹凸性の表面欠陥は、熱間において鋼材が柔らかいうちにロールに焼付いた突起物等を押し込み転写することにより発生する。このため、凹凸性の表面欠陥は、はっきりした凹凸形状を有し、なおかつ冷却する過程で健全部と同様に酸化して同じ程度の反射率になる。この結果、図２２（ａ）に示すように、片側投光によって明確な明暗パターンが発生する。これに対して、地鉄部は、鋼材が冷間においてロール等の構造物に擦れることによって発生することが多く、黒皮スケールが剥がれ、地鉄がむき出しとなることによって黒皮スケールに覆われた健全部と比較して反射率が高くなる。この結果、図２２（ｂ）に示すように、地鉄部は深さが殆どないが反射率が高いため、照射方向に関わらず高輝度の信号として撮像される。【０００６】
また、地鉄部にわずかに凹凸が存在する場合には、特許文献１，２に記載の手法を適用して差分画像を取得した際、凹凸性の表面欠陥と同様の明暗パターンが発生することがある。地鉄部は、検査の目的によって有害及び無害のどちらともなりうる表面欠陥であり、表面欠陥の未検出や過検出の原因となる。特に肉厚保障等の深さが重要な検査においては、凹凸性の表面欠陥は有害、地鉄部は無害とされる場合が多く、凹凸性の表面欠陥と地鉄部とを精度よく弁別することが望ましい。【０００７】
本発明は、上記課題に鑑みてなされたものであって、その目的は、地鉄部と表面欠陥とを精度よく弁別可能な表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルを提供することにある。また、本発明の他の目的は、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上可能な鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る表面欠陥検出方法は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、を含む。【０００９】
前記明部の重なり度合は、前記検査対象部位において、表面欠陥候補部に対する前記明部の重なり部分が占める割合であるとよい。【００１０】
前記検出ステップは、各照明光の反射光による２つ以上の画像から抽出された明部から、検査対象部位における表面欠陥候補部を算出するステップと、表面欠陥候補部に対する前記明部の重なり部分が占める割合に基づいて、前記検査対象部位における表面欠陥を検出するステップと、を含むとよい。【００１１】
前記検出ステップは、前記２つ以上の画像から抽出された明部の重なり度合が入力された際に該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力するように、機械学習が施された表面欠陥判定モデルを用いて、前記検査対象部位における前記表面欠陥を検出するステップを含むとよい。【００１２】
本発明に係る表面欠陥検出装置は、鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、２つ以上の弁別可能な光源で同一の検査対象部位に異なる方向から照明光を照射する照射手段と、各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出手段と、を備える。【００１３】
本発明に係る鋼材の製造方法は、本発明に係る表面欠陥検出方法を用いて鋼材の表面欠陥を検出しながら鋼材を製造するステップを含む。【００１４】
本発明に係る鋼材の品質管理方法は、本発明に係る表面欠陥検出方法を用いて表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理するステップを含む。【００１５】
本発明に係る鋼材の製造設備は、鋼材を製造する製造設備と、前記製造設備によって製造された鋼材を検査する、本発明に係る記載の表面欠陥検出装置と、を備える。【００１６】
本発明に係る表面欠陥判定モデルの生成方法は、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照射された照明光の反射光による２つ以上の画像から抽出された明部の重なり度合と、前記検査対象部位に表面欠陥があるか否かの判定結果と、を教師データとして用いて、前記２つ以上の画像から抽出された明部の重なり度合を入力値、該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、表面欠陥判定モデルとして機械学習により生成する。【００１７】
本発明に係る表面欠陥判定モデルは、本発明に係る表面欠陥判定モデルの生成方法により生成された。
【発明の効果】
【００１８】
本発明に係る表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルによれば、地鉄部と表面欠陥とを精度よく弁別できる。また、本発明に係る鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備によれば、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。
【図２】図２は、地鉄部の差分画像の一例を示す図である。
【図３】図３は、凹形状の表面欠陥の明部画像にＡＮＤ処理を施した結果を示す図である。
【図４】図４は、地鉄部の明部画像にＡＮＤ処理を施した結果を示す図である。
【図５】図５は、本発明の第１の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
【図６】図６は、本発明の第２の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
【図７】図７は、本発明の第３の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
【図８】図８は、図７に示すラベリング処理の一例を説明するための図である。
【図９】図９は、本発明の第４の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
【図１０】図１０は、凹凸性の表面欠陥とスケール模様及び無害模様とを撮影した２つの二次元画像及びその差分画像の一例を示す図である。
【図１１】図１１は、検査対象部位の表面形状が凹形状及び凸形状である場合における一方から光を照射した時の陰影を示す図である。
【図１２】図１２は、凹形状の表面欠陥の差分画像の一例を示す図である。
【図１３】図１３は、膨張処理を利用した明部及び暗部の位置関係算出方法の流れを示すフローチャートである。
【図１４】図１４は、膨張収縮処理を説明するための図である。
【図１５】図１５は、差分画像及び明暗パターンの一次元プロファイルの一例を示す図である。
【図１６】図１６は、フィルターの二次元画像及び一次元プロファイルの一例を示す図である。
【図１７】図１７は、図１６に示すフィルターを用いたフィルター処理が施された差分画像及び一次元プロファイルの一例を示す図である。
【図１８】図１８は、地鉄部及び凹凸性の表面欠陥について両明部占有率のヒストグラムを計算した結果を示す図である。
【図１９】図１９は、本発明の第５の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。
【図２０】図２０は、光源の配置位置の変形例を示す模式図である。
【図２１】図２１は、図２０に示す光源の配置位置によって得られる明暗パターンを示す模式図である。
【図２２】図２２は、凹凸性の表面欠陥及び地鉄部の特徴を説明するための模式図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明の一実施形態である表面欠陥検出装置の構成及びその動作について説明する。
【００２１】
〔表面欠陥検出装置の構成〕
図１は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。図１に示すように、本発明の一実施形態である表面欠陥検出装置１は、図示矢印方向に搬送される円筒形状の鋼管Ｐの表面欠陥を検出する装置であり、光源２ａ，２ｂ、ファンクションジェネレータ３、エリアセンサ４ａ，４ｂ、画像処理装置５、及びモニター６を主な構成要素として備えている。
【００２２】
光源２ａ，２ｂは照射手段である。光源２ａ，２ｂは、ファンクションジェネレータ３からのトリガー信号に従って鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。光源２ａ，２ｂは、検査対象部位に対して対称に配置されている。すなわち、光源２ａ，２ｂは、鋼管Ｐ表面の法線ベクトルに対して同一の入射角だけずらし、照明光Ｌの照射方向ベクトルと鋼管Ｐ表面の法線ベクトルとが同一平面上となるように配置されている。
【００２３】
ここで、照明光Ｌの入射角を同一にする目的は、異なる入射方向の光源を弁別した時に光学条件をできるだけ等しくすることにある。経験上、各入射角の差が２０°以内の範囲内であれば、同一の入射角と表現する。一方、入射角そのものは、１つの光源の入射角が２５°〜８２．５°の範囲内にあることが経験上望ましい。さらに、光量を稼ぎたい場合は２５°〜５５°の範囲内、光量が十分でＳ／Ｎ比を上げたい場合は６０°〜８２．５°の範囲内から選択することが望ましい。
【００２４】
なお、本明細書中において、入射角とは、光源２ａ，２ｂからの光線の入射方向と、検査対象部位の表面に対する法線とがなす角度を示す。また、検査対象部位の表面に対する法線を０°とする。また、本実施形態では、光源の数を２つとしたが、弁別可能であれば光源の数を３つ以上にしてもよい。ここで述べる弁別可能な光源とは、検査対象部位から得られる反射光についてそれぞれの光源別に反射光量を求めることが可能な光源を意味する。
【００２５】
エリアセンサ４ａ，４ｂは撮像手段である。エリアセンサ４ａ，４ｂは、ファンクションジェネレータ３からのトリガー信号に従って光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。エリアセンサ４ａ，４ｂは、撮影した二次元画像のデータを画像処理装置５に入力する。エリアセンサ４ａ，４ｂは、それぞれの撮像視野を確保した状態で可能な限り検査対象部位の法線ベクトル上に設置されている。なお、本実施形態では、エリアセンサを用いているが、ラインセンサを用いてもよい。この場合、撮影した画像は一次元画像となるが、後述する表面欠陥検出方法はそのまま適用できる。
【００２６】
画像処理装置５は検出手段である。画像処理装置５は、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて、検査対象部位における無害な地鉄部の判定処理を行う装置である。この地鉄部の判定処理は、本発明の最重要技術であるため、この後詳細に説明する。この画像処理装置５は、さらに、機械学習による欠陥判定も行うことができる。さらに、必要に応じて、後述する差分処理を行うことによって検査対象部位における表面欠陥を検出することもできる。画像処理装置５は、エリアセンサ４ａ，４ｂから入力された二次元画像や表面欠陥の検出結果に関する情報をモニター６に出力する。
【００２７】
このような構成を有する表面欠陥検出装置１は、以下に示す表面欠陥検出方法を実行することによって、検査対象部位における地鉄部の判定処理を行う。さらに、表面欠陥検出装置１は、必要に応じて、検査対象部位におけるスケール模様や無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。なお、スケール模様や無害模様とは、厚さ数〜数十μｍ程度の地鉄部分とは光学特性の異なる表面皮膜や表面性状を有する部分のことを意味し、表面欠陥検出方法においてノイズ要因となる部分である。
【００２８】
〔表面欠陥検出方法〕
特許文献１及び特許文献２に記載の表面欠陥検出方法では、冷間スリ疵等の地鉄部の二次元画像に対して同様の差分処理を実施すると、図２（ａ）に示すような凹凸性の表面欠陥の明暗パターンと同様の図２（ｂ）〜（ｅ）に示すような明暗パターンが発生することがある。これは、地鉄部が高い反射率及び輝度のばらつきを有することから、明部及び暗部がランダムに発生するためである。特に表面欠陥の深さが重要な厚板や鋼管等の鋼材の分野では、地鉄部は表面欠陥と比較して非常に多く発生するため、特徴量等による弁別は困難である。
【００２９】
ところが、地鉄部は、検査ニーズに応じて有害と判定しなければならない場合と無害と判定しなければならない場合とがある。このため、表面欠陥の明暗パターンと同様の明暗パターンを有する地鉄部を弁別できない場合、過検出となってしまい表面欠陥の検出性能が低下する。また、地鉄部を有害と判定しなければならない場合においても、地鉄部を表面欠陥と弁別しなければならない場合もある。そして、地鉄部は様々な形状があり、無害と判定したい場合が多い。
【００３０】
このような地鉄部を安定して検出するためには、その特徴であるどの方向から照明光を照射しても定常部より明るいといった特徴を用いる方法が考えられる。ここで述べる定常部とは、表面欠陥でも地鉄部でもない黒皮スケール部のことを指す。すなわち、エリアセンサ４ａ，４ｂから入力された２つの二次元画像から閾値処理やラベリング等で抽出した表面欠陥候補部の領域の中で明部の重なり部分を検出することにより、地鉄部を検出する方法が考えられる。
【００３１】
図３及び図４はそれぞれ、表面欠陥候補部における凹形状の表面欠陥と地鉄部について、エリアセンサ４ａ，４ｂから入力された２つの二次元画像の明部を二値化処理により検出し、検出した明部画像にＡＮＤ処理を施した結果の例である。図３（ｃ）〜（ｅ）に示すように、凹形状の表面欠陥では、２つの二次元画像（図３（ｃ），（ｄ））の明部の位置が異なるため、ＡＮＤ処理を施しても信号は検出されない（図３（ｅ））。これに対して、図４（ｃ）〜（ｅ）に示すように、地鉄部では、２つの二次元画像（図４（ｃ），（ｄ））の明部の位置が一致するため、ＡＮＤ処理を施すと明部及び暗部のほぼ全ての箇所と重なるように信号が検出される（図４（ｅ））。
【００３２】
なお、検査対象部位における表面欠陥候補部を検出する方法は、公知の方法が利用できる。特に特許文献１及び特許文献２に記載された差分画像を利用する方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、表面欠陥候補部、特に凹凸性の表面欠陥候補部を、精度よく検出可能という利点があり、好適である。
【００３３】
なお、表面欠陥候補部の検出のタイミングは、後述する検出ステップが両面部占有率を算出するステップ（後述のＳ５，Ｓ１５，Ｓ２５，Ｓ３７，Ｓ４８）より前であれば、いつでも行ってもよい。例えば、後述する検出ステップとは別に、予め検出しておいてもよい（第１及び第２の実施形態を参照）。また、例えば、後述する検出ステップ内で、検出ステップで使用する明部二値化画像ａと明部二値化画像ｂとのコピーから検出してもよい（第３の実施形態を参照）。さらに、例えば、後述する検出ステップと並行して、検出ステップで使用する生画像ａ、生画像ｂ、補正画像ａ及び補正画像ｂ等のコピーから求めた差分画像を利用して凹凸性の表面欠陥を検出し、この検出された凹凸性の表面欠陥を表面欠陥候補部としてもよい。
【００３４】
従って、２つの二次元画像の明部画像に対してＡＮＤ処理を施すことにより両明部画像を抽出し、表面欠陥候補部をこの両明部画像で評価することにより、表面欠陥候補部が表面欠陥及び地鉄部のどちらであるのかを判別できる。地鉄部は、２つの二次元画像の明部を閾値処理により抽出してＡＮＤ処理を施すことにより検出できる。また、地鉄部でなく表面欠陥等であっても、他方向から照射した２つの二次元画像の明部が偶然わずかに重なる場合がある。これに対して、地鉄部の場合は、他方向から照射した２つの二次元画像の中で高反射率となり、明部がほとんどの領域で重なる。そこで、明部の重なりの程度を特徴量として算出し、その指標を用いて地鉄部と表面欠陥とを弁別してもよい。この方法では、重なり部分の有無で判定した場合よりも、より精度よく弁別ができ好ましい。
【００３５】
以下、上記の考えに基づいて想倒された本発明の第１〜第５の実施形態である表面欠陥検出方法について説明する。
【００３６】
［第１の実施形態］
まず、図５を参照して、本発明の第１の実施形態である表面欠陥検出方法について説明する。
【００３７】
本発明の第１の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて無害な地鉄部の判定を行う。
【００３８】
図５は、本発明の第１の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図５に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ，生画像ｂ）に対して画像補正処理を施すことにより、補正画像ａ，補正画像ｂを生成する（ステップＳ１ａ，Ｓ１ｂ）。ここで述べる画像補正処理には、検査対象領域を切り出す処理や光学系起因の全体の輝度むらを補正するシェーディング補正等の処理が含まれる。
【００３９】
次に、画像処理装置５は、補正画像ａ及び補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂを生成する（ステップＳ２ａ，Ｓ２ｂ）。図５において、ラベル「明部二値化画像ａ」の左横に明部二値化画像ａの例を、ラベル「明部二値化画像ｂ」の右横に明部二値化画像ｂの例を示す。次に、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂの双方において値が１の画素を抽出し両明部画像を生成する（ステップＳ３）。図５において、ラベル「両明部画像」の右横に両明部画像の例を示す。
【００４０】
次に、画像処理装置５は、表面欠陥候補部を用いて両明部画像に対してマスキング算出処理を実施する。この処理により、画像処理装置５は、地鉄部か否かを判定する対象となる領域（つまり、表面欠陥候補部であり、且つ、明部である領域）を切り出した切出両明部画像を生成する（ステップＳ４）。次に、画像処理装置５が、表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ５）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、表面欠陥候補部が地鉄部か表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ６）。なお、本実施形態は、表面欠陥候補部に対する両明部画像の重なり度合を算出する例であるが、表面欠陥候補部全体のうち両明部画像がどの程度重なっているかが算出できれば、他の処理方法でもよい。例えば、表面欠陥候補部を渦流探傷や超音波探傷等の他の手法で計測し、その中で両明部画像が占める割合を算出してもよい。
【００４１】
［第２の実施形態］
次に、図６を参照して、本発明の第２の実施形態である表面欠陥検出方法について説明する。
【００４２】
本発明の第２の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて無害な地鉄部の判定を行う。
【００４３】
図６は、本発明の第２の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図６に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ，生画像ｂ）それぞれに対して、表面欠陥候補部を用いてマスキング算出処理を実施することにより、地鉄部か否かを判定する対象となる領域を切り出した切出生画像ａ，切出生画像ｂを生成する（ステップＳ１１ａ，Ｓ１１ｂ）。次に、画像処理装置５は、切出生画像ａ及び切出生画像ｂに対して画像補正処理を施すことにより、切出補正画像ａ及び切出補正画像ｂを生成する（ステップＳ１２ａ，Ｓ１２ｂ）。ここで述べる画像補正処理には、光学系起因の全体の輝度むらを補正するシェーディング補正等の処理が含まれる。
【００４４】
次に、画像処理装置５は、切出補正画像ａ及び切出補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂを生成する（ステップＳ１３ａ，Ｓ１３ｂ）。次に、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂの双方において、値が１の画素を抽出し、切出両明部画像を生成する（ステップＳ１４）。次に、画像処理装置５は、表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ１５）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、表面欠陥候補部が地鉄部か表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ１６）。
【００４５】
［第３の実施形態］
次に、図７を参照して、本発明の第３の実施形態である表面欠陥検出方法について説明する。
【００４６】
本発明の第３の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて無害な地鉄部の判定を行う。
【００４７】
図７は、本発明の第３の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図７に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ、生画像ｂ）それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像ａ及び補正画像ｂを生成する（ステップＳ２１ａ，Ｓ２１ｂ）。この画像補正処理によって以後の明部抽出処理等を精度よく実施することができる。
【００４８】
次に、画像処理装置５は、補正画像ａ及び補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂを生成する（ステップＳ２２ａ，Ｓ２２ｂ）。次に、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂの双方において値が１の画素を抽出し、両明部画像を生成する（ステップＳ２３）。両明部画像において値が１の画素の集合は、明部二値化画像ａと明部二値化画像ｂの双方の明部が重なった明部重なり部となる。これにより、明部二値化画像ａ及び明部二値化画像ｂの中で高反射率部分が重なる部分を抽出することができる。図８（ａ）に明部二値化画像ａの例を、図８（ｂ）に明部二値化画像ｂの例を、図８（ｃ）に両明部画像の例を示す。
【００４９】
次に、画像処理装置５は、生成した両明部画像の値が１である明部の画素にラベリングし、各ブロブ（ラベリングされた画素の集合）を地鉄部候補部とする。図８（ｃ）両明部画像における白い部分（つまり明部）が地鉄部候補部で、明部二値化画像ａ及び明部二値化画像ｂ双方の明部の重なり部に該当する。また、画像処理装置５は、ステップＳ２２ａ，Ｓ２２ｂにて生成された明部二値化画像ａ及び明部二値化画像ｂに対して、今度はＯＲ処理を施す。この処理により、画像処理装置５は、明部ＯＲ画像を生成する。図８（ｄ）に、明部ＯＲ画像の例を示す。それから、画像処理装置５は、この処理で得られた明部ＯＲ画像に、上述した地鉄部候補部をラベリングする。そして、画像処理装置５は、ラベリングされた地鉄部候補部を含む明部の塊を各ブロブとして抽出する。ここで各ブロブを表面欠陥候補部とする（ステップＳ２４）。図８（ｅ）に、表面欠陥候補部の例を示す。白い部分（つまり明部）が表面欠陥候補部である。図８（ｃ）の両明部画像では、ステップＳ２３のＡＮＤ処理により、表面欠陥ではないと思われる明部が削除されている。一方、図８（ｄ）で明らかなように、ＯＲ処理では、欠陥か否かに関わらず全ての明部が残ってしまう。そこで、地鉄部候補部でラベリングすることにより、確実に表面欠陥候補部を検出することができる。
【００５０】
次に、画像処理装置５は、表面欠陥候補部毎に、地鉄部候補部の面積を表面欠陥候補部の面積で除算した値を両明部占有率として算出する（ステップＳ２５）。そして最後に、画像処理装置５は、算出された両明部占有率から表面欠陥候補部が地鉄部か否かを判定し地鉄部を検出する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ２６）。
【００５１】
なお、表面欠陥候補部に対する地鉄部候補部の重なり度合を示す指標は複数考えられる。例えば、各地鉄部候補部の面積がＡＮＤ処理を実施する前の２枚の画像の表面欠陥候補部の面積に対して占める割合等が考えられる。この場合、表面欠陥候補部の面積としては、２か所の表面欠陥候補部のＯＲ処理をした面積、各表面欠陥候補部の面積の和や最大値等を例示できる。両明部占有率が高ければ高いほど、地鉄部である可能性が高い。そのため、単純に一定閾値を用いて、閾値以上であれば地鉄部と判定してもよい。
【００５２】
また、両明部占有率を特徴量として用い、二分決定木法等の公知の機械学習方法を用いて地鉄部を検出してもよい。すなわち、両明部占有率と検査対象部位に表面欠陥があるか否かの判定結果とを教師データとして用いて、２つ以上の画像から算出した両明部占有率を入力値、２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、機械学習により生成する。生成された学習済みモデルを表面欠陥モデルとし、この表面欠陥判定モデルに両明部占有率を入力し、表面欠陥判定モデルの出力値を用いて地鉄部か否かを判定して地鉄部を検出してもよい。これにより、従来手法では弁別困難であった地鉄部と表面欠陥とを精度よく弁別できる。
【００５３】
また、第１〜３の実施形態で算出した地鉄部と表面欠陥候補部の位置関係から表面欠陥候補部が地鉄部であるかどうかを判定してもよい。具体的には、表面欠陥候補部と第１〜３の実施形態で算出した地鉄部がほぼ同一の位置であれば、表面欠陥候補部は地鉄部である可能性が高い。また、第１〜３の実施形態と同様に表面欠陥候補部のうち、両明部がどの程度重なっているかが算出できれば、他の処理方法でもよい。
【００５４】
［第４の実施形態］
地鉄部にわずかに凹凸が存在する場合、凹凸性の表面欠陥と同様の明暗パターンが発生することにより、地鉄部と凹凸性の表面欠陥とを精度よく弁別できないことがある。そこで、本実施形態では、特許文献１及び特許文献２に記載の方法により算出できる凹凸性の表面欠陥を表面欠陥候補部として用いることにより、地鉄部と凹凸性の表面欠陥とを精度よく弁別する。以下、図９を参照して、本発明の第４の実施形態である表面欠陥検出方法について説明する。
【００５５】
本発明の第４の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて、スケールや無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。
【００５６】
図９は、本発明の第４の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図９に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ、生画像ｂ）それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像ａ及び補正画像ｂを生成する（ステップＳ３１ａ，Ｓ３１ｂ）。次に、画像処理装置５は、補正画像ａと補正画像ｂとの間で差分処理を行うことによって差分画像を生成する（ステップＳ３２）。次に、画像処理装置５は、生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出すると共に、差分処理によって除去されたスケール模様や無害模様に関する情報を出力する（ステップＳ３３）。
【００５７】
一方、画像処理装置５は、ステップＳ３１ａ，Ｓ３１ｂにおいて生成された補正画像ａ及び補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂを生成する（ステップＳ３４ａ，Ｓ３４ｂ）。次に、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂの双方において値が１の画素を抽出して、両明部画像を生成する（ステップＳ３５）。次に、画像処理装置５は、ステップＳ３３の処理において算出された凹凸性の表面欠陥候補部を用いて両明部画像に対してマスキング算出処理を実施する。この処理により、画像処理装置５は、地鉄部か否かを判定する対象となる領域を切り出した切出両明部画像を生成する（ステップＳ３６）。次に、画像処理装置５は、凹凸性の表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ３７）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、地鉄部か凹凸性の表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ３８）。地鉄部は２方向からの照射によりどちらも凹凸性の表面欠陥候補部全体が明るい信号となるが、凹凸性の表面欠陥は２方向からの照射で陰影のつき方が異なるため、凹凸性の表面欠陥候補部全体で明部と暗部が異なる位置に発生する。従って、地鉄部の両明部占有率は高く、凹凸性の表面欠陥の両明部占有率は低くなる。
【００５８】
なお、ステップＳ３３の処理における差分画像を用いて検査対象部位における凹凸性の表面欠陥候補部を検出する方法としては、公知の方法が利用できる。特に特許文献１及び特許文献２に記載された方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、凹凸性の表面欠陥候補部を精度よく検出可能という利点があり、好適である。以下では、ステップＳ３３の処理の一例として、特許文献１及び特許文献２に記載の技術を用いた例を説明する。
【００５９】
いま、光源２ａから照明光Ｌを照射した時に得られた二次元画像Ｉａを構成する各画素の輝度値をＩａ（ｘ，ｙ）（但し、画素数Ｘ×Ｙとし、ｘ座標を１≦ｘ≦Ｘ、ｙ座標を１≦ｙ≦Ｙとする）、光源２ｂから照明光Ｌを照射した時に得られた二次元画像Ｉｂを構成する各画素の輝度値をＩｂ（ｘ，ｙ）とした時、ステップＳ３２の差分処理によって得られる差分画像Ｉ＿ｄｉｆｆの各画素の輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）は以下に示す数式（１）で表される。
【００６０】
【数１】
0006753553.tif 000002
【００６１】
ここで、凹凸性の表面欠陥と表面欠陥で無い健全なスケール模様及び無害模様を撮像した二次元画像Ｉａ、Ｉｂ及びその差分画像Ｉ＿ｄｉｆｆの例をそれぞれ図１０（ａ），（ｂ），（ｃ）に示す。図１０（ａ），（ｂ），（ｃ）に示すように、健全部では、スケール模様や無害模様の有無に関わらず表面の法線ベクトルと光源２ａの成す角と表面の法線ベクトルと光源２ｂの成す角とが等しいため、輝度値Ｉａ（ｘ，ｙ）＝輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）＝０となる。
【００６２】
しかしながら、凹凸性の表面欠陥部分では、表面が凹凸形状を有するため、表面の法線ベクトルと光源２ａの成す角と表面の法線ベクトルと光源２ｂの成す角とが等しくない箇所が必ず存在し、輝度値Ｉａ（ｘ，ｙ）≠輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）≠０となる。従って、差分器１１による差分処理によって２つの二次元画像の差分画像Ｉ＿ｄｉｆｆを生成することによって表面欠陥でない健全なスケール模様や無害模様の画像を除去することができる。
【００６３】
次に、差分画像Ｉ＿ｄｉｆｆから凹凸性の表面欠陥候補部を検出するロジックについて説明する。図１１（ａ），（ｂ）はそれぞれ、検査対象部位の表面形状が凹形状及び凸形状である場合における一方の光源から検査対象部位に照明光を照射した時の陰影を示す図である。図１１（ａ）に示すように、検査対象部位の表面形状が凹形状である場合、光源の手前側が単位面積当たりの照射光の光量低下によって暗くなり、光源の奥側が正反射方向に近づくため明るくなる。これに対して、図１１（ｂ）に示すように、検査対象部位の表面形状が凸形状である場合には、光源の手前側が正反射方向に近づくため明るくなり、光源の奥側が凸形状の影となり暗くなる。
【００６４】
すなわち、検査対象部位の表面形状が凹形状である場合と凸形状である場合とで照明光の反射光の明暗パターンが異なる。従って、反射光の明暗パターンを認識することによって凹凸性の表面欠陥候補部の有無を検出することができる。そこで、以下では、反射光の明暗パターンを認識することによって凹凸性の表面欠陥候補部を検出する方法について述べる。なお、以下では、凹凸性の表面欠陥候補部のうち、凹形状の表面欠陥候補部を検出するものとするが、凸形状の表面欠陥候補部も同様のロジックで検出することができる。また、以下で述べる明部とは、差分画像Ｉ＿ｄｉｆｆにおいて輝度が所定閾値以上である画素に対して連結処理を行うことによって得られる所定値以上の面積を持つブロブを意味する。また、以下で述べる暗部とは、差分画像Ｉ＿ｄｉｆｆにおいて輝度が所定閾値以下である画素に対して連結処理を行うことによって得られるある所定値以上の面積を持つブロブを指す。ブロブとはラベリングされた画素の集合を意味する。
【００６５】
なお、上記明部及び暗部を検出する所定閾値及び面積を決定する所定値は、最終的な検出性能を考慮して調整される。言い換えると、所定閾値及び所定値を大きく設定すればするほど、より強い信号を持つ欠陥しか検出することができないが、表面粗さやノイズが原因となる過検出信号を低減させることが可能となる。すなわち、有害な欠陥の定義や使用用途、及び明暗パターンから欠陥判定する弁別性能から、目標とする検出性能及び許容される過検度合いを満たすよう調整することが好ましい。
【００６６】
本実施形態では、閾値処理を行うことによって隣り合う明部と暗部とを抽出することにより明暗パターンを認識する。具体的には、図１に示す表面欠陥検出装置１では、光源２ａ，２ｂは検査対象部位の法線ベクトルに対して左右対称に配置されているため、表面の凹凸形状に起因する反射光の明暗パターンは左右方向に発生する。明暗の左右は差分処理の順番によって逆となるため、ここでは右が明・左が暗である場合を凹形状、右が暗・左が明である場合を凸形状とする。従って、凹形状の表面欠陥の差分画像Ｉ＿ｄｉｆｆは図１２に示すようになる。そこで、明部と暗部の画像をそれぞれ輝度閾値Ｔｈｅ，−Ｔｈｅによって二値化すると、明部及び暗部の二値化画像Ｉ＿ｂｒｉｇｈｔ，Ｉ＿ｄａｒｋはそれぞれ以下に示す数式（２）のように表される。
【００６７】
【数２】
0006753553.tif 000003
【００６８】
そして、このようにして明部及び暗部の画像を二値化し、必要に応じて連結・孤立点除去を行った後、隣り合う明部及び暗部の位置関係を算出することによって凹凸性の表面欠陥の有無を検出する。なお、隣り合う明部及び暗部の位置関係の算出方法には様々な方法があり、以下では代表的な３つの算出方法を述べるが、その他の算出方法であっても明部と暗部の位置関係が算出できれば良い。
【００６９】
第１の位置関係算出方法は、隣り合う明部及び暗部に対して特定方向の膨張収縮処理を施すことによって隣り合う明部及び暗部の位置関係を算出する方法である。本算出方法のフローチャートを図１３に示す。本実施形態では、凹形状の表面欠陥を検出するため、右が明、左が暗である明暗のパターンを認識する場合について説明する。右が明、左が暗ということは明部の左側には必ず暗部があり、暗部の右側には必ず明部があるということである。そこで、本算出方法では、始めに、画像処理装置５が、暗部に対して右方向に膨張処理を施し、明部に対しては左方向に膨張処理を施す（ステップＳ３３１ａ，Ｓ３３１ｂ）。ここで、膨張処理が施された明部及び暗部の画像をそれぞれI_bright_extend、I_dark_extendとし、膨張する長さをＷとすると膨張処理は以下に示す数式（３）のように表される。但し、二次元画像の左上を原点として下方向をｙ軸方向正、右方向をｘ軸方向正とする。
【００７０】
【数３】
0006753553.tif 000004
【００７１】
なお、本実施形態では、明部と暗部とを同じ長さＷだけ膨張させているが、膨張する長さＷは必ずしも同じである必要は無く、極端に述べれば明部及び暗部の一方のみに対して膨張処理を施してもよい。また、膨張する長さＷは検出したい表面欠陥の大きさにも依存する。
【００７２】
次に、画像処理装置５は、以下に示す数式（４）のように膨張処理が施された明部及び暗部の画像I_bright_extend、I_dark_extendに対してand処理を行うことにより、膨張処理が施された明部及び暗部の画像I_bright_extend、I_dark_extendの重なり部分を凹形状欠陥候補部画像I_defectとして抽出する（ステップＳ３３２ａ，Ｓ３３２ｂ）。
【００７３】
【数４】
0006753553.tif 000005
【００７４】
次に、画像処理装置５は、得られた各凹形状欠陥候補部画像I_defectに対して、必要に応じて連結・孤立点除去処理を行った後、ラベリング処理を行うことによって、凹形状欠陥候補ブロブI_defect_blobを生成する（ステップＳ３３３）。そして、画像処理装置５は、各凹形状欠陥候補ブロブI_defect_blobの特徴量を抽出し、抽出結果に基づいて各凹形状欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する（ステップＳ３３４ａ，Ｓ３３４ｂ）。なお、凹形状欠陥候補ブロブI_defect_blobの特徴量を調査するためには、明部及び暗部の情報が必要となるため、凹形状欠陥候補ブロブI_defect_blobから明部と暗部を復元する。
【００７５】
具体的には、凹形状欠陥候補部の右側には必ず明部が存在し、左側には必ず暗部が存在するため、画像処理装置５は、凹形状欠陥候補ブロブI_defect_blobの重心を起点として暗部二値化画像I_darkを左側に探索し、最初に見つかったブロブを暗部凹形状欠陥候補ブロブI_dark_blobとする。同様に、画像処理装置５は、凹形状欠陥候補ブロブI_defect_blobの重心を起点として明部二値化画像I_brightを右側に探索し、最初に見つかったブロブを明部凹形状欠陥候補ブロブI_bright_blobとする。そして、画像処理装置５は、こうして復元された明部凹形状欠陥候補ブロブI_bright_blob及び暗部凹形状欠陥候補ブロブI_dark_blobから特徴量を抽出し、抽出された特徴量に基づいて各凹形状欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する。具体的な特徴量は欠陥により異なるため、ここでは述べず後述する実施例で一例を挙げる。
【００７６】
この明部凹形状欠陥候補ブロブと暗部凹形状欠陥候補ブロブの復元から、後に述べる両明部占有率の算出に用いる凹凸性の表面欠陥候補部を算出することが可能である。具体的には明部及び暗部のブロブを算出してそれぞれの二値化画像を取得し、ＯＲ処理をした二値化画像で得られる領域や、さらに膨張収縮処理を実施し、明部と暗部の間を埋めた領域を凹凸性の表面欠陥候補部とする。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図１１（ａ），（ｂ）に示したように明暗パターンが逆転するので、図１３に示した処理における明部及び暗部の位置関係を逆にすれば同様の処理により算出可能である。
【００７７】
なお、上記膨張収縮処理とは、図１４に示すように、まず、生画像（図１４（ａ））から生成された暗部二値化画像（図１４（ｂ））と明部二値化画像（図１４（ｃ））とのＡＮＤ処理によって得られた画像（図１４（ｄ））に対して一定の形状で膨張処理（対象ブロブに対して輪郭部を形成する画素を定義して形状で置き換え）を実施した後、その後一定の形状で収縮処理（対象ブロブに対して輪郭部を形成する画素を定義した形状で削除）を実施した画像（図１４（ｅ））を得ることを意味する。膨張収縮距離のパラメータは、明部と暗部との間の距離より大きいブロブであればどのような形状でもよいが、膨張処理と収縮処理で同一の形状とすることが望ましい。また１画素ずつ複数回膨張収縮処理を施しても同様の結果が得られる。
【００７８】
第２の位置関係算出方法では、上述の閾値処理を行い、必要に応じて連結・孤立点除去処理を行った後、明部及び暗部を抽出してラベリングを実施し、隣り合う明部及び暗部の位置関係を認識することにより凹形状の表面欠陥を検出する。具体的には、始めに、画像処理装置５は、ラベリングにより明部及び暗部を個別に認識し、明部及び暗部の重心情報を得る。次に、画像処理装置５は、明部及び暗部の重心情報から各明部の右側の所定範囲内に暗部の重心が存在するか否かを判定する。そして、暗部の重心が存在する場合、画像処理装置５は、対となる明部と暗部との組み合わせを明暗パターンとして認識し、明暗パターンの特徴量解析を行うことによって、凹形状の表面欠陥であるか否かを判別する。なお、ここでは重心情報を用いて明暗パターンを認識したが、隣り合う明部及び暗部の位置が把握できる情報（例えば上端位置や下端位置等）であれば、明暗パターンの認識に用いる情報は必ずしも重心情報でなくてよい。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図１１（ａ），（ｂ）に示したように明暗パターンが逆転するので、図１３に示した処理における明部及び暗部の位置関係を逆にすれば同様の処理により算出可能である。
【００７９】
第３の位置関係算出方法では、上述の閾値処理を行わず、フィルターを用いて明暗パターンを認識することによって、凹形状の表面欠陥を検出する。具体的には、図１に示す表面欠陥検出装置１では、光源２ａ，２ｂが検査対象部位の法線に対して左右対称に配置されているため、表面の凹凸に起因する明暗パターンは左右方向に発生する。図１５（ａ），（ｂ）はそれぞれ、差分画像の一例及び図１５（ａ）に示す線分Ｌにおける明暗パターンの一次元プロファイルを示す図である。
【００８０】
図１５（ａ），（ｂ）に示すように、凹形状の表面欠陥では右が明、左が暗であるため、明暗パターンの一次元プロファイルは右側が山形、左側が谷形の特徴的な一次元プロファイルになる。そこで、本実施形態では、右側が山形、左側が谷形となるようなフィルターＨを予め作成し、以下の数式（５）に示すように差分画像I_diffにフィルターＨをかけることにより、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像I_contを生成する。
【００８１】
【数５】
0006753553.tif 000006
【００８２】
図１６（ａ），（ｂ）はそれぞれ予め作成したフィルターＨの二次元画像及びその左右方向の一次元プロファイルの一例を示す図である。図１７（ａ），（ｂ）はそれぞれ、図１６（ａ），（ｂ）に示すフィルターＨを用いたフィルター処理が施された差分画像及びその左右方向の一次元プロファイルを示す図である。図１７（ａ），（ｂ）に示すように、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像が得られることがわかる。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図１１（ａ），（ｂ）に示したように明暗パターンが逆転するので、フィルタの形状を逆にすれば同様の処理により算出可能である。
【００８３】
なお、必要に応じて、幅方向にレンジが異なるフィルターを数種類用意しておくことにより、多くの表面欠陥サイズに対応できるようにしてもよい。画像処理装置５は、このようにして明暗パターンが強調された二元画像に対して、必要に応じて連結・孤立点除去処理を施した後、閾値処理を行うことによって欠陥候補部画像I_defectを抽出する。そして、画像処理装置５は、抽出された欠陥候補部画像I_defectに対して第１の位置関係算出方法と同様の処理を施すことによって、凹形状の表面欠陥を検出する。なお、差分前の２枚の画像で見え方が同一となり、差分後に明暗パターンを形成しないスケール模様や無害模様に関しては、差分前の画像を二値化してラベリングして抽出した凹凸性の表面欠陥候補部から、差分後に明暗パターンを形成するものを除外することで抽出することが可能となる。
【００８４】
［実施例］
図１８に、実機試験における、第４の実施形態に係る表面欠陥検出方法と表面欠陥装置１とを用いて算出した、両明部占有率のヒストグラムの一例を示す。図１８の横軸は両明部占有率をパーセンテージで、縦軸は地鉄部または凹凸性の表面欠陥の頻度をパーセンテージで示している。図１８中の黒菱形の符号は、目視で「地鉄部」と確認された箇所１００％に対し、両明部占有率ごとに幾ら分布しているかを示す。また、図１８中の白四角の符号は、目視で「凹凸性の表面欠陥」と確認された箇所１００％に対し、両明部占有率ごとに幾ら分布しているかを示す。なお、本実施例では、明部は健全部の１．５倍以上の輝度を持つ部分とした。また、凹凸性の表面欠陥候補部は、明暗パターン検出と膨張収縮処理を用いて検出した。
【００８５】
図１８に示すように、凹凸性の表面欠陥と地鉄部とが、両明部占有率の約３０％を閾値として非常によく分離されていることが確認できる。地鉄部が過検出となる検査の場合、凹凸性の表面欠陥候補部に対し、両明部占有率が、例えば３０％以上を地鉄部と判定する。この方法により、凹凸性の表面欠陥を全く除外することなく、９５％以上の地鉄部を除去することが可能となる。なお、直接的に両明部占有率を閾値として弁別する方法も有効であると共に、両明部占有率を特徴量の一つとして、機械学習を用いて弁別しても同様の結果が得られる。
【００８６】
［第５の実施形態］
最後に、図１９を参照して、本発明の第５の実施形態である表面欠陥検出方法について説明する。
【００８７】
本発明の第５の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて、スケールや無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。
【００８８】
図１９は、本発明の第５の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図１９に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ、生画像ｂ）それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像ａ及び補正画像ｂを生成する（ステップＳ４１ａ，Ｓ４１ｂ）。次に、画像処理装置５は、補正画像ａと補正画像ｂとの間で差分処理を行うことによって差分画像を生成する（ステップＳ４２）。生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出する（ステップＳ４３）。次に、画像処理装置５は、生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出すると共に、差分処理によって除去されたスケール模様や無害模様に関する情報を出力する。
【００８９】
次に、画像処理装置５は、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ，生画像ｂ）それぞれに対して、ステップＳ４３の処理において算出された凹凸性の表面欠陥候補部を用いてマスキング算出処理を実施する。この処理により、画像処理装置５は、地鉄部か否かを判定する対象となる領域を切り出した切出生画像ａ，切出生画像ｂを生成する（ステップＳ４４ａ，Ｓ４４ｂ）。次に、画像処理装置５は、切出生画像ａ及び切出生画像ｂに対して画像補正処理を施すことにより、切出補正画像ａ及び切出補正画像ｂを生成する（ステップＳ４５ａ，Ｓ４５ｂ）。
【００９０】
次に、画像処理装置５は、切出補正画像ａ及び切出補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂを生成する（ステップＳ４６ａ，Ｓ４６ｂ）。次に、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂの双方において値が１の画素を抽出して、切出両明部画像を生成する（ステップＳ４７）。次に、画像処理装置５は、凹凸性の表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ４８）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、地鉄部か凹凸性の表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ４９）。
【００９１】
なお、ステップＳ４３の処理における差分画像を用いて検査対象部位における凹凸性の表面欠陥候補部を検出する方法としては、公知の方法が利用できる。特に特許文献１及び特許文献２に記載された方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、凹凸性の表面欠陥候補部を精度よく検出可能という利点があり、好適である。上述のステップＳ３３の処理は、ステップＳ４３の処理の一例とすることができる。
【００９２】
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。例えば、本実施形態では、光源２ａ，２ｂを左右対称に設置したために左右の明暗パターンを認識したが、光源２ａ，２ｂの設置位置が左右ではなく、上下対称又は対称でなかったとしても同様の処理によって凹凸性の表面欠陥を検出することができる。具体的には、光源が上下対称に配置されている場合には、明暗パターンが左右方向から上下方向に変わるだけであるので、明暗パターンを９０度回転させれば同様の処理によって凹凸性の表面欠陥を検出することができる。
【００９３】
また、図２０に示すように照明光の照射方向が９０度異なるように光源２ａ，２ｂを設置した場合には、表面欠陥が凹形状であれば光源の手前側が暗く奥側が明るくなり、表面欠陥が凸形状であれば光源の手前側が明るく、奥側が暗くなる。具体的には、表面欠陥が凹形状である場合、光源２ａからの照明光によって得られる二次元画像は図２１（ａ）に示すようになり、光源２ｂからの照明光によって得られる二次元画像は図２１（ｂ）に示すようになる。このため、差分画像は図２１（ｃ）に示すような左下から右上にかけてコントラストがある明暗パターンとなる。従って、明暗パターンを４５度回転させれば、左右方向の明暗パターンと同様の方法によって凹形状の表面欠陥を検出することができる。さらに、３つ以上の光源を用いることによって、それぞれ複数パターンの差分画像を得ることができるので、表面欠陥の検出精度をより向上させることができる。
【００９４】
また、本実施形態では検査対象部位の法線に対して対称となる方向から照明光を照射した場合について凹凸性の表面欠陥を検出したが、照明光の照射方向は必ずしも対称である必要はない。また、本実施形態の表面欠陥検出方法は熱間、冷間に関わらず鋼材の製造ライン全般に適用することができる。また、製品の弁別のため反射率の高いマーキングを製品表面に塗布する場合も同様の手法によりマーキング部のみを検出することができる。多くの場合、マーキングは独特の形状をしているので、一般的な画像特徴量を用いて弁別することができる。
【００９５】
また、本発明の一実施形態である表面欠陥検出装置１又は表面欠陥検出方法を利用して、鋼材の表面欠陥を検出しながら鋼材を製造することにより、地鉄部と有害な表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。例えば、冷間スリ疵は、鉄鋼プロセスにおいて最も代表的な地鉄部の１つである。表面欠陥（特に、凹凸性の表面欠陥）は熱間圧延中にロールなどの突起物を押し込んで発生することが多く、冷間スリ疵は搬送中に表面がこすれて発生することが多い。そこで、これらの欠陥を弁別して検出することができれば、欠陥発生原因の特定が容易に可能となる。その結果、即座に製造ライン上の原因を取り除くことができるようになり、更なる発生を抑止することが可能となる。また、本発明の一実施形態である表面欠陥検出装置１を、鋼材の製造設備を構成する検査装置として適用してもよい。具体的には、本発明に係る表面欠陥検出装置を利用して製造設備によって製造された鋼材を検査し、鋼材の表面欠陥を検出する。この場合も、上述の理由により、地鉄部と有害な表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。
【００９６】
また、本発明の一実施形態である表面欠陥検出装置１又は表面欠陥検出方法を利用して、表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理することができる。言い換えれば、地鉄部と有害な表面欠陥（特に、凹凸性の表面欠陥）とを精度よく弁別して鋼材の製造歩留まりを向上できる。例えば、冷間スリ疵は、鉄鋼プロセスにおいて最も代表的な地鉄部の１つである。さらに、凹凸性の表面欠陥は有害で、冷間スリ疵は無害である場合、冷間スリ疵を誤検知してしまうと健全な鋼材を欠陥有りと判定して、製造歩留まりを低減させる場合がある。このように、凹凸性の表面欠陥と冷間スリ疵とで重篤度が異なる場合、これらの欠陥を弁別して検出することができれば、鋼材の検査ニーズに応じた判定が可能となり、鋼材の製造歩留まり低下を防ぐことが可能となる。このように、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
【産業上の利用可能性】
【００９７】
本発明によれば、地鉄部と表面欠陥とを精度よく弁別可能な表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルを提供することができる。また、本発明によれば、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上可能な鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備を提供することができる。
【符号の説明】
【００９８】
１  表面欠陥検出装置
２ａ，２ｂ  光源
３  ファンクションジェネレータ
４ａ，４ｂ  エリアセンサ
５  画像処理装置
６  モニター
Ｌ  照明光
Ｐ  鋼管
【要約】
本発明に係る表面欠陥検出方法は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、を含む。【図１】
0006753553.tif 000007
【図２】
0006753553.tif 000008
【図３】
0006753553.tif 000009
【図４】
0006753553.tif 000010
【図５】
0006753553.tif 000011
【図６】
0006753553.tif 000012
【図７】
0006753553.tif 000013
【図８】
0006753553.tif 000014
【図９】
0006753553.tif 000015
【図１０】
0006753553.tif 000016
【図１１】
0006753553.tif 000017
【図１２】
0006753553.tif 000018
【図１３】
0006753553.tif 000019
【図１４】
0006753553.tif 000020
【図１５】
0006753553.tif 000021
【図１６】
0006753553.tif 000022
【図１７】
0006753553.tif 000023
【図１８】
0006753553.tif 000024
【図１９】
0006753553.tif 000025
【図２０】
0006753553.tif 000026
【図２１】
0006753553.tif 000027
【図２２】
0006753553.tif 000028