(57)【特許請求の範囲】
【請求項１】
検出対象物を撮像した画像より微細線状欠陥を検出する方法において、画像に正規化処理を施した後、その正規化画像から濃淡ムラを除去し、濃淡ムラの除去された画像について、ノイズを除去できる低い濃度のしきい値で２値化した領域を初期の核とし、さらにこの領域より少し高い濃度しきい値範囲で新たに２値化した領域が、これまでに得られた領域と近接していれば、その得られた領域に連結する方法を、低い濃度しきい値範囲から高い濃度しきい値範囲まで多段階に反復的に繰り返して行うことにより、線状欠陥候補として検出することを特徴とする微細線状欠陥の検出方法。
【請求項２】
線状欠陥候補を抽出した後、この各線状欠陥候補を直線セグメントに記述し、これら直線セグメントの方向の連続性が局所的に保たれているセグメントを統合すると共に、２つ以上のセグメントが大局的に直線或いは２次曲線を構成しているかを判定し、２次曲線を構成する場合には、構成要素となる各セグメントを結合し、局所的欠陥領域の結合と大局的欠陥領域の結合より、微細線状欠陥を抽出する請求項１記載の微細線状欠陥の検出方法。
【請求項３】
検出対象物を撮像した画像より微細線状欠陥を検出する装置において、検出対象物を撮像する画像入力装置と、画像に正規化処理を施した後、その正規化画像から濃淡ムラを除去し、濃淡ムラの除去された画像について、ノイズを除去できる低い濃度のしきい値で２値化した領域を初期の核とし、さらにこの領域より少し高い濃度しきい値範囲で新たに２値化した領域が、これまでに得られた領域と近接していれば、その得られた領域に連結する方法を、低い濃度しきい値範囲から高い濃度しきい値範囲まで多段階に反復的に繰り返して行うことにより、線状欠陥候補として検出する画像処理装置と、この各線状欠陥候補を直線セグメントに記述し、これら直線セグメントの方向の連続性が局所的に保たれているセグメントを統合すると共に、２つ以上のセグメントが大局的に直線或いは２次曲線を構成しているかを判定し、２次曲線を構成する場合には、構成要素となる各セグメントを結合し、局所的欠陥領域の結合と大局的欠陥領域の結合より、微細線状欠陥を抽出する判定装置とを備えたことを特徴とする微細線状欠陥装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、検出対象物を撮像した画像より微細線状欠陥を検出する方法及び装置に関するものである。
【０００２】
【従来の技術】
溶接部や金属のヘアクラック或いはコンクリート面のひび割れなどの微細線状欠陥を画像処理技術で自動的に検出することが試みられている。
【０００３】
従来、検出対象物を撮像した画像より欠陥を検出するには、その欠陥部が比較的大きくかつ濃淡差の大きい場合には、２段階しきい値法が用いられている。
【０００４】
２段階しきい値法では、先ず、低いしきい値で２値化することによって、図１０（ａ）に示すように一部分ではあるが、確実に欠陥である非常に暗い部分１１ａのみを抽出し、ノイズを含まない画像１０ａを作成する。次に、高いしきい値で２値化することによって、図１０（ｂ）に示すように、ノイズ１２ｂを含むものの欠陥領域１１ｂを全て抽出した画像１０ｂを作成する。最後に、図１０（ｃ）に示すように、両画像１０ａ，１０ｂを重ね合わせた画像１０ｃにおいて、高いしきい値により２値化画像の中で、低いしきい値による２値化画像の領域１１ｃを含む領域１３を残し、低いしきい値による２値化画像の領域を含まない領域１２ｃをノイズとして除去する。結果的に図１０（ｄ）の画像１０ｄに示すように高いしきい値で２値化された領域の中で、低い濃度値を持つ領域を欠陥領域１１ｄとして抽出する。
【０００５】
【発明が解決しようとする課題】
しかしながら、ヘアクラックやひび割れなど抽出すべき領域が細く、かつ周囲との濃淡差が小さい場合、２値化しきい値を低くすると、領域となる線がバラバラに途切れ、高くすると多くのノイズも抽出するため、２段階しきい値法を用いても有効に動作しない。
【０００６】
これを図９により説明すると、図９（ａ）は、ノイズを含まない低いしきい値による２値化画像１５ａ、図９（ｂ）は、全線が抽出できるしきい値で２値化した画像１５ｂ、図９（ｃ）は、図９（ａ）のしきい値よりも高いしきい値で２値化した画像１５ｃを示している。
【０００７】
図９（ａ）の画像１５ａと図９（ｂ）の画像１５ｂを重ね合わせて図９（ｄ）に示す画像１５ｄとし、この画像１５ｄより、画像１５ａに含まれる線状欠陥領域１６ａを含む画像１５ｂの領域１６ｂを抽出しても図９（ｆ）の画像１５ｆに示すように、ノイズ１７ｂは除去できるものの、画像１５ｂの線状欠陥領域１６ｂのように、抽出すべき領域が、バラバラに途切れているため抽出結果の１５ｆで、一部の線状欠陥を抽出できない。
【０００８】
また全ての線状欠陥を抽出しようとして、図９（ｂ）の画像１５ｂと図９（ｃ）の画像１５ｃを重ね合わせて、図９（ｅ）に示す画像１５ｅとし、この画像１５ｅより画像１５ｂの中で画像１５ｃの線状領域１６ｃを含む領域を抽出すると、図９（ｇ）の画像１６ｇに示すように欠陥領域１６ｇにはノイズ１７ｇも含んでしまう問題が起こる。
【０００９】
このように、２段階しきい値により抽出するには、しきい値の設定によって、抽出すべき領域が抽出できなかったり、抽出すべき領域を抽出できても、ノイズを多く抽出してしまう場合があり、最適なパラメータの設定は困難である。
【００１０】
そこで、本発明の目的は、上記課題を解決し、対象物の抽出ごとにパラメータの変更を行うことなく線状の欠陥を精度良く抽出できる微細線状欠陥の検出方法及びその装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために請求項１の発明は、検出対象物を撮像した画像より微細線状欠陥を検出する方法において、画像に正規化処理を施した後、その正規化画像から濃淡ムラを除去し、濃淡ムラの除去された画像について、ノイズを除去できる低い濃度のしきい値で２値化した領域を初期の核とし、さらにこの領域より少し高い濃度しきい値範囲で新たに２値化した領域が、これまでに得られた領域と近接していれば、その得られた領域に連結する方法を、低い濃度しきい値範囲から高い濃度しきい値範囲まで多段階に反復的に繰り返して行うことにより、線状欠陥候補として検出する微細線状欠陥の検出方法である。  請求項２の発明は、線状欠陥候補を抽出した後、この各線状欠陥候補を直線セグメントに記述し、これら直線セグメントの方向の連続性が局所的に保たれているセグメントを統合すると共に、２つ以上のセグメントが大局的に直線或いは２次曲線を構成しているかを判定し、２次曲線を構成する場合には、構成要素となる各セグメントを結合し、局所的欠陥領域の結合と大局的欠陥領域の結合より、微細線状欠陥を抽出する請求項１記載の微細線状欠陥の検出方法である。
【００１２】
請求項３の発明は、検出対象物を撮像した画像より微細線状欠陥を検出する装置において、検出対象物を撮像する画像入力装置と、画像に正規化処理を施した後、その正規化画像から濃淡ムラを除去し、濃淡ムラの除去された画像について、ノイズを除去できる低い濃度のしきい値で２値化した領域を初期の核とし、さらにこの領域より少し高い濃度しきい値範囲で新たに２値化した領域が、これまでに得られた領域と近接していれば、その得られた領域に連結する方法を、低い濃度しきい値範囲から高い濃度しきい値範囲まで多段階に反復的に繰り返して行うことにより、線状欠陥候補として検出する画像処理装置と、この各線状欠陥候補を直線セグメントに記述し、これら直線セグメントの方向の連続性が局所的に保たれているセグメントを統合すると共に、２つ以上のセグメントが大局的に直線或いは２次曲線を構成しているかを判定し、２次曲線を構成する場合には、構成要素となる各セグメントを結合し、局所的欠陥領域の結合と大局的欠陥領域の結合より、微細線状欠陥を抽出する判定装置とを備えた微細線状欠陥装置である。
【００１３】
上記構成によれば、画像の濃淡情報のみから、良好な線状欠陥候補をノイズと区別して検出すると共に、得られた線状欠陥候補を局所的／大局的探索で欠陥部を結合することでさらに良好に線状欠陥を検出できる。
【００１４】
【発明の実施の形態】
以下、本発明の好適一実施の形態を添付図面に基づいて詳述する。
【００１５】
先ず、微細線状欠陥の検出装置の装置構成を図２により説明する。
【００１６】
被検査対象である対象物２０を画像入力装置２１で撮像し、その取り込んだ画像を画像処理装置２２で画像処理して判定装置２３にて抽出した微細線状欠陥を判定する。
【００１７】
この画像処理と判定の概略を図１により説明すると、処理が開始２５され、画像入力２６がなされた後、画像正規化処理２７を行って、濃淡ヒストグラムの平均値及び分散値を一定値に変換した後、多重多段階スライス法による線状候補領域の抽出２８を行い、その抽出した線状候補について連続している線かどうかの判定を大局的探索による領域結合２９と局所的探索による領域結合３０の双方で評価して、微細線状欠陥領域の抽出３１を行った後、処理を終了３２する。
【００１８】
以下、これらの処理を順に説明する。
【００１９】
（１）画像の正規化処理
入力した画像は、その撮像状況によって濃淡にバラツキがあるため、濃度の正規化処理を行う。
【００２０】
正規化処理とは、濃度平均値ｍ、標準偏差σの入力画像を、式(1) に従って、濃度平均ｍN 、標準偏差σN の画像に変換する処理をいう。一般に、正規化処理は、感度が異なるセンサで撮像された同種の画像間の標準化を行う際に有効である。
【００２１】
ＩN （ｘ，ｙ）＝（σN ／σ）（Ｉ（ｘ，ｙ）−ｍ）＋ｍN     …(1)
ただし、
Ｉ（ｘ，ｙ）  ：  入力原画像の点（ｘ，ｙ）における濃淡値
ＩN （ｘ，ｙ）：  正規化画像の点（ｘ，ｙ）における濃淡値
である。
【００２２】
図３（ａ）は、画像全体が暗く、コントラストが低い画像の濃淡ヒストグラムを表している。このような画像を正規化することによって、図３（ｂ）に示すように全体に明るさのバランスがとれ、コントラストの良い画像に変換される。すなわち、照明条件や入力装置の設定条件によって、暗すぎたり、明るすぎたり、或いはコントラストが低いような画像が入力されたとしても、正規化することによって、欠陥領域の濃度範囲が略同じ範囲に変換される。その結果、以後の処理におけるパラメータを略固定することが可能となり、自動化を図ることができる。
【００２３】
（２）多重多段階スライス法による線状候補領域の抽出
多重多段階スライス法とは、図４（ａ）に示すような局所的な濃淡変化を繰り返すヘアクラックを抽出し、かつ、ノイズの包含を避ける方法である。
【００２４】
図４（ａ）に示すよう、正規化した画像中の線状分の濃度分布４０に、線状領域４１とノイズ４２があるとする。この場合、抽出される線状領域４１は、濃度範囲Ｔ0 〜Ｔ4 に濃度が分布し、線状領域４１は、Ｔ1 〜Ｔ4 に濃度が分布し、Ｔ4 以上は、対象物の表面である。
【００２５】
さて先ず、正規化画像を濃淡モフォロジィ処理によって、画像撮影時の濃淡ムラを除去する。すなわち、正規化画像に対して所定のフィルタサイズで濃淡モフォロジィ処理をし、その画像と正規化画像の濃淡値の差分を求めることで、濃淡ムラの除去された画像が得られる。この画像を、非常に低い濃度しきい値Ｔ1 で２値化することによって、図４（ｂ）の▲１▼に示すように、断片的ではあるが確実に線状欠陥の一部４１ａであるとして判定される部分を抽出する。この抽出画像５０は、図５（ａ）に示すように、ノイズを含まない、線状欠陥５１ａの領域を示している。
【００２６】
次いで、図４（ｂ）の▲２▼に示すように、そのしきい値Ｔ1 よりも少し高い濃度しきい値範囲Ｔ1 〜Ｔ2 の部分４１ｂ，４２ｂを２値化により取り出し、これが▲１▼で抽出した部分４１ａと近接しているかどうかを調べ、近接していれば、図４（ｂ）の▲３▼に示すように結合して連結部分４１ｃとする。この場合、ノイズの部分４２ｂは、線状欠陥の部分４１ａに近接していないため連結されず、同様にこの段階では、図４（ｂ）の▲２▼の中央の部分４１ｂ0 は連結されない。
【００２７】
以下同様にして｛Ｔ1 ＋（ｉ−１）α＜Ｔ＜Ｔ1 ＋ｉα  ｉ＝１,,, Ｎ｝の部分を取りだし、それがこれまでに抽出した部分に近接するか否かを調べ、近接している場合には線状欠陥として延長登録して、▲３▼の連結部分４１ｃに、▲４▼のＴ  2 〜Ｔ3 の部分４１ｄを連結して▲５▼の連結部分４１ｅとし、さらにこの連結部分４１ｅに▲６▼のＴ3 〜Ｔ4 の部分４１ｆを連結して▲７▼の連結部分４１ｇとする。
【００２８】
この操作をＮ回（図４の例では３回）繰り返して、濃度範囲Ｔ1 〜Ｔ4 までの連結を終えた後、さらに以上のことを、低いしきい値Ｔ1 からＮ回繰り返し、これらを集計した部分を線状領域とする。このように同じ処理ループをＮ回（図では３回）繰り返すことにより、▲４▼の部分４１ｄ0 は、▲７▼の連結部分４１ｇと連続しているため、▲８▼の連結部分４１ｈとなり、さらに、▲２▼の中央の部分４１ｂ0 は、▲８▼の連結部分４１ｈと連続しているため、▲９▼の連結部分４１ｉとされて全ての線状領域が抽出され、またノイズ４２ｂ，４２ｄ，４２ｆ分は、▲１▼の部分４１ａと連続していないため、抽出されない。
【００２９】
このように図５（ａ）に示した線状欠陥５１ａの初期領域に含まれない連結領域が、１ループ目の成長で、図５（ｂ）に示すように線状欠陥５１ｇが、次いで２，３ループで、図５（ｃ），図５（ｄ）に示すように、順次成長した線状欠陥５１ｈ，５１ｉを抽出することが可能となる。
【００３０】
このように多重多段階スライス法にて線状候補を抽出することで、２段階しきい値法よりノイズを抑え、精度良く線状欠陥を抽出することが可能となる。
【００３１】
次に、本発明をさらに説明する。
【００３２】
多重多段階スライス法による連結処理において、線状領域に対し、大きく離れたノイズ分は、基本的には検出されないが、線状欠陥５２に近接しているノイズ５３，５４については、図５（ｃ），図５（ｄ）に示すようにが検出されてしまう。
【００３３】
そこで、以下の処理で、線状欠陥に近接するノイズ分を除去する。
【００３４】
（３）局所的及び大局的探索による欠陥領域の結合
多重多段階スライス法を用いても、線状欠陥領域に近接するノイズだけは除去することはできない。このようなノイズは、抽出したい線状欠陥領域の濃度範囲、領域形状、領域面積等が同じであるため、単なる画像処理手法を組み合わせても除去することができない。
【００３５】
そこで、飛び飛びに得られた線状領域を直線セグメントに記述し、幾何学的な連続性、及びフィット性を基に、同一欠陥部分として直線セグメントを結合していく。これにより、１本の連続した線状欠陥を抽出すると共に、線状欠陥に近接したノイズを区別することができる。直線セグメントを結合するのに、局所的探索及び大局的探索の２つのアプローチをとる。
【００３６】
ａ．局所的探索による欠陥領域の結合
本処理は、図６に示すように、直線に記述されたセグメント群Ｓの中から、局所的にみて近距離にあり、かつ方向の連続性が保たれているものを統合していくものである。すなわち、先ず比較的長い直線セグメントＳ0 をベースセグメントと名付け、このベースセグメントＳ0 を幅Ｗだけ太らせたリボン状領域８０を生成する。次に、ベースセグメントＳ0 の端点から、距離ｒ以内に端点を持ち、セグメント全体がリボン領域８０内に含まれる直線セグメントの中で方向が同じセグメントＳ1 を統合し、この操作を成長が止まるまで繰り返す。その際、リボン領域８０内に含まれない点線で示したセグメントｓは連結候補に入れない。このようにリボン状領域８０にある連続性のあるセグメントＳを逐次的に探索することで、セグメントＳと方向が異なるノイズ分を除去できることとなる。
【００３７】
ｂ．大局的探索による欠陥領域の結合
図６に示した局所的探索では、周囲を見渡して隣接する欠陥候補を結合してしまうため、大きく離れた欠陥候補同士を結び付けることはできない。そこで、２つ以上の直線セグメントが直線或いは２次曲線を構成しているか否かを仮説検証によって判定し、大きく離れていても、統合する処理を行う。これにより、マクロ的にみて、直線或いは２次曲線で構成される直線群を検出することができる。
【００３８】
図７（ａ）は、各ベースセグメントＳ0 ごとに、他の候補セグメントＳ'0とのペアで直線ｌを形成できるか否かを判定し、可能である場合には最小二乗法によって直線を生成する。
【００３９】
次に、図７（ｂ）に示すように、この直線ｌ上に存在する候補セグメントＳを全て検出する。そして、セグメントＳ群が構成する全直線の長さがあるしきい値以上で、かつその全体の長さに占めるセグメントＳの比率が高ければ、図７（ｃ）に示すように線状欠陥７１と判定する。その際、点線で示したセグメントｓのように、あまりにも大きく離れている場合は、分断して、それぞれの直線群に対して仮説検証を行う。
【００４０】
局所的及び大局的探索で線状欠陥を抽出する模式図を図８に示す。
【００４１】
先ず、図８（ａ）は、上述した多重多段階スライス法で抽出した線状欠陥候補を直線セグメント８１に記述した画像８０ａを示す。直線セグメント８１から図８（ｂ）に示すように、比較的長さが長いベースセグメントＳ0 を抽出し、図８（ｃ）では、局所的探索法を用いて、近接し、かつ方向性が保たれるセグメント群を抽出して線状欠陥８１ｃとしている。ただし、８１ｄのように大きく離れたセグメント同士は抽出することができない。図８（ｄ）では、大局的探索法を用いて大きく離れたセグメント群を直線として線状欠陥８１ｄを抽出している。２つの画像８０ｃ，８０ｄを合成することにより、図８（ｅ）のように線状欠陥８１ｅのみの画像８０ｅを得ることができる。
【００４２】
【発明の効果】
以上要するに本発明によれば、画像の濃淡情報のみから、良好な線状欠陥候補をノイズと区別して検出すると共に、得られた線状欠陥候補を局所的／大局的探索で欠陥部を結合することでさらに良好に線状欠陥を検出できる。
【図面の簡単な説明】
【図１】本発明の微細線状欠陥を検出する処理フローを説明する図である。
【図２】本発明の微細線状欠陥を検出する装置構成を示す図である。
【図３】本発明において、正規化処理を説明する図である。
【図４】本発明において、多重多段階スライス法で、線状欠陥を抽出するための説明図である。
【図５】図４の多重多段階スライス法で、線状領域を連結成長させた過程の画像を示す図である。
【図６】本発明において、局所的探索による領域の結合を説明する図である。
【図７】本発明において、大局的探索による領域の結合を説明する図である。
【図８】本発明において、多重多段階スライス法で、抽出した線状欠陥候補から線状欠陥を抽出するまでの模式図を示す図である。
【図９】従来の２段階しきい値法による線状欠陥の抽出を説明する図である。
【図１０】同じく従来の２段階しきい値法による線状欠陥の抽出を説明する図である。
【符号の説明】
４１ａ，ｂ，ｄ，ｆ  線状欠陥
４２  ノイズ
Ｔ1 〜Ｔ4   多段階の濃度範囲
４１ｉ  線状欠陥候補
【図１】
0003635795.tif 000002
【図２】
0003635795.tif 000003
【図３】
0003635795.tif 000004
【図４】
0003635795.tif 000005
【図５】
0003635795.tif 000006
【図６】
0003635795.tif 000007
【図７】
0003635795.tif 000008
【図８】
0003635795.tif 000009
【図９】
0003635795.tif 000010
【図１０】
0003635795.tif 000011