(57)【要約】【課題】撮像環境の変動による検査画像の変形を欠陥と誤認することなく検査画像における欠陥を精度よく抽出可能とした画像処理方法を提供する。【解決手段】あらかじめ登録された教示画像と濃淡画像である検査画像とのそれぞれの輪郭線の１次関係に最小二乗法を適用することによって、教示画像に対する検査画像の変形を表す変換パラメータを算出する（Ｓ２〜Ｓ５）。求めた変換パラメータにより教示画像を変形させた画像と検査画像との対応画素の濃度差を求めるとともに濃度差があらかじめ設定してある閾値を超える画素を抽出する（Ｓ８、Ｓ９）。抽出した画素を検査対象物の外観検査に用いる。撮像環境の変動による検査画像の変形の影響を除去して検査画像の本質的な欠陥を区別することが可能になる。【選択図】　　　　図１
2004069698.tif 000002
【特許請求の範囲】
【請求項１】
　検査対象物の画像である検査画像と基準となる教示画像との輪郭線をそれぞれ求め、検査画像を教示画像に１次式で表される変形を加えた画像とみなして検査画像と教示画像との輪郭線上の画素に最小二乗法を適用することによって教示画像に対する検査画像の変形を表す変換パラメータを算出し、求めた変換パラメータにより教示画像を変形させた画像と検査画像との対応画素の濃度差を求めるとともに濃度差があらかじめ設定してある閾値を超える画素を抽出し、抽出した画素を検査対象物の外観検査に用いることを特徴とする画像処理方法。
【請求項２】
　検査対象物の画像である検査画像と基準となる教示画像との輪郭線をそれぞれ求め、検査画像を教示画像に２次式で表される変形を加えた画像とみなして検査画像と教示画像との輪郭線上の画素に最小二乗法を適用することによって教示画像に対する検査画像の変形を表す変換パラメータを算出し、求めた変換パラメータにより教示画像を変形させた画像と検査画像との対応画素の濃度差を求めるとともに濃度差があらかじめ設定してある閾値を超える画素を抽出し、抽出した画素を検査対象物の外観検査に用いることを特徴とする画像処理方法。
【請求項３】
　前記検査画像は検査対象物を含む空間領域を画像入力手段により撮像した撮像画像内に含まれ、前記教示画像として、あらかじめテンプレート記憶部に登録してある教示画像を撮像画像と比較することにより教示画像の位置、回転角度、拡大縮小率を検査画像に対して低精度で合わせるように変形した画像を用いることを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項４】
　前記輪郭線の抽出に際して、前記検査画像と前記教示画像とにソーベルフィルタを適用して得られる極大値の画素を追跡した線を輪郭線として抽出することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項５】
　前記輪郭線を追跡する際に、次に追跡する画素の微分値が極大値になる方向とすでに追跡した輪郭線の法線との角度差が±４５度以内であるときに次に追跡する画素を輪郭線上の画素とすることを特徴とする請求項４記載の画像処理方法。
【請求項６】
　前記輪郭線の抽出に際して、前記検査画像と前記教示画像との各画素に対して、それぞれ近傍である第１領域内の画素の濃度値の平均値を画素値とする第１平滑画像を生成するとともに、第１領域よりも広い第２領域内の画素の濃度値の平均値を画素値とする第２平滑画像を生成し、次に第１平滑画像の各画素の画素値に１以上の重み係数による重み付けを行った後、第２平滑画像の対応する画素の画素値から減算して差分画像を求め、差分画像について隣接する各一対の画素の画素値の符号が変化するときに一方の画素を輪郭線上の画素として抽出することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項７】
　前記変換パラメータにより教示画像を変形させた画像との対応画素の濃度差を求める検査画像は、教示画像の各画素の濃度値に重み付けを行って元の検査画像の対応する画素の濃度値との差分を求めたときに差分値が規定の閾値を越える画素で形成される領域内のみの画素からなることを特徴とする請求項１ないし請求項６のいずれか１項に記載の画像処理方法。
【請求項８】
　前記外観検査に際して、抽出された画素の連結領域を求め、連結領域の教示画像上での分布、連結領域内の濃度分布および連結領域の形状を用いて検査対象物の外観上の欠陥の種類を判別することを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、検査対象物を撮像して得た撮像画像の中から検査対象物の画像である検査画像を検出し、検査画像をあらかじめ設定してある教示画像と比較して検査画像のうち教示画像と一致しない部分を抽出することにより検査対象物の外観検査を行う画像処理方法に関するものである。
【背景技術】
【０００２】
　一般に、検査対象物を含む撮像空間の撮像画像から検査対象物の画像である検査画像を抽出し、検査画像をあらかじめ設定してある教示画像と比較することによって、検査対象物の種類を判別したり、検査対象物の良否を判定したりする画像処理技術が知られている（たとえば、特許文献１参照）。
【０００３】
　この種の画像処理に際しては、撮像画像内での検査画像の位置と、教示画像に対する検査画像の回転角度と、教示画像に対する拡大縮小率とを求め、教示画像との寸法合わせと位置合わせとを行った後に、教示画像と重ね合わせて教示画像との面積の差分を求め、得られた差分の大小に応じて検査対象物の外観上の欠陥（傷、欠け、汚れなど）の有無を抽出している。
【特許文献１】特開２００１−１７５８６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
　しかしながら、検査画像と教示画像との画素数の差分を求めて検査対象物の良否を判定するだけでは、画像入力手段に対して検査対象物が移動することによって生じる１次変形や画像入力手段に用いるレンズの光軸と検査対象物の位置関係によって生じる２次変形などによる検査画像の歪みを除去できず、検査画像における傷、欠け、汚れのような欠陥と、検査画像の歪みとを誤認して良否を誤判定する場合がある。
【０００５】
　本発明は上記事由に鑑みて為されたものであり、その目的は、撮像環境の変動による検査画像の変形を欠陥と誤認することなく検査画像における欠陥を精度よく抽出可能とした画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
　請求項１の発明は、検査対象物の画像である検査画像と基準となる教示画像との輪郭線をそれぞれ求め、検査画像を教示画像に１次式で表される変形を加えた画像とみなして検査画像と教示画像との輪郭線上の画素に最小二乗法を適用することによって教示画像に対する検査画像の変形を表す変換パラメータを算出し、求めた変換パラメータにより教示画像を変形させた画像と検査画像との対応画素の濃度差を求めるとともに濃度差があらかじめ設定してある閾値を超える画素を抽出し、抽出した画素を検査対象物の外観検査に用いることを特徴とする。
【０００７】
　この方法によれば、検査画像と教示画像との輪郭線を用い、検査画像を教示画像に１次式で表される変形を加えた画像とみなして輪郭線について最小二乗法を適用することにより変換パラメータを算出し、この変換パラメータを１次変形の情報として抽出するから、検査対象物を画像入力手段で撮像したときの撮像環境の影響で生じた１次変形の影響を除去し、検査画像の欠陥部分のみを正確に検出して、正確な外観検査を行うことができるという利点がある。
【０００８】
　請求項２の発明は、検査対象物の画像である検査画像と基準となる教示画像との輪郭線をそれぞれ求め、検査画像を教示画像に２次式で表される変形を加えた画像とみなして検査画像と教示画像との輪郭線上の画素に最小二乗法を適用することによって教示画像に対する検査画像の変形を表す変換パラメータを算出し、求めた変換パラメータにより教示画像を変形させた画像と検査画像との対応画素の濃度差を求めるとともに濃度差があらかじめ設定してある閾値を超える画素を抽出し、抽出した画素を検査対象物の外観検査に用いることを特徴とする。
【０００９】
　この方法によれば、検査画像と教示画像との輪郭線を用い、検査画像を教示画像に２次式で表される変形を加えた画像とみなして輪郭線について最小二乗法を適用することにより変換パラメータを算出し、この変換パラメータを２次変形の情報として抽出するから、検査対象物を画像入力手段で撮像したときの撮像環境の影響で生じた２次変形の影響を除去し、検査画像の欠陥部分のみを正確に検出して、正確な外観検査を行うことができるという利点がある。
【００１０】
　請求項３の発明は、請求項１または請求項２の発明において、前記検査画像は検査対象物を含む空間領域を画像入力手段により撮像した撮像画像内に含まれ、前記教示画像として、あらかじめテンプレート記憶部に登録してある教示画像を撮像画像と比較することにより教示画像の位置、回転角度、拡大縮小率を検査画像に対して低精度で合わせるように変形した画像を用いることを特徴とする。
【００１１】
　この方法によれば、撮像画像内における検査画像について教示画像に対する概略の位置、回転角度、拡大縮小率を求める前処理を行うから、教示画像の検査画像に対して概略合わせることができ、最小二乗法を適用する際の誤差が小さくなるから、教示画像と検査画像との比較を精度よく行うことができる。すなわち、外観検査の結果の信頼性が高くなる。
【００１２】
　請求項４の発明は、請求項１または請求項２の発明において、前記輪郭線の抽出に際して、前記検査画像と前記教示画像とにソーベルフィルタを適用して得られる極大値の画素を追跡した線を輪郭線として抽出することを特徴とする。
【００１３】
　この方法では、検査画像および教示画像について輪郭線を精度よく抽出することができ、検査画像の歪みに関して多くの情報を用いることができるから、高精度の外観検査が可能になる。
【００１４】
　請求項５の発明は、請求項４の発明において、前記輪郭線を追跡する際に、次に追跡する画素の微分値が極大値になる方向とすでに追跡した輪郭線の法線との角度差が±４５度以内であるときに次に追跡する画素を輪郭線上の画素とすることを特徴とする。
【００１５】
　この方法によれば、輪郭線の追跡の際に輪郭線である可能性の高い画素のみを選択することになるから、不要な画素が輪郭線として抽出される可能性を低減することになり、輪郭線を抽出する処理の信頼性が高まる。
【００１６】
　請求項６の発明は、請求項１または請求項２の発明において、前記輪郭線の抽出に際して、前記検査画像と前記教示画像との各画素に対して、それぞれ近傍である第１領域内の画素の濃度値の平均値を画素値とする第１平滑画像を生成するとともに、第１領域よりも広い第２領域内の画素の濃度値の平均値を画素値とする第２平滑画像を生成し、次に第１平滑画像の各画素の画素値に１以上の重み係数による重み付けを行った後、第２平滑画像の対応する画素の画素値から減算して差分画像を求め、差分画像について隣接する各一対の画素の画素値の符号が変化するときに一方の画素を輪郭線上の画素として抽出することを特徴とする。
【００１７】
　この方法によれば、平滑化によって背景ノイズの影響や輪郭線の微小な変動による影響を低減することができ、検出のロバスト性が向上するとともに処理する情報量を低減させて処理の高速化が可能になる。つまり、一般に検査画像の周囲の背景にノイズが含まれていると、ノイズの一部を検査画像と判断して良否を誤判定する場合があるのに対して、この方法を採用することにより、ノイズの影響による誤判定を抑制できる。
【００１８】
　請求項７の発明は、請求項１ないし請求項６の発明において、前記変換パラメータにより教示画像を変形させた画像との対応画素の濃度差を求める検査画像は、教示画像の各画素の濃度値に重み付けを行って元の検査画像の対応する画素の濃度値との差分を求めたときに差分値が規定の閾値を越える画素で形成される領域内のみの画素からなることを特徴とする。
【００１９】
　この方法によれば、教示画像の各画素に重み付けを行うから教示画像において重要度の低い画素については検査画像との比較対象から除去することになり、検査画像と教示画像との比較を行う際の処理量を低減することができる。また、重要度の低い画素を考慮しないようにすることが可能であるから、重要度の高い領域について正確な判定が可能になる。
【００２０】
　請求項８の発明は、請求項１ないし請求項７の発明において、前記外観検査に際して、抽出された画素の連結領域を求め、連結領域の教示画像上での分布、連結領域内の濃度分布および連結領域の形状を用いて検査対象物の外観上の欠陥の種類を判別することを特徴とする。
【００２１】
　すなわち、従来構成では検査画像と教示画像との面積の差のみを用いて良否を判定しているから、欠陥の種類を判断することはできなかったのに対して、この方法を採用することによって、欠陥の種類の判別も可能になる。
【発明の効果】
【００２２】
　本発明の方法によれば、検査画像と教示画像との輪郭線を用い、検査画像を教示画像に１次式または２次式で表される変形を加えた画像とみなして輪郭線について最小二乗法を適用することにより変換パラメータを算出し、この変換パラメータを１次変形または２次変形の情報として抽出するから、検査対象物を画像入力手段で撮像したときの撮像環境の影響で生じた１次変形や２次変形の影響を除去し、検査画像の欠陥部分のみを正確に検出して、正確な外観検査を行うことができるという利点がある。
【発明を実施するための最良の形態】
【００２３】
　（実施形態１）
　図２に示すように、検査対象物Ｏｂを含む撮像空間をＴＶカメラのような画像入力手段１により撮像することによって得た撮像画像を用いて検査対象物Ｏｂの外観上の欠陥の有無を抽出する。図示していないが画像入力手段１はＡ／Ｄ変換器を含み、撮像画像は各画素にデジタル値の濃度値を対応付けた濃淡画像であるものとする。また、濃淡画像は画像メモリ２に格納される。なお、画像入力手段１はＴＶカメラに限らず、スキャナなどを用いることも可能であって、濃淡画像が得られる構成であればとくに制限はない。
【００２４】
　また、本発明においても従来構成と同様に、撮像画像と比較するための教示画像があらかじめ設定されており、教示画像はテンプレート記憶部３に格納されている。テンプレート記憶部３に格納されている教示画像としては、欠陥のないことがわかっている検査対象物Ｏｂを適正な照明下において画像入力手段１により撮像した濃淡画像を用いる。教示画像に対しては前処理として輪郭線抽出部４おいてソーベル（Ｓｏｂｅｌ）フィルタ（３×３局所画像領域を対象とする）を適用し、教示画像の輪郭線を抽出する。輪郭線を抽出するに際しては、ソーベルフィルタを適用して得られる極大値の画素を結ぶ線を輪郭線として追跡し、次に追跡する画素の微分値が０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度のいずれかの方向（たとえば、画像の水平方向右向きを０度とし、左回りを正の角度とする）で極大値をとり、かつ極大値をとる方向とすでに追跡した輪郭線の法線との角度差が±４５度以内であるときにのみ次に追跡する画素を輪郭線上の画素として抽出する。この処理によって、輪郭線を誤検出する可能性を低減することができる。
【００２５】
　画像メモリ２に格納された検査画像は、図１に示すように、まず前処理部５において前処理が施され（Ｓ１）、撮像画像の中での検査画像の概略の位置・回転角度および教示画像との概略の拡大縮小率が求められる。検査画像の教示画像に対する位置・回転角度・拡大縮小率が低精度で求められる。前処理部５では、検査画像の教示画像に対する概略の位置・回転角度・拡大縮小率を求めるために、たとえば、「一般化ハフ変換」、「正規化相関」など従来周知の技術を用いる。前処理部５で求めた位置・回転角度・拡大縮小率にはそれぞれ比較的大きな誤差が含まれるが、誤差の範囲はほぼ決まっているから、位置・回転角度・拡大縮小率の範囲を絞り込んだことになる。位置・回転角度・拡大縮小率の誤差範囲は、たとえば、±４画素、±９度、±１０％程度になる。前処理部５では、位置・回転角度・拡大縮小率についておよその範囲を粗く決めることはできるが、検査対象物Ｏｂに対する撮像環境の変動には対応していないから、前処理部５で求めた位置・回転角度・拡大縮小率を教示画像に適用して教示画像を変形し、撮像環境の変動に対応可能になるように以下の処理を行う。つまり、以下の処理における教示画像は、前処理部５において検査画像に合わせるように変形した教示画像になる。
【００２６】
　まず、前処理で決定した概略位置の近傍において教示画像と同様の技術を検査画像にも適用して検査画像の輪郭線を抽出する（Ｓ２）。次に、変換パラメータ演算部６において、以下の処理により変換パラメータを求める。すなわち、変換パラメータ演算部６では、まず前処理によって求めた検査画像の概略の位置・回転角度および教示画像との概略の拡大縮小率をパラメータとして用い、教示画像の輪郭線に座標変換を施して検査画像に重ね合わせる（Ｓ３）。ここで、図３に示すように、教示画像Ｐ１の輪郭線Ｌ１の上の各点（以下、「輪郭点」という）から教示画像Ｐ１の輪郭線Ｌ１の法線方向に検査画像Ｐ２を探索し、各輪郭点を出発点として探索したときにそれぞれ最初に見つかった検査画像Ｐ２の輪郭線Ｌ２の上の輪郭点を、教示画像Ｐ１の各輪郭点の対応点とする（Ｓ４）。教示画像Ｐ１のすべての輪郭点に対して対応点を求め、（１）式として示す誤差関数（累積二乗誤差）Ｑを求める。この誤差関数Ｑは、（２）（３）式で示すように、教示画像と検査画像とのそれぞれの輪郭線の１次関係（教示画像に（２）（３）式のような１次式で表される変形を加えた画像が検査画像であるとみなす関係）を表している。次に、誤差関数Ｑを誤差関数Ｑに含まれる各変換パラメータＡ〜Ｆ（後述する）で偏微分してｄＱ＝０とおき、各変換パラメータＡ〜Ｆを未知数とする連立方程式を解いて各変換パラメータＡ〜Ｆを求めると、位置、回転角度、拡大縮小率を含む変換パラメータが得られる（Ｓ５）。
Ｑ＝Σ（Ｑｘ２＋Ｑｙ２）　　…　（１）
ただし、
Ｑｘ＝αｎ（Ｘｎ−（Ａｘｎ＋Ｂｙｎ＋Ｃ））　…　（２）
Ｑｙ＝αｎ（Ｙｎ−（Ｄｘｎ＋Ｅｙｎ＋Ｆ））　…　（３）
ｘｎ，ｙｎ：教示画像Ｐ１の輪郭点
Ｘｎ，Ｙｎ：検査画像Ｐ２の輪郭点
Ａ＝β・ｃｏｓθ
Ｂ＝−γ・ｓｉｎφ
Ｃ＝ｄｘ
Ｄ＝β・ｓｉｎθ
Ｅ＝γ・ｃｏｓφ
Ｆ＝ｄｙ
である。また、αｎ：重み、β：ｘ方向の拡大縮小率、γ：ｙ方向の拡大縮小率、θ：ｘ軸回りの回転角度、φ：ｙ軸回りの回転角度、ｄｘ：ｘ方向の変位（位置）、ｄｙ：ｙ方向の変位（位置）を意味する。
【００２７】
　（１）式では教示画像Ｐ１の全輪郭点について（Ｑｘ２　＋Ｑｙ２　）の総和を求めている。変換パラメータＡ〜Ｆは、∂Ｑ／∂Ａ＝０、∂Ｑ／∂Ｂ＝０、……、∂Ｑ／∂Ｅ＝０、∂Ｑ／∂Ｆ＝０を満たす値として求める。また、重みαｎについては種々設定可能であり、教示画像Ｐ１と検査画像Ｐ２との法線の内積、教示画像Ｐ１と検査画像Ｐ２との輪郭点間の距離の最大値に対する各距離の割合、教示画像Ｐ１と検査画像Ｐ２との輪郭点間の距離の逆数などを用いることができる。重みαｎを１として重み付けを行わないようにすることも可能である。さらに、重みαｎは各画素ごとに設定可能である。
【００２８】
　判定処理部７では、上述のようにして得られたβ、γ、θ、φ、ｄｘ、ｄｙの値が設定した検出精度の半分以下になれば（Ｓ６）、処理を終了し位置・回転角度・拡大縮小率を出力する。また、β、γ、θ、φ、ｄｘ、ｄｙの値が設定した検出精度の半分を越えているときには、得られた変換パラメータＡ〜Ｆに基づいて教示画像Ｐ１の輪郭点を座標変換した後に再度同様の処理を行い、演算終了の判定条件として同様の処理を繰り返す（Ｓ３〜Ｓ６）。この処理が終了すると（Ｓ７）。求めた変換パラメータＡ〜Ｆに基づいて教示画像Ｐ１を座標変換した後に（Ｓ８）、欠陥抽出部８において変換後の教示画像Ｐ１と検査画像Ｐ２との差分を求めることによって（Ｓ９）、撮像環境の変動による検査画像Ｐ２の１次変形の影響を除去することができ、検査画像Ｐ２の欠陥部分のみを正確に検出することが可能になる。なお、抽出した欠陥部分は、欠陥種別判別部９に入力され、後述する実施形態４の技術を適用することによって欠陥の種類が判別される。なお、図２に示す構成のうち画像入力手段１を除く部分はコンピュータ装置に適宜のプログラムを実行させることによって実現される。
【００２９】
　たとえば、ＣＭＯＳカメラのようにシャッタ機能を備えていないＴＶカメラを画像入力手段１に用いる場合に、検査対象物Ｏｂがライン上で移動しているとすれば、図４（ａ）に示す教示画像Ｐ１に対して、検査画像Ｐ２は図４（ｂ）（ｃ）のように変形する（図示例では水平方向にせん断力が作用したかのように変形している）。このような変形は、上述のように１次関係で表すことが可能である。したがって、本実施形態の上述した手順を用いると１次関係に関する位置・回転角度・拡大縮小率を抽出することができるから、見掛け上の変形を無視して検査画像Ｐ２の本質的な欠陥のみを検査することが可能になる。
【００３０】
　（実施形態２）
　本実施形態は実施形態１と同様に、まず教示画像Ｐ１と検査画像Ｐ２の輪郭点の対応を求める。つまり、前処理の後に、教示画像Ｐ１の輪郭線Ｌ１の上の各輪郭点から教示画像Ｐ１の輪郭線Ｌ１の法線方向に検査画像Ｐ２を探索し、各輪郭点を出発点として探索したときにそれぞれ最初に見つかった検査画像Ｐ２の輪郭線Ｌ２の上の輪郭点を、教示画像Ｐ１の各輪郭点の対応点とする。さらに、教示画像Ｐ１のすべての輪郭点に対して対応点を求める。本実施形態では、誤差関数Ｑとして（４）式で示す値を用いる。この誤差関数Ｑは、教示画像Ｐ１と検査画像Ｐ２との２次関係（教示画像に（５）（６）式のような２次式で表される変形を加えた画像が検査画像であるとみなす関係）を表す。
Ｑ＝Σ（Ｑｘ２＋Ｑｙ２）　　…　（４）
ただし、
Ｑｘ＝αｎ（Ｘｎ−（Ｇｘｎ２＋Ｈｘｎ・ｙｎ＋Ｉｙｎ２＋Ａｘｎ＋Ｂｙｎ＋Ｃ））　　…　（５）
Ｑｙ＝αｎ（Ｙｎ−（Ｊｘｎ２＋Ｋｘｎ・ｙｎ＋Ｌｙｎ２＋Ｅｘｎ＋Ｆｙｎ＋Ｇ））　　…　（６）
ｘｎ，ｙｎ：教示画像Ｐ１の輪郭点
Ｘｎ，Ｙｎ：検査画像Ｐ２の輪郭点
Ａ〜Ｆは実施形態１において示した（１）式と同じである。また、αｎ：重み、Ｇ：ｘｎ２のｘ方向の変形量への寄与度、Ｈ：ｘｎ・ｙｎのｘ方向の変形量への寄与度、Ｉ：ｙｎ２のｘ方向の変形量への寄与度、Ｊ：ｘｎ２のｙ方向の変形量への寄与度、Ｋ：ｘｎ・ｙｎのｙ方向の変形量への寄与度、Ｌ：ｙｎ２のｙ方向の変形量への寄与度である。
【００３１】
　（４）式では教示画像Ｐ１の全輪郭点について（Ｑｘ２　＋Ｑｙ２　）の総和を求めている。変換パラメータＡ〜Ｌは、∂Ｑ／∂Ａ＝０、∂Ｑ／∂Ｂ＝０、……、∂Ｑ／∂Ｋ＝０、∂Ｑ／∂Ｌ＝０を満たす値として求める。また、重みαｎについては実施形態１と同様のものを用いる。上述の手順で変換パラメータＡ〜Ｌを求めることにより、２次関係の場合の位置・回転角度・拡大縮小率を求めることができる。
【００３２】
　変換パラメータＡ〜Ｌが求められると、実施形態１と同様にして変換パラメータＡ〜Ｌに基づいて教示画像Ｐ１の座標変換を行った後に変換後の教示画像Ｐ１と検査画像Ｐ２との差分を求めることによって、撮像環境の変動による検査画像Ｐ２の２次変形の影響を除去することができ、検査画像Ｐ２の欠陥部分のみを正確に検出することが可能になる。なお、処理の終了条件は実施形態１と同様に、β、γ、θ、φ、ｄｘ、ｄｙの値が設定した検出精度の半分以下になることとし、変換パラメータＧ〜Ｌは終了条件には用いない。
【００３３】
　たとえば、図５（ａ）に示す教示画像Ｐ１に対して、検査画像Ｐ２がカメラの光軸方向（奥行方向）に回転した場合には図５（ｂ）のような変形が生じ、レンズに歪がある場合には図５（ｃ）のような変形が生じる。つまり、上述のような２次関係によって変形を表すことが可能である。そこで、上述した本実施形態の技術を適用することによって、見掛け上の変形を無視して検査画像Ｐ２の本質的な欠陥のみを検査することが可能になる。
【００３４】
　いま、動画像を追跡する場合を想定すると、検査対象物Ｏｂの移動が３次元になり、しかもレンズの歪が場所ごとに異なるから、検査画像Ｐ２は図５（ｂ）（ｃ）のような変形が生じることになる。ここで、本実施形態の技術を適用することによって、この種の変形を除去することが可能になり、検査画像Ｐ２のの追跡や検査が可能になる。また、動画像においては、検査画像Ｐ２の位置は前画面における検出位置の近傍になるから、最初の１画面以外の画像では前処理は不要である。
【００３５】
　（実施形態３）
　上述した各実施形態では輪郭線抽出部４においてソーベルフィルタを用いることによって教示画像Ｐ１および検査画像Ｐ２の輪郭線を抽出したが、本実施形態では輪郭線を抽出するにあたり、特開２００２−１８３７１３号公報に開示されている技術を用いる。すなわち、まず教示画像Ｐ１および検査画像Ｐ２に対して、各画素の近傍領域の画素値（濃度値）の平均値を各画素の値とするように平滑化を行い、近傍領域の大きさの異なる２種類の平滑画像を得る。つまり、近傍領域である第１領域内の画素の濃度値の平均値を各画素の画素値とする第１平滑画像と、第１領域よりも広い第２領域内の画素の濃度値の平均値を各画素の画素値とする第２平滑画像とを生成する。次に、第１平滑画像の各画素の画素値に適宜の重み付け（重み係数は１以上）を行った後に、第２平滑画像の各画素の画素値から減算して差分画像を求める。このようにして得た差分画像について隣接する各一対の画素の画素値の符号が変化するときに一方の画素を輪郭線上の画素として抽出するのである。特開２００２−１８３７１３号公報に示された技術は輪郭線を抽出するものではないが、画素値が正になる画素を着目部分の画素として抽出するものであるから、画素値が正から負になる変化点が輪郭線に相当することになる。ここに、平滑化を行う範囲および重み付けを行う係数を適宜に選択することによって、輪郭線に関して大局的な情報のみを抽出することが可能になる。なお、平滑化、重み付け、差分画像を求める処理は各別の手段で行うようにすればよい。
【００３６】
　いま、図６に示す教示画像Ｐ１に対してソーベルフィルタを適用して輪郭線を抽出した場合には、図７（ａ）〜（ｃ）に示すように、輪郭線を比較的精度よく抽出することになるから情報量が多くなり、背景のノイズ成分や輪郭線の微小な変動成分も抽出することになる。これに対して、上述のように平滑画像の差分を求めることによって輪郭線を抽出する場合には、平滑化を行う近傍領域を比較的狭くするとともに重み係数を比較的小さくして平滑化の効果を小さくした場合でも図８（ａ）〜（ｃ）のように、ソーベルフィルタを適用する場合よりも輪郭線に関する情報を低減することが可能になる。しかも、平滑化を行ったことによって背景のノイズ成分や輪郭線の微小な変動成分も平滑化されて影響が軽減されることになる。平滑化を行う近傍領域を比較的大きくとり重み係数も比較的大きくすれば、図９（ａ）〜（ｃ）のように、輪郭線の情報をさらに低減することができる。
【００３７】
　上述のようにして輪郭線に関する情報量を低減したとしても、輪郭線を抽出する目的は、教示画像Ｐ１と検査画像Ｐ２との位置、回転角度、拡大縮小率を粗く抽出することであるから、十分に目的を達成することができ、むしろ情報量を低減させることによって処理時間の短縮につながる。たとえば、ソーベルフィルタを適用した図７の例で処理時間として８０［ｍｓ］を要していたとすると、図８の例では２０［ｍｓ］、図９の例では１０［ｍｓ］などと処理時間を短縮することが可能になる。ちなみに、本実施形態の採用によって、ソーベルフィルタを用いる場合に比較して４〜８倍の高速化が可能であった。しかも、ノイズ成分や輪郭線の変動成分の影響を受けにくくなることによって、変形の検出に関するロバスト性が向上する。他の構成および機能は実施形態１、２と同様である。
【００３８】
　（実施形態４）
　本実施形態では、教示画像Ｐ１と検査画像Ｐ２との差分を求める際に、撮像画像に対して強弱２段階の平滑化を行い、２種類得られた平滑画像の一方に重み付けを行って差分をとる。このような処理を行うことによって、撮像画像から検査画像のみを抽出した画像が得られることになる。この手順は具体的には特開２００２−１８３７１３号公報に記載されている。
【００３９】
　上述のようにして検査画像Ｐ２の領域を抽出した後に、この領域内の画素と教示画像Ｐ１の画素との差分を求めると、不要な領域の情報が除去されて背景ノイズの除去に効果がある。たとえば、検査対象物が文字であるときに、図１０（ａ）のように撮像画像において検査対象物である文字の背後に別の文字が存在する場合に、図１０（ｂ）のように検査画像Ｐ２に対応する領域（図１０（ｂ）の黒細線で囲まれた領域）を抽出することができ、この領域内の画素についてのみ教示画像Ｐ１との差分を求めると、図１０（ｃ）のように、背景ノイズを除去して欠陥の領域を抽出することが可能になる。つまり、検査画像Ｐ２についてのみ欠陥に対応する領域Ｄｘを抽出することができ、後述するような欠陥の種類を判別する外観検査が容易になる。
【００４０】
　しかも、本実施形態の方法によれば、平均化の効果によって大局的な形状のみが抽出されるため、輪郭線や文字表面上の微小な変動は削除され、大局的な欠陥部分のみが抽出されることで、検査画像上の本質的な欠陥のみに対して検査を行うことが可能となる。他の構成および動作は実施形態１〜３と同様である。
【００４１】
　（実施形態５）
　上述した各実施形態では、検査画像Ｐ２から教示画像Ｐ１とは一致しない部位を欠陥の画素として抽出する技術について説明したが、本実施形態では欠陥の画素として抽出した画素から欠陥の種類を判別する技術について説明する。すなわち、図２に示した欠陥種別判別部９における処理について説明する。欠陥の種類を判別するために、本実施形態では、検査画像Ｐ２と教示画像Ｐ１との互いに対応する各画素の濃度差を求めるとともに、濃度差があらかじめ定めた閾値を越える画素からなる連結領域（差分領域）を抽出する。つまり、濃度差が閾値を超える画素が隣接している領域を連結領域として抽出する。次に、連結領域が検査画像の範囲内か背景領域の範囲内かを分ける。
【００４２】
　まず、検査画像Ｐ２の内側に対する処理について説明する。検査画像Ｐ２に対しては以下の４種類の処理を行うことにより、連結領域の濃度分布および形状を判定する。
（１）連結領域の輪郭線を追跡し、教示画像Ｐ１の輪郭線が含まれるかを検証する。
（２）教示画像Ｐ１の輪郭線が連結領域の輪郭線に含まれる場合には、含まれている教示画像Ｐ１の輪郭線が複数の部分に分割されているかを検証する。
（３）連結領域内の濃度分布（分散）を求め、求めた分散の値が規定した範囲内（使用者が指定した値、以前の検査において決定した値など）かを検証する。これは、連結領域内においてグラデーションが生じているか否かを検証する処理である。
（４）各連結領域の輪郭線のうちで教示画像Ｐ１の輪郭線と一致する部分の割合（＝教示画像Ｐ１の輪郭線と一致する部分の長さ／連結領域の輪郭線の全長）が規定した範囲内（使用者が指定した値、以前の検査において決定した値など）かを検証する。
【００４３】
　次に、上述した４種類の処理の結果を組み合わせることによって、欠陥の種類を、「傷」、「欠け」、「かすれ」、「細り」の４種類に分類する。各欠陥と判別する条件は以下の通りである。
（Ａ）連結領域が教示画像Ｐ１の輪郭線を含まない場合は「傷」と判別する。
（Ｂ）連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が複数に分割され、かつ連結領域内の濃度分布が一定（分散が閾値以下）である場合、または、連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が分割されず、かつ（教示画像Ｐ１の輪郭線と一致する部分の長さ／連結領域の輪郭線の全長）の値が規定した閾値より小さく、かつ連結領域内の濃度分布が一定（分散が閾値以下）場合には、「欠け」と判別する。
（Ｃ）連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が複数に分割され、かつ連結領域内の濃度分布にグラデーションが生じている場合、または、連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が分割されず、かつ（教示画像Ｐ１の輪郭線と一致する部分の長さ／連結領域の輪郭線の全長）の値が規定値より小さく、かつ連結領域内の濃度分布にグラデーションが生じている場合には、「かすれ」と判別する。
（Ｄ）「傷」、「欠け」、「かすれ」以外の場合は、「細り」と判別する。
【００４４】
　次に、検査画像Ｐ２の外側（つまり、背景側）に対する処理について説明する。背景側に対しては以下の５種類の処理を行うことにより、連結領域の濃度分布および形状を判定する。
（１）連結領域の輪郭線を追跡し、教示画像Ｐ１の輪郭線が含まれるかを検証する。
（２）教示画像Ｐ１の輪郭線が連結領域の輪郭線に含まれる場合には、含まれている教示画像Ｐ１の輪郭線が複数の部分に分割されているかを検証する。
（３）教示画像Ｐ１の輪郭線の各閉曲線を追跡し、（教示画像Ｐ１の輪郭線の閉曲線のうち連結領域に含まれる部分の長さ／教示画像Ｐ１の閉曲線の全長）が規定した範囲内（使用者が指定した値、以前の検査において決定した値など）か検証する。
（４）連結領域内の濃度分布（分散）を求め、求めた分散の値が規定した範囲内（使用者が指定した値、以前の検査において決定した値など）か否かを検証する。これは、連結領域内においてグラデーションが生じているかを検証する処理である。
（５）各連結領域の輪郭線のうちで教示画像Ｐ１の輪郭線と一致する部分の割合（＝教示画像Ｐ１の輪郭線と一致する部分の長さ／連結領域の輪郭線の全長）が規定した範囲内（使用者が指定した値、以前の検査において決定した値など）かを検証する。
【００４５】
　次に、上述した５種類の処理の結果を組み合わせることによって、欠陥の種類を、「背景ノイズ」、「つぶれ」、「余分」、「にじみ」、「太り」の５種類に分類する。各欠陥と判断する条件は以下の通りである。
（Ａ）連結領域が教示画像Ｐ１の輪郭線を含まない場合は、「背景ノイズ」と判別する。
（Ｂ）連結領域の輪郭線において教示画像Ｐ１の輪郭線が分割されず、かつ教示画像Ｐ１の輪郭線のうち連結領域に含まれる部分の長さ／教示画像Ｐ１の閉曲線の全長）の値が規定した閾値より大きい場合は、「つぶれ」と判別する。
（Ｃ）連結領域の輪郭線が教示画像Ｐ１の輪郭線を含む部分が複数に分割され、かつ連結領域内の濃度分布が一定（分散が閾値以下）である場合、または、連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が分割されず、かつ（教示画像Ｐ１の輪郭線と一致する部分の長さ／連結領域の輪郭線の全長）の値が規定値より大きく、かつ連結領域内の濃度分布が一定（分散が閾値以下）場合には、「余分」と判別する。
（Ｄ）連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が複数に分割され、かつ連結領域内の濃度分布にグラデーションが生じている場合、または、連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が分割されず、かつ（教示画像Ｐ１の輪郭線と一致する部分の長さ／連結領域の輪郭線の全長）の値が規定値より大きく、かつ連結領域内の濃度分布にグラデーションが生じている場合には、「にじみ」と判別する。
（Ｅ）「背景ノイズ」、「つぶれ」、「余分」、「にじみ」以外の場合は、「太り」と判断する。
【００４６】
　上述のようにして欠陥を判別した例を図１１に示す。図１１（ａ）は教示画像Ｐ１であって、教示画像Ｐ１の輪郭線は図１１（ｂ）のように抽出することができる。ここで、図１２（ａ）に示す検査画像Ｐ２が得られたとすると、図１２（ｂ）のように、連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が分割されず、かつ教示画像Ｐ１の閉曲線の全長に対して連結領域に含まれる部分の長さの割合が大きいから、「つぶれ」と判別される。また、図１３（ａ）に示す検査画像Ｐ２が得られたとすると、図１３（ｂ）のように、連結領域の輪郭線において教示画像Ｐ１の輪郭線を含む部分が分割されず、かつ（教示画像Ｐ１の輪郭線と一致する部分の長さ／連結領域の輪郭線の全長）の値が規定した閾値より小さく、かつ連結領域内の分散が閾値以下であるから、「欠け」と判別される。さらに、図１４（ａ）のような検査画像Ｐ２に対しては、図１４（ｂ）から明らかなように、「欠け」、「太り」「余分」の欠陥が生じていると判別することができる。
【００４７】
　なお、「傷」、「欠け」、「かすれ」、「細り」を以下の組合せで判断してもよい。以下では、論理記号を用い、∧は論理積、∨は論理和、¬は否定を表すものとする。なお、以下の（Ａ）〜（Ｄ）における（１）〜（４）の処理は上述した教示画像Ｐ１の内側に対する４種類の処理に対応する。
（Ａ）¬（１）は「傷」。
（Ｂ）（１）∧（（（２）∧¬（３））∨（¬（３）∧（４））は「欠け」。
（Ｃ）（１）∧（（（２）∧（３））∨（（３）∧（４））は「かすれ」。
（Ｄ）（Ａ）〜（Ｃ）以外の組合せ「細り」。
【００４８】
　この場合、「背景ノイズ」、「つぶれ」、「余分」、「にじみ」、「太り」の判断を以下の組合せで行う。なお、以下の（Ａ）〜（Ｅ）における（１）〜（５）の処理は上述した教示画像Ｐ１の外側に対する５種類の処理に対応する。
（Ａ）¬（１）は「背景ノイズ」。
（Ｂ）（１）∧（２）は「つぶれ」。
（Ｃ）（１）∧¬（２）∧（（（３）∧¬（４））∨（¬（４）∧（５））は「余分」。
（Ｄ）（１）∧¬（２）∧（（（３）∧（４））∨（（４）∧（５））は「にじみ」。
（Ｅ）（Ａ）〜（Ｄ）以外の組合せ「太り」。
【００４９】
　このような判断による結果を図１５に示す。図１５（ａ）は教示画像Ｐ１であって、図１５（ｂ）〜（ｅ）に検査画像Ｐ２と判定結果とをそれぞれ示している。
【００５０】
　上述のように、連結領域における濃度分布および形状に関する９種類の情報を組み合わせて用いることにより、検査画像Ｐ２の範囲内での「傷」、「欠け」、「かすれ」、「細り」と、検査画像Ｐ２の背景側での「背景ノイズ」、「つぶれ」、「余分」、「にじみ」、「太り」との合計９種類の欠陥の種類の判別が可能になるのである。本実施形態は実施形態１〜３のいずれの技術に対しても適用することができる。
【００５１】
　なお、上述の例ではテンプレート記憶部３に格納されている教示画像を前処理によって変形した後に変換パラメータを求める例を示したが、検査対象物の位置が画像入力手段１に対して固定されている場合のように検査画像と教示画像とのずれが少ない場合には、前処理を行わずに変換パラメータを求めるようにしてもよい。
【００５２】
　また、上述の例では、変換パラメータにより教示画像を変形させた画像と撮像画像に含まれる検査画像との対応画素の濃度差を求めているが、教示画像の各画素の濃度値に重み付けを行い、重み付け後の教示画像の各画素の画素値と、撮像画像に含まれる元の検査画像の対応する画素の濃度値との差分を求め、このときの差分値が規定の閾値を越える画素で形成される領域内のみの画素について、変換パラメータにより教示画像を変形させた画像との濃度差を求めるようにしてもよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態１の動作説明図である。
【図２】同上のブロック図である。
【図３】同上の動作説明図である。
【図４】同上の動作説明図である。
【図５】本発明の実施形態２の動作説明図である。
【図６】本発明の実施形態３の動作説明図である。
【図７】同上の動作説明図である。
【図８】同上の動作説明図である。
【図９】同上の動作説明図である。
【図１０】本発明の実施形態４の動作説明図である。
【図１１】同上の動作説明図である。
【図１２】同上の動作説明図である。
【図１３】同上の動作説明図である。
【図１４】同上の動作説明図である。
【図１５】同上の動作説明図である。
【符号の説明】
【００５４】
　１　画像入力手段
　２　画像メモリ
　３　テンプレート記憶部
　４　輪郭線抽出部
　５　前処理部
　６　変換パラメータ演算部
　７　判定処理部
　８　欠陥抽出部
　９　欠陥種判別部
　Ｏｂ　検査対象物
　Ｌ１，Ｌ２　輪郭線
　Ｐ１　教示画像
　Ｐ２　検査画像
【図１】
2004069698.tif 000003
【図２】
2004069698.tif 000004
【図３】
2004069698.tif 000005
【図４】
2004069698.tif 000006
【図５】
2004069698.tif 000007
【図６】
2004069698.tif 000008
【図７】
2004069698.tif 000009
【図８】
2004069698.tif 000010
【図９】
2004069698.tif 000011
【図１０】
2004069698.tif 000012
【図１１】
2004069698.tif 000013
【図１２】
2004069698.tif 000014
【図１３】
2004069698.tif 000015
【図１４】
2004069698.tif 000016
【図１５】
2004069698.tif 000017