(57)【要約】      （修正有）【課題】局部欠陥及び反射率ムラの双方が検出できる表面検査方法を提供する。【解決手段】検査表面のカメラ画像をウェーブレット変換部２により４枚のウェーブレット変換画像へと変換し、全ウェーブレット変換画像の低周波−低周波サブバンドを除く各サブバンドを平均化して１枚のウェーブレット処理画像を生成し、このウェーブレット処理画像に基づいた閾値処理を各ウェーブレット変換画像の低周波−低周波サブバンドを除く各サブバンドに施すとともに、低周波−低周波サブバンドに対して照明ムラを補正する処理を施した４枚のウェーブレット補正画像を生成し、各ウェーブレット補正画像をウェーブレット変換部２により個別にウェーブレット逆変換処理して４枚のテクスチャ又は照明ムラ除去画像を生成して、全テクスチャ又は照明ムラ除去画像を平均化し、更に２値化して１枚の判定画像を生成してモニタ５に表示する。【選択図】図１ａ
2004212392.tif 000002
【特許請求の範囲】
【請求項１】
テクスチャ表面である検査表面のカメラ画像から生成したテクスチャ又は照明ムラ除去画像により該検査表面の表面異常を検出するに際し、カメラ画像を一対の双直交ウェーブレットによりウェーブレット変換処理して４枚のウェーブレット変換画像を生成し、選択した１〜４枚のウェーブレット変換画像の低周波−低周波サブバンドを除く各サブバンドの係数値をサブバンド閾値に基づいて閾値処理を施すとともに、低周波−低周波サブバンドの係数値に平均処理又は校正処理を施した１〜４枚のウェーブレット補正画像を生成し、各ウェーブレット補正画像を個別にウェーブレット逆変換処理して１〜４枚のテクスチャ又は照明ムラ除去画像を生成し、該テクスチャ又は照明ムラ除去画像により該検査表面の表面異常を検出することを特徴とする表面検査方法。
【請求項２】
一対の双直交ウェーブレットは、互いにヒルベルトペアとなる対称性及び反対称性を備えた一対のスプラインウェーブレットを２次元に拡張してなる請求項１記載の表面検査方法。
【請求項３】
一対の双直交ウェーブレットは、ウェーブレット変換処理の結果の一部である高周波サブバンドがＧ1(ｘ)cos(ｘ)をスケール変換処理及び平行移動変換処理する畳み込みで近似される対称性を備えたスプラインウェーブレットと、ウェーブレット変換処理の結果の一部である高周波サブバンドがＧ2(ｘ)sin(ｘ)をスケール変換処理及び平行移動変換処理する畳み込みで近似される反対称性を備えたスプラインウェーブレットとを２次元に拡張してなり、前記Ｇ1(ｘ)及びＧ2(ｘ)が略等価な釣り鐘状関数とみなすことのできる請求項１記載の表面検査方法。
【請求項４】
２次元に拡張した一対の双直交ウェーブレットによるウェーブレット変換処理の結果の一部である高周波−高周波サブバンドは、Ｇ1(ｘ)cos(ｘ)Ｇ1(ｙ)cos(ｙ)、Ｇ1(ｘ)cos(ｘ)Ｇ2(ｙ)sin(ｙ)、Ｇ2(ｘ)sin(ｘ)Ｇ1(ｙ)cos(ｙ)及びＧ2(ｘ)sin(ｘ)Ｇ2(ｙ)sin(ｙ)の４つをスケール変換処理及び平行移動変換処理する畳み込みで近似され、Ｇ1(ｘ)及びＧ2(ｘ)とＧ1(ｙ)及びＧ2(ｙ)とがそれぞれ略等価な釣り鐘状関数とみなすことのできる請求項３記載の表面検査方法。
【請求項５】
サブバンド閾値は、テクスチャ表面である基準表面のカメラ画像を一対の双直交ウェーブレットにより４枚のウェーブレット変換画像にウェーブレット変換処理し、４枚のウェーブレット変換画像を低周波−低周波サブバンドを除く各サブバンド毎に平均化して１枚のウェーブレット処理画像を生成し、該ウェーブレット処理画像の低周波−低周波サブバンドを除く各サブバンド毎に統計的に算出する請求項１記載の表面検査方法。
【請求項６】
閾値処理は、４枚のウェーブレット変換画像を高周波−高周波サブバンド、高周波−低周波サブバンド、低周波−高周波サブバンド毎に平均化して１枚のウェーブレット処理画像を生成し、該ウェーブレット処理画像の高周波−高周波サブバンド、高周波−低周波サブバンド及び低周波−高周波サブバンドのサブバンド閾値に対する割合に従って、各ウェーブレット変換画像の高周波−高周波サブバンド、高周波−低周波サブバンド及び低周波−高周波サブバンド中の各係数値を減衰させる請求項１記載の表面検査方法。
【請求項７】
校正処理は、検査表面のカメラ画像の解像度変換を受けたものに相当するウェーブレット変換画像中の低周波−低周波サブバンドを、予め取得しておいた校正照明ムラデータにより校正処理することで照明ムラの影響を除去する請求項１記載の表面検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テクスチャ表面である検査表面のカメラ画像から生成したテクスチャ又は照明ムラ除去画像によりこの検査表面の表面異常を検出する表面検査方法に関する。
【０００２】
ここで、本発明における「テクスチャ表面」とは確定的成分(deterministic component)及びランダム成分(random component)を合成した連続面を意味し、一般には微少な凹凸又は模様が規則性をもって繰り返される連続面である織物表面や液晶表面を例示できる。また、「検査表面」とは表面異常のある検査対象の面を、「基準表面」とは表面異常のない正常な検査対象に相当する面を意味する。本発明に言う「表面異常」は、規則性を局部的に阻害する検査表面の「局部欠陥」と、規則性に従う濃淡を阻害する検査表面の「反射率ムラ」とからなる。「局部欠陥」は、検査表面における傷やシミ等、前記テクスチャ表面としての規則性を阻害する部分を意味する。例えば、テクスチャ表面が織物表面である場合、解れ(ほつれ)も局部欠陥に含まれる。「反射率ムラ」は、検査表面の反射率の変化により表面の明るさが緩やかに変化して観測される現象を意味する。例えば、テクスチャ表面が織物表面である場合、染めムラが反射率ムラとして観測される。この反射率ムラに対し、照明強度が表面上の位置によって変化するために表面の明るさが変化して観測される現象は、「照明ムラ」と呼ぶ。
【背景技術】
【０００３】
織物表面や液晶表面等、微少な凹凸又は模様が規則性をもって繰り返される連続性を有するテクスチャ表面の局部欠陥を検出する場合、どのように局部欠陥を識別するかが重要となる。例えば、織物表面についての表面検査方法(検反方法)である特許文献１は、被検査対象物表面(検査表面に相当)の平均化画像と、前記被検査対象物表面における欠点のない部分(基準表面に相当)の平均化画像との差の画像を求めることで、欠点を検出する。
【０００４】
表面検査方法は、織物表面以外にも利用される。特許文献２は、錠剤のブリスタパックの裏面に貼られたアルミ箔を検査対象とし、前記検査対象物の表面(検査表面に相当)の第１領域と第２領域の画像を取り込み、この取り込んだ画像を位相限定相関法（フーリエ変換→合成→位相限定→逆フーリエ変換→相関値の算出）によって照合し、この照合過程で得られる相関値に基づいて検査対象物の表面に欠陥が生じているか否かを判定する。
【０００５】
特許文献３は、入力デジタル画像に対して、二次元ウェーブレット変換処理する二次元ウェーブレット変換処理手段と、二次元ウェーブレット変換処理によって得られた、縦線検出成分、横線検出成分に対して閾値処理を適用して前記縦線検出成分と前記横線検出成分の二値画像を作成する二値化処理手段と、二値化処理手段によって得られた二値画像に対して、正方形を検出する正方形のハフ(Hough)変換を適用して前記対象物の位置と大きさをもとめる正方形ハフ(Hough)変換手段とを備えた表面検査装置を提案している。
【０００６】
【特許文献１】特開昭62-231069号公報（２〜４頁、第１図及び第４〜６図）
【特許文献２】特開2000-221139号公報（３〜５頁、図１〜９）
【特許文献３】特開2000-285236号公報（５〜10頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
検査表面における異常など、局所的な情報を解析するには、多重解像度解析手法であるウェーブレット変換処理が好ましいとされる。しかし、テクスチャ表面である検査表面は、確定的成分及びランダム成分を合成した情報を含んでいることから、単純にウェーブレット変換処理を利用すると、前記確定的成分の存在により、検査表面を取り込んだカメラ画像をウェーブレット変換処理した結果が推移不変(translation invariant)にならない。これから、検査表面から確定的成分の影響を除去しなければ、ウェーブレット変換処理を用いた解析が実現できない。
【０００８】
例えば、特許文献１の表面検査方法は、検査表面に見られる織り目の凹凸を平均化して、前記確定的成分の影響を除外しようとする。しかし、平均化する領域単位が小さくなると、やはり確定的成分の影響を受けて、濃度の異なる領域単位ができて、検査画像毎に濃淡が異なることになりかねない。領域単位の大きさは、検出できる局部欠陥の大きさに比例するため、領域単位を小さくできないと、小さな局部欠陥を検出できなくなる。
【０００９】
特許文献２は、一度に２つの検査画像を取り込むことで、本来的に空間上の特徴抽出に適さないフーリエ変換の利用を可能にしている。しかし、一度に２つの検査画像を取り込むため、カメラが２台必要になる等、装置構成が大型化又は複雑化する問題がある。また、仮に取得した２つの検査画像が全く同じ局部欠陥を有していると、相関値から前記局部欠陥を検出できないことになる。
【００１０】
特許文献３は、上記先行技術に対し、空間上の特徴抽出に適したウェーブレット変換処理を利用した点で優れているが、検査対象がテクスチャ表面ではないため、確定的成分による影響の除去について触れられていない。これから、局部欠陥の大きさに関係なく、簡素な装置構成で局部欠陥を検出するにはウェーブレット変換処理を用いた多重解像度解析が好ましいが、未だ確定的成分の影響を除去する有効な手段がなかったことが分かる。そこで、ウェーブレット変換処理を利用し、テクスチャ表面を取り込んだ画像から効果的に確定的成分の影響を除去して局部欠陥を識別できる表面検査方法について、検討した。
【課題を解決するための手段】
【００１１】
検討の結果、テクスチャ表面である検査表面のカメラ画像から生成したテクスチャ又は照明ムラ除去画像によりこの検査表面の表面異常を検出するに際し、カメラ画像を一対の双直交ウェーブレットによりウェーブレット変換処理して４枚のウェーブレット変換画像を生成し、選択した１〜４枚のウェーブレット変換画像の低周波−低周波サブバンドを除く各サブバンドの係数値をサブバンド閾値に基づいて閾値処理を施すとともに、低周波−低周波サブバンドの係数値に平均処理又は校正処理を施した１〜４枚のウェーブレット補正画像を生成し、各ウェーブレット補正画像を個別にウェーブレット逆変換処理して１〜４枚のテクスチャ又は照明ムラ除去画像を生成し、このテクスチャ又は照明ムラ除去画像によりこの検査表面の表面異常を検出することを特徴とする表面検査方法を開発した。
【００１２】
本発明は、テクスチャ表面である検査表面のカメラ画像を、一対の双直交ウェーブレットの組み合わせにより推移不変にウェーブレット変換処理し、生成した４枚から選択した１〜４枚のウェーブレット変換画像の低周波−低周波サブバンド(ＬＬサブバンド)を除く高周波−高周波各サブバンド(ＨＨサブバンド)、高周波−低周波各サブバンド(ＨＬサブバンド)及び低周波−高周波各サブバンド(ＬＨサブバンド)の各係数値に閾値処理を施すことでテクスチャの規則性を除き、またカメラ画像を解像度変換したものに相当するＬＬサブバンドの係数値に平均処理又は校正処理を施すことで照明ムラの影響を除き、ウェーブレット逆変換処理によりテクスチャ表面の規則性及び照明ムラを除いた画像を得る。
【００１３】
上記４枚のウェーブレット変換画像は、一対の双直交ウェーブレットの組み合わせにより生成するため、単独のウェーブレット変換画像相互の推移を互いに打ち消すことができ、閾値処理により容易にテクスチャ情報を除去することができる。具体的には、二乗和による平均化が好ましい。こうして閾値処理を経たウェーブレット補正画像を個別にウェーブレット逆変換処理した４枚のテクスチャ又は照明ムラ除去画像は、平均化することにより、テクスチャ表面の規則性を取り除いたテクスチャ除去画像となる。
【００１４】
本発明に用いるウェーブレットは、「ヒルベルトペアとなる一対の双直交ウェーブレット」である点に特徴がある。具体的には、互いにヒルベルトペアとなる対称性及び反対称性を備えた一対のスプラインウェーブレットを２次元に拡張したものであり、より詳細にはウェーブレット変換処理の結果の一部である高周波サブバンドがＧ1(ｘ)cos(ｘ)をスケール変換処理及び平行移動変換処理する畳み込みで近似される対称性を備えたスプラインウェーブレットと、ウェーブレット変換処理の結果の一部である高周波サブバンドがＧ2(ｘ)sin(ｘ)をスケール変換処理及び平行移動変換処理する畳み込みで近似される反対称性を備えたスプラインウェーブレットとを２次元に拡張してなり、前記Ｇ1(ｘ)及びＧ2(ｘ)が略等価な釣り鐘状関数とみなすことのできるものである。ここで、Ｇ1(ｘ)及びＧ2(ｘ)が「略等価」とは、Ｇ1(ｘ)≒Ｇ2(ｘ)を意味する。
【００１５】
これから、２次元に拡張した一対の双直交ウェーブレットによるウェーブレット変換処理の結果の一部である２次元各方向の高周波−高周波サブバンドは、Ｇ1(ｘ)cos(ｘ)Ｇ1(ｙ)cos(ｙ)、Ｇ1(ｘ)cos(ｘ)Ｇ2(ｙ)sin(ｙ)、Ｇ2(ｘ)sin(ｘ)Ｇ1(ｙ)cos(ｙ)及びＧ2(ｘ)sin(ｘ)Ｇ2(ｙ)sin(ｙ)の４つをスケール変換処理及び平行移動変換処理する畳み込みで近似され、Ｇ1(ｘ)及びＧ2(ｘ)とＧ1(ｙ)及びＧ2(ｙ)とがそれぞれ略等価な釣り鐘状関数とみなすことができるものである。
【００１６】
具体的なウェーブレット変換画像は、１枚のカメラ画像に対して、Ｇ1(ｘ)cos(ｘ)Ｇ1(ｙ)cos(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＲＲ係数画像、Ｇ1(ｘ)cos(ｘ)Ｇ2(ｙ)sin(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＲＩ係数画像、Ｇ2(ｘ)sin(ｘ)Ｇ1(ｙ)cos(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＩＲ係数画像、そしてＧ2(ｘ)sin(ｘ)Ｇ2(ｙ)sin(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＩＩ係数画像の４枚となる。前記各係数画像は、１レベル目のウェーブレット変換処理を施した時点で、それぞれにＨＨサブバンド、ＨＬサブバンド、ＬＨサブバンド及び低ＬＬサブバンドの４つのサブバンドを有する。
【００１７】
４枚のウェーブレット変換画像は、元のカメラ画像又はＬＬサブバンドに対してウェーブレット変換処理をｎ回繰り返す。原理的には、画像の短尺方向画素数をビット換算した場合の桁数だけウェーブレット変換処理することもできるが、実用的には３〜６レベルのウェーブレット変換処理が好ましい。
【００１８】
例えば３レベルのウェーブレット変換処理を繰り返した場合、１レベル目及び２レベル目にはＨＨサブバンド、ＨＬサブバンド及びＬＨサブバンドのみが存在し、３レベル目のみＨＨサブバンド、ＨＬサブバンド、ＬＨサブバンド及びＬＬサブバンドを有することになる。こうして、基準表面のカメラ画像から得られたｎレベルにある４枚の各ウェーブレット変換画像から、ＬＬサブバンドを除く各サブバンド毎の対応する係数値を二乗和により平均化して、確定的成分に対しても推移不変な性質を有する検査表面の１枚のウェーブレット処理画像を生成できる。
【００１９】
本発明では、後述するように、検査表面のウェーブレット処理画像をサブバンド閾値と比較して、検査表面のウェーブレット変換画像に対して閾値処理を施す。例えば、検査表面のウェーブレット処理画像における２レベル目のＨＨサブバンドの各係数値とサブバンド閾値とを比較し、係数値＞サブバンド閾値であれば、(1)ウェーブレット変換画像における２レベル目のＨＨサブバンドの対応する係数値からサブバンド閾値を減算したり、(2)検査表面のウェーブレット処理画像における２レベル目のＨＨサブバンドの対応する係数値に対するサブバンド閾値の割合に従ってウェーブレット変換画像における２レベル目のＨＨサブバンドの対応する係数値を減衰させる閾値処理を例示できる。係数値≦サブバンド閾値であれば、ウェーブレット変換画像における２レベル目のＨＨサブバンドの対応する係数値を０にすればよい。
【００２０】
ここで、閾値処理に用いるサブバンド閾値は、テクスチャ表面である基準表面のカメラ画像を一対の双直交ウェーブレットにより４枚のウェーブレット変換画像にウェーブレット変換処理し、４枚のウェーブレット変換画像を低周波−低周波サブバンドを除く各サブバンド毎に平均化して基準表面の１枚のウェーブレット処理画像を生成し、この基準表面のウェーブレット処理画像の低周波−低周波サブバンドを除く各サブバンド毎に統計的に算出するとよい。
【００２１】
上記サブバンド閾値の算出は、表面異常のない基準表面を利用し、各検査対象(織物表面や液晶表面等)に応じた適切なサブバンド閾値を生成する意味を有する。こうして得られるサブバンド閾値は、検査対象と同じテクスチャ表面である基準表面から容易に求めることができ、テクスチャ表面の確定的成分及びランダム成分の影響を分離評価することなく除去できる利点がある。
【００２２】
サブバンド閾値は、事前に基準表面のカメラ画像から算出しておき、例えばコンピュータのメモリ又は外部記憶装置等に保存しておくとよい。そして、逐次得られる検査表面の４枚のウェーブレット変換画像及び検査表面の１枚のウェーブレット処理画像が得られる度に前記サブバンド閾値を用いた閾値処理を実行すればよい。これから、本発明による表面検査に要する時間は、基準表面の画像処理に要する時間は問題にならず、基本的に検査表面の画像処理に要する時間のみである。
【００２３】
１〜４枚のウェーブレット補正画像は、(1)４枚のウェーブレット変換画像をＨＨサブバンド、ＨＬサブバンド、ＬＨサブバンド毎に平均化して検査表面の１枚のウェーブレット処理画像を生成し、この検査表面のウェーブレット処理画像のＨＨサブバンド、ＨＬサブバンド及びＬＨサブバンドのサブバンド閾値に対する割合に従って、各ウェーブレット変換画像のＨＨサブバンド、ＨＬサブバンド及びＬＨサブバンド中の各係数値を減衰させる閾値処理と共に、(2)検査表面のカメラ画像の解像度変換を受けたものに相当するウェーブレット変換画像中のＬＬサブバンドを、単純に平均処理する(ハイパスフィルター処理に相当)、又は予め取得しておいた校正照明ムラデータにより校正処理することで照明ムラの影響を除去する、という２種類の演算処理をウェーブレット変換画像に施して、生成する。
【００２４】
こうして閾値処理と平均処理又は校正処理とを施して生成した１〜４枚のウェーブレット補正画像は、個別にウェーブレット逆変換処理することで１〜４枚のテクスチャ又は照明ムラ除去画像となる。ここで、テクスチャ又は照明ムラ除去画像が１枚の場合はそのまま、複数ある場合は１枚のテクスチャ又は照明ムラ除去画像を選択し、この１枚のテクスチャ又は照明ムラ画像により検査表面の表面異常を検出してもよい。また、複数(２〜４枚)のテクスチャ又は照明ムラ除去画像を平均化することで、テクスチャ表面の規則性を取り除いた１枚のテクスチャ又は照明ムラ除去画像として、この１枚のテクスチャ又は照明ムラ画像により検査表面の表面異常を検出してもよい。こうした表面異常を検出するためのテクスチャ又は照明ムラ除去画像、又は複数のテクスチャ又は照明ムラ除去画像を平均化により合成したり、更に２値化した画像を、特に判定画像と呼ぶことができる。
【００２５】
テクスチャ除去画像は、テクスチャの確定的成分及びランダム成分が取り除かれているため、例えば織物表面に見られるパターンのない画像となる。このため、検査表面に表面異常が存在すれば、表面異常が色濃く現れることになる。また照明ムラ除去画像は、照明強度が検査表面上の位置で変化するために表面の明るさが変化して見える現象を補正し、検査表面の反射率の変化に対応して表面の明るさが変化する画像となる。テクスチャ又は照明ムラ除去画像に対して、従来の表面検査方法にも見られる各種手法により２値化処理すると、局部欠陥及び反射率ムラの表面異常が黒、その他が白の白黒モノトーン画像、すなわち判定画像が生成できる。後は、前記判定画像の濃淡から検査表面の局部欠陥及び反射率ムラの表面異常を検出すればよい。この表面異常を検出する濃淡の判別は、従来公知の各種手法のほか、例えば監視員による目視によってもよい。
【発明の効果】
【００２６】
本発明は、確定的成分及びランダム成分からなるテクスチャ表面について、ウェーブレット変換処理を用いながらも前記確定的成分の影響を受けずに、効率的な表面異常の検出を可能にする表面検査方法を提供する。
【００２７】
本発明は、一対の対称性及び反対称性を備えたスプラインウェーブレット(ヒルベルトペアとなる一対の双直交ウェーブレット)を用いることで、推移不変性を実現しながらテクスチャ表面の規則性を除去できるため、高速かつ効果的に表面異常の検出ができる効果が得られる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態として織物表面の表面検査を例に挙げ、図を参照しながら説明する。図１aは織物表面の表面異常を検出するために本発明を適用した表面検査装置の構成を示す斜視図、図１bは本発明の表面検査方法の処理手順の一例を表すフローチャート、図２aは局部欠陥(キズ)を有する検査表面のカメラ画像、図２bは反射率ムラを有する検査表面のカメラ画像、図３はカメラ画像のキズを縦断する縦軸方向断面プロファイル、図４は検査表面のウェーブレット変換画像、図５は検査表面のウェーブレット処理画像、図６は確定的成分のみを含む標本表面の画像、図７は標本表面のウェーブレット変換画像、図８は標本表面のウェーブレット処理画像、図９は標本表面のウェーブレット変換画像及びウェーブレット処理画像における２レベル目のＨＨサブバンドの横軸方向断面プロファイル、図10は検査表面のウェーブレット補正画像、図11aは局部欠陥(キズ)を有する検査表面のテクスチャ又は照明ムラ除去画像、図11bは反射率ムラを有する検査表面のテクスチャ又は照明ムラ除去画像、図12はテクスチャ又は照明ムラ除去画像の図３相当縦軸方向断面プロファイル、図13aは局部欠陥(キズ)を有する検査表面の判定画像であり、図13bは反射率ムラを有する検査表面の判定画像である。
【００２９】
本発明の表面検査方法が適用できるテクスチャ表面は、確定的成分及びランダム成分を合成した連続面であればよい。例えば、微少な凹凸又は模様として確定的成分が規則性をもって繰り返される連続面である本例の織物表面のほか、液晶表面を代表的に例示できる。織物表面に対しては、図１aに見られるように、織物Ｃを繰り出す製造ラインに対して設置する表面検査装置の内部処理に本発明を適用する。前記内部処理は、例えば図１bに見られる一連の処理手順を繰り返すものである。
【００３０】
本例の表面検査装置は、検査表面又は基準表面のカメラ画像を撮影するカメラ１と、前記カメラ画像をウェーブレット変換処理し、ウェーブレット補正画像をウェーブレット逆変換処理するウェーブレット変換部２と、前記ウェーブレット変換部２から検査表面のウェーブレット変換画像を、外部記憶装置３から基準表面から算出したサブバンド閾値をそれぞれ取り込み、本発明の手順に従って演算処理して得られた判定画像から表面異常の有無を検出するコンピュータ４と、表面異常の有無等、必要な情報を表示するモニタ５とから構成している。
【００３１】
ウェーブレット変換部２は、ハード的な信号処理により、検査表面のカメラ画像を逐次４枚のウェーブレット変換画像へ高速にウェーブレット変換処理し、逆に４枚のウェーブレット補正画像を４枚のテクスチャ又は照明ムラ除去画像へ高速にウェーブレット逆変換処理する。例えば、ウェーブレット変換画像は４枚のＲＲ係数画像、ＲＩ係数画像、ＩＲ係数画像及びＩＩ係数画像から構成するから、各係数画像に対応した４列の変換回路からウェーブレット変換部２を構成する。
【００３２】
基準表面のカメラ画像は、本例の検査装置のカメラ１により取り込み、サブバンド閾値λs及びテクスチャ又は照明ムラ除去画像における濃度変化の標準偏差σrの算出に利用する。サブバンド閾値λsは、検査表面のウェーブレット補正画像を生成する際に用い、テクスチャ又は照明ムラ除去画像における濃度変化の標準偏差σrは、検査表面のテクスチャ又は照明ムラ除去画像を統計的処理により２値化する際に用いる。これらサブバンド閾値λs及び標準偏差σrは、予め算出して外部記憶装置３に記憶しておくとよいが、例えば基準表面のカメラ画像、ウェーブレット変換画像、ウェーブレット処理画像等を外部記憶装置３に記憶しておき、検査毎に適宜算出してもよい。いずれにしろ、サブバンド閾値λs及び標準偏差σrの算出根拠となる基準表面のカメラ画像は、検査表面に先行して取り込み、処理することになる。
【００３３】
これに対し、検査表面は製造ラインに繰り出される織物Ｃから逐次取り込むため、各検査表面のテクスチャ又は照明ムラ除去画像も逐次生成することになる。これから、表面異常を検出するための処理時間は、(検査表面のカメラ画像の範囲(特に織物の繰り出し方向の長さ))/(織物の繰り出し速度)から決定され、本発明の手順を前記処理許容時間内に済ませる必要がある。近年のコンピュータの高速化に伴い、カメラ画像を直接コンピュータ４に取り込んでウェーブレット変換処理をソフト的に実現することもできるが、こうしたリアルタイムな表面異常の検出を図る場合、本例のように専用のウェーブレット変換部２を設け、ウェーブレット変換処理及びウェーブレット逆変換処理にそれぞれ利用することが望ましい。
【００３４】
コンピュータ４は、本発明に従った処理手順を有するプログラムを外部記憶装置３等から読み込み、ウェーブレット変換画像から判定画像の生成(ウェーブレット変換処理及びウェーブレット逆変換処理を除く)、そして判定画像における表面異常を識別する。サブバンド閾値を算出するための基準表面についての演算処理は、基本的には検査表面の演算処理と変わらないため、同じプログラムを用いることができる。算出したサブバンド閾値は、表面検査装置起動時等に外部記憶装置３から読み込んで使用する。
【００３５】
モニタ５は、例えば監視員が目視により、検査表面の表面異常を確認するための画像表示部である。検査表面の表面異常を識別するだけならコンピュータ４により識別の結果を、ランプ又はブザーで報知することもできるが、実際にどのような表面異常が存在するかを明示する観点から、監視員が目視できるモニタ５を設けることが望ましい。モニタ５は、上記各画像の処理過程をすべて表示することもできるが、前記観点に鑑み、検査表面のカメラ画像及び判定画像のみを表示すれば十分である。
【００３６】
サブバンド閾値を算出する基準表面のウェーブレット処理画像を生成する手順は、基本的には検査表面のウェーブレット処理画像を生成する手順と同じであるため、検査表面を例に各画像の生成処理を説明する。カメラ１が撮影する検査表面のカメラ画像は、図２aに見られるように、織物の織り目による規則性が視認できる程度のテクスチャ表面である。本例の検査表面は、織物の繰り出し方向に延びる１条のキズからなる局部欠陥(表面異常のひとつ)を有している。前記キズは、図２a中波線楕円で囲った部位にあり、キズを縦断する縦軸方向プロファイルは図３のように得られる。
【００３７】
検査表面のカメラ画像は、ウェーブレット変換部２によりウェーブレット変換画像へとウェーブレット変換処理する。本例では、ウェーブレット変換処理の結果の一部である高周波サブバンドがＧ1(ｘ)cos(ｘ)をスケール変換処理及び平行移動変換処理する畳み込みで近似される対称性を備えたスプラインウェーブレットと、ウェーブレット変換処理の結果の一部である高周波サブバンドがＧ2(ｘ)sin(ｘ)をスケール変換処理及び平行移動変換処理する畳み込み反対称性を備えたスプラインウェーブレットとを２次元に拡張し、図４に見られるように、Ｇ1(ｘ)cos(ｘ)Ｇ1(ｙ)cos(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＲＲ係数画像を、Ｇ1(ｘ)cos(ｘ)Ｇ2(ｙ)sin(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＲＩ係数画像を、Ｇ2(ｘ)sin(ｘ)Ｇ1(ｙ)cos(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＩＲ係数画像を、そしてＧ2(ｘ)sin(ｘ)Ｇ2(ｙ)sin(ｙ)をスケール変換処理及び平行移動変換処理する畳み込みで近似されるＩＩ係数画像を、それぞれ３レベルまで生成している。ここで、Ｇ1(ｘ)及びＧ2(ｘ)とＧ1(ｙ)及びＧ2(ｙ)とは、それぞれ略等価な釣り鐘状関数とみなすことができる。
【００３８】
次に、後述の閾値処理のために、ＲＲ係数画像、ＲＩ係数画像、ＩＲ係数画像及びＩＩ係数画像の対応する係数値を平均化して、図５に見られるように、検査表面のウェーブレット処理画像(前記各係数画像に対応するＴＩ(Translation Invariant)係数画像からなる画像)を生成する。前記平均化には、ＲＲ係数画像、ＲＩ係数画像、ＩＲ係数画像及びＩＩ係数画像の対応する係数値を二乗和して平方根を求めて平均する処理を用いる。具体的には、ＲＲ係数画像の係数値ｄRR、ＲＩ係数画像の係数値ｄRI、ＩＲ係数画像の係数値ｄIR及びＩＩ係数画像の係数値ｄIIをそれぞれ二乗して足し合わせたものの平方根ｄTI
ｄTI＝√(ｄRR2＋ｄRI2＋ｄIR2＋ｄII2)
を算出して検査表面のウェーブレット処理画像を生成する。ここで、３レベルまでウェーブレット変換処理しているとすると、最終的な３レベル目のＬＬサブバンドは二乗和の対象としないので、検査表面のウェーブレット処理画像における３レベル目のＬＬサブバンドに、データは含まれていない。
【００３９】
本発明の検査表面(又は基準表面)のウェーブレット処理画像は、推移不変となる。この事実は、ウェーブレット変換画像及びウェーブレット処理画像の特定サブバンド相互を比較すると理解しやすい。今、確定的成分のみを含むよう人工的に合成した標本表面の画像(図６)から、上述までの処理手順に従ってウェーブレット変換画像(図７)及びウェーブレット処理画像(図８)を生成する。ここで、例えば各画像の２レベル目のＨＨサブバンド(図７及び図８中太線枠内参照)の横断方向プロファイル(以下横断方向プロファイルと略する)を比較すると、図９に見られるように、ＲＲ係数画像及びＲＩ係数画像の横断方向プロファイルは位相が90度ずれ、ウェーブレット処理画像の横断方向プロファイルは略一定となる。ウェーブレット処理画像の横断方向プロファイルは、ＲＲ係数画像及びＲＩ係数画像の横断方向プロファイルを平均化したもので、ウェーブレット処理画像が推移不変であることが視覚的に理解できる。
【００４０】
続いて、検査表面の各ウェーブレット変換画像、すなわちＲＲ係数画像、ＲＩ係数画像、ＩＲ係数画像及びＩＩ係数画像の各サブバンド(３レベル目のＬＬサブバンドは除く)について閾値処理を施し、４枚のＲＲ補正画像、ＲＩ補正画像、ＩＲ補正画像及びＩＩ補正画像を生成する。
【００４１】
ウェーブレット変換処理して得られた係数画像について、予め設定した閾値よりも大きな係数値を残してウェーブレット逆変換処理し、再構成することにより、閾値以下の情報を除去する方法は、ウェーブレット縮退(Wavelet Shrinkage)と呼ばれる。このウェーブレット縮退では、除去対象がガウス白色ノイズである場合であれば、閾値を予め定めた一定値を用いることができる。しかし、確定的成分及びランダム成分の双方を含むテクスチャ表面に対する閾値は、こうした一定値を予め定めることが難しい。
【００４２】
そこで、基準表面のカメラ画像から生成したウェーブレット処理画像を用い、処理対象(本例では織物表面)に合わせたサブバンド閾値を算出する。具体的には、予め生成した基準表面のウェーブレット処理画像の各サブバンド毎に含まれる係数値を順に並べ、前記係数値の並び全体の一定割合(例えば95％、つまり100の係数値があれば小さい係数値から95番目)に存在する係数値をサブバンド閾値とする。ここで、基準表面のウェーブレット処理画像は３レベル目のＬＬサブバンドを有さないため、ＬＬサブバンドに対するサブバンド閾値を算出しない。
【００４３】
こうして求められたサブバンド閾値を用いた閾値処理は、検査表面のウェーブレット処理画像ではなく、ウェーブレット変換画像、すなわちＲＲ係数画像、ＲＩ係数画像、ＩＲ係数画像及びＩＩ係数値検査画像に対して用いる。検査表面のウェーブレット処理画像は、ウェーブレット逆変換処理による再構成ができないからである。また、ＬＬサブバンドについてはサブバンド閾値を算出しないので、閾値処理はＨＨサブバンド、ＨＬサブバンド及びＬＨサブバンドについて施すことになる。
【００４４】
具体的な閾値処理は、次のようになる。例えば、ウェーブレット変換画像であるＲＲ係数画像の特定サブバンド(例えば２レベル目のＨＨサブバンド等)の係数値をｄRR、ウェーブレット処理画像(ＴＩ係数画像)の前記特定サブバンドの対応する係数値をｄTI、そして前記特定サブバンドに対応して求めたサブバンド閾値をλsとすれば、閾値処理を施して得られるウェーブレット補正画像であるＲＲ補正画像の特定サブバンドの係数値dcRRは、
if  ｄTI＞λs  dcRR＝ｄRR×(ｄTI−λs)/ｄTI
if  ｄTI≦λs  dcRR＝０
とする。この閾値処理はＬＬサブバンドを除く全サブバンドについて施し、図10に見られるような検査表面について４枚のウェーブレット補正画像を得る。
【００４５】
こうして得られた検査表面のウェーブレット補正画像は、コンピュータ４からウェーブレット変換部２へ出力してウェーブレット逆変換処理し、再びコンピュータ４に戻して平均化すると、図11a及び図12に見られるようなテクスチャ表面の規則性を除去したテクスチャ除去画像を得ることができる。局部欠陥であるキズは、図11a中波線楕円で囲った部位に残っており、テクスチャ表面の規則性のみが除去されたことが分かる。これは、特に図12に示される縦軸方向断面プロファイルが平坦であることから理解しやすい。更に、検査表面のカメラ画像(図２a参照)及び横断方向プロファイル(図３)と比較すれば、織り目の繰り返し、すなわち規則性が除去されていることが分かる。ここで重要なのは、局部欠陥であるキズは除去されていない点にある(図12中突出部参照)。
【００４６】
テクスチャ除去画像から判定画像を得る２値化処理は、一般的な統計的処理を用いることができる。本例では、テクスチャ除去画像に対し、濃度値ｂが
ｕb−σr×√(２×log(ｍ))≦ｂ≦ｕb＋σr×√(２×log(ｍ))
の範囲内にあるものを白、範囲外にあるものを黒とする統計的処理により、２値化する。前式中、ｕbは検査表面のテクスチャ除去画像における濃度平均値、σrは基準表面のテクスチャ除去画像における濃度変化の標準偏差、ｍはデータ数(画素数＝１〜最大画素)である。
【００４７】
テクスチャ除去画像における濃度値のヒストグラム分布がガウス分布に近似できる場合、検査表面に局部欠陥であるキズがなければ、上記範囲外の値となる画素数の期待値は１画素以下となる。よって、テクスチャ除去画像における濃度値ｂが上記範囲外として黒く塗り分けされる部分が現れると、前記部分は局部欠陥、すなわちキズと判断できる。
【００４８】
本例が示す表面異常の識別手法は、織物に対して均一な照明が照射され、シェーディング(陰影)等が生じていないことを前提とするが、実際にはある程度の面積を有する検査表面に均一な照明を照射することは難しい。そこで、ウェーブレット変換画像からウェーブレット補正画像を得る閾値処理に際し、最終レベルであるＬＬサブバンドに対して平均処理を施し、シェーディング(陰影)等の低周波成分の影響を予め除去しておくとよい。前記ＬＬサブバンドに対する平均処理は、ハイパスフィルター処理に相当する。
【００４９】
こうして２値化を終えた判定画像では、図13aに見られるように、局部欠陥(本例では織物の繰り出し方向に延びるキズ)がはっきりと見て取れる。コンピュータ４の内部処理では、こうした判定画像の濃淡から自動的に表面異常である局部欠陥の識別ができ、ランプ又はブザーにより外部へ報知できる。また、本例ではモニタ５により判定画像を映し出すことで、監視員へ視覚的に表面異常である局部欠陥の存在を知らせることができる。
【００５０】
実際にはある程度の面積を有する検査表面に均一な照明を照射することは難しく、ある程度の照明ムラが生じるのは避けられない。照明ムラは、上述のように、ハイパスフィルター処理により除くことは可能であるが、ハイパスフィルター処理は染めムラ等の反射率ムラの影響による緩やかな明るさ変化も同時に除いてしまうため、染めムラ等の反射率ムラの検出を難しくしてしまう。そこで、ウェーブレット変換画像からウェーブレット補正画像を得る閾値処理に際し、最終レベルであるＬＬサブバンドに対して照明ムラの影響を補正する処理、すなわち校正処理を施すとよい。ＬＬサブバンドは元の画像の解像度を荒くしたものに相当するため、この処理は効率的に実行可能である。この校正処理により、反射率ムラを残したまま照明ムラによる影響だけを除くことができ、局部欠陥と共に反射率ムラの検出も可能となる。
【００５１】
以下、照明ムラの影響を除去する場合について、上記例との対比により相違点を説明する。基準表面のカメラ画像(図２b参照)は、本例の検査装置のカメラ１により取り込みことは上記例と同様であるが、照明ムラの影響を除去する場合、前記カメラ画像をサブバンド閾値λs、校正照明ムラデータ及びテクスチャ除去画像における濃度変化の標準偏差σrの算出に利用する。サブバンド閾値λs及び標準偏差σrは、上記例と同じである。校正照明ムラデータは、ＬＬサブバンドに対して照明ムラの影響を補正するデータであり、予め取得しておいた反射率ムラのない画像データをウェーブレット変換処理して得られるＬＬサブバンドを用いる。これらサブバンド閾値λs、校正照明ムラデータ及び標準偏差σrは、予め算出して外部記憶装置３に記憶したり、検査毎に適宜算出する。
【００５２】
照明ムラの影響を除去する校正処理は、最終的な３レベル目のＬＬサブバンドに施し、他のサブバンドの閾値処理は上記例と同じである。これに対し、３レベル目のＬＬサブバンドに対しては、校正照明ムラデータに基づき照明ムラの影響を補正する校正処理を加え、４枚のＲＲ補正画像、ＲＩ補正画像、ＩＲ補正画像及びＩＩ補正画像を生成する。校正処理は、校正照明ムラデータのＬＬサブバンドの係数値を一定値に変換する処理であれば既存の各種手法を用いることができ、例えば平均値からの差を加える加減算による方法や，ＬＬサブバンドの係数値毎に一定値を掛け合わせる乗算による方法等を例示できる。
【００５３】
こうして得られた検査表面のウェーブレット補正画像は、コンピュータ４からウェーブレット変換部２へ出力してウェーブレット逆変換処理し、再びコンピュータ４に戻して平均化すると、図11bに見られるようなテクスチャ表面の規則性に加え、照明ムラの影響を除去したテクスチャ及び照明ムラ除去画像を得ることができる。このテクスチャ及び照明ムラ除去画像から判定画像を得るには、上記例と同様に複数のテクスチャ及び照明ムラ画像を合成した後に２値化処理する。こうして得られた判定画像では、図13bに見られるように、反射率ムラ(染めムラ)がはっきりと見て取れる。ここで、キズ等の局部欠陥があれば、前記反射率ムラと共に現れる。このように、本発明は、照明ムラの影響のみを除去して、検査表面の表面異常としての局部欠陥及び反射率ムラを検出できる表面検査方法を提供する。
【図面の簡単な説明】
【００５４】
【図１ａ】織物表面の表面異常を検出するために本発明を適用した表面検査装置の構成を示す斜視図である。
【図１ｂ】本発明の表面検査方法の処理手順の一例を表すフローチャートである。
【図２ａ】局部欠陥(キズ)を有する検査表面のカメラ画像である。
【図２ｂ】反射率ムラを有する検査表面のカメラ画像である。
【図３】カメラ画像のキズを縦断する縦軸方向断面プロファイルである。
【図４】検査表面のウェーブレット変換画像である。
【図５】検査表面のウェーブレット処理画像である。
【図６】確定的成分のみを含む標本表面の画像である。
【図７】標本表面のウェーブレット変換画像である。
【図８】標本表面のウェーブレット処理画像である。
【図９】標本表面のウェーブレット変換画像及びウェーブレット処理画像におけるＨＨサブバンドの横軸方向断面プロファイルである。
【図１０】検査表面のウェーブレット補正画像である。
【図１１ａ】局部欠陥(キズ)を有する検査表面のテクスチャ又は照明ムラ除去画像である。
【図１１ｂ】反射率ムラを有する検査表面のテクスチャ又は照明ムラ除去画像である。
【図１２】テクスチャ又は照明ムラ除去画像の図３相当縦軸方向断面プロファイルである。
【図１３ａ】局部欠陥(キズ)を有する検査表面の判定画像である。
【図１３ｂ】反射率ムラを有する検査表面の判定画像である。
【符号の説明】
【００５５】
１  カメラ
２  ウェーブレット変換部
３  外部記憶装置
４  コンピュータ
５  モニタ
Ｃ  織物(検査対象)
【図１ａ】
2004212392.tif 000003
【図３】
2004212392.tif 000004
【図９】
2004212392.tif 000005
【図１２】
2004212392.tif 000006
【図１ｂ】
2004212392.tif 000007
【図２ａ】
2004212392.tif 000008
【図２ｂ】
2004212392.tif 000009
【図４】
2004212392.tif 000010
【図５】
2004212392.tif 000011
【図６】
2004212392.tif 000012
【図７】
2004212392.tif 000013
【図８】
2004212392.tif 000014
【図１０】
2004212392.tif 000015
【図１１ａ】
2004212392.tif 000016
【図１１ｂ】
2004212392.tif 000017
【図１３ａ】
2004212392.tif 000018
【図１３ｂ】
2004212392.tif 000019