(57)【要約】【課題】特殊な技術をもたないオペレータでも簡便に複雑な欠陥分類が実現され、労力が大幅に削減されるとともに操業状態の変化に迅速に対応した評価が可能となるような表面欠陥検出における疵種分類境界設定方法を提供する。【解決手段】疵種毎の特徴量データを入力し（ステップＳ１１〜Ｓ１４）、疵種毎の混合密度分布のパラメータ（平均ベクトル、共分散行列、結合係数）を求める（ステップＳ１５）、そして、求められた疵毎混合密度分布に基づいて、ベイズの定理を使用して、疵毎の識別境界決定を決定する（ステップＳ１６）、そして、その判断の確からしさの算出（ステップＳ１７）を行う。【選択図】　図１
2004109105.tif 000002
【特許請求の範囲】
【請求項１】
学習用の疵データを採取し、Ｎ次元の特徴量空間を占める複数の疵種のカテゴリについて、それぞれにＮ次元正規分布の混合密度分布を仮定し、これを特徴づける平均ベクトル、共分散行列、結合係数などのパラメータを、前記学習用疵データにフィッティングするようにＥＭアルゴリズムによる収束によって決定し、決定された各疵のカテゴリ毎のＮ次元正規分布の混合密度分布に基づいて、ベイズの定理を使用して、表面欠陥検出における疵種分類境界を決定する過程を含むことを特徴とする表面欠陥検出における疵種分類境界設定方法。
【請求項２】
請求項１に記載の表面欠陥検出における疵種分類境界設定方法であって、同じ特徴量空間を占める複数の疵種のカテゴリについての新たなデータ列が得られて疵種分類境界設定を修正しなければならないときに、メモリに保存しておいた前回の混合密度分布を特徴づける平均ベクトル、共分散行列、結合係数などのパラメータを初期値としてＥＭアルゴリズムによる収束で更新されたパラメータを決定し、決定された各疵のカテゴリ毎のＮ次元正規分布の混合密度分布に基づいて、ベイズの定理を使用して、表面欠陥検出における疵種分類境界を修正する過程を含むことを特徴とする表面欠陥検出における疵種分類境界設定方法。
【請求項３】
請求項１又は請求項２に記載の表面欠陥検出における疵種分類境界設定方法であって、パラメータをＥＭアルゴリズムによる収束によって決定すると同時に、特徴量空間の各点での確率から情報のエントロピーを計算して、判断の確からしさを出力する過程を含むことを特徴とする表面欠陥検出における疵種分類境界設定方法。
【請求項４】
疵種分類境界が安定していない領域については、請求項１から請求項３のうちいずれか１項に記載の表面欠陥検出における疵種分類境界設定方法により疵種分類境界を設定し、残りの疵種分類境界が安定している領域においては、得られた疵種分類境界を外挿して疵種分類境界を求めることを特徴とする疵種分類境界設定方法。
【請求項５】
疵種分類境界がはっきりし、かつ安定している領域では、従来使用されていた任意の方法により疵種分類境界を決定し、その他の領域についてのみ、請求項１から請求項３のうちいずれか１項に記載の表面欠陥検出における疵種分類境界設定方法により疵種分類境界を設定することを特徴とする表面欠陥検出における疵種分類境界設定方法。
【請求項６】
Ｎ次元の特徴量空間の縁に近い領域では、従来使用されていた任意の方法により疵種分類境界を決定し、その他の領域についてのみ、請求項１から請求項３のうちいずれか１項に記載の表面欠陥検出における疵種分類境界設定方法により疵種分類境界を設定することを特徴とする表面欠陥検出における疵種分類境界設定方法。
【請求項７】
請求項１から請求項６のうちいずれか１項に記載の表面欠陥検出における疵種分類境界設定方法であって、結合させるＮ次元正規分布がＮ次元空間に充分に広がっていない場合は消滅させる過程を含むことを特徴とする表面欠陥検出における疵種分類境界設定方法。
【請求項８】
請求項１から請求項７のうちいずれか１項に記載の表面欠陥検出における疵種分類境界設定方法であって、結合させるＮ次元正規分布がＮ次元空間に大きく広がっている場合は分裂させる過程を含むことを特徴とする表面欠陥検出における疵種分類境界設定方法。
【請求項９】
請求項１から請求項８のうちいずれか１項に記載の表面欠陥検出における疵種分類境界設定方法によって、疵種分類の境界を設定し、この疵種分類境界に従って、得られた欠陥の種類を識別する過程を含むことを特徴とする表面欠陥検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は表面欠陥検出において多次元の特徴量が得られたときに、これらに基づいて欠陥をカテゴリに分類するための疵種分類境界を設定する方法、及びこの方法を利用した表面欠陥検出方法に関するものである。
【０００２】
【従来の技術】
工業製品の表面に生じる欠陥を光学的方法で検出する装置（例えば特許文献１）において、その疵種および有害度を分類することは客先への品質保証上、極めて重要である。そのため、従来は撮像によって得られた画像信号から、欠陥の長さ、欠陥の幅、濃度積算値等の各種特徴量を抽出し、これらの特徴量に基づいて、ｉｆ　ｔｈｅｎ　ｅｌｓｅ文による樹形図の論理またはテーブルにより欠陥の分類をおこなってきた。また、このような分類に、ニューラルネットワークを適用する方法も検討されている（特許文献２）。
【０００３】
【特許文献１】
特開２００１−２４２０８９号
【特許文献２】
特開平６−９４６４３号
【非特許文献１】
「クラスター分析入門」（森北出版株式会社）
【０００４】
【発明が解決しようとする課題】
しかしながら、ｉｆ　ｔｈｅｎ　ｅｌｓｅ文による樹形図の論理またはテーブルにより欠陥の分類を行う方法では、複雑な識別境界による分類は困難であり、また採取データの解析およびコーディングに特殊な技術をもったオペレータの大変な労力を要する。また、このような判別ロジックは操業状態の変化によって、しばしば調整し直す必要があるため、この処理の簡便化および迅速化は必須であった。また表面欠陥検出手段が複数あり、それらの判別結果が異なる場合は、どれを信頼してよいのか混乱が生じていた。
【０００５】
また、このような分類に、ニューラルネットワークを適用する方法では、原理的には複雑な分類が可能であるものの、学習のために多量のデータと時間を要し簡便で迅速とは言えない。
【０００６】
本発明は、こうした状況に鑑みてなされたもので、新規な方法を採用することにより、特殊な技術をもたないオペレータでも簡便に複雑な欠陥分類が実現され、労力が大幅に削減されるとともに操業状態の変化に迅速に対応した評価が可能となるような表面欠陥検出における疵種分類境界設定方法、及びこの方法を利用した表面欠陥検出方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するための第１の手段は、学習用の疵データを採取し、Ｎ次元の特徴量空間を占める複数の疵種のカテゴリについて、それぞれにＮ次元正規分布の混合密度分布を仮定し、これを特徴づける平均ベクトル、共分散行列、結合係数などのパラメータを、前記学習用疵データにフィッティングするようにＥＭアルゴリズムによる収束によって決定し、決定された各疵のカテゴリ毎のＮ次元正規分布の混合密度分布に基づいて、ベイズの定理を使用して、表面欠陥検出における疵種分類境界を決定する過程を含むことを特徴とする表面欠陥検出における疵種分類境界設定方法（請求項１）である。
【０００８】
前記課題を解決するための第２の手段は、前記第１の手段であって、同じ特徴量空間を占める複数の疵種のカテゴリについての新たなデータ列が得られて疵種分類境界設定を修正しなければならないときに、メモリに保存しておいた前回の混合密度分布を特徴づける平均ベクトル、共分散行列、結合係数などのパラメータを初期値としてＥＭアルゴリズムによる収束で更新されたパラメータを決定し、決定された各疵のカテゴリ毎のＮ次元正規分布の混合密度分布に基づいて、ベイズの定理を使用して、表面欠陥検出における疵種分類境界を修正する過程を含むことを特徴とする（請求項２）である。
【０００９】
前記課題を解決するための第３の手段は、前記第１の手段又は第２の手段であって、パラメータをＥＭアルゴリズムによる収束によって決定すると同時に、特徴量空間の各点での確率から情報のエントロピーを計算して、判断の確からしさを出力する過程を含むことを特徴とするもの（請求項３）である。
【００１０】
前記課題を解決するための第４の手段は、疵種分類境界が安定していない領域については、前記第１の手段から第３の手段のうちいずれか１項に記載の表面欠陥検出における疵種分類境界設定方法により疵種分類境界を設定し、残りの疵種分類境界が安定している領域においては、得られた疵種分類境界を外挿して疵種分類境界を求めることを特徴とする疵種分類境界設定方法（請求項４）である。
【００１１】
前記課題を解決するための第５の手段は、疵種分類境界がはっきりし、かつ安定している領域では、従来使用されていた任意の方法により疵種分類境界を決定し、その他の領域についてのみ、前記第１の手段から第３の手段のいすれかの表面欠陥検出における疵種分類境界設定方法により疵種分類境界を設定することを特徴とする表面欠陥検出における疵種分類境界設定方法（請求項５）である。
【００１２】
前記課題を解決するための第６の手段は、Ｎ次元の特徴量空間の縁に近い領域では、従来使用されていた任意の方法により疵種分類境界を決定し、その他の領域についてのみ、前記第１の手段から第３の手段のいずれかの表面欠陥検出における疵種分類境界設定方法により疵種分類境界を設定することを特徴とする表面欠陥検出における疵種分類境界設定方法（請求項６）である。
【００１３】
前記課題を解決するための第７の手段は、前記第１の手段から第６の手段であって、結合させるＮ次元正規分布がＮ次元空間に充分に広がっていない場合は消滅させる過程を含むことを特徴とするもの（請求項７）である。
【００１４】
前記課題を解決するための第８の手段は、前記第１の手段から第７の手段であって、結合させるＮ次元正規分布がＮ次元空間に大きく広がっている場合は分裂させる過程を含むことを特徴とするもの（請求項８）である。
【００１５】
前記課題を解決するための第９の手段は、前記第１の手段から第８の手段のいずれかの表面欠陥検出における疵種分類境界設定方法によって、疵種分類の境界を設定し、この疵種分類境界に従って、得られた欠陥の種類を識別する過程を含むことを特徴とする表面欠陥検出方法（請求項９）である。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態の例を、図を用いて説明する。本実施の形態においては、表面欠陥検査装置は概ね撮像系と画像メモリ及び処理系で構成される。光源とカメラコントローラで構成される撮像系で検査対象表面の状態を画像メモリに記憶し、画像処理装置にて検出された欠陥の長さ、欠陥の幅、濃度積算値等の各種特徴量を算出する。なお、以下の説明において、たとえばｕ＝（ｕ１，ｕ２，ｕ３，…，ｕＮ）のように、どこかでその要素の集合として定義されている記号はベクトルを示す。
【００１７】
本実施の形態における表面欠陥検出における疵種分類境界設定方法の学習計算の流れは、図１の処理フローに示したとおり、疵種毎の特徴量データ入力（ステップＳ１１〜Ｓ１４）、疵種毎の混合密度分布のパラメータ（平均ベクトル、共分散行列、結合係数）の計算（ステップＳ１５）、ベイズの定理に基づいた識別境界決定（ステップＳ１６）、確からしさの算出（ステップＳ１７）に分かれている。
【００１８】
まず画像処理装置より学習データ入力部を経て、検出された学習用欠陥の、Ｎ次元の特徴量パターンｕ＝（ｕ１，ｕ２，ｕ３，…，ｕＮ）、例えば欠陥の長さｕ１、欠陥の幅ｕ２、濃度積算値ｕ３…の組がオペレータの目視による疵種αｋの判定結果と共に学習データ保存装置に入力される（ステップＳ１１）。このようにして得られたデータが、疵種分類境界を設定する計算を行うために十分か量であるかどうかを判断する（ステップＳ１２）。これは、予め所定の数を設定しておき、得られた学習用欠陥データがこの数に達したかどうかを判断する等の手法により実現できる。
【００１９】
もし、収集された学習用データが十分な量でない場合は、ステップＳ１１に戻って学習用データの採取を繰り返し、十分な量の学習用データが得られた場合には、ステップＳ１３に移行し、識別境界設定計算を開始可能とする。そして、ステップＳ１４で、識別境界設定計算開始指令があるかどうかを判断し、開始指令があるまで、ステップＳ１１に戻って学習用データの採取を続ける。識別境界設定計算開始指令は、人間が押しボタンや設定により指示してもよいし、識別境界設定計算が開始可能となると同時に自動的に開始指令を出すようにしてもよい。
識別境界設定計算開始指令がでるとステップＳ１５に移行して、学習用データとして得られた疵毎に、混合密度分布のパラメータを計算する。
【００２０】
まず、疵種αｋがＮ次元の特徴量パターンｕを生起する確率Ｐ（ｕ｜αｋ）を確率論的なクラスタリングによって求める。表面欠陥計で得られた特徴量パターンは複雑な分布をしていることが多く図４（１）のように１つのＮ次元正規分布では正しくＰ（ｕ｜αｋ）を求めてクラスタリングすることができないので、図４（２）のように複数個のＮ次元正規分布を結合させた混合密度分布として近似表現する。すなわち平均ベクトルμｋ，ｍと共分散行列σｋ，ｍで特徴づけられるＮ次元正規分布をφ（ｕ：μｋ，ｍ，σｋ，ｍ）とし、決められた数だけ重みをつけて結合して下式のように表す。
【００２１】
ここでｋはｋ番目の疵のカテゴリであることを示し、ｍはｍ番目のＮ次元正規分布のパラメータであることを示す。
Ｐ（ｕ｜αｋ）＝Σζｋ，ｍφ（ｕ：μｋ，ｍ，σｋ，ｍ）
Σの範囲は、結合させる混合密度度分布の数の範囲である（ｍについてのΣ）。ここで結合させるＮ次元正規分布の個数は、欠陥情報の分布を見て適当に定める。Ｎ次元正規分布は、
【００２２】
【数１】
2004109105.tif 000003
【００２３】
と表される。ここで混合密度分布を特徴付ける各Ｎ次元正規分布の平均ベクトルμｋ，ｍと共分散行列σｋ，ｍ、および結合係数ζｋ，ｍは、ＥＭアルゴリズムによる繰り返し計算によって求める。
【００２４】
混合密度分布モデルとＥＭアルゴリズムについては例えば「クラスター分析入門」（森北出版株式会社）（非特許文献１）に詳しいが、概略を述べると次のようになる。表面欠陥検査装置にて観測されたＮ次元特徴量パターンの不完全データ系列ｘ＝（ｘ１，ｘ２，ｘ３，…，ｘＮＸ）に加えて、仮想的な完全データ系列ｙ＝（ｙ１，ｙ２，ｙ３，…ｙＮＸ）を考える。そして完全データ系列が観測されるのではなく部分的な不完全データ系列ｘ＝（ｘ１，ｘ２，ｘ３，…，ｘＮＸ）が観測されているのだと考える。また完全データ系列ｙ＝（ｙ１，ｙ２，ｙ３，…ｙＮＸ）はパラメータ条件つき確率密度関数ｆ（ｙ｜Φ）に従うものとすると、条件ｘおよびΦ’のもとで、ｆ（ｙ｜Φ）の対数をとったもの、すなわち対数尤度関数の期待値は
Ｑ（Φ｜Φ’）＝Ｅ（ｌｏｇｆ（ｙ｜Φ）｜ｘ，Φ’）
となる。
【００２５】
このときＥＭアルゴリズムは次のようになる。
▲１▼まず各Ｎ次元正規分布とその結合状態についてのパラメータの初期推定値をΦ（０）とし、ｔ＝０とする。
▲２▼条件つき期待値（Ｅｘｐｅｃｔａｔｉｏｎ）Ｑ（Φ｜Φ（ｔ））を計算する。
▲３▼上のＱ（Φ｜Φ（ｔ））を最大化（Ｍａｘｉｍｉｚａｔｉｏｎ）するパラメータΦ〜を求める。すなわち
Φ〜＝ａｒｇ　ｍａｘΦＱ（Φ｜Φ（ｔ））
▲４▼ｔ＝ｔ＋１、Φ（ｔ）＝Φ〜とし解が収束するまで▲２▼▲３▼を繰り返す。
【００２６】
具体的には完全データ系列とは、表面欠陥検査装置にて観測されたＮ次元特徴量パターン系列（不完全データ系列）のそれぞれについて、結合するＮ次元正規分布のいずれから生じたかについての情報が加わったものとする。
【００２７】
ここでＮＸ個のＮ次元特徴量パターンのデータ系列ｘ１，ｘ２，ｘ３，…，ｘＮＸが、与えられたとき、結合するＮ次元正規分布をＮＧ個とすると混合分布決定の繰り返し計算は図２に示すようなものとなる。図２は、図１におけるステップＳ１５を更に詳細に示したものである。ここで結合するＮ次元正規分布のうちｚ番目の正規分布の平均ベクトルをμｚ（ｔ）、共分散行列をσｚ（ｔ）結合係数をζｚ（ｔ）とする。
【００２８】
まず、ステップＳ１５１において、パラメータ（結合係数、平均ベクトル、共分散行列）の初期値を入力する（前回値を入力する場合は、後に説明する）。続いて、これらのパラメータを繰り返し計算で収束させることにより求める。
【００２９】
すなわち、図２にて流れを示した以下の（１）→（２）→（３）→（４）→（５）の計算を収束するまで繰り返すものである。
（１）　特徴量パターンｘｊがｚ番目（ｚ＝１，２，…，ＮＧ）のＮ次元正規分布から生じた確率ωｚｊ（ｔ）を計算する（ステップＳ１５２）。
【００３０】
【数２】
2004109105.tif 000004
【００３１】
総和Σは結合する全てのＮ次元正規分布についておこなう。ここでＮ次元正規分布の式は（１）式に示したとおりである。
（２）　Ｑ（Φ｜Φ（ｔ））を最大とするようにｚ番目のＮ次元正規分布についての結合係数ζｚを更新する（ステップＳ１５３）。
ζｚ（ｔ＋１）＝｛Σωｚｊ（ｔ）｝／ＮＸ
総和ΣはＮＸ個の全てのデータ列についておこなう。
（３）　Ｑ（Φ｜Φ（ｔ））を最大とするようにｚ番目のＮ次元正規分布についての平均ベクトルμｚを更新する（ステップＳ１５４）。
μｚ（ｔ＋１）＝｛Σωｚｊ（ｔ）ｘｊ｝／（ＮＸ・ζｚ（ｔ＋１））
総和ΣはＮＸ個の全てのデータ系列についておこなう。
（４）　Ｑ（Φ｜Φ（ｔ））を最大とするようにｚ番目のＮ次元正規分布についての共分散行列σｚを更新する（ステップＳ１５５）。
【００３２】
【数３】
σｚ（ｔ＋１）
＝｛Σωｚｊ（ｔ）（ｘｊ−μｚ（ｔ＋１））（ｘｊ−μｚ（ｔ＋１））ｔ｝／（ＮＸ・ζｚ（ｔ＋１））
【００３３】
総和ΣはＮＸ個の全てのデータ系列についておこなう。
（５）　必要に応じて、Ｎ次元正規分布の消滅処理（ステップＳ１５６）、Ｎ次元正規分布の分裂処理（ステップＳ１５７）を行う。これらの処理は、必ずしも行わなくてもよいので、後に詳しく説明する。
（６）　混合密度分布Ｐ（ｘ｜Φ（ｔ＋１））を計算する（ステップＳ１５８）。
【００３４】
【数４】
Ｐ（ｘ｜Φ（ｔ＋１））＝Σζｚφ（ｘ：μｚ（ｔ＋１），σｚ（ｔ＋１））
【００３５】
総和ΣはＮＧ個の全てのＮ次元正規分布についておこなう。
そして、計算が収束したかどうかを判断する（ステップＳ１５９）。この収束は、例えばパラメータ（結合係数、平均ベクトル、共分散行列）のうちの一つの前回との差が、所定値以下となったことにより判断することができる。
【００３６】
以上の計算において、結合するＮ次元正規分布の数を多くとると複雑な識別境界に対応できるが、収束性が悪くなるため事前に経験的に適当な値を決める。また結合するＮ次元正規分布の数は各疵種で必ずしも同じである必要はないので、要求される識別境界の複雑さと収束性から個別に選んでもよい。
【００３７】
また最初の学習で設定するＥＭアルゴリズムの初期値は、まずデータを１つの多次元正規分布に従うものとし、平均ベクトルと共分散行列を求め、共分散行列の初期値はその時の共分散行列そのものとし、平均ベクトルの初期値は、その多次元正規分布に従う乱数を計算機内部で発生させて結合する正規分布の数だけ決めてもよい。また、結合係数の初期値は、それぞれの多次元正規分布について全て同じ１／ＮＧ（ＮＧは結合する正規分布の数）としてもよい。ＥＭアルゴリズムの収束計算では、初期値の選び方によって大局的最適解ではなく、局所的最適解に捕らえられてしまう可能性がある。そのため、最初の学習においては、出力画面に表示された識別境界と確からしさの分布を見て、疵種識別境界が正しく行われなかったと判断される場合は、別の初期値を与えて計算をし直す必要がある。
【００３８】
この方法として、手動で初期値を入力し直す方法や、乱数を発生し直す方法が考えられるが、最初の学習でのＥＭアルゴリズムの収束計算については、いくつかの初期値について試行してみてその中で最適な解を選んでも大きな手間にはならない。
【００３９】
ＥＭアルゴリズムによる混合密度分布の推定においてＮ次元正規分布の共分散行列の行列式が０に近くなれば、（１）式を演算する際にオーバーフローが発生する。共分散行列の行列式が０に近くなるのはＮ次元正規分布のある変数間にて相関が極端に強いことを示し、その最たる場合は分布が点状になることを意味する。このようないびつなＮ次元正規分布の生成も、ある局所的最適解への収束と考えることができる。
【００４０】
これを回避するには別の初期値から出発して適切な解に収束させることも考えられるが、そのようないびつなＮ次元正規分布は消去してしまうことも考えられる（図８（ａ））。ここで複数のＮ次元正規分布のうち、いびつな形になったものを消去した場合、結合するＮ次元正規分布の個数が減少する可能性がある。
【００４１】
またＮ次元特徴量空間に大きく広がりすぎたＮ次元正規分布を逆に分裂させることも考えられる（図８（ｂ））。このようにすれば、最初おおまかにクラスタリングした学習データを細かにクラスタリングし直すという動作を加えることができ、最終的に識別境界設定の精度が向上する。ここで複数のＮ次元正規分布のうち、大きく広がったものを分裂させた場合、結合するＮ次元正規分布の個数が増加する可能性がある。
【００４２】
このようにＮ次元正規分布が消滅と分裂を繰り返すことにより、初期に設定する数にあまり気をつかわなくとも、適切な個数となる。どのとき、どのように消滅又は分裂させるかどうかはＮ次元正規分布の共分散行列の固有値と正規直交固有ベクトルから決定することができる。
【００４３】
図２の「Ｎ次元正規分布の消滅処理」（Ｓ１５６）について図９のフローチャートに従って説明すると、またはＮ次元正規分布の各軸方向の広がりが小さいとき（Ｓ１５６３）、結合するＮ次元正規分布の数を１つ減らし（Ｓ１５６４）、その結合係数を残りの全ての正規分布に分配し（Ｓ１５６５）、該当する正規分布を消滅させる（Ｓ１５６６）。
【００４４】
それぞれのＮ次元正規分布は、その共分散行列σｋ，ｍのＮ個の正規直交固有ベクトル方向に広がる超楕円体のようになる。そして共分散行列σｋ，ｍの固有値と正規直交固有ベクトルの組を（λ１，ａ１）、（λ２，ａ２）、（λ３，ａ３）、・・・、（λＮ，ａＮ）とすれば、各軸方向の標準偏差に相当するばらつきは
ｂ１　＝　λ１１／２ａ１
ｂ２　＝　λ２１／２ａ２
ｂ３　＝　λ３１／２ａ３
・・・・・・・・
ｂＮ　＝　λＮ１／２ａＮ
であるから、これらいずれかの絶対値が予め決められた閾値（Ｄｍｉｎ）より小さいときに消滅させればよい。
【００４５】
α番目のＮ次元正規分布が消滅したとすると
ζ１（ｔ）→ζ１（ｔ）＝ζ１（ｔ）＋１／（ＮＣ−１）・ζα（ｔ）
ζ２（ｔ）→ζ２（ｔ）＝ζ２（ｔ）＋１／（ＮＣ−１）・ζα（ｔ）
ζ３（ｔ）→ζ３（ｔ）＝ζ３（ｔ）＋１／（ＮＣ−１）・ζα（ｔ）
・・・・・・・・
ζα（ｔ）→ζα（ｔ）＝０
・・・・・・・・
ζＮ（ｔ）→ζＮ（ｔ）＝ζＮ（ｔ）＋１／（ＮＣ−１）・ζα（ｔ）
と結合係数を分配して、以降はα番目のＮ次元正規分布を除いた（ＮＣ−１）個のＮ次元正規分布にてＥＭアルゴリズムによる混合密度分布の推定を行う。
【００４６】
図２の「Ｎ次元正規分布の分裂処理」（Ｓ１５７）について図１０のフローチャートに従って説明すると、Ｎ次元正規分布の各軸方向の広がりが大きいとき（Ｓ１５７３）、結合するＮ次元正規分布の数を１つ増やし（Ｓ１５７４）、その該当するＮ次元正規分布の結合係数の分裂（Ｓ１５７５）、共分散行列の分裂（Ｓ１５７６）、平均ベクトルの分裂（Ｓ１５７７）を後述する規則にて行う。
【００４７】
それぞれのＮ次元正規分布は、その共分散行列σｋ，ｍのＮ個の正規直交固有ベクトル方向に広がる超楕円体のようになる。そして共分散行列σｋ，ｍの固有値と正規直交固有ベクトルの組を（λ１，ａ１）、（λ２，ａ２）、（λ３，ａ３）、・・・、（λＮ，ａＮ）とすれば、各軸方向の標準偏差に相当するばらつきは
ｂ１　＝　λ１１／２ａ１
ｂ２　＝　λ２１／２ａ２
ｂ３　＝　λ３１／２ａ３
・・・・・・・・
ｂＮ　＝　λＮ１／２ａＮ
であるから、これらいずれかの絶対値が予め決められた閾値（Ｄｍａｘ）より大きいときに分裂させればよい。
【００４８】
β番目のＮ次元正規分布が分裂したとすると、その後の結合係数ζβ１（ｔ），ζβ２（ｔ）は元の結合係数ζβ（ｔ）を
ζβ（ｔ）→ζβ１（ｔ）＝１／２ζβ（ｔ），ζβ２（ｔ）＝１／２ζβ（ｔ）
のように等分したものとし、
また共分散行列σβ１（ｔ），σβ２（ｔ）は
σβ（ｔ）→σβ１（ｔ）＝ｈσβ（ｔ），σβ２（ｔ）＝ｈσβ（ｔ）
のように元の共分散行列σβ（ｔ）に定数（ｈ＜１）を乗じたものとし、
また平均ベクトルμβ１（ｔ），μβ２（ｔ）は、
μβ（ｔ）→μβ１（ｔ）＝μβ（ｔ）＋Δμβ，μβ２（ｔ）＝μβ（ｔ）−Δμβ
のように元の平均ベクトルμβ（ｔ）から分裂させる方向ｂβの延長線上（Δμβとｂβは平行）に等しい間隔だけ離れたものとする。
すなわち対応する正規直交固有ベクトルをｂβ＝（ｂβｘ，ｂβｙ）とすると
【００４９】
【数５】
2004109105.tif 000005
【００５０】
であり、
Δμβ＝Δｋ（ｃｏｓθβ，ｓｉｎθβ）
となる。
【００５１】
以上のようにして消滅と分裂を繰り返し、結合する正規分布の個数を変えてＥＭアルゴリズムによる混合密度分布の推定を行う。ここで許容するＮ次元正規分布の広がりの範囲（Ｄｍｉｎ，Ｄｍａｘ）をあまりに狭くとりすぎると、ＥＭアルゴリズムによる混合密度分布の推定の収束性が悪くなることがある。あらかじめ採取データや模擬データなどにて演算をおこない、収束性と結果の精度を確認しておくことが好ましい。
【００５２】
操業状態の変化等のため疵種識別境界設定を修正しなければなくなり、またそのための新たな学習データが蓄積されたときは、前回の混合密度分布を特徴づける平均ベクトル、共分散行列、結合係数などのパラメータを初期値としてＥＭアルゴリズムによって更新し、疵種識別境界設定を修正するようにすることが好ましい。疵種分類の多くの場合、操業状態の変化等による疵種分類境界の修正は大きなものではないので、局所的最適解に捕らえられてしまう可能性は少ない。
【００５３】
実際には各疵種について並行して繰り返し計算を行う。そして、疵種αｋが特徴量パターンｕを生起する確率をＰ（ｕ｜αｋ）＝Ｐ（ｕ｜Φｋ（ｔ＋１））として求め、次の計算をおこなう。
【００５４】
ＥＭアルゴリズムの繰り返し計算の収束は、２次元の場合は画面に表示された識別境界と確からしさの分布を見て確認するが、３次元以上の場合は図３の（２）に代表されるような２次元断面の観察と、それぞれのカテゴリでの対数尤度の変化により確認する。
【００５５】
対数尤度は確率密度関数がＰ（ｘ｜Φｋ（ｔ＋１））のとき
Ｌ＝ΣｌｏｇＰ（ｘｉ｜Φｋ（ｔ＋１））
（総和は全ての観測データｘｉについておこなう）
と表され、収束が進むにつれて増加し、完了すると変化しなくなる。また対数尤度の代わりに平均ベクトルと共分散行列の各成分の変化を観察してもよい。また大きな次元の場合、カルーネン・レーベ展開や主成分分析などで次元を小さくしてから上の識別境界設定をおこなうとよい。
【００５６】
欠陥種類および有害度について分類するためにベイズの定理に基づいた決定をおこなう（ステップＳ１６）。分類すべき欠陥種類または有害度を広く疵種と呼ぶことにすると特徴量パターンｕが与えられたとき、その疵種をαｋとする確率をＰ（αｋ｜ｕ）、疵種αｋが特徴量パターンｕを生起する確率をＰ（ｕ｜αｋ）、疵種αｋの生起する事前確率をＰ（αｋ）、特徴量パターンｕの生起確率をＰ（ｕ）とすれば、ベイズの定理により
Ｐ（αｋ｜ｕ）＝Ｐ（ｕ｜αｋ）Ｐ（αｋ）／Ｐ（ｕ）
【００５７】
ここでＰ（ｕ）は疵種によらず、Ｐ（ｕ｜αｋ）は上で述べた混合分布に対するＥＭアルゴリズムによって求める。また事前確率Ｐ（αｋ）はデータ採取がランダムサンプリングと仮定できるのならＰ（αｋ）＝Ｎｋ／ΣＮｌ（Ｎｌは系列ｌについて得られたデータ数であり、総和は全ての系列についてとる）とするのが自然であるが、データ採取についてそのような仮定が成り立たない場合はＰ（αｋ）＝１／ｃ（ｃは系列数）のように意図的に全ての疵種について同じにしてもよいし、ある特定の誤識別に伴う損失が著しく大きいなど特定の疵種をより正しく識別したい場合はそのときのＰ（αｋ）を他の事前確率に対して大きく見積もってもよい。すなわちＰ（αｋ）は調整係数として機能する。
【００５８】
Ｐ（ｕ）は疵種によらないため、
Ｐ’（αｋ｜ｕ）＝Ｐ（ｕ｜αｋ）Ｐ（αｋ）
を求め、最もＰ’（αｋ｜ｕ）が高いものを疵種とするような識別境界の設定を行い図３（１）のようにテーブルに書き込む。また、このテーブルは計算毎、ＣＲＴ等に描画しオペレータに表示するようにしてもよい。
【００５９】
つぎに特徴量空間全域について、判断の確からしさとして情報のエントロピーを求め、テーブルに書き込む（ステップＳ１７）。情報のエントロピーは事象の予測しやすさを表現する量であり、事象ｌの生成確率をＰｌ（ただしΣＰｌ＝１，総和は起こる事象全てについてとる）とすると
Ｈ＝−ΣＰｌｌｏｇＰｌ　（総和は起こる全ての事象についてとる）
という式で表される。全ての事象が同じ確率で起こる最も予測しにくいとき情報のエントロピーは最大となり、ある事象だけが起こり（すなわちその生成確率＝１）他の事象が全く起こらない（すなわちその生成確率＝０）という、最も予測しやすいとき、情報のエントロピーは最低値０になる。
【００６０】
この量は今回の場合は判断の確からしさを表す、判別境界の近くなど判断に迷う部分では情報のエントロピーは高くなり、確からしさが低く、判別境界の内側など判断に自信のある場所では情報のエントロピーが低くなり確からしさが高くなる。今回は多次元の特徴量パターンｕｎが与えられたとき、上でベイズの定理より計算したＰ’（αｋ｜ｕｎ）を
Ｐ”（α１｜ｕｎ）＝Ｐ’（α１｜ｕｎ）／ΣＰ’（αｌ｜ｕｎ）
Ｐ”（α２｜ｕｎ）＝Ｐ’（α２｜ｕｎ）／ΣＰ’（αｌ｜ｕｎ）
Ｐ”（α３｜ｕｎ）＝Ｐ’（α３｜ｕｎ）／ΣＰ’（αｌ｜ｕｎ）
…
Ｐ”（αｋ｜ｕｎ）＝Ｐ’（αｋ｜ｕｎ）／ΣＰ’（αｌ｜ｕｎ）
…
のようにΣＰ”（αｌ｜ｕｎ）＝１（総和は全ての疵種についてとる）となるよう規格化してから上式で情報のエントロピーを計算し、図３（２）のように確からしさをテーブルに書き込めばよい。このエントロピーを表示するようにすれば、判断の確からしさを判断することができる。
【００６１】
ステップＳ１８においては、このエントロピーの量を見たり、実際の識別境界を画面で見たりして、識別境界が適当なものであるかを判定する。そして、判別境界が不適当なものであると判断した場合は、ステップＳ２０に移行して、ＥＭアルゴリズムの初期値を変えてステップＳ１５に戻り、再度計算を行う。適当なものであると判断されれば、ステップＳ１９に移行し、平均ベクトル、共分散行列、結合係数等のパラメータ、及び識別境界と確からしさをテーブルに保存して終了する。
【００６２】
ここで確からしさは、Ｎ次元特徴量空間の各点毎の確からしさである。例えば、Ｎ次元特徴量空間と特徴量パターンｕが欠陥カテゴリＡに分類されたとき、その点ｕが欠陥カテゴリＡであることの確からしさを表すものである。具体的には前に述べたエントロピーのような量がこれに相当する。
【００６３】
以上の説明においては、Ｎ次元特徴量空間全域に亘って識別境界を設定する方向で説明した。しかしながら学習データとして入力されるＮ次元の特徴量パターンは有限の範囲において観測される。すなわちＮ次元特徴量空間は有界領域である。Ｎ次元特徴量空間の外部では学習データが観測されないことからＮ次元特徴量空間の縁の近傍ではクラスタリングのためのデータが不足してしまう。そのため図６のように推定される混合密度分布の信頼性が低くなる。
【００６４】
そこで図５に示すように、混合密度分布の推定による手法をＮ次元特徴量空間の縁近傍を除いた内部に限定して適用したほうがよい場合が多い。その際、Ｎ次元特徴量空間の縁の近傍においては、従来からよく知られたｉｆ　ｔｈｅｎ　ｅｌｓｅ文によるツリー型の論理などを使用して識別境界を設定するか、混合密度分布の推定により得られた結果を外挿して識別境界を設定する。だだしこれらの場合でも通常、学習データ系列は特徴量空間全域に渡って得られた学習データを全て採用する。Ｎ次元特徴量空間の縁近傍の混合密度分布によらず識別境界が設定される部分については確からしさの指標である情報のエントロピーを０（最も判断が確からしい領域）としておく。このようにすれば識別境界の設定の柔軟性および安定性の両者で効果的である。
【００６５】
オンラインでの欠陥識別時においては画像処理装置にて観測された特徴量パターンが識別境界テーブル上で対応する点をもとめて疵種を決定する。複数の表面欠陥検出手段がある場合は同様に確からしさテーブル上で対応する点をもとめて比較し、それが最も高いものを信頼できる最終的な疵種分類結果とする。
【００６６】
以上に述べたような、特徴量空間を占める疵種についての新たなデータ列がオペレータの目視判断による分類と共に学習データ保存装置に蓄積され、また操業状態の変化等のため疵種識別境界設定を修正しなければならないとき、学習演算装置内の前回の混合密度分布を特徴づける平均ベクトル、共分散行列、結合係数などのパラメータを初期値としてＥＭアルゴリズムによって更新し、疵種識別境界設定を修正する。これが、図２のステップＳ１５１において、パラメータの前回値を入力することに相当する。
【００６７】
以下、本発明を，鉄鋼分野の熱間圧延プロセスの光学式表面欠陥検出装置に適用した例について述べる。
【００６８】
図７は本実施例における熱間圧延プロセスの概要である．圧延ロールは７段になっており，入り側最初のロールをＮｏ．１，最終ロールをＮｏ．７ロールとする。入り側より１３００℃程度の温度のスラブが挿入され，次第に圧延されて，Ｎｏ．７ロール出口で１ｍｍ程度にまで圧延される．ここでの鋼板移動速度は２０ｍ／ｓｅｃ程度，鋼板の幅は１０００ｍｍである。
【００６９】
撮像のための光源としては，例えばメタルハライド２５０Ｗランプの光をバンドルファイバーで線状に形成し，シリンドリカルレンズで集光して鋼板表面を照らす。受光はラインセンサカメラを用いる。カメラの画素数は１０２４であり，１０００ｍｍの板幅を見るので，横方向の画素分解能は１ｍｍである。カメラコントローラ１は、ロールに設けられたロータリエンコーダより信号を受け取って、鋼板が１ｍｍ進むごとにカメラにトリガ信号を送る。カメラはコイルの全長に亘ってトリガ信号が入った時のみ逐次、１０２４ラインの画像信号を出力するので，鋼板の運転速度が変化しても，画像メモリ内では常に１画素が実際の鋼板での縦横１ｍｍの像に相当している。得られた情報は画像メモリ２に蓄積する。
【００７０】
図７に従って処理の流れを説明すると、まず画像データの欠陥候補から得られる多次元の特徴量を画像処理装置３にて求め、オペレータの目視判断による疵種分類と共に学習データ入力装置４に入力し、学習データ保存装置５に蓄積しておく。ここで多次元の特徴量は例えば欠陥の幅、欠陥の長さ、濃度積算値の３次元である。
【００７１】
全ての疵種についてデータが所定の数以上集まったなら、オペレータが設定盤１１の学習開始ボタンを押すと、学習演算装置６が疵種分類の計算をおこなう。まずおのおのの疵種について混合密度分布をＥＭアルゴリズムによって求め確率論的にクラスタリングする。経験から予想されるＮ次元正規分布の個数を初期に設定して、混合密度分布の推定演算を始める。演算のなかで結合させるＮ次元正規分布がＮ次元空間に充分に広がっていない場合は消滅させ、大きく広がっている場合は分裂させる。以上のようにして消滅と分裂を繰り返し、結合する正規分布の個数を変えながらＥＭアルゴリズムによる混合密度分布を推定する。そして多次元の特徴量空間での各点についてベイズの定理に基づいて疵種を判断し識別境界を設定すると同時に確からしさ（情報のエントロピー）も計算する。
【００７２】
計算した結果は、それぞれ識別境界テーブル７と確からしさテーブル８に書き込む。識別境界と識別の確からしさは、計算の繰り返しごとに結果表示装置１０に表示する。解の収束は結果表示装置１０でのｘ、ｙ、ｚの各軸で切った複数の断面の観察と、それぞれのカテゴリについての対数尤度の変化によって判断し、オペレータがこれらを見て分類できたと判断したなら停止ボタンを押して計算を終了する。対数尤度の変化量が所定値以下となったら、分類できたと判断して自動的に計算を終わらせるようにしてもよい。
【００７３】
解が収束したならば最終的な識別境界設定としては３次元特徴量空間の内側の領域だけに上記の手法の結果を適用し、縁の近傍では従来からよく知られたｉｆ　ｔｈｅｎ　ｅｌｓｅ文によるツリー型の論理などを使用して識別境界を設定するか、上記の手法により得られた結果を外挿して識別境界を設定する。このようにすれば識別境界の設定の柔軟性および安定性の両者で効果的である。
【００７４】
表面欠陥検出手段が複数あり、それらの結果を統合して最終結果を求めたい際は、全ての測定手段について上記の演算を行い、それぞれの判断の確からしさを比較して最終的な判断結果とする。
【００７５】
オンラインでの疵種判別を高速化するために、上の学習計算による最終的な判断結果をテーブルに記憶しておくのが理想的であるが、特徴量の次元数が大きかったり特徴量空間が広かったりして計算機のメモリが足りない場合は平均ベクトル、共分散行列、結合係数などのパラメータだけを記憶しておいてもよい。
【００７６】
学習計算の後にオンラインで欠陥識別装置９にて光学式表面欠陥検出装置で検出した欠陥の多次元特徴量について疵種を判別する。最終的な判断結果をテーブルに記憶しておいた場合は画像処理装置９にて検出した欠陥の特徴量を得て、その特徴量がＮ次元特徴量空間のどの位置を占めるかを求め、その位置に対応する疵種を判別境界テーブル７から、確からしさを情報の確からしさテーブル８から読みこみ、結果表示装置１０にて帳票等に記録すれば、この系での識別は一瞬で終わる。
【００７７】
別の表面欠陥検出手段によっても同様の手法で識別境界が得られているならば、多次元の特徴量空間での各点について全ての測定手段から得られた識別境界テーブルと確からしさテーブルを参照して対応する疵種を求め、それらの判断の確からしさを比較し、最も確からしいものを最終的な判断結果とする。
【００７８】
平均ベクトル、共分散行列、結合係数といったパラメータだけを記憶しておいた場合は、検出した欠陥の特徴量について、それらのパラメータから各表面欠陥検出手段での疵種と確からしさを計算した後、すべての表面欠陥検出手段にて確からしさを比較し、最も確からしさの高い判断結果を最終的な判断結果として出力する。
【００７９】
以上に述べた疵種識別境界設定方法において、同様の特徴量空間を占める複数の疵種についての新たなデータ列がオペレータの目視判断による分類と共に学習データ保存装置５に蓄積され、また操業状態の変化などにより疵種識別境界設定を修正する必要が生じたときは、学習演算装置６内のメモリに保存しておいた前回の混合密度分布を特徴づける平均ベクトル、共分散行列、結合係数などのパラメータを初期値としてＥＭアルゴリズムによって更新し、疵種識別境界設定を修正する。
【００８０】
【発明の効果】
以上説明したように、本発明によれば、特殊な技術をもたないオペレータでも簡便に複雑な欠陥分類が実現され、労力が大幅に削減されるとともに操業状態の変化に迅速に対応した評価が可能となるような表面欠陥検出における疵種分類境界設定方法、及びこの方法を利用した表面欠陥検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の１例における表面欠陥検出における、疵種分類境界設定方法の学習計算の流れを示すフローチャートである。
【図２】図１に示したフローチャートにおけるＥＭアルゴリズムの詳細を示す図である。
【図３】識別境界と確からしさの表示例示す図である。
【図４】２次元のデータを１つの正規分布と５つの正規分布でクラスタリングした結果を示す図である。
【図５】混合密度分布の推定による手法をＮ次元特徴量空間の縁近傍を除いた内部に限定して適用した例を示す図である。
【図６】Ｎ次元特徴量空間の縁の近傍で、クラスタリングのためのデータの不足に起因して混合密度分布の信頼性が低くなることを示す図である。
【図７】本発明を鉄鋼分野の熱間圧延プロセスに光学式表面欠陥検出に適用した例における装置構成を示す図である。
【図８】Ｎ次元正規分布の消滅と分裂の様子を示す図である。
【図９】図２に示したフローチャートにおけるＮ次元正規分布の消滅処理の詳細を示す図である。
【図１０】図２に示したフローチャートにおけるＮ次元正規分布の分裂処理の詳細を示す図である。
【符号の説明】
１：カメラコントローラ
２：画像メモリ
３：画像処理装置
４：学習データ入力装置
５：学習データ保存装置
６：学習演算装置
７：識別境界テーブル
８：確からしさテーブル
９：欠陥識別装置
１０：結果表示装置
１１：設定盤
【図１】
2004109105.tif 000006
【図２】
2004109105.tif 000007
【図３】
2004109105.tif 000008
【図４】
2004109105.tif 000009
【図５】
2004109105.tif 000010
【図６】
2004109105.tif 000011
【図７】
2004109105.tif 000012
【図８】
2004109105.tif 000013
【図９】
2004109105.tif 000014
【図１０】
2004109105.tif 000015