(57)【特許請求の範囲】
【請求項１】
学習データの母集団により形成されたクラスタ各々に、入力データを、該入力データが有する特徴量により分類するクラスタリングシステムにおいて、
前記クラスタ各々に対応して、分類に用いる特徴量の組合せである特徴量セットが記憶されている特徴量セット記憶部と、
入力データから予め設定されている特徴量を抽出する特徴量抽出部と、
各クラスタに対応した特徴量セット毎に、該特徴量セットに含まれる特徴量に基づいて、各クラスタの母集団の中心と前記入力データとの距離を、各々セット距離として計算して出力する距離計算部と、
前記各セット距離を小さい順に配列する順位抽出部と
を有し、
前記特徴量セットが各クラスタ毎に複数設定され、
前記特徴量セット毎に得られた前記セット距離において、該セット距離の順位に基づいて設定された入力データの各クラスタへの分類基準を示す規則パターンにより、前記入力データがいずれのクラスタに属するかを検出するクラスタ分類部を
さらに有することを特徴とするクラスタリングシステム。
【請求項２】
前記クラスタ分類部が、前記セット距離の順位により、前記入力データがいずれのクラスタに属するかを検出し、該順位が上位となったセット距離が多いクラスタを、前記入力データの属するクラスタとして検出する請求項１に記載のクラスタリングシステム。
【請求項３】
前記クラスタ分類部が、順位が上位となった数に対する閾値を有しており、上位となったクラスタが該閾値以上であれば入力データの属するクラスタとして検出する請求項２に記載のクラスタリングシステム。
【請求項４】
前記距離計算部が、前記セット距離に対して特徴量セット対応して設定されている補正係数を乗算し、各特徴量セット間におけるセット距離を標準化することを特徴とする請求項１から請求項３のいずれか一項に記載のクラスタリングシステム。
【請求項５】
各クラスタ毎の特徴量セットを作成する特徴量セット作成部をさらに有し、
前記特徴量セット作成部が、各特徴量の複数の組合せ毎に、各クラスタの母集団の学習データの平均値を原点とし、この原点と他のクラスタの母集団の各学習データとの距離の平均値を求め、最も大きな平均値となった特徴量の組合せを、各クラスタの他のクラスタとの識別に用いる特徴量セットとして選択する請求項１から請求項４のいずれか一項に記載のクラスタリングシステム。
【請求項６】
前記請求項１から請求項５のいずれか一項に記載のクラスタリングシステムが設けられ、
前記入力データが製品の欠陥の画像データであり、欠陥を示す特徴量により、画像データにおける欠陥を、欠陥の種類別に分類する欠陥種類判定装置。
【請求項７】
前記製品がガラス物品であり、該ガラス物品の欠陥を、欠陥の種類別に分類する請求項６に記載の欠陥種類判定装置。
【請求項８】
請求項６または請求項７に記載の欠陥種類判定装置が設けられた、製品の欠陥の種別を検出する欠陥検出装置。
【請求項９】
請求項６または請求項７に記載の欠陥種類判定装置が設けられた、製品の欠陥の種別を行い、該種別に対応した発生要因との対応に基づき、製造プロセスにおける欠陥の発生要因の検出を行う製造状態判定装置。
【請求項１０】
前記請求項１から請求項５のいずれか一項に記載のクラスタリングシステムが設けられ、
前記入力データが製品の製造プロセスにおける製造条件を示す特徴量であり、この特徴量を、製造プロセスの各工程の製造状態別に分類する製造状態判定装置。
【請求項１１】
前記製品がガラス物品であり、該ガラス物品の製造プロセスにおける特徴量を、製造プロセスの各工程の製造状態別に分類する請求項１０に記載の製造状態判定装置。
【請求項１２】
請求項１０または請求項１１に記載の製造状態判定装置が設けられた、製品の製造プロセスの各工程における製造状態の種別を検出する製造状態検出装置。
【請求項１３】
請求項１０または請求項１１に記載の製造状態判定装置が設けられた、製品の製造プロセスの各工程における製造状態の種別の検出を行い、該種別に対応した制御項目に基づき、製造プロセスの工程におけるプロセス制御を行う製品製造管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出対象物の画像における欠陥部分の部分画像を切り出し、この部分画像から欠陥の特徴信号を抽出して、欠陥の種別を分類するクラスタリングシステム、欠陥種類判定装置に関する。
【背景技術】
【０００２】
未知データと学習データとの距離、例えばマハラノビス（Mahalanobis  generalized  distance）距離によるクラスタリング手法は従来から一般的に行われている。すなわち、未知データが事前に学習した母集団としてのクラスタに属するか否かを判定することにより分類され、クラスタリング処理が行われる。たとえば、複数クラスタに対するマハラノビス距離の大小により、未知データがいずれの母集団のクラスタに属するかの判定が行われている（たとえば、特許文献１参照）。
また、上述した距離を効率的に計算するため、複数の特徴量を選択してクラスタリングの処理を行うことが行われている。【０００３】
また、多数の識別器（classifier）より得られた結果の投票により、その未知データが帰属するクラスタの判定を行う手法も一般的であり、異なるセンサの出力の識別結果、または一つの画像上の異なる領域に対する未知データの識別における識別結果等が用いられている（たとえば、特許文献２参照）。
上記クラスタリング手法により、血液検査の結果得られたパラメータによる病気の診断、すなわちいずれの病気に属するかのクラスタリングにおいて、複数のクラスタにおける２つのクラスタずつの組み合わせを設定し、この組合せごとに、被検データがいずれかのクラスタに類似すると判定されるかを全ての組み合わせに対して行い、その判定の数の集計結果により、判定された数の多いクラスタに分類されると決定する手法がある（たとえば、特許文献３）。【０００４】
ＬＣＤガラス基板に付けられた各欠陥を、予め設定されている欠陥種類毎に分類する際、分類する際の識別に対応させて、分類に用いる各特徴量の最適化を行い、この最適化に対応するように、各特徴量に対してそれぞれ重み付けを行い、この最適化された特徴量を用いて、いずれのクラスタに属するかの判定を行うクラスタリングが行われている（例えば、特許文献４）。
【特許文献１】特開２００５−２１４６８２号公報
【特許文献２】特開２００１−５６８６１号公報
【特許文献３】特開平０７−１０５１６６号公報
【特許文献４】特開２００２−９９９１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献３に示すクラスタリングにあっては、個々の組み合わせの最適化が行われておらず、判別材料となる特徴量を活かしきれておらず、かつ判別すべきクラスタが多くなると、組み合わせ数が膨大となり、判定処理にかかる時間が増大してしまうという問題がある。
また、特許文献４に示すクラスタリングにあっては、判定率を元に、特徴量に重みを付け判別精度を向上させようとしているが、クラスタ毎の特徴量の最適化の概念が無く、上述した特許文献３と同様に、特徴量が生かし切れていないため、高い精度の分類が行われない欠点がある。【０００６】
本発明は、このような事情に鑑みてなされたもので、属するクラスタに分類する対象である分類対象データから抽出された特徴量を判別する際に活かし、従来例に比し、より高速に、より高精度に分類対象データを分類する、例えばガラス面に付いた欠陥を、欠陥種類に対応したクラスタに分類することができるクラスタリングシステム、欠陥種類判定装置を提供する。
【課題を解決するための手段】
【０００７】
上述した課題を解決するため、本発明においては、分類対象データと、各クラスタとの間の距離を同一の種類の特徴量にて算出して分類先を決定する従来例とは異なり、各クラスタ間にて差分を得ることができる特徴量のセットをクラスタ毎に設定し、それぞれのクラスタとの間にて異なる特徴量にて距離を求めているため、従来に比較してより精度の高い分類を行うこととなる。
上述した特徴量のセットは、各クラスタに属する学習データの特性に基づいて行うため、他のクラスタと区別が可能な特徴量にて構成されている。
すなわち、本発明は以下の構成を採用した。【０００８】
本発明のクラスタリングシステムは、学習データ（learning data）の母集団（population）により形成されたクラスタ各々に、入力データ（input data）を、該入力データが有する特徴量（parameter）により分類するクラスタリングシステムにおいて、クラスタ各々に対応して、分類に用いる特徴量の組合せである特徴量セット（parameter set）が記憶されている特徴量セット記憶部と、入力データから予め設定されている特徴量を抽出する特徴量抽出部と、各クラスタに対応した特徴量セット毎に、該特徴量セットに含まれる特徴量に基づいて、各クラスタの母集団の中心と前記入力データとの距離を、各々セット距離として計算して出力する距離計算部と、前記各セット距離を小さい順に配列する順位抽出部とを有し、前記特徴量セットが各クラスタ毎に複数設定され、前記特徴量セット毎に得られた前記セット距離において、該セット距離の順位に基づいて設定された入力データの各クラスタへの分類基準を示す規則パターンにより、前記入力データがいずれのクラスタに属するかを検出するクラスタ分類部をさらに有することを特徴とする。
【００１１】
本発明の好ましいクラスタリングシステムは、前記クラスタ分類部が、前記セット距離の順位により、前記入力データがいずれのクラスタに属するかを検出し、該順位が上位となったセット距離が多いクラスタを、前記入力データの属するクラスタとして検出する。【００１２】
本発明の好ましいクラスタリングシステムは、前記クラスタ分類部が、順位が上位となった数に対する閾値を有しており、上位となったクラスタが該閾値以上であれば入力データの属するクラスタとして検出する。【００１３】
本発明の好ましいクラスタリングシステムは、前記距離計算部が、前記セット距離に対して特徴量セット対応して設定されている補正係数を乗算し、各特徴量セット間におけるセット距離を標準化することを特徴とする。【００１４】
本発明の好ましいクラスタリングシステムは、各クラスタ毎の特徴量セットを作成する特徴量セット作成部をさらに有し、前記特徴量セット作成部が、各特徴量の複数の組合せ毎に、各クラスタの母集団の学習データの平均値を原点とし、この原点と他のクラスタの母集団の各学習データとの距離の平均値を求め、最も大きな平均値となった特徴量の組合せを、各クラスタの他のクラスタとの識別に用いる特徴量セットとして選択する。【００１５】
本発明の欠陥種類判定装置は、上記記載のクラスタリングシステムのいずれかが設けられ、前記入力データが製品の欠陥の画像データであり、欠陥を示す特徴量により、画像データにおける欠陥を、欠陥の種類別に分類する。
本発明の好ましい欠陥種類判定装置は、前記製品がガラス物品であり、該ガラス物品の欠陥を、欠陥の種類別に分類する。【００１６】
本発明の欠陥検出装置は、上記欠陥種類判定装置が設けられた、製品の欠陥の種別を検出する。【００１７】
本発明の製造状態判定装置は、上記記載の欠陥種類判定装置が設けられた、製品の欠陥の種別を行い、該種別に対応した発生要因との対応に基づき、製造プロセスにおける欠陥の発生要因の検出を行う。【００１８】
本発明の好ましい製造状態判定装置は、上記記載のクラスタリングシステムのいずれかが設けられ、前記入力データが製品の製造プロセスにおける製造条件を示す特徴量であり、この特徴量を、製造プロセスの各工程の製造状態別に分類する。
本発明の好ましい製造状態判定装置は、前記製品がガラス物品であり、該ガラス物品の製造プロセスにおける特徴量を、製造プロセスの各工程の製造状態別に分類する。【００１９】
本発明の製造状態検出装置は、上記記載の製造状態判定装置が設けられた、製品の製造プロセスの各工程における製造状態の種別を検出する。【００２０】
本発明の製品製造管理装置は、上記記載の製造状態判定装置が設けられた、製品の製造プロセスの各工程における製造状態の種別の検出を行い、該種別に対応した制御項目に基づき、製造プロセスの工程におけるプロセス制御を行う。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、分類先のクラスタ毎に、分類対象データの有する複数の特徴量から、他のクラスタとの距離が遠くなる最適な特徴量の組合せを予め設定しておき、分類対象データと各クラスタとの間における距離をそれぞれ計算し、この計算された距離が最も小さいクラスタに、分類対象データを分類するため、従来の手法に比較して、より正確に分類対象データを対応するクラスタに分類することができる。
また、本発明によれば、クラスタ毎に上記組合せを複数設定し、全クラスタと分類対象データとの計算結果の距離を小さい順にならべて、予め設定した数の上位グループに含まれる数が最も多いクラスタに、分類対象データを分類するため、従来に比較して精度の高い分類が行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１および第２の実施形態によるクラスタリングシステムの構成例を示すブロック図である。
【図２】判別基準値λによる特徴セットの選択に対する処理を説明するテーブルである。
【図３】判別基準値λによる特徴セットの選択に対する処理を説明するテーブルである。
【図４】判別基準値λによる特徴セットの選択に対する効果を説明するヒストグラムを示す図である。
【図５】第１の実施形態による各クラスタに対する特徴量セットを選択する処理における動作例を示すフローチャートである。
【図６】第１の実施形態による分類対象データに対するクラスタリングの処理における動作例を示すフローチャートである。
【図７】第２の実施形態におけるクラスタリングの処理に用いる規則パターンのテーブルを生成する動作例を示すフローチャートである。
【図８】第２の実施形態による分類対象データに対するクラスタリングの処理における動作例を示すフローチャートである。
【図９】第２の実施形態による分類対象データに対する他のクラスタリングの処理における動作例を示すフローチャートである。
【図１０】第３の実施形態による分類対象データに対するクラスタリングの処理における動作例を示すフローチャートである。
【図１１】特徴量の変換方法としての演算式を設定する動作例を示すフローチャートである。
【図１２】図１１のフローチャートにおける評価値の算出の動作例を示すフローチャートである。
【図１３】設定された変換方法を用いて変換した特徴量を用いた距離の算出の動作例を示すフローチャートである。
【図１４】各クラスタに属する学習データを示すテーブルである。
【図１５】図１４の学習データを従来例によるクラスタリング方法により分類した結果を示す結果テーブルである。
【図１６】全体補正判定率の算出方法を説明する概念図である。
【図１７】図１４の学習データを第１の実施形態におけるクラスタリングシステムにより分類した結果を示す結果テーブルである。
【図１８】図１４の学習データを第２の実施形態におけるクラスタリングシステムにより分類した結果を示す結果テーブルである。
【図１９】図１４の学習データを第２の実施形態におけるクラスタリングシステムにより分類した結果を示す結果テーブルである。
【図２０】本発明のクラスタリングシステムを用いた検査装置の構成例を示すブロック図である。
【図２１】図２０の検査装置における特徴量セットの選択の動作例を示すフローチャートである。
【図２２】図２０の検査装置におけるクラスタリング処理の動作例を示すフローチャートである。
【図２３】本発明のクラスタリングシステムを用いた欠陥種類判定装置の構成例を示すブロック図である。
【図２４】本発明のクラスタリングシステムを用いた製造管理装置の構成例を示すブロック図である。
【図２５】本発明のクラスタリングシステムを用いた他の製造管理装置の構成例を示すブロック図である。
【符号の説明】
【００２３】
１…特徴量セット作成部
２…特徴量抽出部
３…距離計算部
４…特徴量セット記憶部
５…クラスタデータベース
１００…被検査物
１０１…画像取得部
１０２…照明装置
１０３…撮像装置
１０４…欠陥候補検出部
１０５…クラスタリング部
２００，３００…制御装置
２０１，２０２…画像取得装置
３０１，３０２…製造装置
３０３…告知部
３０４…記録部
【発明を実施するための最良の形態】
【００２４】
本発明のクラスタリングシステムは、学習データを母集団として形成されたクラスタ各々に、分類対象の入力データを、この入力データが有する特徴量により分類するクラスタリングシステムに関するものであり、前記クラスタ各々に対応して、分類に用いる特徴量の組合せである特徴量セットが記憶されている特徴量セット記憶部を有し、特徴量抽出部が予め設定されている該特徴量セットに基づいて、前記入力データから特徴量を抽出し、距離計算部が各クラスタに対応した特徴量セット毎に、該特徴量セットに含まれる特徴量に基づいて、母集団及び前記入力データとの距離を、各々セット距離として計算し、順位抽出部が各セット距離を小さい順に配列し、配列順に対応してクラスタへの分類を行うものである。【００２５】
＜第１の実施形態＞
以下、本発明の第１の実施形態によるクラスタリングシステムを図面を参照して説明する。図１は同実施形態によるクラスタリングシステムの構成例を示すブロック図である。
本実施形態のクラスタリングシステムは、図１に示すように、特徴量セット作成部１，特徴量抽出部２，距離計算部３，特徴量セット記憶部４およびクラスタデータベース５を有している。
特徴量セット記憶部４には、各クラスタの識別情報に対応して、クラスタ毎に個別に設定された、分類対象データの特徴量の組合せを示す特徴量セットが記憶されている。たとえば、分類対象データが特徴量の集合｛ａ，ｂ，ｃ，ｄ｝である場合、各クラスタの特徴量セットは［ａ，ｂ］，［ａ，ｂ，ｃ，ｄ］，［ｃ］等の種類の特徴量の組合せとして設定されている。以下の説明においては、前記特徴量の集合から、特徴量全ての組合せ，複数（前記例においては、集合のいずれか２つ，３つの特徴量）の組合せ，いずれか１つを、「特徴量の組合せ」と定義する。【００２６】
ここで、クラスタＡ，ＢおよびＣが分類先のクラスタとして設定されている場合、各クラスタに対応する特徴量セットは、各クラスタに予め分類されている学習データを用い、各クラスタと他のクラスタとの距離が最も大きくなる特徴量の組合せとして求められ、特徴量セット記憶部４に記憶されている。
たとえば、クラスタＡに対して設定されている特徴量セットは、クラスタＡに属する学習データの各特徴量の平均値からなるベクトルと、その他のクラスタＢおよびＣに属する学習データの各特徴量の平均値からなるベクトルとの距離が、最も大きくなる特徴量の組合せとして設定されている。
また、分類対象データと、各クラスタにおける母集団の学習データとは、同一の特徴量の集合から構成されている。【００２７】
特徴量抽出部２は、入力される分類対象データから、各クラスタとの距離を計算する際、計算対象となるクラスタに対応する特徴量セットを特徴量セット記憶部４から読み出し、この特徴量セットに対応した特徴量を、分類対象データの複数の特徴量から抽出し、抽出した特徴量を距離計算部３へ出力する。
距離計算部３は、クラスタデータベース５から、計算対象のクラスタの識別情報をキーとし、計算対象となるクラスタの学習データの各特徴量の平均値からなるベクトルを読み出し、このクラスタの特徴量セットに基づいて、分類対象データが抽出した特徴量からなるベクトルと、学習データの各特徴量の平均値からなるベクトル（クラスタにおける複数の学習データの重心位置を示す重心ベクトル）との距離を算出する。【００２８】
前記距離の計算を行う際、距離計算部３は、特徴量間のデータ単位の差異を無くし、特徴量間の数値を標準化するため、以下の（１）式により、分類対象データにおける各特徴量ｖ（i）毎に正規化を行っている。
Ｖ（i）＝  （ｖ（i）−avg.（i））／std.（i）            …（１）
ここで、ｖ（i）は特徴量であり、avg.（i）は計算対象のクラスタ内の学習データにおける特徴量の平均値であり、std.（i）は計算対象のクラスタ内の学習データにおける特徴量の標準偏差（standardized deviation）であり、Ｖ（i）は正規化された特徴量である。したがって、距離を計算する際に、距離計算部３は特徴量セット毎に各特徴量の規格化を行う必要がある。
また、距離計算部３は、前記正規化処理を、分類対象データにおける距離の計算に用いる特徴量毎に、学習データのそれぞれ対応する特徴量の平均値および標準偏差を用いて行う。【００２９】
また、距離としては、上述した標準化した特徴量を用いた標準化ユークリッド距離（standardized  Euclidean  distance），マハラノビス距離，ミンコフスキー距離（Minkowskydistance）などのいずれを用いてもよい。
ここで、マハラノビス距離を用いた場合、マハラノビス平方距離(Mahalanobis  squared distance)ＭＨＤは以下の（２）式により求められる。
ＭＨＤ＝（１／ｎ）・(ＶＴＲ−１Ｖ）                  …（２）
前記（２）式における行列Ｖにおける各要素Ｖ（i）は、未知データの多次元の特徴量ｖ（i）に対して、該当クラスタ内の学習データの特徴量の平均値avg.（i）と標準偏差ｓtd.（i）により、上述した（１）式により求めた特徴量である。ｎは自由度であり、本実施形態においては特徴量セット（後述）における特徴量の数である特徴量数を示している。これにより、マハラノビス平方距離はｎ個の変換された特徴量の差分を加算した数値であり、（マハラノビス平方距離）／ｎにより母集団平均の単位距離が１となる。また、ＶＴは特徴量ｖ（i）を要素とする行列Ｖの転置行列であり、Ｒ−１はクラスタ内の学習データにおける各特徴量間の相関行列(correlation  matrix)Ｒの逆行列である。【００３０】
特徴量セット作成部１は、前記距離計算部３が分類対象データと各クラスタとの間の距離を計算する際に用いる特徴量セットを、各クラスタ毎に算出し、算出結果を各クラスタの識別情報に対応して、特徴量セット記憶部４に書き込んで記憶させる。
特徴量セットを算出する際、特徴量セット作成部１は、各クラスタ毎に、特徴量セットを生成する対象クラスタに属する学習データの重心ベクトル(barycentric  vcctor)と、該対象クラスタを除いた他のクラスタすべてに属する学習データの重心ベクトルとの距離を基に、以下の（３）式により判別基準(discriminant  criterion)の値λを計算する。以下、特徴量の組合せを特徴量セットとして説明する。【００３１】
λ＝ωｏωｉ（μｏ−μｉ）２／（ωｏσｏ２＋ωｉσｉ２）      …（３）
前記（３）式において、μｉは「対象クラスタに属する学習データ（クラスタ内母集団）」の特徴量セットにおける特徴量の平均値からなる重心ベクトルである。σｉは該クラスタ内母集団に属する学習データの特徴量によるベクトルの標準偏差である。ωｉは全クラスタに属する学習データに対するクラスタ内母集団に属する学習データ数の比率である。また、μｏは「対象クラスタ以外のクラスタに属する学習データ（対象クラスタ外母集団）」の特徴量セットにおける特徴量の平均値からなる重心ベクトルである。σｏは該対象クラスタ外母集団に属する学習データの特徴量によるベクトルの標準偏差である。ω０は全クラスタに属する学習データにおけるクラスタ外母集団に属する学習データ数の比率である。ここで、（３）式における（μｏ−μｉ）は、ｌｏｇ（対数）および平方根とした数値を用いてもよい。また、ここで各ベクトルを計算する際、特徴量セット作成部１は、（１）式により、各特徴量毎に規格化された特徴量を計算して用いる。また、比率ωｉ及びωｏを予め演算された、分離が大きくなる数値として固有値を設定するようにしてもよい。【００３２】
そして、特徴量セット作成部１は、各対象クラスタ毎に、前記（３）式を用いて、他のクラスタとの前記判別基準値λを、学習データを構成する特徴量のいずれかまたは全ての組合せに対して計算し、計算された判別基準値λを大きい順に列べ、判別基準値λの順位リストを出力する。
ここで、特徴量セット作成部１は、最も大きな判別基準値λに対応する特徴量の組合せを、対象クラスタの特徴量セットとして、判別基準値λの値とともに、クラスタの識別情報に対応させて、特徴量セット記憶部４へ記憶する。【００３３】
上述した判別基準値λの決定は、図２（ａ）に示すように、特徴量セット作成部１は、各クラスタの特徴量セットの設定を行う際、学習データおよび分類対象データの特徴量がａ，ｂ，ｃ，ｄの４つである場合、この４つの特徴量全て，複数，いずれか１つの全組合せにおける判別基準値λを全て計算する。
そして、特徴量セット作成部１は、最も高い数値、たとえば、図２（ａ）においては、特徴量ｂ，ｃの組合せを選択する。【００３４】
また、他の判別基準値λの方法として、図２（ｂ）に記載したように、ＢＳＳ法、すなわち分類対象データの集合に含まれる特徴量ｎ個全てを用いた判別基準値λを演算し、次に特徴量ｎ個の集合からｎ−１個を取り出す組合せ全てに対し、判別基準値λを演算する。そして、そのｎ−１個の判別基準値λから最大値の組合せを選択し、今度は、このｎ−１個の特徴量からｎ−２個の組合せ全てに対し、判別基準値λを演算する。このように、順位、１個ずつ特徴量を集合から減少させて、減少させた特徴量の集合から、さらに１個減少させた組合せを選択して判別基準値λを演算して、少ない特徴量数で判別できる組合せを選択するよう、特徴量セット作成部１を構成してもよい。【００３５】
また、さらに、他の判別基準値λの方法として、図２（ｃ）に記載したように、ＦＳＳ法、すなわち分類対象データの集合に含まれる特徴量ｎ個から特徴量の全種類を１個ずつ読み出し、各特徴量の判別基準値λを演算し、この中から最大の判別基準値を有する特徴量を選択する。次に、この特徴量とそれ以外の特徴量との２つの特徴量からなる組合せを生成し、それぞれの組合せに対する判別基準値λを計算する。そして、その組合せの中から最大の判別基準値を有する組合せを選択する。次に、この組合せと、この組合せに含まれていない特徴量との３つの特徴量からなる組合せを生成し、それぞれの判別基準値λを生成する。このように、順次、直前の特徴量の組合せから最大の判別基準値λを有する特徴量を選択し、組合せの特徴量を組合せに対し、この組合せに存在しない特徴量を１個増加させ、増加させた組合せの特徴量の判別基準値λを計算し、この組合せから最大の判別基準値λを有する組合せを選択し、さらにこの組合せに存在しない特徴量を１個増加させた特徴量の組合せの判別基準値λを演算して、最終的に、判別基準値λを計算した全ての組合せから、判別基準値λが最大となる組合せを特徴量セットとして選択するよう、特徴量セット作成部１を構成してもよい。【００３６】
次に、判別基準値λによって、クラスタリングに用いる特徴量セットの選択の有効性を、図３および４により示す。
図３には、特徴量ａ，ｂ，ｃ，ｄ，ｅから、特徴量セットを選択する組合せとして、特徴量ａおよびｇの組合せと、特徴量ａおよびｈの組合せと、特徴量ｄおよびｅとの組合せを抽出し、これらの組合せから、クラスタ１と、クラスタ２および３とにおいて、従来例に比して高い分類特性を有する特徴量セットの選択について説明する。
図３において、μ1は前記μｉに、μ2は前記μｏに、σ1は前記σｉに、σ2は前記σｏに、ω1は前記ωｉ、ω2は前記ωｏにそれぞれ対応している。【００３７】
この中で、前記組合せにおいて、最も判別基準値λの値が大きいのは特徴量ａおよびｈの組合せであり、この組合せをクラスタ１と、それ以外のクラスタとの分離に用い、クラスタ１とそれ以外のクラスタ（クラスタ２及び３）との分類結果を図４により確認する。
図４において、横軸は特徴量の組合せを用いて演算したマハラノビス距離のｌｏｇの数値を示し、縦軸は対応する数値を有する分離対象データの数（ヒストグラム）を示している。ここで、横軸の数値１．４は、マハラノビス距離のｌｏｇの数値が１．４未満かつ１．２以上（１．４の左側の数値）であることを意味する。他の横軸上の数値も同様である。また、図４において１．４≦は１．４以上であることを表す。図４のマハラノビス距離は、クラスタ１に対応する特徴量セットを用いて、クラスタ１およびそれ以外のクラスタに属する分類対象データに対して各々計算したものである。
図４（ａ）が特徴量ａおよびｇの組合せを用いてマハラノビス距離を演算した例であり、図４（ｂ）が特徴量ａおよびｈの組合せを用いてマハラノビス距離を演算した例であり、図４（ｃ）が特徴量ｄおよびｅの組合せを用いてマハラノビス距離を演算した例です。
図４におけるヒストグラムを見ると、判別基準値λの数値が大きいと、クラスタ１と他のクラスタとの分類が良く行われていることが判る。【００３８】
次に、図５および図６を参照して、図１の第１の実施形態によるクラスタリングシステムの動作を説明する。図５は第１の実施形態によるクラスタリングシステムの特徴量セット作成部１の動作例を示すフローチャートであり、図６は分類対象データのクラスタリングの動作例を示すフローチャートである。
以下の説明において、たとえば、分類対象データがガラス物品に付けられた傷の特徴量の集合である場合、この特徴量として「ａ：キズ(scratch)の長さ」，「ｂ：キズの面積」，「ｃ：キズの幅」，「ｄ：キズ部分を含む所定領域の透過率」，「ｅ：キズを含む所定領域の反射率」などが、画像処理や測定結果から得られるとする。したがって、特徴量の集合（以下、特徴量集合とする）としては｛ａ，ｂ，ｃ，ｄ，ｅ｝となる。また、本実施形態においては、クラスタリングに用いる距離を、規格化した特徴量を用いたマハラノビス距離として算出する。ここで、本実施形態における上記ガラス物品は、一例として、板ガラスやディスプレイ用ガラス基板が挙げられる。【００３９】
Ａ．特徴量セット作成処理（図５のフローチャート対応）
ユーザは、ガラスに付けられたキズを検出し、この画像を撮像して画像データを得るとともに、この画像データからキズ部分の長さの測定などの特徴量の抽出を画像処理により行い、前記特徴量の集合からなる特徴量データを収集する。そして、ユーザはキズの発生原因や形状などの分類したい各クラスタに対して、予め判っている発生原因や形状などの情報に基づき、特徴量データを学習データとして振り分け、各クラスタの学習データの母集団とし、図示しない処理端末からクラスタの識別情報に対応させて、クラスタデータベース５へ記憶させる（ステップＳ１）。【００４０】
次に、特徴量セット作成部１は、各クラスタに対する特徴量セットを生成する制御命令を、前記処理端末から入力すると、クラスタデータベース５から、各クラスタの識別情報に対応して、学習データの母集団を読み込む。
そして、特徴量セット作成部１は、各クラスタ毎に、クラスタ内母集団における各特徴量の平均値および標準偏差を算出し、この平均値および標準偏差を用いて、（１）式から、各学習データにおける規格化された特徴量を算出する。【００４１】
次に、特徴量セット作成部１は、特徴量集合に含まれる特徴量の全ての組合せの特徴量セット毎に、（３）式により判別基準値λを算出する。
このとき、特徴量セット作成部１は、クラスタ毎に、クラスタ内母集団の規格化された特徴量を用いて、各特徴量セットに対応した特徴量からなるベクトルの平均値（重心ベクトル）μｉと、クラスタ内母集団における特徴量セットに対応する特徴量からなる学習データのベクトルの標準偏差σｉと、クラスタ外母集団の規格化された特徴量を用いて、各特徴量セットに対応した特徴量からなるベクトルの平均値（重心ベクトル）μｏと、クラスタ外母集団における特徴量セットに対応する特徴量からなる学習データのベクトルの標準偏差σｏと、全学習データ数におけるクラスタ内母集団の学習データ数の比率ωｉと、全学習データ数におけるクラスタ外母集団の学習データ数の比率ωｏとを算出する。【００４２】
そして、特徴量セット作成部１は、前記重心ベクトルμｉ，μｏ，標準偏差σｉ，σｏ，比率ωｉ，ωｏを用いて、（３）式により、各クラスタ毎に他のクラスタとの距離を判別する判別基準値λを、各クラスタ毎に、特徴量集合の全ての組合せの特徴量セットに対して計算する。
全ての判別基準値λの計算が終了すると、特徴量セット作成部１は、各クラスタ毎に、大きい順に判別基準値λを列べ、最も大きな判別基準値λに対応する特徴量セットを、各クラスタへの所属を判定する際に、距離の算出に用いる特徴量の組合せの集合を示す特徴量セットとして検出する（ステップＳ２）。【００４３】
次に、特徴量セット作成部１は、距離計算部３での距離の計算に用いるため、各特徴量セットに対応した特徴量間の相関係数Ｒと、各クラスタ内母集団における学習データの特徴量の平均値avg.（i）および標準偏差ｓtd.（i）とを算出する（ステップＳ３）。【００４４】
次に、特徴量セット作成部１は、前記判別基準値λから補正係数λ−（１／２）を算出する。この補正係数λ−（１／２）は、各特徴量セット間の標準化をとるものである。クラスタによって、他のクラスタとの距離がばらついているため、分類精度を上げるために、特徴量セット間の標準化を行う必要がある。また、補正係数としてλ−（１／２）ではなく、log（λ）としたり、あるいは単純に（μｏ−μｉ）を用いても良く、λを含む関数であって特徴量セット間の標準化が行えるものであればいずれでもよい。
また、上記（３）式において、対象クラスタ外母集団の特徴量セットにおける重心ベクトルμｏを算出する際、対象クラスタ外母集団における学習データとして以下の３つの種類のいずれかを選択して算出する。
ａ．全学習データにおける対象クラスタ外母集団の全ての学習データ
ｂ．上記対象クラスタ外母集団における分類の目的に対応する特定の学習データ
ｃ．特徴量の選択に用いた学習データにおける対象クラスタ外母集団の学習データ
ここで、ｂ．の分類の目的とは注目しているクラスタと明確に差を付けて区別することであり、学習データとしてはこの差を付けたい他のクラスタに含まれる学習データを用いる。
そして、特徴量セット作成部１は、各クラスタの識別情報毎に対応させて、特徴量セットと、特徴量セットに対応した補正係数、本実施形態にてはλ−（１／２）の値と、逆行列Ｒ−１と、平均値avg.（i）と、標準偏差ｓtd.（i）を、特徴量セット記憶部４に、距離計算データとして記憶する（ステップＳ４）。【００４５】
Ｂ．クラスタリング処理（図６のフローチャート対応）
分類対象データが入力されると、特徴量抽出部２は、各クラスタの識別信号により、クラスタ毎に対応した特徴量セットを、特徴量セット記憶部４から読み出す。
そして、特徴量抽出部２は、読み出した特徴量セットにおける特徴量の種別に対応して、分類対象データから特徴量を、各クラスタ毎に抽出し、クラスタの識別情報それぞれに対応させて、抽出した特徴量を内部記憶部に記憶する（ステップＳ１１）。【００４６】
次に、距離計算部３は、分類対象データから抽出した各特徴量を、特徴量セット記憶部４から、該特徴量に対応する平均値avg.（i）と標準偏差ｓtd.（i）を読み出し、前記（２）式の演算を行うことにより規格化し、内部記憶部に記憶されている特徴量を、規格化した特徴量に置き換える。
そして、距離計算部３は、上述のように得られたＶ（i）の要素からなる行列Ｖを生成し、この行列Ｖの転置行列ＶＴを計算し、（３）式により、順次、分類対象データと各クラスタとの間のマハラノビス距離を計算し、各クラスタの識別情報に対応させて、内部記憶部に記憶する（ステップＳ１２）。【００４７】
次に、距離計算部３は、計算結果の前記マハラノビス距離に対して、特徴量セットに対応する補正係数λ−（１／２）を乗算し、補正距離を求めて、それぞれマハラノビス距離と置き換える（ステップＳ１３）。また、補正係数を乗算する際、マハラノビス距離のlogまたは平方根を計算した後に乗算するようにしてもよい。
そして、距離計算部３は、内部記憶部における各クラスタ間との補正距離を比較し（ステップＳ１４）、最小の補正距離を検出し、その補正距離に対応する識別情報のクラスタを、分類対象データの属するクラスタとし、クラスタデータベース５に対し、分類先のクラスタの識別情報に対応させ、分類した分類対象データを記憶する（ステップＳ１５）。【００４８】
＜第２の実施形態＞
上述した第１の実施形態は、クラスタリングを行う際に用いる特徴量セットを、クラスタ毎に１種類として説明したが、以下に説明する第２の実施形態のように、クラスタ毎に特徴量セットを複数設定して、それぞれの特徴量セットに対応したマハラノビス距離を演算し、補正距離を算出して、この補正距離を小さい順番に並び替え、上位の所定の順位以内の補正距離により、予め設定された規則に応じて、分類対象データの属するクラスタとしてもよい。【００４９】
すなわち、本実施形態における距離計算部３は、特徴量セット毎に得られた分類対象データと各クラスタとの距離において、この距離の順位に基づいて設定された分類対象データの各クラスタへの分類基準を示す規則パターンにより、分類対象データがいずれのクラスタに属するかを検出する。
以下、第２の実施形態の構成は、図１に示す第１の実施形態と同様であり、同一の符号を各構成に付し、各構成において第１の実施形態と異なる動作のみを、図７を用いて説明する。第２の実施形態においては、学習データから上記規則パターンを設定する処理がある。図７は規則パターンを設定する距離の順位に対するパターン学習の動作例を示すフローチャートである。図８及び図９は第２の実施形態におけるクラスタリングの動作例を示すフローチャートである。【００５０】
また、第１の実施形態において、特徴量セットを作成する際、特徴量セット作成部１は、各クラスタ毎に、特徴量の組合せとしての複数の特徴量セットに対して判別基準値λを算出し、複数求められた判別基準値λの最大値に対応する特徴量セットを、各クラスタの特徴量セットとして設定した。
一方、第２の実施形態において、特徴量セット作成部１は、各クラスタ毎に、他のクラスタの１つまたは複数の組合せあるいは他の全てのクラスタに対して、それぞれ特徴量の組合せ数に対応する特徴量セットの最大値を設定することにより、複数の判別基準値λを求め、各クラスタ毎に他のクラスタと分離するための複数の特徴量セットを設定する。
そして、特徴量セット作成部１は、各特徴量セット毎に距離計算データを求め、クラスタの識別情報に対応させて、複数の特徴量セットと、各特徴量セットの距離計算データを特徴量セット記憶部４に記憶させる。【００５１】
そして、図７において、学習データが入力されると、特徴量抽出部２は、各クラスタの識別信号により、クラスタ毎に対応した複数の特徴量セットを、特徴量セット記憶部４から読み出す。
そして、特徴量抽出部２は、読み出した各特徴量セットにおける特徴量の種別に対応して、学習データから特徴量を、各クラスタ毎に抽出し、クラスタの識別情報それぞれに対応させて、抽出した特徴量を特徴量セット毎に内部記憶部に記憶する（ステップＳ２１）。【００５２】
次に、距離計算部３は、学習データから抽出した各特徴量を、特徴量セット記憶部４から、特徴量セット毎に該特徴量に対応する平均値avg.（i）と標準偏差ｓtd.（i）を読み出し、前記（２）式の演算を行うことにより規格化し、内部記憶部に記憶されている特徴量を、規格化した特徴量に置き換える。
そして、距離計算部３は、上述のように得られたＶ（i）の要素からなる行列Ｖを生成し、この行列Ｖの転置行列ＶＴを計算し、（３）式により、順次、学習データと各クラスタとの間のマハラノビス距離を計算し、各クラスタの識別情報に対応させて、各特徴量セット毎に内部記憶部に記憶する（ステップＳ２２）。【００５３】
次に、距離計算部３は、計算結果の前記マハラノビス距離に対して、特徴量セットに対応する補正係数λ−（１／２）を乗算し、補正距離を求めて、それぞれマハラノビス距離と置き換える（ステップＳ２３）。
そして、距離計算部３は、内部記憶部における各クラスタ間との補正距離を小さい順に並べ替え（小さい補正距離ほど上位となる順位に並べ替え）、すなわち分類対象データとの補正距離の小さいクラスタの識別情報が上位となる順番に並べる（ステップＳ２４）。【００５４】
次に、距離計算部３は、小さい方（上位）からｎ番目までの各補正距離に対応するクラスタの識別情報を検出し、そのｎ個に含まれる各クラスタ毎の識別情報の数をカウント、すなわち各クラスタに対して投票処理を行う。
そして、距離計算部３は、各学習データの各クラスタの識別情報のカウント数のパターンが、同一のクラスタに含まれる学習データに共通する規則パターンを検出する。
たとえば、ｎを１０としたとき、クラスタＢの学習データの場合、クラスタＡが５個，クラスタＢが３個、クラスタＣが２個となるカウント数のパターンとなることが検出されるとこれを規則Ｒ１とする。
また、クラスタＣの学習データの場合、クラスタＣが３個検出されると、クラスタＡが７個で、クラスタＢが０個であっても、必ずクラスタＣであることが共通であると、クラスタＣのカウント数が３以上であれば、他のクラスタのカウント数に無関係にクラスタＣとする規則Ｒ２とする。
また、クラスタＡの学習データの場合、クラスタＡが上位から1番目及び２番目を占めた並びのパターンのとき、クラスタＢのカウント数が８個であっても、他のクラスタのカウント数に無関係にクラスタＡとする規則Ｒ３とする。【００５５】
上述したように、同一クラスタに分類される各学習データが有する各クラスタのカウント数の規則性を検出し、各クラスタの識別情報毎にパターンテーブルとして内部に記憶しておく。ここで、規則は各クラスタに１つでもよいし、複数設定しておいてもよい。また、上述の説明において、距離計算部３が規則パターンを抽出するとしたが、ユーザが各クラスタへの分類の精度を変えるために、カウント数あるいは並びの規則パターンを任意に設定してもよい。
クラスタによっては、他のクラスタと特徴情報の特性が似ているものもあり、複数のクラスタの関連性、すなわち各クラスタのカウント数あるいは上位からの並びのパターンである対象パターンから、分類対象データの分類を行う方が精度の高い場合もあり、本実施形態はその点を補完するものである。【００５６】
次に、上述したテーブルに記述された規則を用いた第２の実施形態のクラスタリングの処理について、図８のフローチャートを用いて説明する。
分類対象データが入力されると、特徴量抽出部２は、各クラスタの識別信号により、クラスタ毎に対応した複数の特徴量セットを、特徴量セット記憶部４から読み出す。
そして、特徴量抽出部２は、読み出した各特徴量セットにおける特徴量の種別に対応して、分類対象データから特徴量を、各クラスタ毎に抽出し、クラスタの識別情報それぞれに対応させて、抽出した特徴量を特徴量セット毎に内部記憶部に記憶する（ステップＳ３１）。【００５７】
次に、距離計算部３は、分類対象データから抽出した各特徴量を、特徴量セット記憶部４から、特徴量セット毎に該特徴量に対応する平均値avg.（i）と標準偏差ｓtd.（i）を読み出し、前記（２）式の演算を行うことにより規格化し、内部記憶部に記憶されている特徴量を、規格化した特徴量に置き換える。
そして、距離計算部３は、上述のように得られたＶ（i）の要素からなる行列Ｖを生成し、この行列Ｖの転置行列ＶＴを計算し、（３）式により、順次、分類対象データと各クラスタとの間のマハラノビス距離を計算し、各クラスタの識別情報に対応させて、各特徴量セット毎に内部記憶部に記憶する（ステップＳ３２）。【００５８】
次に、距離計算部３は、計算結果の前記マハラノビス距離に対して、特徴量セットに対応する補正係数λ−（１／２）を乗算し、補正距離を求めて、それぞれマハラノビス距離と置き換える（ステップＳ３３）。
そして、距離計算部３は、内部記憶部における各クラスタ間との補正距離を小さい順に、並べ替え、すなわち分類対象データとの補正距離の小さいクラスタの識別情報が上位となる順番に並べる（ステップＳ３４）。
並べ替えた後、距離計算部３は、小さい方（上位）からｎ番目までの各補正距離に対応するクラスタの識別情報を検出し、そのｎ個に含まれる各クラスタ毎の識別情報の数をカウント、すなわち各クラスタに対して投票処理を行う。【００５９】
次に、距離計算部３は、各分類対象データの上位ｎ個における各クラスタに対するカウント数のパターン（あるいは並びのパターン）が、内部に記憶したテーブルに存在するか否かの照合処理を行う（ステップＳ３５）。
そして、距離計算部３は、上述した照合の結果、分類対象データの対象パターンに合致する規則パターンがテーブルに記述されていることを検出すると、この分類対象データがその合致した規則に対応する識別情報のクラスタに属すると判定し、分類対象データをこのクラスタに分類する（ステップＳ３６）。【００６０】
また、上述したテーブルに記述された規則を用いた第２の実施形態の他のクラスタリングの処理について、図９のフローチャートを用いて説明する。
この図９に示す他のクラスタリングの処理において、ステップＳ３１〜ステップＳ３５までの処理は、図８に示す処理と同様であり、距離計算部３は、ステップＳ３５においてすでに述べたように、テーブルに記憶されている規則パターンから、分類対象データの対象パターンとの照合処理を行う。
そして、距離計算部３は、上記照合結果において、上記対象パターンと合致する規則パターンが検索されたか否かを検出し、合致する規則パターンが検索されたことを検出した場合、処理をステップＳ４７へ移行し、一方、合致する規則パターンが検索されないことを検出した場合、処理をステップＳ４８へ移行する（ステップＳ４６）。【００６１】
合致する規則パターンが検索されたことを検出した場合、距離計算部３は、この分類対象データがその合致した規則に対応する識別情報のクラスタに属すると判定し、分類対象データをこのクラスタに分類し、クラスタデータベース５に対し、分類先のクラスタの識別情報に対応させ、分類した分類対象データを記憶する（ステップＳ４７）。
一方、合致する規則パターンが検索されないことを検出した場合、距離計算部３は、カウント数、すなわち投票数が最も多い識別情報を検出し、この識別情報に対応するクラスタに分類対象データを分類する。
そして、距離計算部３は、クラスタデータベース５に対し、帰属先のクラスタの識別情報に対応させ、分類した分類対象データを記憶する（ステップＳ４８）。【００６２】
＜第３の実施形態＞
上述した第２の実施形態は、計算した分類対象データの各クラスタとの距離が小さい（類似性が大きい）方から上位ｎ個における規則パターンのテーブルを準備し、このテーブルにある規則パターンに対応するか否かにより、各分類対象データのクラスタリングの処理を行うとして説明したが、以下に説明する第３の実施形態のように、クラスタ毎に特徴量セットを複数設定して、それぞれの特徴量セットに対応したマハラノビス距離を演算し、補正距離を算出して、上位の所定の順位以内の補正距離が多いクラスタを、分類対象データの属するクラスタとしてもよい。
以下、第３の実施形態の構成は、図１に示す第１及び第２の実施形態と同様であり、同一の符号を各構成に付し、各構成において第２の実施形態と異なる動作のみを、図１０を用いて説明する。第３の実施形態においては、学習データから上記規則を設定する処理がなく、直接に図９におけるステップＳ４８を行う。図１０は第３の実施形態におけるクラスタリングの動作例を示すフローチャートである。【００６３】
この図１０に示す他のクラスタリングの処理において、ステップＳ３１〜ステップＳ３４までの処理は、図８に示す処理と同様であり、距離計算部３は、すでに述べたように、ステップＳ３４において、内部記憶部における各クラスタ間との補正距離を小さい順に、並べ替え、すなわち分類対象データとの補正距離の小さいクラスタの識別情報が上位となる順番に並べる（ステップＳ３４）。
次に、距離計算部３は、小さい方（上位）からｎ番目までの各補正距離に対応するクラスタの識別情報を検出し、そのｎ個に含まれる各クラスタ毎の識別情報の数をカウント、すなわち各クラスタに対して投票処理を行う（ステップＳ５５）。
そして、距離計算部３は、 投票結果において、最も多いカウント値（投票数）の識別情報を検出し、この識別情報に対応するクラスタを、分類対象データの属するクラスタとし、クラスタデータベース５に対し、帰属先のクラスタの識別情報に対応させ、分類した分類対象データを記憶する（ステップＳ５６）。【００６４】
また、ユーザが予め足きりのための投票数の閾値を、距離計算部３に識別情報毎に設定し、最も投票数の多い識別情報の投票数がこの閾値に満たない場合、いずれのクラスタにも属さないとする処理を行ってもよい。
例えば、クラスタＡ，Ｂ，Ｃの３つのクラスタに対して、分類対象データを分類する場合、クラスタＡの識別情報に対する投票数が５個であり、クラスタＢの識別情報に対する投票数が３個であり、クラスタＣに対する投票数が２個である場合、最も投票数の多い識別情報はクラスタＡと距離計算部３が検出する。
しかしながら、クラスタＡに対する上記閾値が６個として設定されていると、距離計算部３は、クラスタＡの識別情報に対する投票数が閾値に満たないため、いずれのクラスタにも属さないとの判定を行う。
これにより、特徴量が他のクラスタとわずかな差しかないクラスタに対するクラスタリングにおいて、分類対象データのクラスタに対する分類処理の信頼性を向上させることが可能となる。【００６５】
＜特徴量の変換方法＞
各特徴量の母集団が正規分布であることを期待してクラスタリングを行うが、特徴量の種類（面積、長さなど）によっては正規分布とならず、母集団が偏った分布を有する場合があり、分類対象データと各クラスタとの間の距離の計算、すなわち分類対象データと各クラスタとの類似性を判定する場合の精度が低下することが考えられる。
そのため、特徴量によっては、母集団の特徴量を所定の方法により変換し、正規分布に近づけて類似性の判定の精度を向上させることを行う必要がある。
この正規分布への変換方法としては、特徴量をlogや平方根（√）、立方根（３√）などのｎ方根、または階乗、あるいは数値計算により求めた関数を含む演算式のいずれかにより変換する。【００６６】
以下に、各特徴量の変換方法の設定処理について図１１を用いて説明する。図１１は各特徴量の変換方法の設定処理の動作例を示すフローチャートである。なお、この変換方法は、クラスタ毎に、クラスタに含まれる各特徴量単位にて設定する。また、この変換方法の設定は、各クラスタに属する学習データを用いて行う。以下の処理は、特徴量セット作成部１が行うこととして説明するが、この処理に対応した処理部を他に設けてもかまわない。
特徴量セット作成部１は、分類対象のクラスタの識別情報をキーとし、このクラスタに含まれる学習データをクラスタデータベース５から読み出し、各学習データの特徴量を算出（正規化処理）する（ステップＳ６１）。【００６７】
次に、特徴量セット作成部１は、内部に記憶されている特徴量変換を行う演算式のいずれかを用い、読み出した上記各学習データを演算することにより、特徴量の変換を行う（ステップＳ６２）。
全ての学習データの特徴量の変換が終了すると、特徴量セット作成部１は、変換処理にて得られた分布が正規分布に近いか否かを示す評価値を算出する（ステップＳ６３）。【００６８】
次に、特徴量セット作成部１は、内部に記憶されている、すなわち変換方法として予め設定されている演算式の全てにおいて評価値を算出したか否かの検出を行い、全ての演算式にて特徴量が変換され得られた分布の評価値が算出されていることが検出された場合、処理をステップＳ６５へ進め、一方、全ての演算式による特徴量の算出が終了していないことを検出した場合、次に設定されている演算式の処理を行うため、処理をステップＳ６２へ戻す（ステップＳ６４）。
全ての演算式による特徴量の変換が終了した場合、特徴量セット作成部１は、設定した演算式において得られた分布にて評価値が最も小さな分布、すなわち最も正規分布に近い分布を検出し、検出された分布を作成するために用いた演算式を変換方法として決定し、そのクラスタの特徴量の変換方法として内部に設定する（ステップＳ６５）。
特徴量セット作成部１は、上述した処理を各クラスタの特徴量毎に対して行い、それぞれのクラスタにおける各特徴量に対応して変換方法を設定する。【００６９】
次に、上記ステップＳ６３における評価値の計算を、図１２を用いて説明する。図１２は演算式により得られた分布の評価値を求める処理の動作例を説明するフローチャートである。
特徴量セット作成部１は、対象クラスタに属する各学習データの特徴量を、設定されている演算式により変換する（ステップＳ７１）。
全ての学習データの特徴量を変換した後、特徴量セット作成部１は、この変換後の特徴量にて得られた分布（母集団）の平均値μ及び標準偏差σを算出する（ステップＳ７２）。
そして、特徴量セット作成部１は、上記母集団の平均値μと標準偏差σとを用いて（ｘ−μ）／σによりｚ値（１）を算出する（ステップＳ７３）。【００７０】
次に、特徴量セット作成部１は、上記母集団における累積確率を算出する（ステップＳ７４）。
算出後、特徴量セット作成部１は、求めた母集団中の累積確率により、標準正規分布の累積分布関数の逆関数の値としてｚ値（２）を算出する（ステップＳ７５）。
そして、特徴量セット作成部１は、特徴量の分布の２つのｚ値、すなわちｚ値（１）及びｚ値（２）の差、すなわち分布における２つのｚ値の誤差を求める（ステップＳ７６）。
ｚ値の誤差を求めると、特徴量セット作成部１は、上記２つｚ値の誤差の和、すなわちその誤差の総和（自乗和）を評価値として算出する（ステップＳ７７）。
上述した２つのｚ値の誤差が小さいほど、分布は正規分布に近く、ｚ値の誤差がなければ正規分布であり、一方、分布が正規分布から外れるほど誤差は大きくなる。【００７１】
次に、第１〜第３の実施形態におけるクラスタリングの処理を行う前に、分類対象データの特徴量の算出について図１３を用いて説明する。図１３は、分類対象データの特徴量データの算出の動作例を示すフローチャートである。
距離計算部３は、入力される分類対象データから識別対象の特徴量を、各クラスタに対して設定された特徴量セットに対応して抽出し、すでに説明した正規化処理を行う（ステップＳ８１）。
次に、距離計算部３は、分類対象データにおける分類対象のクラスタへの分類に用いられる特徴量を、このクラスタの特徴量に対して設定されている変換方法（演算式）により変換する（ステップＳ８２）。
そして、距離計算部３は、第１〜第３の実施形態に記載されているように、分類対象のクラスタとの距離を算出する（ステップＳ８３）。【００７２】
次に、距離計算部３は、分類対象のクラスタ全てに対し、各クラスタの特徴量に対応して設定された変換方法により、特徴量を変換し、この変換した特徴量によりクラスタとの距離が計算されたか否かの検出を行い、分類対象の全てのクラスタに対して距離を求めたことが検出された場合、処理をステップＳ８５へ進め、一方、分類対象のクラスタが残っていることを検出した場合、処理をステップＳ８２に戻す（ステップＳ８４）。
そして、第１〜第３の実施形態各々において、距離の計算が終了した時点からの処理を開始する（ステップＳ８５）。
上述した処理により、本実施形態にて用いているマハラノビス距離においては、分類対象データと各クラスタとの間の距離を求める際、特徴量が正規分布であることを期待しているため、母集団の各特徴量の分布が正規分布に近いほど、各クラスタとの間において正確な距離（類似性）を求めることができ各クラスタに対する分類の精度が向上することが期待できる。
【実施例】
【００７３】
＜計算例＞
次に、上述した第１，第２及び第３の実施形態のクラスタリングシステムを用いて、図１４に示すサンプルデータによる、従来例との分類の精度を確認した。サンプル数が少ないが、使用している特徴量が少ないにもかかわらず、従来例またはそれ以上の正答率が得られていることが判る。この図１４において、クラスタとして、カテゴリ１，カテゴリ２およびカテゴリ３のそれぞれに学習データを１０個ずつ定義し、各学習データが特徴量ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈの８つを有している。この例では、図１４に示す各クラスタに属している学習データから、クラスタリングに用いる特徴量セットを決定し、次に、分類対象データとして、同様に学習セットを用いてクラスタリングを行っている。【００７４】
計算結果としては、図１５が従来の計算手法として、特徴量の組合せとして特徴量ａおよびｇを用いて、クラスタ１〜クラスタ３の図１４に示す各学習データに対して、マハラノビス距離を演算して、判定結果を示している。図１５（ａ）において、Cluster１の列はクラスタ１とのマハラノビス距離であり、Cluster２の列はクラスタ２とのマハラノビス距離であり、Cluster３の列はクラスタ３とのマハラノビス距離を示している。また、カテゴリの列が実際に各学習データが属しているクラスタを示し、判定結果が学習データとマハラノビス距離が最小のクラスタを示している。カテゴリと判定結果との数字が一致しているものが正確に分類された特徴量データを示している。【００７５】
図１５（ｂ）において、列の番号が学習データが実際に属しているクラスタを示し、行の番号が判定されたクラスタを示している。例えば、マークＲ１の「８」はクラスタ１の１０個のクラスタの内８個がクラスタ１として判定され、マークＲ２の「２」はクラスタ１の１０個のクラスタの内２個がクラスタ３と判定されたことを示している。ｐ0は正解と回答との一致率を示し、ｐ1は両者が偶然一致する確率を示し、κは全体補正判定率であり、以下の式により求められる。このκが高いほど分類の精度が高いことを示している。
κ  ＝（ｐ0−ｐ1）／（１−ｐ1）
ｐ0 ＝（ａ＋ｄ）／（ａ＋ｂ＋ｃ＋ｄ）
ｐ1 ＝［（ａ＋ｂ）・（ａ＋ｃ）・（ｂ＋ｄ）・（ｃ＋ｄ）］・（ａ＋ｂ＋ｃ＋ｄ）２【００７６】
前記式における、ａ，ｂ，ｃ，ｄの関係を、図１６を用いて説明する。
クラスタ１に属するデータがクラスタ１として分類された数がａであり、クラスタ１に属するデータがクラスタ２として分類された数がｂであり、ａ＋ｂがクラスタ１に属するデータ数を示している。また、同様に、クラスタ２に属するデータがクラスタ２として分類された数がｄであり、クラスタ２に属するデータがクラスタ１として分類された数がｃであり、ｃ＋ｄがクラスタ２に属するデータ数を示している。ａ＋ｃは全データａ＋ｂ＋ｃ＋ｄの内でクラスタ１に分類された数であり、ｂ＋ｄは全データａ＋ｂ＋ｃ＋ｄの内でクラスタｂに分類された数である。【００７７】
次に、図１７が第１の実施形態の計算手法を用い、クラスタ１〜クラスタ３の図１４に示す各学習データに対して、マハラノビス距離を演算して、判定結果を示している。この図１７（ａ）および（ｂ）の見方については、図１５と同様であるためその説明を省略する。正解率ｐ0，偶然一致する確立ｐ１，全体補正判定率κは図１５の従来の計算手法と同等であることが判る。ここで、上述した全体の組み合わせのなかから、各クラスタ毎に最大の判別基準値λを有する組み合わせを選択する方法を用いて、各クラスタに対応する特徴量セットを算出した。クラスタ１に対応した特徴量セットとしては特徴量ａおよびｈの組み合わせを用い、クラスタ２に対応した特徴量セットとしては特徴量ａ，ｄの組み合わせを用い、クラスタ３に対応した特徴量セットとしては特徴量ａ，ｇの組み合わせを用いた。【００７８】
次に、図１８が第２の実施形態の計算手法を用い、クラスタ１〜クラスタ３の図１４に示す各学習データに対して、マハラノビス距離を演算して、判定結果を示している。この図１８（ａ）および（ｂ）の見方については、図１５と同様であるためその説明を省略する。正解率ｐ0が０．８３３３であり、偶然一致する確立ｐ１が０．３３３３であり，全体補正判定率κが０．７５であり、図１５の従来の計算手法と比較すると分類精度が向上していることが判る。ここで、上述した全体の組み合わせのなかから、各クラスタ毎に上位３番目までの判別基準値λを有する組み合わせを選択する方法を用いて、各クラスタに対応する特徴量セットを算出した。クラスタ１に対応した特徴量セットとしては特徴量ａ・ｈ，ａ・ｇ，ｄ・ｅの３つの組み合わせを用い、クラスタ２に対応した特徴量セットとしては特徴量ａ・ｆ，ａ・ｄ，ａ・ｂの３つの組み合わせを用い、クラスタ３に対応した特徴量セットとしては特徴量ｅ・ｇ，ａ・ｃ，ａ・ｇの３つの組み合わせを用いた。
また、投票の判定としては、マハラノビス距離の少ないものから順番に列べ、少ないものから３番目に入るクラスタの数を計算して、最も多い数のクラスタをその分類対象データが属するクラスタとした。【００７９】
次に、図１９が第２の実施形態の計算手法を用い、クラスタ１〜クラスタ３の図１４に示す各学習データに対して、マハラノビス距離を演算し、さらに計算結果のマハラノビス距離に対して補正係数（λ）−１／２を乗算した後、距離の順位付けを行い、判定結果を示している。この図１９（ａ）および（ｂ）の見方については、図１５と同様であるためその説明を省略する。正解率ｐ0が０．８３３３であり、偶然一致する確立ｐ１が０．３３３３であり，全体補正判定率κが０．７５であり、図１５の従来の計算手法と比較すると分類精度が向上していることが判る。ここで、上述した全体の組み合わせのなかから、各クラスタ毎に上位３番目までの判別基準値λを有する組み合わせを選択する方法を用いて、各クラスタに対応する特徴量セットを算出した。クラスタ１に対応した特徴量セットとしては特徴量ａ・ｈ，ａ・ｇ，ｄ・ｅの３つの組み合わせを用い、クラスタ２に対応した特徴量セットとしては特徴量ａ・ｆ，ａ・ｄ，ａ・ｂの３つの組み合わせを用い、クラスタ３に対応した特徴量セットとしては特徴量ｅ・ｇ，ａ・ｃ，ａ・ｇの３つの組み合わせを用いた。
また、投票の判定としては、マハラノビス距離の少ないものから順番に列べ、少ないものから３番目に入るクラスタの数を計算して、最も多い数のクラスタをその分類対象データが属するクラスタとした。【００８０】
上述した図１５，１７，１８，１９に示した各分類結果から、本実施形態が従来例に比して、高速かつ高精度のクラスタリング処理が行われていることが判り、本実施形態の従来例に対する優位性が確認できた。【００８１】
＜本発明の応用例＞
Ａ．検査装置
図２０に示すように被検査物、例えばガラス基板表面のキズの種類を分類する検査装置（欠陥検出装置）を説明する。図２１は特徴量セットの選択の動作例を説明するフローチャートであり、図２２はクラスタリング処理における動作例を説明するフローチャートである。
まず、特徴量セットの選択の動作について説明する。図５のフローチャートにおけるステップＳ１における学習データの収集が、図２１のフローチャートのステップＳ１０１からステップＳ１０５に対応している。
図２１のステップＳ２からステップＳ４は図５のフローチャートと同様であるため、説明を省略する。【００８２】
オペレータの操作により、キズの種類を分類したいクラスタにそれぞれ対応する学習データ用のサンプル収集する（ステップＳ１０１）。
画像取得部１０１が学習データとして収集したキズの形状を照明装置１０２にて照射し、キズの部分の画像データを撮像装置１０３により取得する（ステップＳ１０２）。
そして、画像取得部１０１が取得した画像データから、各学習データのキズの特徴量を算出する（ステップＳ１０３）。
得られた学習データの特徴量を目視で得られた分類先にそれぞれ振り分け、各クラスタにおける学習データの特定を行う（ステップＳ１０４）。
そして、各クラスタの学習データが所定数（予め設定したサンプル数）、例えば、３００個ずつ程度になるまで、ステップＳ１０１からステップＳ１０２までの処理を繰り返し、所定数となると、すでに図５説明したステップＳ２以降の処理をクラスタリング部１０５が行う。ここで、クラスタリング部１０５は、第１または第２の実施形態におけるクラスタリングシステムである。【００８３】
次に、図２２を参照して、図４の検査装置におけるクラスタリングの処理を説明する。ここで、図２２のステップＳ３１からステップＳ３４、Ｓ５５及びＳ５６は図１０のフローチャートと同様であるため、説明を省略する。
図２０の検査装置において、検査が開始されると、被検査物１００であるガラス基板に対し、照明装置１０２が照明を行い、撮像装置１０３がガラス基板表面を撮影してその撮像画像を画像取得部１０１へ出力する。これにより、欠陥候補検出部１０４は、画像取得部１０１から入力される撮像画像において平面形状と異なる部分を検出すると、それを分類すべき欠陥候補とする（ステップＳ２０１）。【００８４】
次に、欠陥候補検出部１０４は、その欠陥候補の部分の画像データを分類対象データとして、撮像画像から切り出す。
そして、欠陥候補検出部１０４は、分類対象データの画像データから特徴量を算出し、クラスタリング部１０５に対して、抽出した特徴量の集合からなる分類対象データを出力する（ステップＳ２０２）。
後のクラスタリングの処理については、図１０のステップですでに説明してあるため、省略する。上述したように、本発明の検査装置は、ガラス基板上に付いた傷を、キズの種類毎に、高い精度にて分類することができる。【００８５】
Ｂ．欠陥種類判定装置
図２３に示す欠陥種類判定装置は、クラスタリング部１０５がすでに説明した本発明のクラスタリングシステムに対応している。
画像取得装置２０１は、図２０における画像取得部１０１，照明装置１０２および撮像装置１０３から構成されている。
すでに分類対象データを分類する先の各クラスタの学習データは取得されており、クラスタリング装置１０５のクラスタデータベース５に準備されている。したがって、図５における特徴量セットの選択も終了している。【００８６】
各製造装置に取り付けられている画像取得装置２０２から入力される撮像画像から欠陥候補を検出し、その画像データを切り取り、特徴量を抽出してデータ収集装置２０３へ出力する。制御装置２００は、データ収集装置２０３へ入力される分類対象データを、クラスタリング部１０５へ転送させる。そして、すでに説明したように、クラスタリング部１０５は、入力される分類対象データを、キズの種類に対応した各クラスタに対して分類する。【００８７】
Ｃ．製造管理装置
本発明の製造管理装置は、図２４に示すように、制御装置３００，製造装置３０１，３０２，告知部３０３，記録部３０４，不具合装置判定部３０５および欠陥種別判定装置３０６から構成されている。ここで、欠陥種別判定装置３０６は前記Ｂの項で説明した欠陥種別判定装置と同様である。
欠陥種類判定装置３０６は、製造装置３０１および製造装置３０２にそれぞれ設けられている画像取得装置２０１，２０２からの撮像画像を、対応する欠陥候補検出部１０４において画像処理して特徴量を抽出し、分類対象データの分類を行う。【００８８】
次に、不具合装置判定部３０５は、分類されたクラスタの識別情報と、そのクラスタに対応する発生要因との関係を示すテーブルを有し、前記欠陥種類判定装置３０６から入力される分類先のクラスタの識別情報に対応した発生要因を前記テーブルから読み出し、発生要因となっている製造装置を判定する。すなわち、不具合装置判定部３０５は、クラスタの識別情報に対応して、製品の製造プロセスにおける欠陥の発生要因を検出する。
そして、不具合装置判定部３０５は、告知部３０３からオペレータに通知するとともに、記録部３０４に、判定された日時に対応して、欠陥の分類されたクラスタの識別番号と、発生要因と、その製造装置の識別情報とを履歴として記憶させる。また、制御装置３００は、不具合装置判定部３０５の判定した製造装置の停止、または制御パラメータの制御を行う。【００８９】
Ｄ．製造管理装置
本発明の他の製造管理装置は、図２５に示すように、制御装置３００，製造装置３０１，３０２，告知部３０３，記録部３０４およびクラスタリング部１０５から構成されている。ここで、クラスタリング部１０５は前記Ａ，Ｂの項で説明した構成と同様である。
クラスタリング部１０５においては、上述したＡ〜Ｃの場合と異なり、分類対象データの特徴データが工業製品、例えばガラス基板の製造過程における製造条件（材料の分量、処理温度、圧力、処理速度など）からなる特徴量により、製造プロセスの各工程の製造状態別に分類する。前記特徴量は、各製造装置３０１や３０２に設けられているセンサの検出する工程情報としてクラスタリング部１０５に特徴量として入力される。【００９０】
すなわち、クラスタリング部１０５は、前記分類対象データの特徴量により、各製造装置における各工程におけるガラス製造プロセスの製造状態を、「正常な状態」，「欠陥が発生しやすく調整が必要な状態」，「危険で調整が必要な状態」などのクラスタに分類する。そして、クラスタリング部１０５は、前記分類結果を告知部３０３によりオペレータに通知するとともに、分類結果のクラスタの識別情報を制御装置３００へ出力し、また、記録部３０４に、判定された日時に対応して、前記各工程の製造状態の分類されたクラスタの識別番号と、最も問題となる特徴量である製造条件と、その製造装置の識別情報とを履歴として記憶させる。
制御装置３００は、クラスタの識別情報と製造条件を正常に戻す調整項目およびそのデータとの対応を示すテーブルを有しており、クラスタリング部１０５から入力されるクラスタの識別情報に対応した、製造条件を正常に戻す調整項目およびそのデータを読み出し、対応する製造装置を読み出したデータにより制御する。【００９１】
なお、図１におけるクラスタリングシステムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより分類対象データのクラスタリングの処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。【００９２】
また、前記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、前記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００９３】
本発明は、ガラス物品等の欠点検出などのように多種類の特徴量を有する情報を高精度で分類し判別する分野に応用でき、さらに製造状態検出装置や製品製造管理装置にも利用できる。
なお、２００６年７月６日に出願された日本特許出願２００６−１８６６２８の明細書、特許請求の範囲、図面及び要約書の全内容をここに引用し、本発明の明細書の開示として、取り入れるものである。
【図１】
0005120254.tif 000002
【図２】
0005120254.tif 000003
【図３】
0005120254.tif 000004
【図４】
0005120254.tif 000005
【図５】
0005120254.tif 000006
【図６】
0005120254.tif 000007
【図７】
0005120254.tif 000008
【図８】
0005120254.tif 000009
【図９】
0005120254.tif 000010
【図１０】
0005120254.tif 000011
【図１１】
0005120254.tif 000012
【図１２】
0005120254.tif 000013
【図１３】
0005120254.tif 000014
【図１４】
0005120254.tif 000015
【図１５】
0005120254.tif 000016
【図１６】
0005120254.tif 000017
【図１７】
0005120254.tif 000018
【図１８】
0005120254.tif 000019
【図１９】
0005120254.tif 000020
【図２０】
0005120254.tif 000021
【図２１】
0005120254.tif 000022
【図２２】
0005120254.tif 000023
【図２３】
0005120254.tif 000024
【図２４】
0005120254.tif 000025
【図２５】
0005120254.tif 000026