(57)【特許請求の範囲】
【請求項１】
検査対象を撮像して得られた画像データより得られる欠陥の特徴量より、当該欠陥を第一のクラス群に分類し、当該第一のクラス群に分類された前記欠陥の前記特徴量より、前記欠陥を第二のクラス群に分類する欠陥分類装置であって、
前記欠陥毎に、分類されるべき前記第二のクラス群を特定した分類正解情報を記憶する記憶部と、制御部と、を備え、
前記制御部は、
前記第一のクラス群毎、前記第二のクラス群毎、および、前記特徴量の種類毎、に定まる尤度の値に、前記第一のクラス群毎、前記第二のクラス群毎、および、前記特徴量の種類毎、に定まる重み係数の値を乗算することにより得られる値に応じて、前記第二のクラス群に分類する処理と、
前記欠陥が分類された前記第二のクラスと、前記分類正解情報で特定される前記欠陥が分類されるべき前記第二のクラスと、を比較して、前記第一のクラス及び前記第二のクラスの組合せ毎、および、前記第一のクラス群の全てのクラスに対する前記第二のクラス、における分類性能を算出する処理と、
算出された前記分類性能を、前記第一のクラス及び前記第二のクラスの組合せ毎、および、前記第一のクラス群の全てのクラスに対する前記第二のクラス、に対応付けた分類性能情報を出力部に出力する処理と、
を行うことを特徴とする欠陥分類装置。
【請求項２】
請求項１に記載の欠陥分類装置であって、
前記制御部は、
前記分類性能情報において、前記第一のクラス群の全てのクラスに対する前記第二のクラスの前記分類性能が予め定められた値未満の前記第二のクラスを特定し、特定した前記第二のクラスの前記分類性能を識別可能な表示形式にする処理と、
特定した前記第二のクラスと、前記第一のクラスと、の組合せにおける前記分類性能が予め定められた値未満の前記第一のクラスを特定し、特定した前記第一のクラスの前記分類性能を識別可能な表示形式にする処理と、
を行うことを特徴とする欠陥分類装置。
【請求項３】
請求項１又は２に記載の欠陥分類装置であって、
前記制御部は、
前記分類性能情報において、前記第一のクラス群の全てのクラスに対する前記第二のクラスの前記分類性能が予め定められた値未満の前記第二のクラスを特定し、特定した前記第二のクラスと、前記第一のクラスと、の組合せにおける前記分類性能が予め定められた値未満の前記第一のクラスを特定し、特定した前記第一のクラスと、前記第二のクラスと、の組合せにおける前記分類性能が予め定められた値以上の組合せを特定し、特定した組合せに属する前記第一のクラス及び前記第二のクラスを調整対象として特定する処理と、
を行うことを特徴とする欠陥分類装置。
【請求項４】
請求項３に記載の欠陥分類装置であって、
前記制御部は、
前記調整対象とした前記第一のクラス及び前記第二のクラスに対応する前記重み係数を抽出して、抽出した前記重み係数の値を変化させて、前記分類性能を算出し、前記分類性能が最も高くなる前記重み係数を特定し、
特定した重み係数を前記第二のクラス群に分類する際の重み係数とすること、
を特徴とする欠陥分類装置。
【請求項５】
請求項４に記載の欠陥分類装置であって、
前記制御部は、
前記調整対象とした前記第一のクラス及び前記第二のクラスに対応する前記重み係数のうち、値の大きなものから順に予め定められた数の前記重み係数を抽出すること、
を特徴とする欠陥分類装置。
【請求項６】
請求項４又は５に記載の欠陥分類装置であって、
前記制御部は、
抽出した前記重み係数に対して予め定められた水準の直交表を割り当て、割り当てた直交表で特定される水準に対応する値だけ抽出した前記重み係数を変化させて、前記分類性能を算出すること、
を特徴とする欠陥分類装置。
【請求項７】
請求項４から６の何れか一項に記載の欠陥分類装置であって、
前記制御部は、
調整対象とされた前記第一のクラスと、前記重み係数と、の組合せ毎に、算出された前記分類性能を特定する値を表示する第一の要因効果図を生成し、出力部に出力する処理を行うこと、
を特徴とする欠陥分類装置。
【請求項８】
請求項４から７の何れか一項に記載の欠陥分類装置であって、
前記制御部は、
前記重み係数毎に、算出された前記分類性能のうち、全ての前記第一のクラスから調整対象とされた前記第二のクラスに分類された際の前記分類性能を特定する値を表示する第二の要因効果図を生成し、出力部に出力する処理を行うこと、
を特徴とする欠陥分類装置。
【請求項９】
欠陥毎に、分類されるべき第二のクラス群を特定した分類正解情報を記憶する記憶部と、制御部と、を備え、検査対象を撮像して得られた画像データより得られる欠陥の特徴量より、当該欠陥を第一のクラス群に分類し、当該第一のクラス群に分類された前記欠陥の前記特徴量より、前記欠陥を第二のクラス群に分類する欠陥分類装置が行う分類調整方法であって、
前記制御部が、前記第一のクラス群毎、前記第二のクラス群毎、および、前記特徴量の種類毎、に定まる尤度の値に、前記第一のクラス群毎、前記第二のクラス群毎、および、前記特徴量の種類毎、に定まる重み係数の値を乗算することにより得られる値に応じて、前記第二のクラス群に分類する処理を行う過程と、
前記制御部が、前記欠陥が分類された前記第二のクラスと、前記分類正解情報で特定される前記欠陥が分類されるべき前記第二のクラスと、を比較して、前記第一のクラス及び前記第二のクラスの組合せ毎、および、前記第一のクラス群の全てのクラスに対する前記第二のクラス、における分類性能を算出する処理を行う過程と、
前記制御部が、算出された前記分類性能を、前記第一のクラス及び前記第二のクラスの組合せ毎、および、前記第一のクラス群の全てのクラスに対する第二のクラス、に対応付けた分類性能情報を出力部に出力する処理を行う過程と、
を有することを特徴とする分類調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象を撮像して得られた画像データより得られる欠陥の特徴量より、当該欠陥をクラス群に分類する技術に関する。
【背景技術】
【０００２】
近年、半導体集積回路を代表とするウエハの表面に生じた欠陥の発生状況の迅速な把握や、欠陥種類毎の発生数のモニタリングを目的に、欠陥部の画像を撮像し、自動分類する技術が開発されている。
【０００３】
欠陥部の画像データから自動分類する技術の一つに、学習型分類と呼ばれる技術がある。学習型分類技術では、学習用の画像データを事前に収集し、これを学習することにより、分類モデルを最適化する。学習型分類技術の代表的な方法として、ニューラルネットワークやベイズ識別理論に基づく判別分析などがある。
【０００４】
また、欠陥部の画像データから自動分類する他の技術の一つに、ルールベース型分類と呼ばれる技術がある。ルールベース型分類技術は、画像データから特徴量を抽出し、システムに組み込んだ“ＩＦ−ＴＨＥＮ”のルールに基づいて特徴量の値を判定し、欠陥を分類する。
【０００５】
さらに、特許文献１には、複数の分類モデルを組み合わせて分類性能を向上する方法が開示されている。特許文献１に開示されている方法では、メインクラスと呼ばれるラフな欠陥分類と、サブクラスと呼ばれる詳細な欠陥分類を多段階に階層化した分類モデルを用いている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２９４３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術では、開示されている多段階に階層化した分類モデルは、学習型分類やルールベース型分類の欠陥分類より高い性能で欠陥を分類できる。
【０００８】
しかしながら、特許文献１に記載の技術でも、例えば、分類性能を測る指標の一つであるピュリティ（純度）がある一定の値より低いと、自動分類の出力である欠陥分類結果を信用することができず、人が目視で分類しなければならない。ここで、ピュリティ(純度)とは、あるクラスに自動的に分類された欠陥のうち、真にそのクラスに分類されるべき欠陥の比率と定義できる。
【０００９】
そこで、本発明は、自動分類の信用性を高めるために調整をしなければならない対象を容易に特定することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
以上の課題を解決するため、本発明は、あるクラスに分類された欠陥の分類性能を評価して、予め定められた形式で出力する。
【００１１】
例えば、本発明は、検査対象を撮像して得られた画像データより得られる欠陥の特徴量より、当該欠陥を第一のクラス群に分類し、当該第一のクラス群に分類された前記欠陥の前記特徴量より、前記欠陥を第二のクラス群に分類する欠陥分類装置であって、前記欠陥毎に、分類されるべき前記第二のクラス群を特定した分類正解情報を記憶する記憶部と、制御部と、を備え、前記制御部は、前記第一のクラス群毎、前記第二のクラス群毎、および、前記特徴量の種類毎、に定まる尤度の値に、前記第一のクラス群毎、前記第二のクラス群毎、および、前記特徴量の種類毎、に定まる重み係数の値を乗算することにより得られる値に応じて、前記第二のクラス群に分類する処理と、前記欠陥が分類された前記第二のクラスと、前記分類正解情報で特定される前記欠陥が分類されるべき前記第二のクラスと、を比較して、前記第一のクラス及び前記第二のクラスの組合せ毎、および、前記第一のクラス群の全てのクラスに対する前記第二のクラス、における分類性能を算出する処理と、算出された前記分類性能を、前記第一のクラス及び前記第二のクラスの組合せ毎、および、前記第一のクラス群の全てのクラスに対する前記第二のクラス、に対応付けた分類性能情報を出力部に出力する処理と、を行うことを特徴とする。
【発明の効果】
【００１２】
以上のように、本発明によれば、自動分類の信用性を高めるために調整をしなければならない対象を容易に特定することができる。
【図面の簡単な説明】
【００１３】
【図１】欠陥分類装置の概略図。
【図２】分類装置の概略図。
【図３】欠陥情報テーブルの概略図。
【図４】重み係数情報テーブルの概略図。
【図５】特徴量の値と、尤度の値と、を特定する関数の概略図。
【図６】分類性能情報テーブルの概略図。
【図７】階層的な分類モデルの一例を示す概略図。
【図８】比較テーブルの概略図。
【図９】サブ分類クラスＡの分類性能を表す比較テーブルの概略図。
【図１０】サブ分類クラスＢの分類性能を表す比較テーブルの概略図。
【図１１】サブ分類クラスＣの分類性能を表す比較テーブルの概略図。
【図１２】サブ分類クラスＤの分類性能を表す比較テーブルの概略図。
【図１３】コンピュータの概略図。
【図１４】抽出部での抽出処理及び調整部でのサブ分類モデルの調整処理を示すフローチャート。
【図１５】直交表の概略図。
【図１６】メインクラスにおける再評価テーブルの概略図。
【図１７】トータルにおける再評価テーブルの概略図。
【図１８】第一要因効果図の概略図。
【図１９】第二要因効果図の概略図。
【発明を実施するための形態】
【００１４】
図１は、本発明の一実施形態である欠陥分類装置１００の概略図である。図示するように、欠陥分類装置１００は、電子顕微鏡１１０と、全体制御部１３０と、分類調整装置１４０と、二次記憶装置１６０と、入力部１７０と、出力部１８０と、を備え、これらはバス１９０を介して相互に接続されている。
【００１５】
電子顕微鏡１１０は、一次電子１１８を発生させる電子源１１１と、一次電子を加速するための加速電極１１２と、一次電子１１８を収束するための集束レンズ１１３と、一次電子１１８を二次元走査偏向する偏向器１１４と、一次電子１１８を試料１１６上に収束させるための対物レンズ１１５と、試料１０６を搭載する駆動ステージ１１７と、試料１１６より発生した二次電子信号１１９を検出する検出器１２０と、検出器１２０で検出された信号をデジタル化するデジタル変換部１２１と、反射電子信号１２２を検出する反射電子検出器１２３ａ、１２３ｂと、を備え、これらの各部位は、バス１９０を介して全体制御部１３０に接続されている。
【００１６】
図１では、反射電子検出器１２３ａ、１２３ｂは対向して二つ設置されており、それぞれ試料１１６から放出された反射電子信号１２２の異なる成分を検出する。
【００１７】
全体制御部１３０は、欠陥分類装置１００での処理の全体を制御する。
【００１８】
分類調整装置１４０は、電子顕微鏡１１０で撮像された画像データから欠陥を自動的に分類する自動欠陥分類処理と、自動欠陥分類処理での分類モデルを調整する調整処理とを行う。なお、分類調整装置１４０については、図２を用いて詳細に説明する。
【００１９】
二次記憶装置１６０は、電子顕微鏡１１０の撮像条件や駆動ステージ１１７の動作条件等の各種パラメータが記憶される。
【００２０】
入力部１７０は、情報の入力を受け付ける。
【００２１】
出力部１８０は、情報を出力する。
【００２２】
図２は、分類調整装置１４０の概略図である。図示するように、分類調整装置１４０は、記憶部１４１と、制御部１４８と、インタフェース部１５３と、を備える。
【００２３】
記憶部１４１は、欠陥情報記憶領域１４２と、重み係数情報記憶領域１４３と、尤度情報記憶領域１４４と、分類性能情報記憶領域１４５と、調整情報記憶領域１４６と、を備える。
【００２４】
欠陥情報記憶領域１４２には、電子顕微鏡１１０で撮像された画像データから抽出された欠陥の特徴量を特定する欠陥情報が記憶される。例えば、本実施形態においては、図３（欠陥情報テーブル１４２ａの概略図）に示すような欠陥情報テーブル１４２ａが記憶される。
【００２５】
図示するように、欠陥情報テーブル１４２ａは、欠陥番号欄１４２ｂと、特徴量Ｘ１欄１４２ｃと、特徴量Ｘ２欄１４２ｄと、特徴量Ｘ３欄１４２ｅと、特徴量Ｘ４欄１４２ｆと、特徴量Ｘ５欄１４２ｇと、特徴量Ｘ６欄１４２ｈと、特徴量Ｘ７欄１４２ｉと、特徴量Ｘ８欄１４２ｊと、を有する。
【００２６】
欠陥番号欄１４２ｂには、電子顕微鏡１１０で撮像された画像データから抽出された欠陥を識別するための識別情報である欠陥番号が格納される。
【００２７】
特徴量Ｘ１欄１４２ｃには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ１に対応する値が格納される。
【００２８】
特徴量Ｘ２欄１４２ｄには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ２に対応する値が格納される。
【００２９】
特徴量Ｘ３欄１４２ｅには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ３に対応する値が格納される。
【００３０】
特徴量Ｘ４欄１４２ｆには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ４に対応する値が格納される。
【００３１】
特徴量Ｘ５欄１４２ｇには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ５に対応する値が格納される。
【００３２】
特徴量Ｘ６欄１４２ｈには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ６に対応する値が格納される。
【００３３】
特徴量Ｘ７欄１４２ｉには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ７に対応する値が格納される。
【００３４】
特徴量Ｘ８欄１４２ｊには、欠陥番号欄１４２ｂで特定される欠陥の予め定められた特徴量Ｘ８に対応する値が格納される。
【００３５】
なお、本実施形態においては、欠陥の特徴量をＸ１〜Ｘ８の八種類で特定しているが、特徴量の数は八種類に限定されるものではない。
【００３６】
図２に戻り、重み係数情報記憶領域１４３には、分類モデルのサブクラス及び欠陥の特徴量の組合せ毎に、サブクラスの分類に用いる重み係数の値を特定する重み係数情報が記憶される。例えば、本実施形態においては、図４（重み係数情報テーブル１４３ａの概略図）に示すような重み係数情報テーブル１４３ａがメインクラス毎に記憶される。なお、図４は、メインクラスＢの係数情報テーブル１４３ａであるが、各々のメインクラス毎に図４と同様の係数情報テーブルが記憶される。
【００３７】
図示するように、重み係数情報テーブル１４３ａは、特徴量特定行１４３ｂと、サブクラス特定行１４３ｃと、値特定領域１４３ｄと、を有する。
【００３８】
特徴量特定行１４３ｂには、欠陥の特徴量を特定する情報が格納される。例えば、本実施形態においては、重み係数ＷＢ，ｓ，ｋの「ｋ」の値（ここでは、「１」〜「８」）が特徴量Ｘ１〜Ｘ８に対応している。
【００３９】
サブクラス特定行１４３ｃには、分類モデルのサブクラスを特定する情報が格納される。例えば、本実施形態においては、重み係数ＷＢ，ｓ，ｋの「ｓ」の値（ここでは、「１」〜「５」）が「サブクラス１」〜「サブクラス５」に対応している。
【００４０】
値特定領域１４３ｄには、メインクラス毎に、特徴量特定行１４３ｂと、サブクラス特定行１４３ｃと、で特定される領域に、特徴量特定行１４３ｂで特定される特徴量と、サブクラス特定行１４３ｃで特定されるサブクラスと、に対応する重み係数の値が格納される。
【００４１】
尤度情報記憶領域１４４には、特徴量の値と、当該特徴量の値に対応する尤度の値と、を特定する尤度情報が記憶される。例えば、本実施形態においては、図５（特徴量の値と、尤度の値と、を特定する関数の概略図）に示すような特徴量の値と、尤度の値と、を特定する関数が、メインクラス（ここでは、「Ａ」〜「Ｄ」）、サブクラス（ここでは、「１」〜「５」）及び特徴量（ここでは、「１」〜「８」）の組合せ毎に、各々の関数が予め記憶されているものとする。
【００４２】
図２に戻り、分類性能情報記憶領域１４５には、メインクラスと、当該メインクラスから分類されたサブクラスと、の組合せ毎の分類性能の値、および、サブクラス毎の分類性能の値、を特定する分類性能情報が記憶される。例えば、本実施形態においては、図６（分類性能情報テーブル１４５ａの概略図）に示すような分類性能情報テーブル１４５ａが記憶される。
【００４３】
図示するように、分類性能情報テーブル１４５ａは、サブクラス欄１４５ｂと、メインクラスＡ欄１４５ｃと、メインクラスＢ欄１４５ｄと、メインクラスＣ欄１４５ｅと、メインクラスＤ欄１４５ｆと、集計欄１４５ｇと、を有する。
【００４４】
サブクラス欄１４５ｂには、サブクラスを特定する情報が格納される。ここで、本実施形態では、サブクラスを特定する情報として、各々のサブクラスの名称を特定する情報と、各々サブクラスに分類される欠陥の種類を特定する情報と、が格納される。
【００４５】
メインクラスＡ欄１４５ｃには、サブクラス欄１４５ｂで特定されるサブクラスに、メインクラスＡから欠陥を分類した際の分類性能を特定する情報が格納される。ここで、本実施形態における分類性能を特定する情報として、ピュリティ（％）、アキュラシ（％）、および、目視分類の結果と自動分類の結果が同じであった欠陥の数、が格納される。なお、ピュリティ及びアキュラシの詳細については後述する。
【００４６】
メインクラスＢ欄１４５ｄには、サブクラス欄１４５ｂで特定されるサブクラスに、メインクラスＢから欠陥を分類した際の分類性能を特定する情報が格納される。
【００４７】
メインクラスＣ欄１４５ｅには、サブクラス欄１４５ｂで特定されるサブクラスに、メインクラスＣから欠陥を分類した際の分類性能を特定する情報が格納される。
【００４８】
メインクラスＤ欄１４５ｆには、サブクラス欄１４５ｂで特定されるサブクラスに、メインクラスＤから欠陥を分類した際の分類性能を特定する情報が格納される。
【００４９】
集計欄１４５ｇには、全てのメインクラスから、サブクラス欄１４５ｂで特定されるサブクラスに欠陥を分類した際の分類性能を特定する情報が格納される。
【００５０】
図２に戻り、調整情報記憶領域１４６には、重み係数の値を変化させた際の、サブクラスの分類性能を特定する調整情報が記憶される。なお、調整情報記憶領域１４６に記憶される調整情報については後述する。
【００５１】
制御部１４８は、分類部１４９と、抽出部１５０と、調整部１５１と、を備える。
【００５２】
分類部１４９は、欠陥情報記憶領域１４２に記憶されている欠陥情報で特定される各々の欠陥を、特定のアルゴリズムによりメインクラスに分類し、さらに、メインクラスに分類された欠陥を、メインクラスに分類した特定のアルゴリズムとは異なる他のアルゴリズムを用いて、サブクラスに分類する。
【００５３】
例えば、分類部１４９は、図７（階層的な分類モデルの一例を示す概略図）に示すように、電子顕微鏡１１０より、ある欠陥の画像データを取得すると、取得した画像データから複数の特徴量を抽出し、欠陥情報テーブル１４２に格納する。
【００５４】
そして、分類部１４９は、メイン分類モデルにそれらの特徴量を入力する。メイン分類モデルでは、入力された特徴量に基づいて欠陥を分類する。図７の例では、多数の欠陥を４種類のメインクラスＡ、Ｂ、Ｃ、Ｄに分類する。
【００５５】
次に、分類部１４９は、メインクラス毎にモデル化されたサブ分類モデルに特徴量を入力し、各欠陥を詳細なサブクラスに分類する。この例では、メイン分類モデルでメインクラスＡに分類された欠陥は、サブ分類モデルＡでサブクラス２とサブクラス５に分類され、メインクラスＢに分類された欠陥は、サブ分類モデルＢでサブクラス１、サブクラス２、サブクラス５に分類され、メインクラスＣに分類された欠陥は、サブ分類モデルＣでサブクラス１とサブクラス２に分類され、メインクラスＤに分類された欠陥は、サブ分類モデルＤでサブクラス３とサブクラス４に分類される。
【００５６】
このような階層的な分類モデルにおいて、メイン分類モデルは、ラフな分類が役割のため、ＩＦ−ＴＨＥＮのルールベース型やベイズ識別理論に基づく学習型の分類モデル等様々な方法を適用することができる。一方、サブ分類モデルは、詳細な分類が役割のため、学習型分類モデルがふさわしい。なお、メイン分類モデルで使用するアルゴリズムと、サブ分類モデルで使用するアルゴリズムと、は異なるものを使用する。
【００５７】
例えば、本実施形態においては、分類部１４９は、サブ分類モデルとして、下記の（１）式で示される数式を用いて、同じメインクラスに分類された欠陥に対して、欠陥毎にｙの値が最も大きくなるサブクラスに欠陥を分類する。
【００５８】
【数１】
0005550862.tif 000002
【００５９】
ここで、ｗは重み係数、Ｐ（ｘ）は尤度を表す。ｙやｗやＰの下付きの添え字は、ｍがメインクラスを識別するために各々のメインクラスに割り当てられたメインクラス番号（すなわち、サブ分類モデル番号）、ｓがサブクラスを識別するために各々のサブクラスに割り当てられたサブクラス番号、ｋが特徴量を識別するために各々の特徴量に割り振られた番号、ｄが欠陥を識別するために各々の欠陥に割り振られた欠陥番号を表し、ｙは、メインクラス番号、サブクラス番号、欠陥番号ごとに計算される。Ｎは特徴量の種類の数であり、本例ではＮ＝８である。
【００６０】
そして、Ｗｍ、ｓ、ｋは、重み係数情報記憶領域１４３に、メインクラス毎に記憶されている重み係数情報テーブル１４３ａより、サブクラス番号及び特徴量番号に対応する重み係数が抽出されて代入される。
【００６１】
また、尤度Ｐ（ｘ）の値は、尤度情報記憶領域１４４に記憶されている尤度の関数より、特徴量の値ｘに対して、尤度Ｐ（ｘ）の値を取得する。なお、尤度の関数は、上述のようにメインクラス番号、サブクラス番号及び特徴量番号の組合せ毎にそれぞれの関数が定義されているものとする。なお、この尤度の関数（分布）は、分類モデルを学習するときに学習データを集計して得られたものとする。
【００６２】
また、分類部１４９は、入力部１７０を介して、欠陥情報記憶領域１４２に記憶されている欠陥情報で特定される各々の欠陥について、ユーザが目視（手動）で検査を行いサブクラスに分類された目視による分類結果の入力を受け付けることにより、ピュリティ（％）、アキュラシ（％）、および、目視分類の結果と自動分類の結果が同じであった欠陥の数、を集計し、分類性能情報テーブル１４５ａに格納する。
【００６３】
なお、目視による検査結果は、少なくとも、欠陥番号と、当該欠陥番号で特定される欠陥が分類されるサブクラスと、を特定する情報が含まれるものとし、分類部１４９は、入力を受け付けると、分類正解情報として、記憶部１４１に記憶しておく。
【００６４】
さらに、分類部１４９は、図８（比較テーブル１９１ａの概略図）に示すような比較テーブル１９１ａを生成して、出力部１８０に出力することも可能である。
【００６５】
図示するように、比較テーブル１９１ａは、Ｃｌａｓｓ１列１９１ｂと、Ｃｌａｓｓ２列１９１ｃと、Ｃｌａｓｓ３列１９１ｄと、Ｃｌａｓｓ４列１９１ｅと、Ｃｌａｓｓ５列１９１ｆと、Ｓｕｂｔｏｔａｌ列１９１ｇと、Ａｃｃｕｒａｃｙ列１９１ｈと、Ｃｌａｓｓ１行１９１ｊと、Ｃｌａｓｓ２行１９１ｋと、Ｃｌａｓｓ３行１９１ｌと、Ｃｌａｓｓ４行１９１ｍと、Ｃｌａｓｓ５行１９１ｎと、Ｓｕｂｔｏｔａｌ行１９１ｏと、Ｐｕｒｉｔｙ行１９１ｐと、を有する。
【００６６】
そして、Ｃｌａｓｓ１列１９１ｂ、Ｃｌａｓｓ２列１９１ｃ、Ｃｌａｓｓ３列１９１ｄ、Ｃｌａｓｓ４列１９１ｅ及びＣｌａｓｓ５列１９１ｆと、Ｃｌａｓｓ１行１９１ｊ、Ｃｌａｓｓ２行１９１ｋ、Ｃｌａｓｓ３行１９１ｌ、Ｃｌａｓｓ４行１９１ｍ及びＣｌａｓｓ５行１９１ｎと、が交差するセルには、目視分類の結果と自動分類の結果を集計した値が格納される。
【００６７】
例えば、Ｃｌａｓｓ１列１９１ｂ、Ｃｌａｓｓ２列１９１ｃ、Ｃｌａｓｓ３列１９１ｄ、Ｃｌａｓｓ４列１９１ｅ及びＣｌａｓｓ５列１９１ｆには、分類部１４９による自動分類においてサブクラス１〜５のそれぞれに分類された欠陥の個数が格納され、Ｃｌａｓｓ１行１９１ｊ、Ｃｌａｓｓ２行１９１ｋ、Ｃｌａｓｓ３行１９１ｌ、Ｃｌａｓｓ４行１９１ｍ及びＣｌａｓｓ５行１９１ｎには、分類部１４９による自動分類においてサブクラス１〜５のそれぞれに分類された欠陥のうち、目視分類によりサブクラス１〜５のぞれぞれに分類された欠陥の個数が格納される。
【００６８】
行と列が同じサブクラス、すなわち、比較テーブル１９１ａの左上から右下に向けた対角線上のセルに記された数値は、目視分類と自動分類の結果が同じになった欠陥の数であり、自動分類が正しく行われた欠陥の数を示し、一方、この対角線から外れたセルに記された数値は、目視分類と自動分類の結果が異なった欠陥の数を示す。
【００６９】
そして、Ｓｕｂｔｏｔａｌ列１９１ｇには、Ｃｌａｓｓ１行１９１ｊ、Ｃｌａｓｓ２行１９１ｋ、Ｃｌａｓｓ３行１９１ｌ、Ｃｌａｓｓ４行１９１ｍ及びＣｌａｓｓ５行１９１ｎのそれぞれの行に格納された値の集計（加算値）が格納され、Ａｃｃｕｒａｃｙ列１９１ｈには、Ｃｌａｓｓ１行１９１ｊ、Ｃｌａｓｓ２行１９１ｋ、Ｃｌａｓｓ３行１９１ｌ、Ｃｌａｓｓ４行１９１ｍ及びＣｌａｓｓ５行１９１ｎのそれぞれの行に格納された値から算出されるアキュラシの値が格納される。
【００７０】
また、Ｓｕｂｔｏｔａｌ行１９１ｏには、Ｃｌａｓｓ１列１９１ｂ、Ｃｌａｓｓ２列１９１ｃ、Ｃｌａｓｓ３列１９１ｄ、Ｃｌａｓｓ４列１９１ｅ及びＣｌａｓｓ５列１９１ｆのそれぞれの列に格納された値の集計（加算値）が格納され、Ｐｕｒｉｔｙ行１９１ｐには、Ｃｌａｓｓ１列１９１ｂ、Ｃｌａｓｓ２列１９１ｃ、Ｃｌａｓｓ３列１９１ｄ、Ｃｌａｓｓ４列１９１ｅ及びＣｌａｓｓ５列１９１ｆのそれぞれの列に格納された値から算出されるピュリティの値が格納される。
【００７１】
なお、分類性能を示す値としてのアキュラシは、このテーブルの行ごとに、対角線の数値を右から２列目の小計（Ｓｕｂｔｏｔａｌ）で割って「１００」をかけた値である。一方、分類性能を示す値としてのピュリティは、このテーブルの列ごとに、対角線の数値を下から２行目の小計（Ｓｕｂｔｏｔａｌ）で割って「１００」をかけた値である。
【００７２】
図９〜図１２は、図８に示す比較テーブル１９１ａを、メインクラス別に分割した比較テーブル１９２ａ〜１９５ａである。図９は、サブ分類クラスＡの分類性能を表す比較テーブル１９２ａであり、図１０は、サブ分類クラスＢの分類性能を表す比較テーブル１９３ａであり、図１１は、サブ分類クラスＣの分類性能を表す比較テーブル１９４ａであり、図１２は、サブ分類クラスＤの分類性能を表す比較テーブル１９５ａである。
【００７３】
分類部１４９は、これらの比較テーブル１９２ａ〜１９５ａを出力部１８０に出力することも可能である。
【００７４】
抽出部１５０は、図６に示す分類性能情報テーブル１４５ａの集計欄１４５ｇにおいて、ピュリティの値が７５％未満で、かつ、目視分類の結果と自動分類の結果が同じであった欠陥数が１０個以上のセルを特定し、特定したセルを他のセルとは識別可能な表示にする（例えば、他のセルと異なる色になるようにする）。
【００７５】
また、抽出部１５０は、図６に示す分類性能情報テーブル１４５ａの集計欄１４５ｇにおいて、ピュリティの値が７５％未満で、かつ、目視分類の結果と自動分類の結果が同じであった欠陥数が１０個以上のセルを含む行において、ピュリティの値が格納されているメインクラスのうち、ピュリティの値が７５％未満で、かつ、目視分類の結果と自動分類の結果が同じであった欠陥数が１０個以上のメインクラスを特定し、特定したメインクラスに含まれるセル（特定したメインクラスの列に含まれるセル）を他のセルとは識別可能な表示にする（例えば、他のセルと異なる色になるようにする）。
【００７６】
また、抽出部１５０は、上述のようにして特定したメインクラスに含まれるセルの中で、目視分類の結果と自動分類の結果が同じであった欠陥数が１０個以上のセルを特定し、特定したセルを他のセルとは識別可能な表示にする（例えば、他のセルと異なる色になるようにする）。さらに、抽出部１５０は、このようにして特定したセルに対応するサブクラスをサブクラス欄１４５ｂより特定して、特定したサブクラスを調整対象のサブクラスとして特定する。
【００７７】
抽出部１５０による以上の処理は、以下のような分析によるものである。
【００７８】
例えば、欠陥分析装置１００のユーザは、はじめに図６に示す分類性能情報テーブル１４５ａの最右列を確認することで、サブクラス４とサブクラス５のピュリティが７５％未満であることを把握できる。
【００７９】
そして、サブクラス４は、目視分類の結果と自動分類の結果が同じであった欠陥数が３個と少ないので、サブクラス４のピュリティを向上しても、人が目視で分類する工数の低減にはあまり寄与しないことを把握できる。一方、サブクラス５は、目視分類の結果と自動分類の結果が同じであった欠陥数が４３個あり、サブクラス５のピュリティを向上できれば、自動分類の結果を信用でき、人が目視で分類する個数を低減できることを把握できる。このため、ピュリティが予め定められた値（ここでは、７５％）未満であり、かつ、目視分類の結果と自動分類の結果が同じであった欠陥数が予め定められた値（ここでは、１０個）以上のセルを識別可能にすることで、ユーザがピュリティを向上させるべきサブクラスを容易に認識可能にすることができる。
【００８０】
次に、サブクラス５の行を右から左に見る。そうすると、サブクラス５は、メインクラスＡとメインクラスＢの二列に数値が記されており、サブ分類モデルＡとサブ分類モデルＢに基づいて、サブクラス５に欠陥が分類されていることを把握できる。また、サブクラス５は、メインクラスＡのサブ分類モデルＡではピュリティが１００％で何も問題なく、メインクラスＢのサブ分類モデルＢではピュリティが５７．９％と低いことを把握でき、改善すべき分類モデルは、メインクラスＢのサブ分類モデルＢであることを把握できる。
【００８１】
そこで、ピュリティが予め定められた値（ここでは、７５％）未満であり、かつ、目視分類の結果と自動分類の結果が同じであった欠陥数が予め定められた値（ここでは、１０個）以上のメインクラスに含まれるセルを識別可能にすることで、ユーザがピュリティを向上させるべきメインクラスを容易に認識可能にすることができる。
【００８２】
次に、ユーザはサブ分類モデルＢの調整に的を絞る。この分類性能情報テーブル１４５ａのメインクラスＢの列には、サブクラス１とサブクラス２とサブクラス５にピュリティの値が記されていることから、サブ分類モデルＢは、これら三つのサブクラスに分類するモデルであることを把握できる。サブ分類モデルＢのパラメータを調整して、サブクラス５のピュリティを向上することで、サブクラス１やサブクラス２のピュリティが低下するおそれがある。
【００８３】
しかし、サブクラス１は、サブクラス１の行を見ることで、メインクラスＢでは目視分類と自動分類の結果が同じ欠陥数が４個と少なく、サブクラス１の大半は、メインクラスＣのサブ分類モデルＣから分類されていることがわかる。また、サブ分類モデルＣのサブクラス１のピュリティは１００％と高く、このテーブルの最右列の総合のピュリティも９８．８％と高いことから、サブ分類モデルＢのパラメータを調整しても、サブクラス１のピュリティへの影響は小さいことを予想できる。一方、サブクラス２は、サブクラス２の行を見ると、メインクラスＡのサブ分類モデルＡでピュリティが９３．９％、メインクラスＢのサブ分類モデルＢでピュリティが９３．２％、メインクラスＣのサブ分類モデルＣでピュリティが７５％で、サブクラス２の総合的なピュリティは、９４．２％であることがわかり、また、目視分類の結果と自動分類の結果が同じ欠陥数は、サブ分類モデルＡでは３１個、サブ分類モデルＢでは４１個、サブ分類モデルＣでは９個で、サブ分類モデルＢの寄与度が高いことを把握でき、そのため、サブ分類モデルＢのパラメータを調整する場合、サブクラス２のピュリティが低下することを十分に注意しなければならないことを把握できる。
【００８４】
そこで、上述のようにして特定したメインクラスに含まれるセルの内、目視分類の結果と自動分類の結果が同じであった欠陥数が予め定められた値（ここでは、１０個）以上のセルを識別可能にすることで、ユーザがピュリティを向上させるべきサブクラスを容易に認識可能にすることができる。
【００８５】
以上のように、抽出部１５０での処理により、分類性能情報テーブル１４５ａを見るだけで、どのサブ分類モデルを調整すべきで、そのサブ分類モデルを調整するとき、どのようなことを注意しなければならないか把握することができる。
【００８６】
なお、分類性能情報テーブル１４５ａは、各セルにピュリティ、アキュラシ、目視分類の結果と自動分類の結果が同じであった欠陥数を併記しているが、アキュラシは記述しなくても効果に影響はない。また、ピュリティだけのテーブルや、目視分類の結果と自動分類の結果が同じであった欠陥数だけのテーブルをそれぞれ別々に作成してもよい。また、行と列を転置しても本発明の範疇である。また、このようなテーブルを出力部１８０に表示せず、内的に処理して、サブ分類モデルやサブクラスを抽出してもよい。
【００８７】
図２に戻り、調整部１５１は、上述した分類部１４９が使用するサブ分類モデルの調整を行う。なお、調整部１５１での処理については、図１４を用いて詳細に説明する。
【００８８】
インタフェース部１５３は、バス１９０を介した情報の送受信を行う。
【００８９】
以上に記載した分類調整装置１４０は、例えば、図１３（コンピュータ９００の概略図）に示すような、ＣＰＵ（Central Processing Unit）９０１と、メモリ９０２と、ＨＤＤ（Hard Disk Drive）等の外部記憶装置９０３と、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）等の可搬性を有する記憶媒体９０４に対して情報を読み書きする読書装置９０５と、キーボードやマウスなどの入力装置９０６と、ディスプレイなどの出力装置９０７と、バスに接続するためのＩ／Ｆ９０８と、を備えたコンピュータ９００で実現できる。
【００９０】
例えば、記憶部１４１は、ＣＰＵ９０１がメモリ９０２又は外部記憶装置９０３を利用することにより実現可能であり、制御部１４８は、外部記憶装置９０３に記憶されている所定のプログラムをメモリ９０２にロードしてＣＰＵ９０１で実行することで実現可能であり、インタフェース部１５３は、ＣＰＵ９０１がＩ／Ｆ９０８を利用することで実現可能である。
【００９１】
この所定のプログラムは、読書装置９０５を介して記憶媒体９０４から、あるいは、通信装置９０８を介してネットワークから、外部記憶装置９０３にダウンロードされ、それから、メモリ９０２上にロードされてＣＰＵ９０１により実行されるようにしてもよい。また、読書装置９０５を介して記憶媒体９０４から、あるいは、通信装置９０８を介してネットワークから、メモリ９０２上に直接ロードされ、ＣＰＵ９０１により実行されるようにしてもよい。
【００９２】
図１４は、抽出部１５０での抽出処理及び調整部１５１でのサブ分類モデルの調整処理を示すフローチャートの一例である。
【００９３】
まず、抽出部１５０は、分類性能情報記憶領域１４５に記憶されている分類性能情報テーブル１４５ａより、調整対象となるサブクラスを抽出し、当該サブクラスに対応するサブ分類モデルを抽出する（Ｓ１０）。
【００９４】
例えば、抽出部１５０は、分類性能情報テーブル１４５ａの集計欄１４５ｇにおいて、ピュリティの値が７５％未満で、かつ、目視分類の結果と自動分類の結果が同じであった欠陥数が１０個以上のセルを含む行において、ピュリティの値が格納されているメインクラスのうち、ピュリティの値が７５％未満で、かつ、目視分類の結果と自動分類の結果が同じであった欠陥数が１０個以上のメインクラスを特定する。また、特定したメインクラスに含まれるセルの中で、目視分類の結果と自動分類の結果が同じであった欠陥数が１０個以上のセルを特定し、特定したセルに対応するサブクラスをサブクラス欄１４５ｂより特定する。以上のようにして特定したメインクラスと、サブクラスと、を調整対象として抽出する。図６に示す分類性能情報テーブル１４５ａでは、以上の処理により、サブクラス２とサブクラス５とが調整対象として抽出される。
【００９５】
次に、調整部１５１は、ステップＳ１１で調整対象として抽出されたメインクラス及びサブクラスに対応する重み係数を、重み係数情報記憶領域１４３より抽出する（Ｓ１１）。
【００９６】
例えば、図４に示すような重み係数情報テーブル１４３ａより、サブクラス２の行と、サブクラス５の行と、に格納されている重み係数を抽出する。
【００９７】
ここで、本実施形態では、サブクラス２の行から、値が最大の重み係数と、二番目に値が大きい重み係数を抽出する。すなわち、ｋ＝５での重み係数０．２９と、ｋ＝６での重み係数０．２６を抽出する。同様に、サブクラス５の行から、値が最大の重み係数と、二番目に値が大きい重み係数を抽出する。すなわち、ｋ＝７での重み係数０．３３と、ｋ＝３での重み係数０．２３を抽出する。なお、重み係数を抽出する個数は、予め定められた個数でよく、対象となる行に格納されている全ての重み係数を抽出するようにしてもよい。
【００９８】
次に、調整部１５１は、ステップＳ１１で抽出した重み係数の値を変化させて、分類性能を再評価する（Ｓ１２）。
【００９９】
例えば、本実施形態においては、調整部１５１は、実験計画法の直交表を生成する。抽出した四種類の重み係数を因子として、三水準ないしは五水準で、直交表を生成する。本実施形態では、二つのサブクラスからそれぞれ二種類の重み係数を抽出したため、四種類の重み係数を因子とするが、調整するサブクラスが三つならば六種類、調整するサブクラスが四つなら、八種類とすればよい。また、水準を三水準にするか、五水準にするか、さらに多くの水準にするかの判断は、予め定めておけばよい。
【０１００】
図１５は、抽出した四種類の重み係数を因子として、三水準で生成した直交表１４６ａの概略図である。
【０１０１】
図示するように、直交表１４６ａは、ＴｒｉａｌＩＤ欄１４６ｂと、ＷＢ，２，５欄１４６ｃと、ＷＢ，２，６欄１４６ｄと、ＷＢ，５，３欄１４６ｅと、ＷＢ，５，７欄１４６ｆと、を有する。
【０１０２】
ＴｒｉａｌＩＤ欄１４６ｂには、各々の行で特定される実験を識別することのできる識別情報が格納される。ここでは、各々の行に上から順に連番となる自然数を割り振ることによりＴｒｉａｌＩＤとしている。
【０１０３】
ＷＢ，２，５欄１４６ｃには、ステップＳ１０で抽出されたメインクラスＢ及びサブクラス２の重み係数のうち、ステップＳ１１で抽出された特徴量Ｘ５に使用される重み係数ＷＢ，２，５に加算又は減算する値を特定する情報が格納される。
【０１０４】
ＷＢ，２，６欄１４６ｄには、ステップＳ１０で抽出されたメインクラスＢ及びサブクラス２の重み係数のうち、ステップＳ１１で抽出された特徴量Ｘ６に使用される重み係数ＷＢ，２，６に加算又は減算する値を特定する情報が格納される。
【０１０５】
ＷＢ，５，３欄１４６ｅには、ステップＳ１０で抽出されたメインクラスＢ及びサブクラス５の重み係数のうち、ステップＳ１１で抽出された特徴量Ｘ３に使用される重み係数ＷＢ，５，３に加算又は減算する値を特定する情報が格納される。
【０１０６】
ＷＢ，５，７欄１４６ｆには、ステップＳ１０で抽出されたメインクラスＢ及びサブクラス５の重み係数のうち、ステップＳ１１で抽出された特徴量Ｘ７に使用される重み係数ＷＢ，５，７に加算又は減算する値を特定する情報が格納される。
【０１０７】
ここで、本実施形態では、もともとの重み係数（±０）、もともとの重み係数に０．１を加算した重み係数、もともとの重み係数から０．１を減算した重み係数をそれぞれ用意して、各実験（分類性能の再評価）を行うようにしている、すなわち、重み係数の変化量を０．１としたが、０．１に限定されるものではなく、他の値を予め設定しておくことも可能である。
【０１０８】
なお、このようにして生成された直交表１４６ａについては、調整情報記憶領域１４６に記憶される。
【０１０９】
そして、調整部１５１は、直交表１４６ａのＴｒｉａｌＩＤ欄１４６ｂに格納されているＴｒｉａｌＩＤ毎に、重み係数の値を変化させることにより、上述の（１）式を用いてサブクラスの分類を再度行い、入力部１７０を介して入力を受け付けた目視による分類結果と比較することにより、メインクラスＢにおけるサブクラス１、サブクラス２及びサブクラス３のピュリティ及びアキュラシの値を算出するとともに、全てのメインクラスにおけるサブクラス１、サブクラス２及びサブクラス３のピュリティ及びアキュラシの値を算出する。
【０１１０】
このようにして算出されたメインクラスにおけるピュリティ及びアキュラシの値と、トータルのピュリティ及びアキュラシの値と、は図１６（メインクラスにおける再評価テーブル１４６ｇの概略図）に示すようなメインクラスにおける再評価テーブル１４６ｇ及び図１７（トータルにおける再評価テーブル１４６ｑの概略図）に示すようなトータルにおける再評価テーブル１４６ｑに格納する。
【０１１１】
図１６に示すようにメインクラスにおける再評価テーブル１４６ｇは、ＴｒｉａｌＩＤ欄１４６ｈと、メインクラスピュリティ欄１４６ｉと、メインクラスアキュラシ欄１４６ｍと、を備え、メインクラスピュリティ欄１４６ｉは、サブクラス１欄１４６ｊと、サブクラス２欄１４６ｋと、サブクラス５欄１４６ｌと、を備え、メインクラスアキュラシ欄１４６ｍは、サブクラス１欄１４６ｎと、サブクラス２欄１４６ｏと、サブクラス５欄１４６ｐと、を備える。
【０１１２】
ＴｒｉａｌＩＤ欄１４６ｈには、直交表１４６ａのＴｒｉａｌＩＤ欄１４６ｂに格納されているＴｒｉａｌＩＤに対応するＴｒｉａｌＩＤが格納される。
【０１１３】
メインクラスピュリティ欄１４６ｉのサブクラス１欄１４６ｊには、ＴｒｉａｌＩＤ欄１４６ｈで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス１に分類された欠陥の数の調査対象となっているメインクラス（ここでは、メインクラスＢ）のピュリティの値を特定する情報が格納される。なお、このピュリティの値の算出方法は、分類性能情報テーブル１４５ａのメインクラスＢ欄１４５ｄのサブクラス１に対応するセルに格納する値を算出する際と同様である。
【０１１４】
メインクラスピュリティ欄１４６ｉのサブクラス２欄１４６ｋには、ＴｒｉａｌＩＤ欄１４６ｈで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス２に分類された欠陥の数の調査対象となっているメインクラス（ここでは、メインクラスＢ）のピュリティの値を特定する情報が格納される。なお、このピュリティの値の算出方法は、分類性能情報テーブル１４５ａのメインクラスＢ欄１４５ｄのサブクラス２に対応するセルに格納する値を算出する際と同様である。
【０１１５】
メインクラスピュリティ欄１４６ｉのサブクラス５欄１４６ｌには、ＴｒｉａｌＩＤ欄１４６ｈで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス５に分類された欠陥の数の調査対象となっているメインクラス（ここでは、メインクラスＢ）のピュリティの値を特定する情報が格納される。なお、このピュリティの値の算出方法は、分類性能情報テーブル１４５ａのメインクラスＢ欄１４５ｄのサブクラス５に対応するセルに格納する値を算出する際と同様である。
【０１１６】
メインクラスアキュラシ欄１４６ｍのサブクラス１欄１４６ｎには、ＴｒｉａｌＩＤ欄１４６ｈで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス１に分類された欠陥の数の調査対象となっているメインクラス（ここでは、メインクラスＢ）のアキュラシの値を特定する情報が格納される。なお、このアキュラシの値の算出方法は、分類性能情報テーブル１４５ａのメインクラスＢ欄１４５ｄのサブクラス１に対応するセルに格納する値を算出する際と同様である。
【０１１７】
メインクラスアキュラシ欄１４６ｍのサブクラス２欄１４６ｏには、ＴｒｉａｌＩＤ欄１４６ｈで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス２に分類された欠陥の数の調査対象となっているメインクラス（ここでは、メインクラスＢ）のアキュラシの値を特定する情報が格納される。なお、このアキュラシの値の算出方法は、分類性能情報テーブル１４５ａのメインクラスＢ欄１４５ｄのサブクラス２に対応するセルに格納する値を算出する際と同様である。
【０１１８】
メインクラスアキュラシ欄１４６ｍのサブクラス５欄１４６ｐには、ＴｒｉａｌＩＤ欄１４６ｈで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス５に分類された欠陥の数の調査対象となっているメインクラス（ここでは、メインクラスＢ）のアキュラシの値を特定する情報が格納される。なお、このアキュラシの値の算出方法は、分類性能情報テーブル１４５ａのメインクラスＢ欄１４５ｄのサブクラス５に対応するセルに格納する値を算出する際と同様である。
【０１１９】
図１７に示すようにトータルにおける再評価テーブル１４６ｑは、ＴｒｉａｌＩＤ欄１４６ｒと、トータルピュリティ欄１４６ｓと、トータルアキュラシ欄１４６ｗと、を備え、トータルピュリティ欄１４６ｓは、サブクラス１欄１４６ｔと、サブクラス２欄１４６ｕと、サブクラス５欄１４６ｖと、を備え、トータルアキュラシ欄１４６ｗは、サブクラス１欄１４６ｘと、サブクラス２欄１４６ｙと、サブクラス５欄１４６ｚと、を備える。
【０１２０】
ＴｒｉａｌＩＤ欄１４６ｒには、直交表１４６ａのＴｒｉａｌＩＤ欄１４６ｂに格納されているＴｒｉａｌＩＤと対応するＴｒｉａｌＩＤが格納される。
【０１２１】
トータルピュリティ欄１４６ｓのサブクラス１欄１４６ｔには、ＴｒｉａｌＩＤ欄１４６ｒで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス１に分類された欠陥の数の全てのメインクラスにおけるピュリティの値を特定する情報が格納される。なお、このピュリティの値の算出方法は、分類性能情報テーブル１４５ａの集計欄１４５ｇのサブクラス１に対応するセルに格納する値を算出する際と同様である。
【０１２２】
トータルピュリティ欄１４６ｓのサブクラス２欄１４６ｕには、ＴｒｉａｌＩＤ欄１４６ｒで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス２に分類された欠陥の数の全てのメインクラスにおけるピュリティの値を特定する情報が格納される。なお、このピュリティの値の算出方法は、分類性能情報テーブル１４５ａの集計欄１４５ｇのサブクラス２に対応するセルに格納する値を算出する際と同様である。
【０１２３】
トータルピュリティ欄１４６ｓのサブクラス５欄１４６ｖには、ＴｒｉａｌＩＤ欄１４６ｒで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス５に分類された欠陥の数の全てのメインクラスにおけるピュリティの値を特定する情報が格納される。なお、このピュリティの値の算出方法は、分類性能情報テーブル１４５ａの集計欄１４５ｇのサブクラス５に対応するセルに格納する値を算出する際と同様である。
【０１２４】
トータルアキュラシ欄１４６ｗのサブクラス１欄１４６ｘには、ＴｒｉａｌＩＤ欄１４６ｒで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス１に分類された欠陥の数の全てのメインクラスにおけるアキュラシの値を特定する情報が格納される。なお、このアキュラシの値の算出方法は、分類性能情報テーブル１４５ａの集計欄１４５ｇのサブクラス１に対応するセルに格納する値を算出する際と同様である。
【０１２５】
トータルアキュラシ欄１４６ｗのサブクラス２欄１４６ｙには、ＴｒｉａｌＩＤ欄１４６ｒで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス２に分類された欠陥の数の全てのメインクラスにおけるアキュラシの値を特定する情報が格納される。なお、このアキュラシの値の算出方法は、分類性能情報テーブル１４５ａの集計欄１４５ｇのサブクラス２に対応するセルに格納する値を算出する際と同様である。
【０１２６】
トータルアキュラシ欄１４６ｗのサブクラス５欄１４６ｚには、ＴｒｉａｌＩＤ欄１４６ｒで特定されるＴｒｉａｌＩＤがＴｒｉａｌＩＤ欄１４６ｂに格納されている直交表１４６ａの行の重み係数によりサブクラス５に分類された欠陥の数の全てのメインクラスにおけるアキュラシの値を特定する情報が格納される。なお、このアキュラシの値の算出方法は、分類性能情報テーブル１４５ａの集計欄１４５ｇのサブクラス５に対応するセルに格納する値を算出する際と同様である。
【０１２７】
図１４に戻り、調整部１５１は、調整情報記憶領域１４６に記憶されている直交表１４６ａ、メインクラスにおける再評価テーブル１４６ｇ及びトータルにおける再評価テーブル１４６ｑから要因効果図を作成し、出力部１８０に出力する（Ｓ１３）。
【０１２８】
例えば、調整部１５１は、図１８（第一要因効果図１９６ａの概略図）に示すような第一要因効果図１９６ａ及び図１９（第二要因効果図１９７ａの概略図）に示すような第二要因効果図１９７ａのうち少なくとも何れか一方を作成し、出力部１８０に出力する。
【０１２９】
図１８に示す第一要因効果図１９６ａは、メインクラスＢ、すなわち、サブ分類モデルＢのピュリティの要因効果図で、サブクラス１表示領域１９６ｂ、サブクラス２表示領域１９６ｃ、および、サブクラス５表示領域１９６ｄを有する。
【０１３０】
各々の表示領域１９６ｂ、１９６ｃ、１９６ｄでは、重み係数の水準（「−０．１」、「±０」、「＋０．１」）毎に当該水準のピュリティの平均値を打点し、重み係数毎にこれらの三水準での平均値を直線で結んだ折れ線で表した。
【０１３１】
例えば、折れ線１９６ｅは、サブ分類モデルＢでサブクラス２の第６番目の特徴量Ｘ６に対する重み係数の三水準に対する、サブ分類モデルＢでのサブクラス１のピュリティを表している。折れ線１９６ｅのように±０の水準が三つの打点で一番値が大きい場合、もともとの重み係数が最適解であることを意味している。
【０１３２】
また、調整部１５１は、各々の重み係数に対して、分散分析を実行して得られた有意確率を算出し、有意確率表示領域１９６ｆに表示する。ここで、有意確率の値が小さいほど、対象の重み係数の折れ線の打点間に、統計的な差があり、ピュリティに与える影響が大きいことを把握できる。
【０１３３】
図１９に示す第二要因効果図１９７ａは、重み係数毎のピュリティの要因効果図で、重み係数ＷＢ，２，５表示領域１９７ｂ、重み係数ＷＢ，２，６表示領域１９７ｃ、重み係数ＷＢ，５，３表示領域１９７ｄ及び重み係数ＷＢ，５，７表示領域１９７ｅを有する。
【０１３４】
各々の表示領域１９７ｂ、１９７ｃ、１９７ｄ，１９７ｅには、調整対象とされたメインクラス（ここでは、メインクラスＢ）におけるサブクラス毎の三水準のピュリティの平均値を打点して直線で結んだ折れ線と、全てのメインクラス（トータル）におけるサブクラス毎の三水準のピュリティの平均値を打点して直線で結んだ折れ線と、が表示される。
【０１３５】
このため、図１８に示す第一要因効果図１９６ａでは、総合のピュリティがどのように変化するか把握できなかったが、図１９に示す第二要因効果図１９７ａでは、サブ分類モデルＢと総合のピュリティを比較でき、サブ分類モデルＢでサブクラス５の第７番目の特徴量に対する重み係数に、０．１を加算した重み係数に変更すると、総合でもサブクラス５のピュリティを向上できることを容易に把握することができる。
【０１３６】
図１４に戻り、調整部１５１は、図１８や図１９の要因効果図から調整すべき重み係数の値を決定する（Ｓ１４）。
【０１３７】
例えば、調整部１５１は、図１９の第二要因効果図１９７ａにおいて、調整対象とされた重み係数につき、全てのメインクラス（トータル）におけるサブクラス毎の三水準のピュリティの平均値が最も高い水準で示される重み係数となるようにする。
【０１３８】
以上のように、本実施形態における欠陥分類装置１００は、効果的に調整すべき分類モデルやサブクラスを抽出し、抽出した分類モデルやサブクラスに対応する重み係数を変化させて、分類性能を調整する機能を有し、自動分類の結果を信用できるクラスを増やし、人による目視分類の工数を低減できる。
【０１３９】
なお、本実施形態では、電子顕微鏡１１０を搭載した欠陥分類装置１００を例に実施形態を説明したが、電子顕微鏡１１０に限ったものではなく、可視光、紫外線、赤外線など様々な波長の画像を撮像できるものなら、どのような検出器でもよく、また、電子顕微鏡１１０が、欠陥分類装置１００から切り離された形態（別筐体等）となっていてもよい。
【０１４０】
また、本実施形態では、メイン分類モデルとサブ分類モデルの２段階の分類モデルを例に、実施形態を説明したが、３段階の分類モデルに対して、１段目と２段目、あるいは２段目と３段目に本発明を適用しても有効である。
【符号の説明】
【０１４１】
１００  欠陥分類装置
１１０  電子顕微鏡
１３０  全体制御部
１４０  分類調整装置
１４１  記憶部
１４２  欠陥情報記憶領域
１４３  重み係数情報記憶領域
１４４  尤度情報記憶領域
１４５  分類性能情報記憶領域
１４６  調整情報記憶領域
１４８  制御部
１４９  分類部
１５０  抽出部
１５１  調整部
１５３  インタフェース部
１６０  二次記憶装置
１７０  入力部
１８０  出力部
【図１】
0005550862.tif 000003
【図２】
0005550862.tif 000004
【図３】
0005550862.tif 000005
【図４】
0005550862.tif 000006
【図５】
0005550862.tif 000007
【図６】
0005550862.tif 000008
【図７】
0005550862.tif 000009
【図８】
0005550862.tif 000010
【図９】
0005550862.tif 000011
【図１０】
0005550862.tif 000012
【図１１】
0005550862.tif 000013
【図１２】
0005550862.tif 000014
【図１３】
0005550862.tif 000015
【図１４】
0005550862.tif 000016
【図１５】
0005550862.tif 000017
【図１６】
0005550862.tif 000018
【図１７】
0005550862.tif 000019
【図１８】
0005550862.tif 000020
【図１９】
0005550862.tif 000021