(57)【特許請求の範囲】
【請求項１】
分類するための方法であって、
コンピュータシステムが、１つ又はそれ以上のサンプルで検出される複数の欠陥に関連する検査データを受け取る段階と、
前記コンピュータシステムが、前記複数の欠陥の各々に対するクラスを含む１つ又はそれ以上のベンチマーク分類結果を受け取る段階と、
前記コンピュータシステムが、前記１つ又はそれ以上のベンチマーク分類結果に基づいて１つ又はそれ以上のクラスに対する準備判定基準を評価する段階であって、ここで、あるクラスに対する準備判定基準はそのクラスに対する自動欠陥分類器を訓練するための検査データの適合性を表し、あるクラスに対する前記自動欠陥分類器を訓練するための検査データの適合性は前記準備判定基準が満たされたときに示され、あるクラスに対する前記準備判定基準は、ベンチマーク分類結果においてそのクラスの境界へ分類された欠陥の全ての数が閾値を超え、かつ、別のクラスに関連づけられている分類と重複がないそのクラスへ分類された欠陥の数のある割合が、予め決められた基準と一致するときに満足するものである、段階と、
前記コンピュータが、前記準備判定基準を満たす１つ又はそれ以上のクラスに関連する１つ又はそれ以上の欠陥に対応する前記検査データの一部分を選択する段階と、
前記コンピュータが、前記準備判定基準を満たす１つ又はそれ以上のクラスに関する１つ又はそれ以上の自動分類器を前記検査データの前記選択された部分を使用して訓練する段階と、
を含む方法。
【請求項２】
前記コンピュータが、前記訓練された自動分類器を前記検査データの前記選択された部分の外側の別の検査データに適用して、前記別の検査データに対する複数の第１の分類を生成する段階と、
前記コンピュータが、前記別の検査データ及び前記複数の第１に分類に基づいて、複数の第２の分類を取得する段階と、
前記コンピュータが、前記１つ又はそれ以上の自動分類器を更に訓練する際に使用するために、前記別の検査データ及び前記複数の第２の分類を前記検査データの前記選択された部分に組み込む段階と、
を更に含む、請求項１に記載の方法。
【請求項３】
前記準備判定基準を評価する段階は、前記コンピュータが少なくとも閾値数の前記欠陥が前記ベンチマーク分類結果においてそれぞれ分類されたクラスを受け入れる段階、又は前記コンピュータが前記検査データを使用して、少なくとも閾値レベルの性能尺度で分類できるクラスを受け入れる段階を含み、
前記性能尺度は、精度、分類性能尺度、及び除去性能尺度の少なくとも１つである、請求項１に記載の方法。
【請求項４】
前記コンピュータが、前記自動分類結果を提供して、手動分類の一貫性を高める段階と、
前記コンピュータが、前記手動分類から付加的なデータを取得する段階と、
を更に含む、請求項１に記載の方法。
【請求項５】
前記コンピュータが、前記別の検査データのサブセットを分類するための検査手法へ提供する段階を更に含み、前記別の検査データのサブセットは、前記訓練された１つ又はそれ以上の自動分類器により分類できない検査データを含む、請求項１に記載の方法。
【請求項６】
前記準備判定基準を満たさないクラスに関して、
前記コンピュータが、前記検査手法によって、前記クラスに関連する欠陥グループを識別する段階と、
前記コンピュータが、前記欠陥グループの欠陥を分類する際に、前記検査手法が使用する前記別の検査データのサブセットから前記別の検査データを収集する段階と、
前記コンピュータが、前記収集された別のデータを前記検査データの前記選択された部分に追加して、前記クラスに対する増強された訓練セットを生成する段階と、
前記コンピュータが、前記増強された訓練セットに基づいて、前記クラスが前記準備判定基準を満たすか否かを判定する段階と、
前記コンピュータが、前記増強された訓練セットに基づいて前記クラスが準前記備判定基準を満たすか否かを判定する際に、前記増強された集合を使用して前記クラスの自動分類器を訓練する段階と、
を含む、請求項５に記載の方法。
【請求項７】
前記検査データの前記選択された部分の外側の別の検査データにおける前記複数の欠陥分布の変化を検出すると、前記コンピュータが前記１つ又はそれ以上の自動分類器を再訓練する段階、又は前記コンピュータが前記サンプルの製造で起こる可能性のあるプロセス問題をシステムオペレータに警告する段階を含み、前記１つ又はそれ以上の自動分類器を再訓練する段階が、前記検査データの前記選択された部分にある欠陥のサブセットを選択する段階を含み、前記選択された欠陥のサブセットは、クラスの間で過去の欠陥分布を反映するように選択される、請求項１に記載の方法。
【請求項８】
メモりと、
１つ又はそれ以上のサンプルで検出された複数の欠陥に関連した検査データ、及び前記複数の欠陥の各々に関するクラスを含む１つ又はそれ以上のベンチマーク分類結果を受け取り、前記１つ又はそれ以上のベンチマーク分類結果に基づいて１つ又はそれ以上のクラスに対する準備判定基準を評価準備判定基準を評価し、前記準備判定基準を満たす１つ又はそれ以上のクラスに関連する１つ又はそれ以上の欠陥に対応する前記検査データの一部分を選択し、前記準備判定基準を満たす前記１つ又はそれ以上のクラスに関する１つ又はそれ以上の自動分類器を前記検査データの前記選択された部分を使用して訓練するように構成されたプロセッサと、
を備え、
あるクラスに対する準備判定基準はそのクラスに対する自動欠陥分類器を訓練するための検査データの適合性を表し、あるクラスに対する前記自動欠陥分類器を訓練するための検査データの適合性は前記準備判定基準が満たされたときに示され、あるクラスに対する前記準備判定基準は、ベンチマーク分類結果においてそのクラスの境界へ分類された欠陥の全ての数が閾値を超え、かつ、別のクラスに関連づけられている分類と重複がないそのクラスへ分類された欠陥の数のある割合が、予め決められた基準と一致するときに満足するものである、装置。
【請求項９】
前記プロセッサは、前記訓練された自動分類器を前記検査データの前記選択された部分の外側の別の検査データに適用して前記別の検査データに関する複数の第１の分類結果を生成し、前記別の検査データ及び前記複数の第１の分類に基づいて複数の第２の分類を取得し、前記１つ又はそれ以上の自動分類器を更に訓練する際に使用するために前記別の検査データ及び前記複数の第２の分類を前記検査データの前記選択された部分に組み込むように構成される、請求項８に記載の装置。
【請求項１０】
前記準備判定基準を評価するために、少なくとも閾値数の前記欠陥が前記ベンチマーク分類結果においてそれぞれ分類された前記クラスを受け入れるように構成される、請求項８に記載の装置。
【請求項１１】
前記準備判定基準を評価するために、前記検査データを使用して少なくとも閾値レベルの性能尺度で分類できるクラスを受け入れるように構成され、前記性能尺度は、精度、分類性能尺度、及び除去性能尺度の少なくとも１つである、請求項８に記載の装置。
【請求項１２】
前記プロセッサは、別の検査データのサブセットを分類のための検査手法へ提供するように構成され、前記別の検査データのサブセットは、前記訓練された１つ又はそれ以上の自動分類器で分類できなかった検査データを含む、請求項８に記載の装置。
【請求項１３】
前記プロセッサは、前記準備判定基準を満たさないクラスに関して、前記検査手法により前記クラスに関連する欠陥グループを識別して、前記欠陥グループ内の欠陥を分類する際に前記検査手法が使用する別の検査データのサブセットから前記別の検査データを収集し、前記クラスに関する増強された訓練セットを生成するために収集した前記別のデータを前記検査データの選択された部分に追加し、前記クラスが前記増強された訓練セットに基づいて準備判定基準を満たすか否かを判定し、前記クラスが前記増強された訓練セットに基づいて準備判定基準を満たすと判定されると、前記増強された訓練セットを用いて前記クラスの自動分類器を訓練するように構成される、請求項１２に記載の装置。
【請求項１４】
前記プロセッサは、前記検査データの前記選択された部分の外側の別の検査データにおける複数の欠陥分布の変化を検知すると、前記１つ又はそれ以上の自動分類器を再訓練するように構成される、請求項８に記載の装置。
【請求項１５】
処理装置により実行される場合に、前記処理装置に、
１つ又はそれ以上のサンプルで検出される複数の欠陥に関連する検査データを受け取る段階と、
前記複数の欠陥の各々に対するクラスを含む１つ又はそれ以上のベンチマーク分類結果を受け取る段階と、
前記１つ又はそれ以上のベンチマーク分類結果に基づいて１つ又はそれ以上のクラスに対する準備判定基準を評価する段階であって、ここで、あるクラスに対する準備判定基準はそのクラスに対する自動欠陥分類器を訓練するための検査データの適合性を表し、あるクラスに対する前記自動欠陥分類器を訓練するための検査データの適合性は前記準備判定基準が満たされたときに示され、あるクラスに対する前記準備判定基準は、ベンチマーク分類結果においてそのクラスの境界へ分類された欠陥の全ての数が閾値を超え、かつ、別のクラスに関連づけられていな分類と重複がないそのクラスへ分類された欠陥の数のある割合が、予め決められた基準と一致するときに満足するものである、段階と、
前記準備判定基準を満たす１つ又はそれ以上のクラスに関連する１つ又はそれ以上の欠陥に対応する前記検査データの一部分を選択する段階と、
前記準備判定基準を満たす１つ又はそれ以上のクラスに関する１つ又はそれ以上の自動分類器を前記検査データの前記選択された部分を使用して訓練する段階と、
を含む操作を実行させる命令を有する非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には自動検査に関し、詳細には、製造欠陥の分析のための方法及びシステムに関する。
【背景技術】
【０００２】
自動欠陥分類（ＡＤＣ）技術は、半導体産業において、パターニングされたウェハ上の欠陥の観察及び計測に幅広く使われている。ＡＡＤＣ技術は、製造プロセスに対してより詳細なフィードバックを提供すると共に検査員の負担を軽減するために、欠陥の存在を検出すると共に自動的に欠陥をタイプ毎に分類する。例えば、ＡＤＣ技術は、ウェハ表面の粒子状汚染物質から生じる欠陥タイプと集積回路パターン自体の不規則性に関連した欠陥タイプとを識別するために使用され、粒子や不規則性の詳細なタイプを特定することもできる。
【０００３】
特許文献には、ＡＤＣに関する種々の方法が説明されている。例えば、米国特許第６，２５６，０９３号明細書は、走査ウェハにおけるオンザフライＡＤＣが説明されている。光源は、ウェハ上に照明スポットを生ずるように走査ウェハを照らす。スポットから散乱した光は、少なくとも２つの離間した検出器によって検出され、ウェハ上の欠陥を検出して、欠陥を個別の欠陥タイプに分類するために解析される。
【０００４】
別の例として、米国特許第６，９２２，４８２号明細書には、境界情報及びトポグラフィー情報を使用するコア分類器を用いて、半導体ウェハ表面上の欠陥を多数のコアクラスのうちの１つに自動的に分類することが説明されている。次に、欠陥は、コアクラスに関連付けされて、限定された数の関連コアクラスのみから欠陥を分類するように訓練された特定の適応分類器を用いて下位クラスに分類される。コア分類器又は特定の適応分類器によって分類できない欠陥は完全分類器によって分類される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，２５６，０９３号明細書
【特許文献２】米国特許第６，９２２，４８２号明細書
【発明の概要】
【課題を解決するための手段】
【０００６】
本明細書に記載の本発明の実施形態は、検査データに基づいた欠陥の自動分類のための、改良された方法、システム、及びソフトウェアを提供する。
【０００７】
例示的なコンピュータシステムは、１つ又はそれ以上のサンプルで検出された複数の欠陥に関連した検査データを受け取る。コンピュータシステムは、複数の欠陥の各々に対応するクラスを含む１つ又はそれ以上のベンチマーク分類結果を受け取る。コンピュータシステムは、１つ又はそれ以上のベンチマーク分類結果に基づいて、１つ又はそれ以上のクラスに関する準備判定基準を評価し、準備判定基準は、各々のクラスに対して該クラスに関する自動欠陥分類器を訓練するための検査データの適合性を備える。コンピュータシステムは、準備判定基準を満たす１つ又はそれ以上のクラスに関連する１つ又はそれ以上の欠陥に対応した検査データの一部を選択する。コンピュータシステムは、準備判定基準を満たす１つ又はそれ以上のクラスに関する１つ又はそれ以上の自動分類器を、検査データの選択された部分を用いて訓練する。
【０００８】
１つの実施形態では、コンピュータシステムは、人間検査員又は他の分類手法により提供される１つ以上の分類を受け取ることにより、１つ又はそれ以上のベンチマーク分類結果を受け取る。
【０００９】
１つの実施形態では、コンピュータシステムは、訓練された自動分類器を検査データの選択された部分の外側の検査データに適用して、別の検査データに関する複数の第１の分類結果を生成し、別の検査データ及び複数の第１の分類に基づいて複数の第２の分類を取得し、１つ又はそれ以上の自動分類器を更に訓練する場合に使用するために、別の検査データ及び複数の第２の分類を検査データの選択された部分に組み込む。
【００１０】
１つの実施形態では、コンピュータシステムは、ベンチマーク分類結果において少なくとも閾値数の欠陥がそれぞれ分類されたクラスを受け入れることにより、準備判定基準を評価する。
【００１１】
１つの実施形態では、コンピュータシステムは、検査データを使用して少なくとも閾値レベルの性能尺度で分類できるクラスを受け入れることにより、準備判定基準を評価し、性能尺度は、精度、分類性能尺度、及び除去性能尺度の少なくとも１つである。
【００１２】
１つの実施形態では、コンピュータシステムは、更に、手動分類の一貫性を高めて手動分類から付加的なデータを取得するための自動分類結果を提供する。
【００１３】
１つの実施形態では、コンピュータシステムは、更に、別の検査データの部分集合を分類のための検査手法に提供し、別の検査データの部分集合は、訓練された１つ又はそれ以上の自動分類器により分類できない検査データを含む。
【００１４】
１つの実施形態では、検査手法は、オペレータによる別の検査データの欠陥分類を含む。
【００１５】
１つの実施形態では、コンピュータシステムは、準備判定基準を満たさないクラスに関して、検査手法によりクラスに関連する欠陥グループを識別して、欠陥グループ内の欠陥を分類する際に検査手法が使用する別の検査データのサブセットから別の検査データを収集し、クラスに関する増強された訓練セットを生成するために収集した別のデータを検査データの選択された部分に加え、クラスが増強された訓練セットに基づいて準備判定基準を満たすか否かを判定し、クラスが増強された訓練セットに基づいて準備判定基準を満たすと判定されると、増強された訓練セットを用いてクラスの自動分類器を訓練する。
【００１６】
１つの実施形態では、検査データの選択された部分の外側にある別の検査データにおける複数の欠陥分布の変化を検出すると、コンピュータシステムは、１つ又はそれ以上の自動分類器を再訓練するか、又はサンプルの製作において可能性のある問題に関してシステムオペレータに警告する。
【００１７】
１つの実施形態では、コンピュータシステムは、１つ又はそれ以上の自動分類器を再訓練し、検査データの選択された部分にある欠陥のサブセットを選択することを含み、選択された欠陥のサブセットは、クラスの間での過去の欠陥分布を反映するように選択される。
【００１８】
付加的な実施形態では、前述の実施形態の動作を実行するための方法が提供される。さらに、本発明の実施形態では、非一時的コンピュータ可読記憶媒体は、前述の実施形態の動作を実行するための方法を記憶する。
【００１９】
本発明の種々の実施形態が、以下の詳細な説明及び本発明の種々の実施形態の添付図面から十分に理解されるであろう。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態による、欠陥検査分類システムの例示的な概略図である。
【図２】本発明の実施形態による、自動欠陥分類システムのブロック図である。
【図３】本発明の実施形態による、異なる欠陥クラスに属する検査特徴値を含む特徴空間の例示的な概略図である。
【図４】本発明の実施形態による、自動欠陥分類システムを訓練する方法を示す流れ図である。
【図５】本発明の実施形態による、自動欠陥分類システムを保守する方法を示す流れ図である。
【図６】本明細書に説明される１つ又はそれ以上の操作を実行する例示的なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【００２１】
一般的に、自動欠陥分類（ＡＤＣ）システムは訓練データのセットを使用して調整される。訓練データセットは、欠陥の収集に関する検査データ及びベンチマーク分類結果を含む。ベンチマーク分類結果は、一般には人間熟練者にから提供されるクラス割当てを含むことができる。ＡＤＣシステムは、多次元特徴空間における個々の欠陥クラスを特定するための、特徴値の関数として定義される分類規則を設定するために、訓練データを使用する。また、多次元特徴空間は、分類が３つ以上の特徴を含む場合には超空間として言及される。次に、分類規則をテストしてそれらの精度及び／又は純度を最適化するために調整できる。
【００２２】
２０１０年７月２７日出願の米国特許出願番号１２／８４４，７２４には、検査データに対して、多クラス分類器及び単クラス分類器の両方を含む、複数の異なる分類器を適用することにより、種々のタイプの分類不確実性に対処するＡＤＣシステムが説明されている。このシステムでは、分類の純度を最適化すると同時に未知の又新しい欠陥の除去率を最大するために、分類器のパラメータを訓練して調整することができる。自動分類器により除去された欠陥は（決定不能又は未知のものとして）、これらの欠陥を適当なクラスに割当てる人間検査員のような別の検査手法へ送られる。
【００２３】
本発明の実施形態は、ＡＤＣシステムにおいて所定の欠陥クラスに関する分類器を訓練するために十分な、予め分類されたデータの量を決定することのできるＡＤＣシステムを提供する。従って、ＡＤＣシステムは、自動分類器が使用可能な段階であることを判定することができる。また、実施形態は、訓練データセットを改良して、追加された欠陥クラスに関する自動分類器をＡＤＣシステムに追加するような、分類器の保守を評価するために使用できる。
【００２４】
ＡＤＣシステムは、検査データ及び対応するベンチマーク分類結果を受け取り、欠陥クラスに関する準備判定基準を評価するために、検査データ及びベンチマーク分類結果を使用することができる。準備判定基準は、各々のクラスに関する、対応する自動欠陥分類器を訓練するための検査データの適合性を示す。準備判定基準を満たすと判定されたクラスに対して、対応する検査データは訓練セットに組み込まれ、これは後でこれらのクラスに関する自動分類器を訓練する際に使用される。
【００２５】
自動分類の準備が整ったクラスを選択するために、ＡＤＣシステムは予め分類された検査データの初期セットを削除して、ある特定のクラス及び欠陥を取り除くことができる。ＡＤＣシステムは、その後、残りのクラスに関して、分類器（単クラス及び／又は多クラス）を訓練するために、訓練処理手順を実行する。いくつかの実施形態では、ＡＤＣシステムは、特定の閾値数以下の画像だけを有するクラス、クラス確率分布において高い境界複雑性を有するクラス等のような特定の統計的ベンチマーク判定基準を満たさない欠陥クラスに関する分類器を成長させない。これらの実施形態では、ＡＤＣシステムは、人間検査員のような別の検査手法による分類を行うために、特定の統計的ベンチマーク判定基準を満たさない欠陥クラスに欠陥を残したままとする場合がある。
【００２６】
統計的ベンチマーク判定基準を満たす各々のクラスに対して、ＡＤＣシステムは、訓練セットのデータで訓練された分類器が性能閾値レベルを満たすか否かを判定することができる。この判定は、単一の性能尺度又は統合される複数の性能尺度に基づいて行うことができる。性能尺度は、分類性能、除去精度、純度等を含むことができる。分類性能は、例えば、分類精度に関して評価することができる。除去精度は、対象のクラスが訓練のために使用された場合にクラスから除去された欠陥数と、対象のクラスが訓練のために使用されない場合にクラスから除去された欠陥数との比率によって評価することができる。従って、分類器が性能の閾値レベルを満たすか否かを判定することによって、ＡＤＣシステムは、属性超空間においてクラスの分類又は除去境界が、他の欠陥クラスと重複することなくクラスに入る欠陥の十分大きな割合を含むようにコンパクトであることを確認することができる。所定の分類器がこれらの判定基準を満たすと、ＡＤＣシステムは、分類器が訓練されて未分類の欠陥を自動分類する準備が整ったと見なす。準備が整っていないと判定されたクラスは、人間検査員による手動処理のような他の検査手法を行うために残される。超空間領域にある欠陥が、検証されたクラスの中の１つクラスの一部では場合、クラスは準備が整っていないと判定することができる。いくつかの実施形態では、他の分類性能判定基準を自動分類と他の手法との間の選択を行う際に適用することができ、本発明は、分類性能を評価するために使用される尺度により限定されるものではない。
【００２７】
いくつかの実施形態では、ＡＤＣシステムの初期訓練の後で、ＡＤＣシステムは、各々の欠陥に対するＡＤＣ推奨の自動分類結果に導かれて、訓練されたクラスの欠陥を含む欠陥を手動で分類するために、１人又はそれ以上の人間検査員又は１つ又はそれ以上の代替検査手法を許可するランプアップ（ｒａｍｐ−ｕｐ）モードを提供することができる。ランプアップモードは、手動分類の一貫性を高めながら、手動誤分類が殆どない付加的な訓練データを収集できる。
【００２８】
後続の操作の間に、安定した自動分類器が確立されると、１人又はそれ以上の人間検査員は、一般的ではない欠陥クラスの中で増加する欠陥を観察して分類することができる。これらの一般的ではない欠陥画像が蓄積すると、ＡＤＣシステムは１つ又はそれ以上の一般的ではないクラスに関する分類器を成長させて改良するために、これらの欠陥分類を使用することができる。所定のクラスに関する訓練データが、分類判定基準閾値を満たす分類器を訓練するために十分に改良されると、ＡＤＣシステムは、このクラスを手動分類ではなく自動分類されるクラスのグループに追加することができる。手動分類段階における、このクラスに関して収集された検査データは訓練セットに追加され、増大された訓練セットは、その後、自動分類器を訓練する際に使用することができる。
【００２９】
自動分類器の訓練後に、分類器の保守により、分類器は操作条件の変化に適切に適合することができる。分類器を保守するために、ＡＤＣシステムは、特定のクラス又は複数のクラスの出現率の増減又は特徴空間の位置、新しい欠陥タイプの出現等のような、変化するＡＤＣ結果を検出するために、各々のクラスに関する統計的な判定基準及び除去タイプを監視することができる。ＡＤＣ結果の変化が検査中のウェハにおける実際の変化に起因する場合、ＡＤＣシステムの再訓練は必要なく、ＡＤＣシステムは、製造工場で起こる可能性のあるプロセス問題をシステムオペレータに警告することができる。ＡＤＣ結果の変化が特徴空間における変動による場合（例えば、検査装置の経年劣化又は較正ドリフトによる場合）、ＡＤＣシステムは自動分類器を再訓練するか又は除去閾値を調整する必要がある場合がある。
【００３０】
プロセス問題と特徴空間の変動とを区別するために、ＡＤＣシステムは、自動的に分類されたクラス、未知の欠陥及び／又は決定不能な欠陥に関する除去数、及び特徴空間変動の統計的尺度を分析することができる。これらの尺度の１つ又はそれ以上の変化は、人間検査員の介入のきっかけとなる。１つの実施形態では、人間検査員は、特定のクラス又は複数のクラスに分類された最近の欠陥を手動で分類することにより、ＡＤＣ結果を検証する。１つの実施形態では、人間検査員は、自動分類器により除去されたが依然として手動で分類されていない欠陥を手動で分類する。１つの実施形態では、手動分類は、除去された欠陥が以前に手動で分類されていない場合にのみ初期化される。別の実施形態では、手動分類は、除去された欠陥の自動分類と手動分類との間に有意な時間の遅れがある場合に初期化される。
【００３１】
いくつかの実施形態では、手動分類結果は、自動分類器の再訓練が必要とされる否かを判定するために分析される。再訓練が必要な場合、各々のクラスに関して、最新の手動分類及び自動分類された欠陥が、新しい訓練セットに含まれるように選択される。新しい訓練セットは、異なる欠陥タイプの過去の累積分布を維持する最近の検査データから欠陥のサブセットを選択することにより構築することができる。いくつかの実施形態では、各々のクラスから選択される最近の欠陥数は、各クラスの過去の欠陥数に比例している。いくつかの実施形態では、各々の訓練操作の最初に、利用できるデータの全クラスが分析され、訓練の準備が整ったクラスに対してだけ自動分類器が訓練される。経時的に十分なサンプルが蓄積された新しいクラスは訓練セットに追加することができ、前述のように手動分類が減少する。
【００３２】
従って、ＡＤＣシステムは、分類器が信頼度基準閾値を満たして、本分野の実際の経験に基づいて分類器を保守して向上させる程度に十分に訓練された場合に、どの欠陥タイプを自動的に分類する必要があるかを確実に系統的に判定することができる。
【００３３】
本開示の実施形態は、具体的には半導体ウェハにおける欠陥の検出に関連するが、本発明の原理は、同様に他のタイプの画像特徴の自動分析及び分類に適用できる。
【００３４】
図１は、本発明の実施形態による、自動欠陥検査及び自動欠陥分類に関するシステム２０の例示的な概略図である。パターニングされた半導体ウェハ２２のようなサンプルは、検査マシン２４に挿入される。マシンは、例えば、走査型電子顕微鏡（ＳＥＭ）、光学検査装置、又は本技術分野で公知の任意の他の適切な種類の検査装置を備えることができる。マシン２４は、一般的にウェハ表面を走査して、走査結果を検出及び処理して、例えば、ウェハ２２上の欠陥画像を含む検査データを出力する。
【００３５】
１つの実施形態では、検査データは、ウェハ上で見つかった欠陥リスト、各々の欠陥の位置、及び各々の欠陥に関連する検査特徴値を含む。検査特徴値は、欠陥コンテクスト及び／又は本技術分野で公知の他の任意の適切な特徴だけでなく、例えば、欠陥のサイズ、形状、散乱強度、方向性、及び／又はスペクトル特性を含むことができる。用語「検査データ」は、本発明の実施形態では、ＳＥＭ画像及び関連するメタデータに言及するために使用されるが、この用語は、データを収集するための手段に関わらず、及びウェハ全体のデータを取り込むのか又は個々の疑わしい位置付近のデータを取り込むのかに関わらず、欠陥の特徴を識別するために収集して処理することができる何らかの全ての記述的データ及び診断データを参照するように広範に理解されたい。いくつかの実施形態は、ウェハを走査して疑わしい欠陥の位置リストを提供する検査システムによって識別される欠陥の分析に適用できる。別の実施形態は、検査ツールによって提供される疑わしい欠陥の位置に基づいて、再検査ツールによって再検出される欠陥の分析に適用できる。本発明は、検査データが生成される何らかの特定の技術に限定されるものではない。従って、半導体用途に関して、本発明の実施形態は、ＵＶｉｓｉｏｎ（商標）システムのような光学検査システム、ＳＥＭＶｉｓｉｏｎ（商標）システムのような検査装置（いずれもアプライドマテリアルズ社から入手可能）、又は本技術分野で公知の他の何らかの種類の検査システム及び手法によって生成されるデータの分析に適用することができる。
【００３６】
ＡＤＣマシン２６は、検査マシン２４から出力された検査データを受信して処理する。検査マシン２４がウェハ２２の画像から全ての関連する検査特徴値を抽出しない場合には、ＡＤＣマシン２６は、これらの画像処理機能を実行することができる。図１において、ＡＤＣマシン２６は、検査マシンの出力に直接接続されるように示されているが、いくつかの実施形態では、ＡＤＣマシン２６は、予め取得して保存された検査データで作動することができる。別の実施形態では、ＡＤマシン２６の機能は検査マシン２４に統合することができる。
【００３７】
ＡＡＤＣマシン２６は、表示装置３２及び入力装置３４を含むユーザインターフェースに加えて、欠陥情報及び欠陥分類パラメータを保持するための記憶装置３０を有する処理装置２８を備える汎用コンピュータとすることができる。ＡＤＣマシン２６の機能を実行するコンピュータは、ＡＤＣ機能専用とすること又は付加的な計算機能を実行することができる。１つの実施形態では、本明細書に記載のＡＤＣ機能の少なくとも一部は、専用の又はプログラム可能なハードウェア論理回路によって実行される。
【００３８】
ＡＤＣ装置２６は、異なるクラスの間を識別するための多クラス分類器、及び個々のクラス専用の単クラス分類器のような、複数の分類器を実行することができる以下の実施形態では、明瞭に説明する目的で、ＡＤＣマシン２６及びシステム２０の他の構成要素を参照するが、これらの実施形態の原理は、欠陥の複数のクラス又は他の未知の特徴を処理する何らかの分類システムでも同様に実施することができる。
【００３９】
図２は、本発明の実施形態による、ＡＤＣマシン（例えば、図１のＡＤＣマシン２６）の機能要素を示すブロック図である。いくつかの実施形態では、自動処理構成要素４０は、図１の処理装置２８により実行されるが、人間の検査員５０は、検査端末４８を介して図１のＡＤＣマシン２６と情報のやりとりを行う。自動処理構成要素４０は、例えばソフトウェアモジュールとして提供することができるが、この構成要素の少なくとも一部をハードウェア論理回路、又はハードウェア要素とソフトウェア要素とを組み合わせたもので実装することができる。
【００４０】
いくつかの実施形態では、画像処理操作は、処理装置（例えば、図１の処理装置２８）により、検査マシン（例えば、図１の検査マシン２４）によって取り込まれた各々の欠陥画像に対して適用される。画像処理操作は、形状、テクスチャー、及びコンテクスト特徴のような欠陥画像に関する特徴値ベクトルを抽出することができる。自動分類器４２は、クラスラベルに関連する信頼度値と一緒に、各欠陥に対するクラスラベルを割当てることができる。信頼度値は、欠陥が実際に割当てられたクラスに属する可能性を表すことができる。各欠陥を処理するための分類器４２の準備が整っているか否かは、図４と一緒に以下に詳細に説明する手順を使用して判定される。いくつかの実施形態では、分類器４２は、分類器４２が処理する準備ができたクラスの境界外側の欠陥に対して、低い（又はゼロ）信頼度値を割当てる。
【００４１】
１つの実施形態では、１つの実施形態では、信頼度閾値は、ＡＤＣマシンのオペレータにより提供される。別の実施形態では、信頼度閾値は、目標純度及び／又は最大除去率のような、オペレータにより指定される１つ又はそれ以上の分類性能尺度に基づいて、ＡＤＣマシンにより計算される。所定の欠陥の分類信頼度が、信頼度閾値（除去レベル閾値）を満たす場合、自動割当てモジュール４６は、この分類を正しいものとして許容することができる。１つの実施形態では、分類信頼度が信頼度閾値を満たさない場合、この欠陥は除去され、検査員５０による目視検査のために端末４８へ送られる。１つの実施形態では、除去された欠陥は、Ｘ線分光法等の付加的な自動分類手順を利用して分析される。いくつかの実施形態では、信頼度閾値は、除去数と分類結果の純度との間のバランスをもたらすように決定される。図２は、単一の除去レベル閾値を示すが、別の実施形態では、システムオペレータは、異なる欠陥クラスに関して異なる除去基準を設定することができる。
【００４２】
統合論理回路５２は、モジュール４６から自動分類の結果と、端末４８から目視分類の結果を受け取り、統合されたレポート５４を生成することができる。レポート５４は、例えば、表示装置３２上に表示すること、及び異なるクラスの間での欠陥分布を示すことができる。いくつかの実施形態では、一般的な欠陥タイプに関連する分布の部分は、自動分類プロセスから生じるが、一般的ではない欠陥タイプは目視により分類されたものとなる。レポート５４は、試験中の欠陥の完全なサンプル画像を最適な純度レベルでシステムオペレータに提供することができる。
【００４３】
いくつかの実施形態では、統合論理回路５２により検査処理の過程で収集された情報は、分類器４２を改良する際に適用される（図２で、統合論理回路５２から分類器４２への破線矢印により示されるように）。例えば、論理回路５２は、人間の検査員５０によって及び／又はクラス境界を調整するための他の自動分類手順によって提供される分類結果を統合することができる。いくつかの実施形態では、統合論理回路５２は、クラスに関する信頼できる自動分類器を規定するために、特定の小さな欠陥クラスに対する目視分類結果を蓄積する。これらの実施形態では、その後、ＡＤＣ装置は、このクラスを分類器４２及び自動割当てモジュール４６により自動的に処理されるグループに追加することができる。この目的のために適用される方法は図５と一緒に説明される。
【００４４】
図３は、本発明の実施形態による、欠陥セットに対してマッピングされる特徴空間の例示的な概略図である。特徴空間６０は、欠陥セット６２、６４、７０、７２に対してマッピングされる。特徴空間６０は２次元で表現されているが、本明細書に記載の分類プロセスは、一般により高次元の空間で実行される。欠陥６２、６４、７０、７２は、多数の異なるクラスに予め分類することができ、欠陥６２に関連するクラス（以下では「クラスＹ」と呼ぶ）、欠陥６４に関連する別のクラス（「クラスＺ」）、及び欠陥７２に関連する別のクラス（「クラスＸ」）である。欠陥７０は、これら３つのクラスの何れにも分類されず、「未知の欠陥」と見なされる。欠陥６２、６４、及び７２は、特徴空間において、それぞれ境界６６，６８、及び７４により境界付けされる。この境界はオーバーラップすることができる。
【００４５】
クラスＹ及びＺは、相当数の欠陥６２、６４を含み、クラス内側の各々の欠陥とクラス外側の欠陥７０とを高い信頼度で区別するコンパクトな境界６６、６８を有しているので、自動分類の準備が整っている。従って、図２の分類器４２のような分類器は、後続の未分類検査データにおいてクラスＹ及びＺを認識するために、欠陥６２及び６４の特徴を利用して訓練することができる。
【００４６】
クラスＸは、少数の欠陥７２を含むだけなので、境界７４は、クラス内側の新しい欠陥を高い信頼度で取得できるか否か、つまりクラス外側の他の欠陥が境界の外側に残ることができるか否か明らかでないので、自動分類の準備が整っていない可能性がある。これらの理由から、分類器は、クラスＸを処理するために最初に訓練できず、低い信頼度値でこれらの欠陥を割当てる場合があり、結果的にこれらの欠陥は手動分類へ送られることになる。一方、その後、統合論理回路がクラスＸに対する十分な数の手動分類結果を受け取る場合、境界７４は、より高い信頼度で規定することが可能になる、このクラスは、自動分類のためにクラスＹ及びＺに追加することができる。
【００４７】
図４は本発明の実施形態による、分類器を訓練する方法の１つの実施形態を説明する流れ図である。この方法は、ハードウェア（電気回路、専用論理回路等）、ソフトウェア（汎用コンピュータシステム又は専用マシンで実行されるような）、又はそれらの組み合わせを備えることができる処理ロジックにより実行される。１つの実施形態では、この方法は図１のＡＤＣマシン２６により実行される。
【００４８】
ブロック７８において、処理ロジックは、ＡＤＣシステムが起動しているか否か、又は分類器の再訓練が必要かあるか否かを判定する。処理ロジックは、特定のクラス又は複数のクラスの出現率の増減又は特徴空間の位置、新しい欠陥タイプの出現のような、変化するＡＤＣ結果を検知するために、ＡＤＣシステムの各々のクラスに関する統計的判定基準及び除去タイプを監視することで、分類器の再訓練が必要か否かを判定することができる。１つの実施形態では、ＡＤＣ結果の変化が検査中のウェハにおける実際の変化に起因する場合、処理ロジックは、ＡＤＣシステムの再訓練は必要ないと判定する。本実施形態では、処理ロジックは製造工場で起こる可能性のあるプロセス問題をシステムオペレータに警告することができる。１つの実施形態では、ＡＤＣ結果の変化が特徴空間における変動による場合（例えば、検査装置の経年劣化又は較正ドリフトによる場合）、処理ロジックはＡＤＣシステムの再訓練が必要であると判定する。
【００４９】
ブロック８０において、処理ロジックは、予め分類された検査データを受け取る。検査データは、例えば、各々がベンチマーク分類で人間検査員によりタグ付けられた、多数の欠陥画像を含むことができる。ＡＤＣシステムの再訓練を必要とする実施形態では、検査データは、ＡＤＣシステムに取り込まれた最新の検査データから、過去の検査データにおける欠陥クラスの分布を維持するような欠陥分布にて選択することができる。
【００５０】
ブロック８２において、処理ロジックは、検査データから訓練不能なクラスを取り除く。訓練不能なクラスは、分類器を訓練する際には役に立たない。訓練不能なクラスは、人間オペレータにより「未知」又は「分類不能」として格付けされた欠陥に関連するクラス、分類可能ではあるが、何らかの明確に定義されたコンパクトなクラスである欠陥に関連するクラスとすることができる。
【００５１】
ブロック８４において、処理ロジックは、分類器を訓練するためには不適切な欠陥を検査データから除去する。分類器を訓練するために不適切な欠陥は、焦点が合っていない画像又は不鮮明な画像のような低いデータ品質の欠陥、又は非常に小さい又は見るのが困難な欠陥を含むことができる。これらの欠陥は、人間検査員の努力で分類できる場合もあるが、自動分類器の訓練に際してノイズを付加する可能性がある。
【００５２】
ブロック８６において、処理ロジックは、検査データから準備の整っていないクラスを取り除く。処理ロジックは、検査データに残っている欠陥を分析して、分類準備のために残っている欠陥に関連する各欠陥クラスを評価することにより、準備の整っていない１つ又はそれ以上のクラスを判定することができる。１つの実施形態では、データセットにおける特定の欠陥閾値数よりも少ない欠陥を有するクラス又は特徴空間において境界が高度に複雑なクラスのような、所望の統計的判定基準を満たさないクラスは、分類の準備が整っていないと判定される。
【００５３】
１つの実施形態では、処理ロジックは、１つ又はそれ以上の自動分類器を使用して、訓練のために不適切な欠陥を決定する。１つの実施形態では、処理ロジックは、これらのクラスに関する初期の分類器を成長させて試験するために、処理ロジックにより取り除かれずに残ったデータ及びクラスを含む訓練セットを使用して、１つ又はそれ以上の分類器を訓練する。所定のクラスに関する分類器が、少なくとも閾値レベルの精度でベンチマーク分類結果と一致する自動分類結果を与える場合、このクラスは自動分類の準備が整っていると判定される。例えば、図３において、欠陥６２及び６４にそれぞれ対応するクラスＹ及びＺは、クラスＹ及びＺがベンチマーク分類結果と一致するので、自動分類の準備が整っていると判定できる。クラスが準備判定基準を満たさない場合、このクラスは自動分類の準備が整っていないと判定され、データの訓練セットから落とすことができる。
【００５４】
１つの実施形態では、所定のクラスの準備度合は、各々のクラスで自動的に分類された欠陥の実際のクラス分布（人間検査員が割当てたような）を示す、混同行列を使用して判定される。高い精度で分類された欠陥クラスは低い混同を示し、後続の自動処理のために、この基準で検証される。このレベルの準備度合に達していないクラスは、検証されたクラスの中の１つのクラスの部分ではない超空間の領域に欠陥が存在することを意味するので、手動処理に送られる。
【００５５】
ブロック８８において、処理ロジックは、準備度判定基準を満たすクラスの欠陥に属する検査データを使用して訓練セットを判定する。いくつかの実施形態では、訓練セットは、準備の整っていないクラス及びさもなければ不適切なデータが落とされた後に残った検査データを含む。
【００５６】
ブロック９０において、訓練セットは、分類器を訓練するために使用され、準備度判定基準を満たすクラスで欠陥を自動的に分類するようになっている。分類器が訓練されると、分類器は、訓練セットの外側にある別の検査データを分類できる状態になっている。
【００５７】
ブロック９２において、ＡＤＣシステムをランプアップする間に（初期訓練が完了した後で）実行されるが、処理ロジックは、各々の欠陥に対して推奨される分類を生成して表示する。推奨される分類は、新しい欠陥のＡＤＣ支援手動分類を実行するために使用できる。新しい欠陥のＡＤＣ支援手動分類は、人間検査員又は別の検査手法による手動分類の間に実行することができる。人間検査員又は別の検査手法は、全ての欠陥を手動で分類するために、訓練されたクラスに対しても推奨された分類を仕様することができる。ＡＤＣ支援手動分類の間に、欠陥は自動及び手動で２回分類される。動作のランプアップモードの目的は、手動分類の一貫性を高めながら手動誤分類の少ない付加的な訓練データを収集することである。ブロック８０−９０はその後に繰り返すことができ、入力データとしてブロック９２で実行された手動分類を利用して分類器の更なる訓練を可能にする。本方法は、ＡＤＣの支援及び経験により各サイクルにおいて人間検査員の分類一貫性を高めながら、数回繰り返すことができるので、分類性能を改良することができる。
【００５８】
図５は、本発明の実施形態による、自動分類器を保守するための、詳細には訓練セット及び自動分類器により処理される欠陥クラスの範囲を拡大するための方法を説明する流れ図である。本方法は、ハードウェア（電気回路、専用論理回路等）、ソフトウェア（汎用コンピュータシステム又は専用マシンで実行されるような）、又はそれらの組み合わせを備える処理ロジックにより実行される。１つの実施形態では、この方法は図１のＡＤＣマシン２６により実行される。本方法は、ＡＤＣシステムの通常運転の間に定期的に実行すること、及び監視される保守判定基準における変化により初期化することもできる。
【００５９】
ブロック９２において、自動分類器は、１つ又はそれ以上の欠陥を手動分類に送る。１つの実施形態では、ＡＤＣシステムの通常運転の間に、自動分類器から送られた１つ又はそれ以上の欠陥は、自動分類器が自動的に分類できない検査データのサブセットである。
【００６０】
ブロック９４において、処理ロジックは、人間オペレータのような別の検査手法から、１つ又はそれ以上の欠陥に関する分類を受け取る。１つの実施形態では、人間オペレータは分類を端末に入力し、端末は分類を統合論理回路へ送る。いくつかの実施形態では、分類が受け取られた欠陥の一部は、以前に準備判定基準を満たさなかった１つ又はそれ以上のクラスに関連する欠陥である。
【００６１】
ブロック９６において、処理ロジックは、手動にて特定のクラス（例えば、クラスＸ）に分類された欠陥を識別して、欠陥に関連する検査データをクラスに対する潜在的な訓練セットに追加する。従って、処理ロジックは、人間検査員又は他の手法がクラスに分類した欠陥と関連するデータを収集し、データ又はデータのサブセットから可能性のある訓練セットを生成する。いくつかの実施形態では、処理ロジックは、図４のステップ８６で初期訓練セットから落とされたクラスに対する未使用データを可能性のある訓練セットに統合する。
【００６２】
ブロック９８において、処理ロジックは、クラスの準備判定基準が予め設定された最小値以上であるか否かを判定する。１つの実施形態では、予め設定された最小値は、最小閾値サイズである。クラスの準備判定基準が予め設定された最小値を超える場合、本方法はブロック１０２へ進む。クラスの準備判定基準が予め設定された最小値を超えない場合、本方法はブロック１００へ進む。
【００６３】
ブロック１００において、処理ロジックは、クラスを自動分類グループから除外して、次のクラス又は次の欠陥へ進み、ブロック９２へ戻る。
【００６４】
ブロック１０２において、処理ロジックは、クラスに対する１つ又はそれ以上の自動分類器を訓練して試験を行う。１つの実施形態では、クラス内の欠陥数が予め設定された数を超える場合、処理ロジックは、増強された訓練セットを生成するために、既存の訓練セットに可能性のある訓練セットを含める。処理ロジックは、クラスに関する各々の自動分類器を訓練して試験を行う際に増強された訓練セットを使用する。
【００６５】
ブロック１０４において、処理ロジックは、１つ又はそれ以上の自動分類器の性能尺度が許容可能か否かを判定する。１つの実施形態では、分類精度が予め設定された閾値を超える場合、自動分類器の性能尺度は許容可能である。別の実施形態では、除去処理の精度が予め設定された閾値を超える場合、自動分類器の性能尺度は許容可能である。本実施形態では、自動分類器は、自動分類器により正確に分類された欠陥を有意に除去することなく、準備判定基準を満たさないクラスを効率よく除去できるはずである。１つ又はそれ以上の分類器のいずれの性能尺度も許容できない場合、本方法はブロック１００へ戻る。少なくとも１つの分類器の性能尺度が許容可能であれば、本方法はブロック１０６へ進む。
【００６６】
ブロック１０６において、分類器は、増強された訓練セットを使用して再訓練され、クラスは分類器により自動的に分類されるクラスのセットに追加される。従って、分類器により処理されるクラスの範囲及び分類器が行う自動分類の精度は、製造環境におけるＡＤＣシステムの実際の運転時に経時的に強化することができる。訓練セットは、新しいクラスを網羅するためだけでなく既存クラスの自動分類精度を向上させるために、徐々に増大させることができる。
【００６７】
図６は、マシンに本明細書で説明した方法論の１つ又はそれ以上を実行させるための命令セットを実行することができるコンピュータシステム６００の例示的な形態のマシンを示す。代替的な実施形態では、マシンは、他のマシンとＬＡＮ、イントラネット、エクストラネット、又はインターネットで接続することができる（例えば、ネットワーク接続）。マシンは、クライアントサーバ環境におけるサーバー又はクライアントマシンとして作動すること、又はピアツーピア（つまり、分散型）のネットワーク環境でピアマシンとして作動することができる。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯型情報端末（ＰＤＡ）、セルラーフォン、ウェブ機器、サーバー、ネットワークルータ、スイッチ回路又はブリッジ回路、又は、マシンが行う動作を特定する命令セット（逐次的又はそうでないもの）を実行する能力をもつ任意のマシンとすることができる。更に、単一のマシンだけを示すが、用語「マシン」、本明細書で説明した方法論の１つ又はそれ以上を実行するための一組（又は多数の組）の命令を、個別で又は一緒に実行するマシンの何らかの集合を含むと見なすべきである。
【００６８】
例示的なコンピュータシステム６００は、処理装置（プロセッサ）６０２、主記憶装置６０４（例えば、読取り専用記憶装置（ＲＯＭ）、フラッシュメモリ、同期式ＤＲＡＭ（ＳＤＲＡＭ）又はダブルデータレートＳＤＲＡＭ（ＤＤＲ  ＳＤＲＡＭ）又はラムバスＤＲＡＭ（ＲＤＲＡＭ）等のダイナミックランダムアクセスメモリ（ＤＲＡＭ））、スタティックメモリ６０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）等）、又はデータ記憶装置６１８を含み、これらはバス６０８経由で相互に通信を行う。
【００６９】
プロセッサ６０２は、マイクロプロセッサ、中央処理装置等の、１つ又はそれ以上の汎用処理装置を表している。特に、プロセッサ６０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セット又は命令セットの組み合わせを実行するプロセッサとすることができる。また、プロセッサ６０２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ等の１つ又はそれ以上の専用処理装置とすることができる。プロセッサ６０２は、本明細書で説明する動作又はステップを遂行するための命令６２６を実行するように構成される。
【００７０】
更に、コンピュータシステム６００は、ネットワークインターフェース装置６２２を含むことができる。また、コンピュータシステム６００は、ビデオ表示ユニット（例えば、液晶ディスプレイ（ＬＣＤ）又はブラウン管（ＣＲＴ））、英数字入力装置６１２（例えば、キーボード）、カーソル制御装置６１４（例えば、マウス）、及び信号生成装置６１６（例えば、スピーカ）を含むことができる。
【００７１】
データ記憶装置６１８は、コンピュータ可読記憶媒体６２４を含むことができ、本明細書に記載の１つ又はそれ以上の方法論又は機能を具体化する１つ又はそれ以上の命令セット６２６（例えば、ソフトウェア）が保存される。また、命令６２６は、コンピュータシステム６００による実行時に、完全に又は少なくとも部分的に主記憶装置６０４内及び／又はプロセッサ６０２内に存在することができ、主記憶装置６０４及びプロセッサ６０２はコンピュータ可読記憶媒体を構成する。更に、命令６２６は、ネットワークインターフェース装置６２２を介して、ネットワーク６２０上で送受信することができる。
【００７２】
１つの実施形態では、命令６２６は、自動欠陥分類における分類器の準備及び保守のための命令及び／又は、自動欠陥分類における分類器の準備及び保守のための命令を有するモジュールを呼び出す方法を含むソフトウェアライブラリを備える。１つの実施形態では、命令６２６は、自動欠陥分類における分類器の準備及び保守のための命令及び／又は自動欠陥分類における分類器の準備及び保守のための命令を呼び出す方法を含む。例示的な実施形態では、コンピュータ可読記憶媒体６２４（マシン可読記憶媒体）は、単一の媒体として示されているが、用語「コンピュータ可読記憶媒体」は、１つ又はそれ以上の命令セットを保存する、単一の媒体又は複数の媒体（例えば、集中型データベース又は分散型データベース、及び／又は関連のキャッシュ及びサーバー）を含むと見なすべきである。また、用語「コンピュータ可読記憶媒体」は、マシンによる実行のために命令セットを保存、符号化、又は伝達する能力を有する任意の媒体、及びマシンに対して本発明の１つ又はそれ以上の方法論を実行させることができ任意の媒体を含むと見なすできである。従って、用語「コンピュータ可読記憶媒体」は、半導体メモリ、光学式媒体、及び磁気式媒体を含むと見なすことができるが、これらに限定されるものではない。
【００７３】
前述の説明においで、数多くの詳細内容が説明される。しかしながら、本発明の開示により恩恵を受ける当業者であれば、これらの詳細内容が無くても本発明を実施できることを理解できるはずである。いくつかの実施例では、公知の構造及び装置は、詳細にというよりはむしろ、本発明を不明瞭にしないように、詳細ではなくブロック図で示されている。
【００７４】
詳細な説明の一部は、コンピュータメモリ内のデータビット上の動作アルゴリズム及び記号表現を用いて示されている。これらのアルゴリズム的な説明及び表現は、データ処理の当業者へ作業結果の内容を最も効果的に伝達するために当業者が利用する手段である。本明細書では及び一般的には、アルゴリズムは、所望の結果に通じる自己矛盾の無い一連のステップであると考えられる。このステップは、物理量の物理的操作を必要とするステップである。必須はないが、通常、これらの量は、保存、転送、結合、比較、及び別な方法で操作することができる、電気的又は磁気的信号の形態である。これらの信号に、ビット、値、シンボル、特性、期間、数等としての言及することは、共通使用のために時には好都合であることが分かっている。
【００７５】
しかしながら、これらの用語及び類似の用語の全ては、適切な物理量に関連しており、これらの物理量に付与される単なる便宜上のラベルであることに留意されたい。以下の説明から明らかなように、特別に説明しない限り、明細書全体にわたって、用語「特定する」、「表す」、「更新する」、「決定する」、「実行する」、「提供する」、「受け取る」などを利用する説明は、コンピュータシステムのレジスタ及びメモリ内で物理的（例えば、電子的）な量で表現されるデータを操作して、コンピュータシステムのメモリ又はレジスタ、又は他のそのような情報記憶、転送、又は表示装置内の物理量として同様に表現される他のデータへ変換する、コンピュータシステム又は同様の電子計算装置の動作及びプロセスに言及することを理解されたい。
【００７６】
また、本発明は、本明細書に記載される操作を実行するための装置に関連する。この装置は、意図された目的を実現するように構成すること、又はコンピュータに保存されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピュータを備えることができる。このコンピュータプログラムは、コンピュータ可読記憶媒体に保存することができ、記憶媒体は、限定されるものではないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、又は電子的命令を記憶するのに適した任意のタイプの媒体とすることができる。
【００７７】
前記の説明は例示的であることは意図されており限定的ではないことを理解されたい。当業者であれば、前記の説明を読んで理解することにより、他の多くの実施形態を理解できるはずである。従って、本発明の範囲は、特許請求の範囲及びその均等物の範囲を参照して決定される。
【符号の説明】
【００７８】
７８：システムの始動又は再訓練が必要である
８０：手動分類で全ての欠陥を入力する
８２：訓練不能なクラスを落とす
８４：訓練に不適切な欠陥を落とす
８６：準備の整っていないクラスを落とす
８８：訓練セットを出力する
９０：自動分類器を訓練する
９２：ランプアップする間に新しい欠陥のＡＤＣアシスト手動分類を実行する
【図１】
0006391083.tif 000002
【図２】
0006391083.tif 000003
【図３】
0006391083.tif 000004
【図４】
0006391083.tif 000005
【図５】
0006391083.tif 000006
【図６】
0006391083.tif 000007