(57)【要約】      （修正有）【課題】対象物の取得画像を検査することによって検出された欠陥を分類するシステムを提供する。【解決手段】システムは、ハードウェアベースのＧＵＩコンポーネントと、複数の欠陥およびそれらの属性値に関する情報を提供するデータを取得すると、この属性値を用いて複数の欠陥の複数のクラスへの最初の分類を作成し、所与のクラスに対して、ハードウェアベースのＧＵＩコンポーネントによって、低い尤度で所与のクラスに最初に分類された欠陥の画像をユーザに提示し、ここで本画像が、最も高い尤度で所与のクラスに最初に分類された１つまたは複数の欠陥の画像と共に提示され、ハードウェアベースのＧＵＩコンポーネントを使用して、少なくとも１つの欠陥が所与のクラスに分類されることをユーザが確認することを条件として、少なくとも１つの欠陥が所与のクラスに属するものとして示す、ように構成された処理およびメモリ回路と、を備える。【選択図】図２Ａ
2019106171.tif 000002
【特許請求の範囲】
【請求項１】
ハードウェアベースのＧＵＩコンポーネントと、
ａ．複数の欠陥およびそれらの属性値に関する情報を提供するデータを取得すると、前記属性値を用いて前記複数の欠陥の複数のクラスへの最初の分類を作成し、
ｂ．前記複数のクラスからの所与のクラスに対して、前記ハードウェアベースのＧＵＩコンポーネントによって、低い尤度で前記所与のクラスに最初に分類された少なくとも１つの欠陥の画像をユーザに提示し、ここで前記画像が、最も高い尤度で前記所与のクラスに最初に分類された１つまたは複数の欠陥の画像と共に提示され、
ｃ．前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記少なくとも１つの欠陥が前記所与のクラスに分類されることを前記ユーザが確認することを条件として、前記少なくとも１つの欠陥が前記所与のクラスに属するものとして示す、
ように構成された処理およびメモリ回路（ＰＭＣ）と、
を備える、欠陥を分類することができるシステム。
【請求項２】
前記ＰＭＣが、最も低い尤度で前記所与のクラスに最初に分類された所定の数の欠陥に対して、または所定のしきい値尤度よりも低い尤度で前記所与のクラスに最初に分類されたすべての欠陥に対して、動作ｂ）およびｃ）を繰り返すようにさらに構成されている、請求項１に記載のシステム。
【請求項３】
前記複数の欠陥の前記複数のクラスへの前記最初の分類が、
前記属性値に従って前記複数の欠陥をクラスタにクラスタリングするステップと、
前記ハードウェアベースのＧＵＩコンポーネントによって、前記クラスタからの少なくとも１つのクラスタにクラスタリングされた１つまたは複数の欠陥をユーザに提示するステップと、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記１つまたは複数の欠陥がクラスタを形成するという前記ユーザからの承認を受け取ることを条件として、前記少なくとも１つのクラスタに基づいてクラスを生成し、前記クラスに対する識別子を受け取るステップと、
を含む、請求項１に記載のシステム。
【請求項４】
前記ＰＭＣが、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記少なくとも１つの欠陥が前記所与のクラスに分類されることを前記ユーザが拒否することを条件として、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記少なくとも１つの欠陥を第２のクラスの表現でユーザに提示し、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記少なくとも１つの欠陥が前記第２のクラスに分類されることを前記ユーザが確認することを条件として、前記少なくとも１つの欠陥が前記第２のクラスに属するものとして示す、
ようにさらに構成されている、請求項１に記載のシステム。
【請求項５】
前記少なくとも１つの欠陥が前記所与のクラスに分類される尤度が、前記少なくとも１つの欠陥が前記第２のクラスに分類される尤度よりも高い、請求項４に記載のシステム。
【請求項６】
前記ＰＭＣが、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記少なくとも１つの欠陥が前記第２のクラスに分類されることを前記ユーザが拒否することを受け取ることを条件として、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記少なくとも１つの欠陥を複数のさらなる欠陥と共にユーザに提示し、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、第３のクラスの識別子を前記ユーザから受け取り、
前記少なくとも１つの欠陥を前記第３のクラスに属するものとして示す、
ようにさらに構成されている、請求項４に記載のシステム。
【請求項７】
前記ＰＭＣが、
前記ハードウェアベースのＧＵＩコンポーネントを使用して、前記複数のさらなる欠陥からの少なくとも１つのさらなる欠陥に対する指示を前記ユーザから受け取り、
前記少なくとも１つのさらなる欠陥を前記第３のクラスに属するものとして示す、
ようにさらに構成されている、請求項６に記載のシステム。
【請求項８】
前記ＰＭＣが、
前記複数のクラスに分類された欠陥を前記ユーザに提示し終えると、
少なくとも１つの関連付けられていない欠陥をユーザに提示し、
前記少なくとも１つの関連付けられていない欠陥が関連付けられる第４のクラスの識別子を前記ユーザから受け取り、
前記少なくとも１つの関連付けられていない欠陥を前記第４のクラスに関連付ける、
ようにさらに構成されている、請求項１に記載のシステム。
【請求項９】
前記ＰＭＣが、アイテムのクラスへの関連付けに基づいて分類器を訓練すること、試験ツールの構成パラメータを決定すること、および試料設計からなるグループから選択された目的のために、前記複数のクラスに関連付けられるような前記複数の欠陥を使用するようにさらに構成されている、請求項１に記載のシステム。
【請求項１０】
ａ．処理およびメモリ回路（ＰＭＣ）によって、複数の欠陥およびそれらの属性値に関する情報を提供するデータを取得すると、前記ＰＭＣを使用して、前記属性値を用いて前記複数の欠陥を前記複数のクラスに最初に分類するステップと、
ｂ．前記複数のクラスからの所与のクラスに対して、低い尤度で前記所与のクラスに最初に分類された少なくとも１つの欠陥の画像をユーザに提示するステップであって、前記画像が最も高い尤度で前記所与のクラスに最初に分類された１つまたは複数の欠陥の画像と共に提示される、ステップと、
ｃ．前記少なくとも１つの欠陥が前記所与のクラスに分類されることを前記ユーザが確認することを条件として、前記少なくとも１つの欠陥を前記所与のクラスに属するものとして示すステップと、
を含む、試料の欠陥を複数のクラスに分類する方法。
【請求項１１】
最も低い尤度で前記所与のクラスに最初に分類された所定の数の欠陥に対して、または所定のしきい値尤度よりも低い尤度で前記所与のクラスに最初に分類されたすべての欠陥に対して、動作ｂ）およびｃ）を繰り返すステップをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記複数のクラスへの前記複数の欠陥の前記最初の分類が、
前記属性値に従って前記複数の欠陥をクラスタにクラスタリングするステップと、
前記クラスタからの少なくとも１つのクラスタにクラスタリングされた１つまたは複数の欠陥をユーザに提示するステップと、
前記１つまたは複数の欠陥がクラスタを形成するという前記ユーザからの承認を受け取ること条件として、前記少なくとも１つのクラスタに基づいてクラスを生成し、前記クラスに対する識別子を受け取るステップと、
を含む、請求項１０に記載の方法。
【請求項１３】
前記少なくとも１つの欠陥が前記所与のクラスに分類されることを前記ユーザが拒否することを条件として、
前記少なくとも１つの欠陥を第２のクラスの表現でユーザに提示するステップと、
前記少なくとも１つの欠陥が前記第２のクラスに分類されることを前記ユーザが確認することを条件として、前記少なくとも１つの欠陥を前記第２のクラスに属するものとして示すステップと、
さらに含む、請求項１０に記載の方法。
【請求項１４】
前記少なくとも１つの欠陥が前記所与のクラスに分類される尤度が、前記少なくとも１つの欠陥が前記第２のクラスに分類される尤度よりも高い、請求項１３に記載の方法。
【請求項１５】
前記少なくとも１つの欠陥が前記第２のクラスに分類されることを前記ユーザが拒否することを受け取ることを条件として、
前記少なくとも１つの欠陥を複数のさらなる欠陥と共にユーザに提示するステップと、
第３のクラスの識別子を前記ユーザから受け取るステップと、
前記少なくとも１つの欠陥を前記第３のクラスに属するものとして示すステップと、
をさらに含む、請求項１３に記載の方法。
【請求項１６】
前記複数のさらなる欠陥からの少なくとも１つのさらなる欠陥への指示を前記ユーザから受け取るステップと、
前記少なくとも１つのさらなる欠陥を前記第３のクラスに属するものとして示すステップと、
さらに含む、請求項１５に記載の方法。
【請求項１７】
前記複数のクラスに分類された欠陥を前記ユーザに提示し終えると、
少なくとも１つの関連付けられていない欠陥をユーザに提示するステップと、
前記少なくとも１つの関連付けられていない欠陥が関連付けられる第４のクラスの識別子を前記ユーザから受け取るステップと、
前記少なくとも１つの関連付けられていない欠陥を前記第４のクラスに関連付けるステップと、
をさらに含む、請求項１０に記載の方法。
【請求項１８】
アイテムのクラスへの関連付けに基づいて分類器を訓練すること、試験ツールの構成パラメータを決定すること、および試料設計からなるグループから選択された目的のために、前記複数のクラスに関連付けられるような前記複数の欠陥を使用するステップをさらに含む、請求項１０に記載の方法。
【請求項１９】
プログラム命令が記憶された非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品であって、コンピュータによって読み取られると、前記命令によって前記コンピュータが、
ａ．前記コンピュータによって複数の欠陥およびそれらの属性値に関する情報を提供するデータを取得すると、前記コンピュータを使用して、前記属性値を用いて前記複数の欠陥を複数のクラスに最初に分類し、
ｂ．前記複数のクラスからの所与のクラスに対して、低い尤度で前記所与のクラスに最初に分類された少なくとも１つの欠陥の画像をユーザに提示し、ここで前記画像が、最も高い尤度で前記所与のクラスに最初に分類された１つまたは複数の欠陥の画像と共に提示され、
ｃ．前記少なくとも１つの欠陥が前記所与のクラスに分類されることを前記ユーザが確認することを条件として、前記少なくとも１つの欠陥を前記所与のクラスに属するものとして示す、
コンピュータソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示された主題は、対象物（例えば、ウエハ、レチクルなど）を検査すること、より詳細には、対象物の撮影された画像を検査することによって検出された欠陥を分類すること、および分類モデルを生成することに関する。
【背景技術】
【０００２】
製造されたデバイスの超大規模集積に関連付けられた高密度および高性能に対する現在の要求は、サブミクロンの特徴、トランジスタおよび回路速度の増加、ならびに信頼性の向上を必要とする。そのような要求は、高精度および均一性を有するデバイス特徴の形成を必要とし、デバイスがまだ半導体ウエハの形態にある間にデバイスの頻繁で詳細な検査を含む製造プロセスの注意深いモニタを必要とする。
本明細書で使用される用語「対象物（ｏｂｊｅｃｔ）」は、半導体集積回路、磁気ヘッド、フラットパネルディスプレイおよび他の半導体製造物品を製造するために使用される、ウエハ、マスク、および他の構造物、それらの組合せならびに／または一部分の、あらゆる種類もしくは試料をカバーするように広範囲に解釈されるべきである。
本明細書で使用される用語「欠陥」は、ウエハ上もしくはウエハ内に形成されるあらゆる種類の異常または望ましくない特徴をカバーするように広範囲に解釈されるべきである。
【０００３】
対象物の複雑な製造プロセスには、エラーがないわけではなく、そのようなエラーは、製造された対象物に障害を引き起こす可能性がある。障害は、対象物の動作を損なう可能性がある欠陥、および欠陥である可能性がある厄介なものを含むことがあるが、製造されたユニットのいかなる害または誤動作も引き起こさない。非限定的な例として、欠陥は、原材料の障害、機械的、電気的、または光学的なエラー、ヒューマンエラーなどに起因して製造プロセス中に引き起こされることがある。さらに、欠陥は、ウエハの多少の変形を引き起こすことがある、試験プロセス中の１つまたは複数の製造段階の後に発生するウエハの温度変化などの時空間的な要因によって引き起こされることがある。また、試験プロセスも、例えば、試験装置またはプロセスにおける光学的、機械的、または電気的な問題のために、疑わしいエラーをさらにもたらす可能性があり、したがって撮影が不完全になる。そのようなエラーは、欠陥を含むように見えることがあるが、実際の欠陥がその領域には存在しない偽陽性所見を生成する可能性がある。
多くの用途では、欠陥のタイプまたはクラスが重要である。例えば、欠陥は、粒子、スクラッチ、プロセスなどの、いくつかのクラスのうちの１つに分類することができる。
【０００４】
特に別段の定めがない限り、本明細書で使用される用語「試験」は、対象物における欠陥のあらゆる種類の検出および／または分類をカバーするように広範囲に解釈されるべきである。試験は、試験される対象物の製造中に、または製造後に非破壊検査ツールを使用することによって行われる。非限定的な例として、試験プロセスは、１つまたは複数の検査ツールを使用して、対象物もしくはその一部分に関して行われる（単一もしくは複数のスキャンでの）スキャンニング、サンプリング、レビュー、測定、分類および／または他の操作を含むことができる。同様に、試験は、試験される対象物の製造に先立って行うことができ、例えば、試験方策を生成することを含むことができる。特に別段の記載がない限り、本明細書で使用される用語「試験」またはその派生語は、検査される領域のサイズ、またはスキャニングの速度もしくは解像度に関して限定されないことに留意されたい。様々な非破壊検査ツールには、非限定的な例として、光学検査ツール、走査電子顕微鏡、原子間力顕微鏡などが含まれる。
試験プロセスは、複数の試験ステップを含むことができる。製造プロセス中に、試験ステップは、例えば、ある特定の層の製造または処理の後などに複数回行うことができる。さらにまたはあるいは、各試験ステップは、例えば、異なるウエハ位置に対して、または異なる試験設定による同一のウエハ位置に対して複数回繰り返すことができる。
【０００５】
非限定的な例として、実行時試験は、２段階手順を用いることができ、例えば、試料の検査に続いて、サンプリングされた欠陥をレビューすることができる。検査ステップ中に、試料またはその一部分の表面（例えば、関心領域、ホットスポットなど）は、典型的には、比較的高速および／または低解像度で走査される。撮影された検査画像は、欠陥を検出し、それらの位置および他の検査属性を得るために分析される。レビューステップでは、検査フェーズ中に検出された欠陥の少なくとも一部の画像は、典型的には、比較的低速および／または高解像度で撮影され、それによって、欠陥の少なくとも一部の分類、および任意選択で、他の分析が可能になる。両方のフェーズは、同一の検査ツールによって実施することができる場合もあれば、これらの２つのフェーズが異なる検査ツールによって実施される場合もある。
【発明の概要】
【０００６】
開示された主題の一態様は、欠陥を分類することができるシステムに関し、本システムは、ハードウェアベースのＧＵＩコンポーネントと、複数の欠陥およびそれらの属性値に関する情報を提供するデータを取得すると、この属性値を用いて複数の欠陥の複数のクラスへの最初の分類を作成し、複数のクラスからの所与のクラスに対して、ハードウェアベースのＧＵＩコンポーネントによって、低い尤度で所与のクラスに最初に分類された欠陥の画像をユーザに提示し、ここで本画像が、最も高い尤度で所与のクラスに最初に分類された１つまたは複数の欠陥の画像と共に提示され、ハードウェアベースのＧＵＩコンポーネントを使用して、少なくとも１つの欠陥が所与のクラスに分類されることをユーザが確認することを条件として、その欠陥が所与のクラスに属するものとして示すように構成された処理およびメモリ回路（ＰＭＣ）と、を備える。システム内では、任意選択で、ＰＭＣは、最も低い尤度で所与のクラスに最初に分類された所定の数の欠陥に対して、または所定のしきい値尤度よりも低い尤度で所与のクラスに最初に分類されたすべての欠陥に対して、動作ｂ）およびｃ）を繰り返すようにさらに構成されている。システム内では、複数の欠陥の複数のクラスへの最初の分類は、任意選択で、属性値に従って複数の欠陥をクラスタにクラスタリングするステップと、ハードウェアベースのＧＵＩコンポーネントによって、クラスタからのあるクラスタにクラスタリングされた１つまたは複数の欠陥をユーザに提示するステップと、ハードウェアベースのＧＵＩコンポーネントを使用して、１つまたは複数の欠陥がクラスタを形成するというユーザからの承認を受け取ることを条件として、クラスタに基づいてクラスを生成し、このクラスに対する識別子を受け取るステップと、を含む。システム内では、ＰＭＣは、任意選択で、ハードウェアベースのＧＵＩコンポーネントを使用して、欠陥が所与のクラスに分類されることをユーザが拒否することを条件として、ハードウェアベースのＧＵＩコンポーネントを使用して、欠陥を第２のクラスの表現でユーザに提示し、ハードウェアベースのＧＵＩコンポーネントを使用して、欠陥が第２のクラスに分類されることをユーザが確認することを条件として、欠陥が第２のクラスに属するものとして示すようにさらに構成されている。システム内では、欠陥が所与のクラスに分類される尤度は、任意選択で、欠陥が第２のクラスに分類される尤度よりも高い。システム内では、ＰＭＣは、任意選択で、ハードウェアベースのＧＵＩコンポーネントを使用して、欠陥が第２のクラスに分類されることをユーザが拒否することを受け取ることを条件として、ハードウェアベースのＧＵＩコンポーネントを使用して、欠陥を複数のさらなる欠陥と共にユーザに提示し、ハードウェアベースのＧＵＩコンポーネントを使用して、第３のクラスの識別子をユーザから受け取り、欠陥を第３のクラスに属するものとして示す、ようにさらに構成されている。システム内では、ＰＭＣは、任意選択で、ハードウェアベースのＧＵＩコンポーネントを使用して、複数のさらなる欠陥からのさらなる欠陥に対する指示をユーザから受け取り、さらなる欠陥を第３のクラスに属するものとして示す、ようにさらに構成されている。システム内では、ＰＭＣは、任意選択で、複数のクラスに分類された欠陥をユーザに提示し終えると、関連付けられていない欠陥をユーザに提示し、関連付けられていない欠陥が関連付けられる第４のクラスの識別子をユーザから受け取り、関連付けられていない欠陥を第４のクラスに関連付ける、ようにさらに構成されている。システム内では、ＰＭＣは、任意選択で、アイテムのクラスへの関連付けに基づいて分類器を訓練すること、試験ツールの構成パラメータを決定すること、および試料設計からなるグループから選択された目的のために、複数のクラスに関連付けられるような複数の欠陥を使用するようにさらに構成されている。
【０００７】
開示された主題の別の態様は、試料の欠陥を複数のクラスに分類する方法に関し、本方法は、処理およびメモリ回路（ＰＭＣ）によって、複数の欠陥およびそれらの属性値に関する情報を提供するデータを取得すると、ＰＭＣを使用して、この属性値を用いて複数の欠陥を複数のクラスに最初に分類するステップと、複数のクラスからの所与のクラスに対して、低い尤度で所与のクラスに最初に分類された欠陥の画像をユーザに提示するステップであって、本画像が、最も高い尤度で所与のクラスに最初に分類された１つまたは複数の欠陥の画像と共に提示される、ステップと、欠陥が所与のクラスに分類されることをユーザが確認することを条件として、欠陥を所与のクラスに属するものとして示すステップと、を含む。本方法は、最も低い尤度で所与のクラスに最初に分類された所定の数の欠陥に対して、または所定のしきい値尤度よりも低い尤度で所与のクラスに最初に分類されたすべての欠陥に対して、動作ｂ）およびｃ）を繰り返すステップをさらに含むことができる。本方法内では、複数の欠陥の複数のクラスへの最初の分類は、任意選択で、属性値に従って複数の欠陥をクラスタにクラスタリングするステップと、クラスタからのあるクラスタにクラスタリングされた１つまたは複数の欠陥をユーザに提示するステップと、１つまたは複数の欠陥がクラスタを形成するというユーザからの承認を受け取ることを条件として、クラスタに基づいてクラスを生成し、このクラスに対する識別子を受け取るステップと、を含む。本方法は、欠陥が所与のクラスに分類されることをユーザが拒否することを条件として、欠陥を第２のクラスの表現でユーザに提示するステップと、欠陥が第２のクラスに分類されることをユーザが確認することを条件として、欠陥を第２のクラスに属するものとして示すステップと、をさらに含むことができる。本方法内では、欠陥が所与のクラスに分類される尤度は、任意選択で、欠陥が第２のクラスに分類される尤度よりも高い。本方法は、欠陥が第２のクラスに分類されることをユーザが拒否することを受け取ることを条件として、欠陥を複数のさらなる欠陥と共にユーザに提示するステップと、第３のクラスの識別子をユーザから受け取るステップと、欠陥を第３のクラスに属するものとして示すステップと、をさらに含むことができる。本方法は、複数のさらなる欠陥からのさらなる欠陥への指示をユーザから受け取るステップと、さらなる欠陥を第３のクラスに属するものとして示すステップと、をさらに含むことができる。本方法は、複数のクラスに分類された欠陥をユーザに提示し終えると、関連付けられていない欠陥をユーザに提示するステップと、関連付けられていない欠陥が関連付けられる第４のクラスの識別子をユーザから受け取るステップと、関連付けられていない欠陥を第４のクラスに関連付けるステップと、をさらに含むことができる。本方法は、アイテムのクラスへの関連付けに基づいて分類器を訓練すること、試験ツールの構成パラメータを決定すること、および試料設計からなるグループから選択された目的のために、複数のクラスに関連付けられるような複数の欠陥を使用するステップをさらに含むことができる。
【０００８】
開示された主題の別の態様は、プログラム命令が記憶された非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品に関し、コンピュータによって読み取られると、本命令によってコンピュータが、複数の欠陥およびそれらの属性値に関する情報を提供するデータによって取得すると、この属性値を使用して複数の欠陥の複数のクラスへの最初の分類を可能にし、複数のクラスからの所与のクラスに対して、低い尤度で所与のクラスに最初に分類された欠陥の画像をユーザに提示し、ここで本画像が、最も高い尤度で所与のクラスに最初に分類された１つまたは複数の欠陥の画像と共に提示され、欠陥が所与のクラスに分類されることをユーザが確認することを条件として、その欠陥を所与のクラスに属するものとして示す。
本発明を理解し、本発明が実際にどのように実行され得るかを見るために、ここで添付図面を参照して単に非限定的な例として実施形態について記載する。
【図面の簡単な説明】
【０００９】
【図１】本明細書に開示された主題のある特定の実施形態による、試験システムのブロック図である。
【図２Ａ】本明細書に開示された主題のある特定の実施形態による、欠陥を分類するため方法の一般化された流れ図である。
【図２Ｂ】本明細書に開示された主題のある特定の実施形態による、欠陥を分類するため方法の詳細な流れ図である。
【図３】本明細書に開示された主題のある特定の実施形態による、教師なしクラスタに対するユーザのレビューを受け取るディスプレイの例示的な例である。
【図４】本明細書に開示された主題のある特定の実施形態による、あるクラスに分類されるように提案された欠陥のユーザのレビューを受け取るディスプレイの例示的な例である。
【発明を実施するための形態】
【００１０】
以下の詳細な記載では、本発明についての完全な理解を提供するために多数の具体的な詳細が述べられる。しかしながら、本明細書に開示された主題は、これらの具体的な詳細なしに実施され得ることを当業者は理解されるであろう。他の事例では、よく知られている方法、手順、構成要素、および回路は、本明細書に開示された主題を不明瞭にしないように詳細には記載されていない。
【００１１】
特に別段の定めがない限り、以下の議論から明らかなように、明細書の議論の全体にわたって、「決定する」、「算定する」、「処理する」、「計算する」、「表わす」、「比較する」、「生成する」、「評価する」、「整合する」、「処理する」、「選択する」などの用語の利用は、データを操作するおよび／もしくは他のデータに変換するコンピュータの行為ならびに／またはプロセスを指し、前記データが電子的な量などの物理的な量として表わされ、および／または前記データが物理的対象物を表わしていると認識される。用語「コンピュータ」は、非限定的な例として、本出願で開示されたＦＰＥＩシステムおよびその一部を含む、データ処理能力を有するあらゆる種類のハードウェアベースの電子機器をカバーするように広範囲に解釈されるべきである。
【００１２】
本明細書で使用される用語「分類」は、各アイテムが１つのクラスに割り当てられるように、アイテムをクラスの集合に割り当てるあらゆる種類のものをカバーするように広範囲に解釈されるべきである。クラスは、ユーザによって規定されてもよく、そうでなければ、受信されてもよい。また、トレーニングセットが受信されてもよく、トレーニングセットは、アイテムの集合、および各アイテムが割り当てられるクラスを含む。その場合、分類器は、さらなるアイテムを、トレーニングセットからのアイテムに対する類似性または相違に従って、またはトレーニングによって決定されたクラスの特性に従って分類することができるように、トレーニングセットで訓練されてもよい。
本明細書で使用される用語「能動的学習」は、１つまたは複数のデータポイントなどの、入力に関連した出力を得るために、学習アルゴリズムが情報源のユーザまたは別の情報源に問い合わせすることができる、あらゆる種類の半教師付き機械学習をカバーするように広範囲に解釈されるべきである。多くの場合、例えば欠陥を撮影する場合、大量のデータが利用可能であるが、人手によるまたは他の信頼できるラベル付けは、費用がかかる。そのようなシナリオでは、学習アルゴリズムは、能動的かつ反復的にユーザにラベルを問い合わせすることができる。
対象物を調べる場合、各欠陥は、サイズ、色、背景色、外観、形状、テクスチャなどの複数の属性に割り当てられた値によって特徴付けられてもよい。属性数は、限定されず、１〜１０００の間で変化することができる。分類器は、訓練されてもよく、分類は、アイテム間の近さ、またはアイテムとクラスの特性との間の近さに基づいてもよい。近さは、適用可能な距離関数、例えば、各属性に対する属性空間および値範囲に基づいて規定された距離に従って規定されてもよい。
次いで、各欠陥は、それらの属性値に基づいて、いくつかのクラスのうちの１つ、例えば、粒子、スクラッチ、プロセスなどに自動的に分類されてもよい。
【００１３】
本明細書で使用される用語「非一時的なメモリ」および「非一時的なストレージ媒体」は、本明細書に開示された主題に適したあらゆる揮発性または不揮発性のコンピュータメモリをカバーするように広範囲に解釈されるべきである。
【００１４】
特に別段の記載がない限り、別の実施形態の文脈で記載されている、本明細書に開示された主題のある特定の特徴は、単一の実施形態において組み合わせて提供されてもよいことが認識される。逆に、単一の実施形態の文脈において記載されている、本明細書に開示された主題の様々な特徴も、別々に、または任意の適切なサブ組合せにおいて提供されてもよい。以下の詳細な説明では、方法および装置についての完全な理解を提供するために多数の具体的な詳細が述べられている。
【００１５】
これを念頭に置いて、本明細書に開示された主題のある特定の実施形態による試験システムの一般化されたブロック図を示す図１に注目する。図１に示す試験システム１００は、対象物（例えば、ウエハおよび／またはその一部分）の欠陥の検査に使用することができる。試験は、対象物の製造の一部であってもよく、対象物の製造中にまたはその後に行われてもよい。図示する試験システム１００は、対象物の製造前、中、もしくは後に得られる画像（以降、製造プロセス（ＦＰ）画像と呼ばれる）および／またはそれらの派生物を使用して、計測学関連および／または欠陥関連の情報を自動的に決定することができるコンピュータベースのシステム１０３を備える。欠陥検出システム１０３は、以降、製造プロセス試験情報（ＦＰＥＩ）システム１０３と呼ばれる。ＦＰＥＩシステム１０３は、１つもしくは複数の検査ツール１０１および／または１つもしくは複数のレビューツール１０２に動作可能に接続することができる。検査ツール１０１は、（典型的には、比較的高速および／または低解像度で）検査画像を撮影するように構成されている。レビューツール１０２は、検査ツール１０１によって検出された欠陥の少なくとも一部のレビュー画像を（典型的には、比較的低速および／または高解像度で）撮影するように構成されている。
ＦＰＥＩシステム１０３は、設計サーバー１１０およびデータリポジトリ１０９にさらに動作可能に接続することができる。
【００１６】
対象物は、検査ツール１０１（例えば、光学検査システム、低解像度ＳＥＭなど）によって調べることができる。明らかにされた潜在的な欠陥に関する情報を提供する結果として得られる画像および／またはそれらの派生物（以降、総称して検査データ１２１と呼ばれる）は、直接、または１つもしくは複数の中間システムを介してＦＰＥＩシステム１０３に送信することができる。以下の図を参照してさらに詳述されるように、ＦＰＥＩシステム１０３は、検査ツール１０１によって生成されたデータ、ならびに／あるいは１つまたは複数のデータリポジトリ１０９および／もしくは設計サーバー１１０に記憶されたデータ、例えば、ハードウェアベースのグラフィカルユーザインタフェース（ＧＵＩ）１２０および／または別の関連するデータ保管装置を使用してユーザから受け取った指示などのデータを、入力インタフェース１０５を介して受け取るように構成されている。検査データ１２１は、潜在的な欠陥の位置およびそれらの他の属性を示すことができる。
ＦＰＥＩシステム１０３は、受け取ったデータを処理し、結果（またはそれらの一部）をストレージシステム１０７に、試験ツールに、例えば、表示装置（図示せず）上にユーザへの結果を描画するためのコンピュータベースのグラフィカルユーザインタフェース（ＧＵＩ）１２０に、ならびに／あるいはさらなる試験ツール、外部システムもしくはストレージ装置、および／または外部システム（例えば、ＦＡＢの歩留り管理システム（ＹＭＳ）、方策ノードなど）に出力インタフェース１０６を介して送るようにさらに構成されている。ＧＵＩ１２０は、ＦＰＥＩシステム１０３、特に分類システム１１２の動作に関連するユーザ指定の入力を可能にするようにさらに構成することができる。
【００１７】
以下の図を参照してさらに詳述されるように、ＦＰＥＩシステム１０３は、受け取った検査データを（任意選択で、例えば、設計データおよび／または欠陥分類データのような他のデータと共に）処理して、レビューのための潜在的な欠陥を選択するように構成することができる。レビューのための潜在的な欠陥は、以降ではレビューのための欠陥とも呼ばれることに留意されたい。
ＦＰＥＩシステム１０３は、処理結果（例えば、命令関連のデータ１２５および／または潜在的な欠陥１２４）を試験ツールのいずれかへ送り、結果（例えば、欠陥分類）をストレージシステム１０７に記憶し、ＧＵＩ１０８を介して結果を描画し、および／または外部システムに（例えば、ＹＭＳ、方策ノードなどに）に送ることができる。
【００１８】
試料は、レビューツール１０２によってさらに試験され得る。ＦＰＥＩシステム１０３によって生成されたデータに従ってレビューのために選択された潜在的な欠陥位置のサブセットは、走査電子顕微鏡（ＳＥＭ）、または原子間力顕微鏡（ＡＦＭ）などによってレビューすることができる。レビュー画像および／またはそれらの派生物に関する情報を提供する結果として得られるデータ（以降、レビューデータ１２２と呼ばれる）は、直接、または１つもしくは複数の中間システムを介して、ＦＰＥＩシステム１０３に送信することができ、レビューのための潜在的な欠陥のさらなる選択、レビューされた欠陥の分類などに使用することができる。
【００１９】
ＦＰＥＩシステム１０３は、ハードウェアベースの入力インタフェース１０５およびハードウェアベースの出力インタフェース１０６に動作可能に接続されたプロセッサおよびメモリ回路（ＰＭＣ）１０４を備える。ＰＭＣ１０４は、以下の図を参照してさらに詳述されるように、ＦＰＥＩシステム１０３を動作させるのに必要な処理を提供するように構成され、プロセッサ（別個に図示せず）およびメモリ（別個に図示せず）を備える。ＰＭＣ１０４のプロセッサは、ＰＭＣ１０４に含まれる非一時的なコンピュータ可読メモリに実装されたコンピュータ可読命令に従っていくつかの機能モジュールを実行するように構成することができる。そのような機能モジュールは、以降、ＰＭＣ１０４に含まれるものとして言及される。プロセッサに含まれる機能モジュールは、クラスタリングエンジン１１３と、分類器とも呼ばれる分類エンジン１１４と、訓練エンジン１１５と、提示のための欠陥選択エンジン１１６と、を備える分類システム１１２を含むか、または動作可能に接続されている。
【００２０】
当業者は、本明細書に開示された主題の教示が図１に示すシステムに限定されず、等価なおよび／または変更された機能性が別のやり方で統合または分割され得て、ファームウェアおよび／またはハードウェアとソフトウェアとの任意の適切な組合せで実施され得ることを容易に認識されるであろう。
図１に示す試験システムは、図１に示す前述の機能モジュールを、いくつかのローカル装置および／またはリモート装置に分散させることができ、通信ネットワークを介してリンクさせることができる分散コンピューティング環境で実施することができることに留意されたい。他の実施形態では、試験ツール１０１および／または１０２の少なくとも一部、データリポジトリ１０９、ストレージシステム１０７、ならびに／またはＧＵＩ１０８は、試験システム１００の外部にあって、入力インタフェース１０５および出力インタフェース１０６を介してＦＰＥＩシステム１０３とデータ通信して動作することができることにさらに留意されたい。ＦＰＥＩシステム１０３は、試験ツールと併せて使用されるスタンドアロンのコンピュータとして実施されてもよい。あるいは、ＦＰＥＩシステム１０３のそれぞれの機能は、１つもしくは複数の試験ツール、プロセス制御ツール、方策生成ツール、自動欠陥レビューおよび／もしくは分類のためのシステム、ならびに／または試験に関連する他のシステムと少なくとも部分的に一体化されてもよい。
【００２１】
当業者は、本明細書に開示された主題の教示が図１に示すシステムに限定されず、等価なおよび／または変更された機能性が別のやり方で統合または分割され得て、ファームウェアおよびハードウェアとソフトウェアとの任意の適切な組合せで実施され得ることを容易に認識するであろう。
典型的には、試験される対象物は、対象物またはその一部分の１つもしくは複数の画像を撮影する検査ツール１０１によって撮影される。画像は、対象物の１つもしくは複数の層の全領域、またはその任意の一部分をカバーすることができる。画像は、既定の方策、または例えば、試験される対象物のタイプのサンプル対象物を撮影した結果として修正された方策を使用して取得され分析される。
【００２２】
試験システムは、撮影された画像を分析し、複数の潜在的な欠陥の位置を決定する。次いで、試験システム１００は、レビューのために潜在的な欠陥から複数の位置を選択することができる。これらの位置は、真の欠陥である可能性が最も高い潜在的な欠陥に対応するものとして選択することができ、対象物の領域にわたって均一な分布の位置を選択することができ、または他の考慮すべき点に従って選択することができる。
次いで、選択された位置またはそれらの一部は、レビューツール１０２によって画像化することができる。次いで、画像は、画像化された位置のそれぞれが確かに欠陥を含むかどうかを判定するために自動欠陥認識（ＡＤＲ）モジュール１１１によって分析することができる。
【００２３】
真の欠陥、および任意選択でさらなる欠陥、例えば、害にならない欠陥である厄介なものは、複数の属性に割り当てられた値の集合として表現され、分類システム１１２の分類エンジン１１４を使用して、所定のクラスの集合のうちの１つに分類することができる。分類される、または関連付けられるという用語は、以下の開示において区別なく使用される。
さらにまたはあるいは、分類システム１１２は、任意の他の時間に任意の他のソースから受け取った欠陥などのアイテムの集合を分類するために使用することができる。分類システム１１２は、訓練コーパスを効率的に取得するために能動的学習技法を用いることができる。能動的学習は、少数の例を選択し、その例に対して提案された分類をレビューするようにユーザに依頼することを含み、したがって、ユーザが比較的あまり努力せずに分類器のための訓練コーパスを生成することができる。
【００２４】
分類エンジン１１４は、トレーニングセットに基づいて分類器訓練エンジン１１５によって訓練することができ、訓練のあとに、分類エンジン１１４が欠陥を分類することができる。トレーニングセットは、それぞれが属性値の集合として表現された複数の欠陥と、欠陥のそれぞれとラベルとも呼ばれるクラスのうちの１つとの関連付けと、を含むことができる。
しかしながら、トレーニングセットを取得することは、些細なことではない。検査ツール１０１によって、またはレビューツール１０２によって出力された欠陥などの欠陥の集合は、数万から数百万の欠陥を含むことがあり、分類器は、それらの欠陥に基づいて、例えば、数千のオーダーで訓練されることがある。しかしながら、サンプルを人間によってラベル付けされるように選択することもまた些細なことではない。ランダムな選択は、共通欠陥または高密度領域からの欠陥の過剰表現、および他の欠陥のすべてにおける過少表現または無表現になる可能性がある。多数の欠陥を分類する場合、４０％の誤り率に達することがあるヒューマンエラーが発生する可能性があることにも留意されたい。他の状況においても、例えば、分類を改善する必要性が生じた場合に、大量の欠陥にラベル付けする、または分類することが必要になることがあることを認識されるであろう。別の例では、方策を較正する場合、ウエハを走査し、発見された欠陥個体群をチェックすることが必要なことがあり、このことは、すべてのクラスが表現されていることを立証するために個体群の分類を必要とする。別の例では、分類された個体群は、新しい対象物の研究開発（Ｒ＆Ｄ）フェーズで使用することができる。さらなる例は、分類器の性能を改善すること、オペレータ間の不一致を低減させるために曖昧な個体群間の自動で一貫したしきい値を選択することなどに関する。
【００２５】
分類システム１１２は、以下で詳述されるように、多数の欠陥または他のアイテムを半自動で効率的に分類するために使用することができる。
ここで図２Ａを参照すると、本明細書に開示された主題のある特定の実施形態による、欠陥を分類するためのプロセスの一般化された流れ図が示されている。
【００２６】
分類システム１１２は、複数の欠陥のクラスへの最初の分類を取得することができる（２００）。最初の分類は、欠陥をクラスに明確に関連付ける「グランドトゥルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）」ではなく、さらなる分類のための基礎として扱うことができる。最初の分類は、複数の欠陥をクラスタにクラスタリングし、ユーザにクラスを提示し、欠陥が正しくクラスタリングされたと承認されると、それぞれのそのようなクラスタに名前または番号などの識別子を付与し、したがってクラスタをクラスと見なすことによって得られてもよい。
【００２７】
分類システム１１２は、欠陥のクラスへの関連付けをチェックする（２０４）ために関連付け提示モジュール１２３を作動させることができる。チェックは、それぞれのクラスごとにいくつかの欠陥をユーザに提示することによってクラスのそれぞれに対して行うことができ、欠陥は、クラスに自動的に分類され、欠陥は、クラスに最も高い尤度で分類された。それぞれそのような提示は、クラスに分類された欠陥の画像、および他の欠陥の画像（または、明確に分類される欠陥が存在しない場合は、クラスに最初に分類された欠陥の画像）を提示することを含む。次いで、ユーザは、欠陥がそのクラスに確かに関連付けられるべきか、例えば、分類されるべきかどうかを判定することができる。欠陥がそのクラスに関連付けられないことをユーザが示す場合、欠陥は、欠陥がより低い尤度で自動的に分類された１つまたは複数の他のクラスによって再び提示されてもよい。各クラスに対して、ユーザに提示された欠陥がそのクラスへの分類が最も疑わしかった欠陥である可能性があると判定される。例えば、第１の欠陥が９０％の確実性でクラスＡに（および他のクラスにはより低い尤度で）分類され、第２の欠陥が２０％の確実性でクラスＡに（および他のクラスにはより低い尤度で）分類される場合、第２の欠陥は、クラスの境界を評価する上でより有用である可能性があるため、第２の欠陥のクラスＡへの関連付けに関してユーザに尋ねることが好ましい。
【００２８】
欠陥が、提示されたクラスのいずれにも関連付けされない場合、欠陥は、その欠陥に類似する他の欠陥によって提示されてもよい（２１６）。例えば、各欠陥が複数の属性に対する値の集合として表現されている場合、類似する欠陥は、属性空間において最も近い欠陥であってもよい。その場合、ユーザは、欠陥または他の提示された欠陥を既存のクラスのいずれかに関連付けることができ、提示されたクラスを容認することまたは拒否することに限定されない。
欠陥がクラス（第１の提示されたクラス、第２の提示されたクラスなど）に属すると判定された（２０８）場合は、ユーザがプロセスを終了すること２１２を選択しない限り、プロセスは、さらなる欠陥に対して続く。
【００２９】
欠陥がすべてのクラスに対して提示されるか、またはユーザがプロセスを終了させることを手動で選択した場合は、プロセスを終了することができる（２１２）。プロセスは、明確に関連付けられた欠陥に基づいて分類器を訓練することによって終了させることができる。次いで、このプロセスに続いて、関連付けられていない欠陥および関連するクラスをユーザにさらに提示するさらなる反復が行われてもよい。
終了すると、すなわち、ユーザが終了するように要求するか、または所定の数の欠陥が各クラスに対して提示され、そのクラスまたは別のクラスに関連付けされると、特定のアプリケーションまたは要求事項に応じていくつかの終了動作（２２０）が行われてもよい。
ここで図２Ｂを参照すると、本明細書に開示された主題のある特定の実施形態による、欠陥などのアイテムを分類するためのプロセスの詳細な流れ図が示されている。
【００３０】
クラスタリングエンジン１１３は、それぞれが属性値の集合として特徴付けられまたは表現された複数の欠陥を受け取ることができる。次いで、クラスタリングエンジン１１３は、アイテムを複数のクラスタにクラスタリングする（２４０）。クラスタリングは、属性空間内の距離に基づくだけでなく、他のメトリック、例えば、情報理論または確率メトリックにも基づくことができる。また、属性空間の空間的な探索は、クラスタリングに限定されず、他の技法が使用されてもよいことを認識されるであろう。
クラスタリングは、任意の教師なしクラスタリング方法、例えば、限定されることなく、Ｋ平均法もしくはＫメドイド法クラスタリング（ここで、Ｋは先験的に与えられていない）、平均シフトクラスタリング、階層型クラスタリング、ＯＰＴＩＣＳ＋クラスタリング、ＧＭＭ、スペクトルクラスタリング、あるいは現在知られている、または将来知られることになる他のクラスタリング方法を使用することができる。クラスタの数は、人間によって管理することができる数、例えば、１０〜１００に限定されてもよい。
【００３１】
一部の例示的な実施形態では、クラスタリングは、クラスタ中心として２つの最も遠い欠陥を選択することによって開始することができ、欠陥間の距離は、属性空間内で測定される。次いで、２つの欠陥から最も遠い第３の欠陥を選択することができ、その距離は、２つの最初の欠陥からの距離の和、二乗距離の和などとして決定することができる。したがって、必要な数のクラスタが達成されるまで、それぞれの次の欠陥が以前に選択されたすべての欠陥から最も遠いものとして選択され得る。この手法は、属性空間の大部分をカバーする欠陥を有するクラスタを形成しようとする探索と見なされてもよい。
また、最も遠い欠陥を選択することは、クラスタリングの代わりに使用される初期化方法としてそれ自体で使用されてもよい。
【００３２】
欠陥がクラスタリングされると、１つまたは複数のクラスタに関して、ＧＵＩ１２０のクラスタ提示モジュール１２１を介してユーザ指示を受け取ることができる（２４４）。ユーザ指示は、クラスタのユーザへの表示の後に受け取られてもよい。
またここで図３を参照すると、教師なしクラスタリングによって作成されたクラスタに対するユーザのレビューを受け取るディスプレイの例示的な例が示されている。
ＧＵＩ１２０のクラスタ提示１２１は、ペイン３００に示すように、クラスタの表現をユーザに表示することができる。ディスプレイは、アイテムの画像、例えば、同一のクラスタにクラスタリングされた欠陥の画像を含むことができる。ディスプレイは、ユーザがクラスタに基づいてクラスにラベル、例えば、適切な名前、説明、または別の識別子などを付与することができるテキストボックス３１６をさらに含むことができる。識別子は、欠陥が確かに同一のクラスタに関連していることをユーザが確認することを条件として付与されてもよい。さもなければ、ユーザは、無視して、ボタン３０８および３１０を使用して、前のクラスタまたは次のクラスタにそれぞれ移動することができる。表示された欠陥のかなりの部分が互いに関連しているように見える場合は、欠陥３０４などの他の欠陥が関連していないように見えるとしても、ユーザは、クラスタを容認することができる。一部の実施形態では、ユーザは、クラスタを容認し、一方で特定の欠陥がクラスタに関連付けられることを拒否することができる。
また、ユーザは、既存のクラスの識別子をテキストボックス３１６に入力し、したがって、現在の欠陥が既存のクラスに関連付けられるべきであることを示すことができる。識別子が利用可能になると、クラスタは、クラスと見なされてもよい。
【００３３】
ユーザに表示される欠陥は、複数の方法で、同一のクラスタにクラスタリングされた複数の欠陥から選択されてもよい。例えば、他の欠陥までの累積距離が低い欠陥、クラスタリングされたアイテムの平均的な属性値に近い属性値を有する欠陥などの、クラスタを表現しようとする一組の欠陥が選択されてもよく、または任意の他のやり方であってもよい。
クラスタリング（２４０）およびユーザ指示の受け取り（２４４）は、最初の分類を取得する例示的な実施態様を構成する（２００）。
後続のステップは、以下に詳述するように、停止基準が満たされるまで繰り返し行われる。
分類が取得されると、訓練エンジン１１５は、作成されたクラスに関連付けられた欠陥に基づいて分類器を訓練することができる（２４８）。
第１の反復では、どの欠陥も、クラスに関連付けられるようにユーザによってまだ明確には示されていないことに留意されたい。むしろ、識別されたクラスは、クラスに明確に関連付けられていないが、むしろクラスタの一部として表示された欠陥を含むことがある。
第２およびそれ以降の反復では、分類器は、クラスのそれぞれに明確に関連付けられた欠陥に基づいて訓練される。
【００３４】
分類エンジン１１４は、クラスに明確に関連付けられなかったアイテムをすべて分類することができる（２５２）。第１の反復では、どの欠陥もクラスに明確に関連付けられるようにユーザによって個別に示されていないため、すべての欠陥を分類することができる。分類は、欠陥の各クラスとの関連付けを調べることによって、したがって、欠陥が確かにそのクラスに関連付けられているという信頼度をそれぞれが示す複数の信頼レベルを決定することによって実施することができる。
【００３５】
次いで、欠陥選択エンジン１１６は、各クラスについて、現在の反復でそのクラスに関連付けられる信頼レベルが、他のクラスに関連付けられる信頼レベルよりも高かったいくつかの欠陥を選択することができる（２５６）。その数は、特定のクラスに分類されたアイテムの数に関連して、信頼レベルに応じて、ユーザの設定に従って、などのようにあらかじめ決定することができる。
一部の例では、選択された欠陥は、最も高い信頼レベルで特定のクラスに分類された欠陥であってもよく、２番目に高い信頼レベルは、最も高い信頼レベルに近く、例えば、せいぜい所定の差だけ異なり、このことは、この欠陥の分類が曖昧である可能性があることを意味する。
さらなる手法では、選択された欠陥は、クラスに割り当てられる尤度が、他の欠陥がそのクラスに割り当てられる尤度よりも低い欠陥であってもよい。
【００３６】
欠陥選択（２５６）は、ユーザによってレビューされる欠陥を選択するための他の手法を用いることもできる。１つの手法は、活用（ｅｘｐｌｏｉｔａｔｉｏｎ）と呼ばれ、クラスの中心に、例えば、各属性について、クラスに関連付けられた欠陥の属性値の平均である値を有する点に近い欠陥が、より高い確率で選択される。探索と呼ばれる別の手法は、クラスの境界を規定するためにクラスの中心から最も遠い欠陥を捜し求めることができる。
一部の欠陥が探索によって選択され、他の欠陥が活用によって選択される、２つの手法の組合せも使用することができることを認識されるであろう。
【００３７】
さらなる手法は、いくつかの分類モデルの訓練を用いる、「集団質問学習（ｑｕｅｒｙ  ｂｙ  ｃｏｍｍｉｔｔｅｅ）」と呼ばれる。モデルがはっきりしない欠陥、すなわち、異なるモデルがこれらの欠陥を異なるクラスに分類する欠陥は、これらの欠陥に対するユーザの入力を受け取ることがこれらの欠陥の関連付けを明確にするのに役立つことがあるため選択される可能性がより高い。
さらに別の手法は、欠陥が各クラスに分類され、モデルがいずれかのそのような分類に基づいて構築される、「予測誤差低減（ｅｘｐｅｃｔａｔｉｏｎ  ｅｒｒｏｒ  ｒｅｄｕｃｔｉｏｎ）」と呼ばれる。その場合、その時間までに分類された欠陥が、分類器のそれぞれによって再分類される。最小の誤り率に関連付けられた欠陥を選択することができる。しかしながら、この手法は、サンプル数にクラス数を掛けた多数のモデルのために強力な計算資源を必要とする。したがって、この手法が使用される場合、モデル数を減らすためにいくつかのヒューリスティックが必要になることがある。
【００３８】
また、取られる手法は、反復ごとに異なることができることを認識されるであろう。例えば、短時間でかなりの数の欠陥に対する分類を取得するために、クラスタリングに基づく第１の反復では、欠陥は、活用によって選択されてもよく、後の反復は、探索によってより多くの欠陥を選択していてもよい。
次いで、ＧＵＩ１２０の関連付け提示１２３は、欠陥、および最も高い信頼レベルに関連付けられたクラスの画像または別の表現をユーザに表示することができ、アイテムがそのクラスに確かに属し、そのクラスに関連付けられるべきかどうかの指示をユーザから受け取ることができる（２６０）。提案されたクラスは、そのクラスに関連付けられた欠陥の画像の集合によって表示されてもよい。
開示された方法は、冗長性のない有益なサンプルを選択することを提供する。その場合、割り当てられたクラスがラベル付けされていない欠陥に適用されて、訓練コーパスを作成する。
ここで図４を参照すると、あるクラスに分類されるように提案された欠陥のユーザのレビューを受け取るディスプレイの例示的な例が示されている。
【００３９】
表現は、欠陥の画像４００およびクラスの表現を含むことができ、例えば、以前にクラスに関連付けられた欠陥の複数の画像を示すペイン４０４を含む。最初の分類の後に、かつ任意の特定の欠陥が明確にクラスに関連付けされる前に、そのクラスが基づくクラスタにクラスタリングされた欠陥の画像が表示されてもよいことを認識されるであろう。
表現は、欠陥４００がクラスに関連付けられるかどうかをユーザが示すためのチェックボックス４０８および４１２などの制御を含む。
さらなる実施態様では、クラスに関連付けられるように提案された複数の欠陥は、１つずつではなく同時に提示されてもよく、ユーザは、各欠陥に対して、欠陥が確かにそのクラスに関連付けられているかどうかを示すことができる。
【００４０】
表示された欠陥がクラスに関連付けられないことをユーザが示す場合、ＧＵＩ１２０の関連付け提示１２３は、欠陥、および信頼レベルが２番目に高いクラスを表示することができ、欠陥が第２のクラスに属するかどうかのユーザの指示を受け取る（２６４）。欠陥がそのクラスに関連付けられないことをユーザが示す場合、さらなるクラスがユーザの指示のために表示されてもよいことを認識されるであろう。試行されるクラスの数は、例えば、３つにあらかじめ決められてもよく、または任意の他のやり方で設定されてもよい。
他の手法が存在するとはいえ、複数の選択肢ではなく、欠陥がクラスに関連付けられるかどうかを示すオプションのみをユーザに与えることによって、速いペースおよび誤り率低下がもたらされることを認識されるであろう。
一部の実施形態では、ユーザが、提案されたクラスのいずれかに欠陥を関連付けしない場合、ユーザは、現在の欠陥および現在の欠陥に類似する他の欠陥を提示されることがある（２１６）。その場合、ユーザは、分類ドロップダウンメニュー４２０から欠陥に対するいずれかのクラスを選択するために、以前に利用不可能であった可能性があるオプションを有することができる。このディスプレイによって、ユーザは、同一のクラスに関連付けられるような他の欠陥の１つまたは複数を同様に示すことができる。
【００４１】
上記のステップは、停止基準が満たされるまで、例えば、ユーザがプロセスを終了するように要求した場合、所定の反復回数が行われた場合、関連付けられていない欠陥が存在しない場合、関連付けられていない欠陥がすべて近く、例えば、関連付けられた欠陥から所定の値よりも小さな距離にあり、したがって同一のクラスに属すると見なすことができる場合、関連付けられていない欠陥の数が反復の間に所定のしきい値を下回った場合、反復間のクラス特性の変化が所定のしきい値を下回る場合、最大の時間を使用してしまった場合などに繰り返され得る。
停止基準が満たされると、終了動作が行われてもよい（２２０）。
【００４２】
分類が行われると、分類は、多種多様なやり方で利用されてもよい（２７２）。そのような１つのやり方は、製品の研究開発（Ｒ＆Ｄ）などの目的に、分類された欠陥のコーパスを単に使用することである。さらなる目的は、さらなる欠陥を分類するために分類器を訓練することであってもよい。さらに別の目的は、１つまたは複数の試験ツールのパラメータを適合させること、例えば、方策を適合させることであってもよい。
本開示は、複数の欠陥のユーザ検証された分類を効率的に受け取るために使用することができる。分類された欠陥は、分類器を訓練するために、他の分類をチェックするために、またはその他の目的のために、そのままで使用することができる。
本開示は、欠陥を分類することに限定されず、どの分野においても、アイテムの任意の分類器に使用することができることを認識されるであろう。
【００４３】
本発明は、その適用において、本明細書に含まれる、または図面に示される記載で述べられた詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々なやり方で実施され、実行され得る。それゆえに、本明細書で用いられた語法および術語は、記載のためのものであり、限定していると見なされるべきでないことを理解されたい。そのため、当業者は、本開示が基づく概念が本明細書に開示された主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用され得ることを認識されるであろう。
本発明によるシステムは、少なくとも一部は、適切にプログラムされたコンピュータ上で実施され得ることも理解されるであろう。同様に、本発明は、本発明の方法を実行するためのコンピュータによって読取り可能なコンピュータプログラムを意図している。本発明は、本発明の方法を実行するためのコンピュータによって実行可能な命令のプログラムを明白に具現化する非一時的なコンピュータ可読メモリをさらに意図している。
当業者は、添付された特許請求の範囲に規定された本発明の範囲から逸脱することなく、前述したような本発明の実施形態に様々な修正および変更を適用することができることを容易に認識されるであろう。
【符号の説明】
【００４４】
１００  試験システム
１０１  検査ツール
１０２  レビューツール
１０３  欠陥検出システム
１０４  メモリ回路（ＰＭＣ）
１０５  入力インタフェース
１０６  出力インタフェース
１０７  ストレージシステム
１０８  ＧＵＩ
１０９  データリポジトリ
１１０  設計サーバー
１１１  自動欠陥認識（ＡＤＲ）モジュール
１１２  分類システム
１１３  クラスタリングエンジン
１１４  分類エンジン
１１５  訓練エンジン
１１６  欠陥選択エンジン
１２０  グラフィカルユーザインタフェース（ＧＵＩ）
１２１  検査データ
１２１  クラスタ提示モジュール
１２２  レビューデータ
１２３  提示モジュール
１２４  欠陥
１２５  データ
３００  ペイン
３０４  欠陥
３０８  ボタン
３１０  ボタン
３１６  テキストボックス
４００  画像
４０４  ペイン
４０８  チェックボックス
４１２  チェックボックス
４２０  分類ドロップダウンメニュー
【図１】
2019106171.tif 000003
【図２Ａ】
2019106171.tif 000004
【図２Ｂ】
2019106171.tif 000005
【図３】
2019106171.tif 000006
【図４】
2019106171.tif 000007
【外国語明細書】
2019106171000001.pdf