(57)【要約】  ＡＤＣ（Automatic Defect Classification）とＭＤＣ（Manual Defect Classification）作業を併用する際に、ＭＤＣ作業の負担を低減することを第一の目的とする。さらに、ＤＯＩ（Defect Of Interest）の見逃しを防止することを第二の目的とする。  一部ＡＤＣ，一部ＭＤＣを行う際に必要となるＡＤＣ／ＭＤＣ切り分けの判断情報を画面表示することにより、上記第一の目的を達成する。この際、ＡＤＣ，ＭＤＣの各分類結果もマトリックス表示する。また、ＤＯＩの見逃し率を欠陥分類に用いる分類の閾値ごとに計算して画面表示する。
2011155123.tif 000002
【特許請求の範囲】
【請求項１】
被観察試料の画像を取得し、当該画像から欠陥に該当する領域を欠陥画像として抽出する機能を備えた欠陥レビュー装置において、
前記被観察試料を撮像し、撮像した画像を画像信号として出力する電子光学系と、
前記欠陥画像の抽出処理を行うＡＤＲ処理部と、
前記欠陥を複数のカテゴリに自動分類するＡＤＣ処理部と、
当該ＡＤＣ処理部による自動分類結果のうち、人手によるマニュアル分類を行うべきカテゴリを判断するための判断情報が表示される画面表示手段とを備えたことを特徴とする欠陥レビュー装置。
【請求項２】
請求項１に記載の欠陥レビュー装置において、
前記欠陥に対する前記マニュアル分類結果と前記ＡＤＣによる分類結果とを、前記複数のカテゴリ毎にマトリックス表示するコンフュージョンマトリックスが前記画面表示手段上に表示されることを特徴とする欠陥レビュー装置。
【請求項３】
請求項２に記載の欠陥レビュー装置において、
前記ＡＤＣ処理部の分類結果と当該ＡＤＣの対象となった欠陥画像に対する人手によるマニュアル分類結果とが格納される記憶手段を備え、
前記ＡＤＣ処理部は、前記ＡＤＣによる分類結果と、前記マニュアル分類結果とを用いて、各カテゴリに対する前記ＡＤＣによる欠陥数および前記マニュアル分類による欠陥数をカテゴリ毎に配列したコンフュージョンマトリックスおよび前記判断情報とを生成し、
前記画面表示手段に表示することを特徴とする欠陥レビュー装置。
【請求項４】
請求項２に記載の欠陥レビュー装置において、
前記判断情報が、前記各カテゴリに対する欠陥数の純度あるいは正解率であることを特徴とする欠陥レビュー装置。
【請求項５】
請求項１に記載の欠陥レビュー装置において、
前記ＡＤＣ処理部は、前記欠陥分類を行うための閾値情報を複数備え、
当該複数の閾値に対して得られる前記ＡＤＣの結果に基づき、前記複数の閾値に対する前記判断情報を算出することを特徴とする欠陥レビュー装置。
【請求項６】
請求項１に記載の欠陥レビュー装置において、
前記判断情報が、人手によるマニュアル分類が必要なカテゴリ，当該人手によるマニュアル分類の不要率，着目欠陥に対する見逃し率のいずれかであることを特徴とする欠陥レビュー装置。
【請求項７】
請求項４に記載の欠陥レビュー装置において、
前記純度がコンフュージョンマトリックス上で強調表示されることを特徴とする欠陥レビュー装置。
【請求項８】
被観察試料の画像を取得し、当該画像から欠陥に該当する領域を欠陥画像として抽出する機能を備えた欠陥レビュー装置において、
前記被観察試料を撮像し、撮像した画像を画像信号として出力する操作電子顕微鏡と、
前記欠陥画像の抽出処理を行うＡＤＲ処理部と、
前記欠陥を複数のカテゴリに自動分類するＡＤＣ処理部と、
前記ＡＤＲ処理部により得られた欠陥画像の一部を選択するための選択画面が表示される画面表示手段と、
当該選択画面により選択された欠陥画像に対する前記ＡＤＣ処理部でのＡＤＣ結果と、当該ＡＤＣ結果の対象となった欠陥画像に対する人手によるマニュアル分類結果とが格納される記憶手段と、
前記ＡＤＣ結果に対して、前記マニュアル分類を行うべきカテゴリを判断するための判断情報を計算する演算手段とを備えたことを特徴とする欠陥レビュー装置。
【請求項９】
請求項８に記載の欠陥レビュー装置において、
前記判断情報が表示される画面表示手段を備えたことを特徴とする欠陥レビュー装置。
【請求項１０】
被観察試料の走査電子顕微鏡画像から得られる欠陥画像を所定の分類モデルに基づき複数のカテゴリに自動分類する演算装置と、当該演算処理に必要な設定情報の読み込み手段とを備えた欠陥レビュー装置で使用されるプログラムであって、
所定数の欠陥画像に対する前記自動分類結果と、前記所定数の欠陥画像に対する人手によるマニュアル分類結果を読み込むステップと、
前記自動分類結果と前記マニュアル分類結果を用いて、前記自動分類結果のうち前記マニュアル分類を行うべきカテゴリを判断するための判断情報を計算するステップと、
を前記演算装置に実行させるプログラムを格納した記憶装置。
【請求項１１】
請求項１０に記載のプログラムを格納した記憶装置であって、
前記プログラムは、
前記自動分類結果と前記マニュアル分類結果を用いて、前記自動分類による欠陥数および前記マニュアル分類による欠陥数とを前記複数のカテゴリ毎に配列したコンフュージョンマトリックスを生成するステップと、
前記各カテゴリに対する欠陥数の正答率と純度とを算出するステップと、
を前記演算装置に実行させることを特徴とする記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察条件を登録したレシピに基づき、様々な観察条件で試料の観察を行い、観察画像を種類別に分類することで、欠陥の発生原因を特定することを目的とした観察画像の分類基準の最適化方法、および観察装置に関するものである。特にＳＥＭ（Scanning Electron Microscope）式観察装置のように、試料の特性，製造工程，ユーザー使用時のＤＯＩ（Defect Of Interest）に応じて、最適な分類基準が変化する場合に有効な技術である。
【背景技術】
【０００２】
半導体製造あるいは液晶装置の製造など、基板上に微細なパターンを形成する製造工程において、高い歩留りを確保するためには、製造工程で発生する欠陥を早期に発見して、対策を施すことが重要である。近年、半導体の微細化に伴い、微小な欠陥であっても、歩留りに与える影響を無視できなくなり、観察対象となる欠陥の多様化が進んでいる。【０００３】
ＳＥＭ式観察装置は、このような多様な欠陥を観察するための装置であり、一般に上位の検査装置で検出した欠陥位置情報をもとに欠陥を観察する。さらに、問題工程を特定するために、欠陥の種類別に分類する作業が実施されている。また観察装置の性能向上は目覚しく、より微細な欠陥が観察できるようになり、スループットの向上と合わせて、取得可能な観察画像の数は飛躍的に増加している。したがって、取得画像を用いて観察欠陥をカテゴリ（欠陥の種類）別に分類する作業を自動化する技術が開発されている。【０００４】
この欠陥の分類作業を自動化する機能はＡＤＣ（Automatic Defect Classification）と呼ばれ、例えば特許文献１には、欠陥部分の特徴を定量化し、それらの特徴量を用いて自動分類する方法が開示されている。【０００５】
また、特許文献２には、ＡＤＣの結果をコンフュージョンマトリックスの形式で表示する発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１３５６９２号公報（米国特許６９２２４８２号）
【特許文献２】特開２００８−０８２８２１号公報（米国公開公報２００８／００７５３５２号）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし人手によるＭＤＣ（Manual Defect Classification）と比較すると、上記ＡＤＣは分類性能が不十分であるため、ＭＤＣからＡＤＣへの置換え事例は限定的であり、ＡＤＣの普及は進んでいない。このためＭＤＣに多くの時間を要しており、観察装置を使用するユーザーの負担が大きいという問題があった。【０００８】
そこで、ＭＤＣからＡＤＣへの完全な置換えでなくても、部分的にでもＡＤＣを使うことでＭＤＣ作業の負担を低減したいというニーズが高まりつつある。【０００９】
本発明は、ＭＤＣ作業の負担を低減するためのＡＤＣレシピの最適化方法、およびＡＤＣ機能を有する観察装置の提供を主要な目的とする。
【課題を解決するための手段】
【００１０】
従来の欠陥観察装置あるいは検査装置に搭載されているＡＤＣ機能は、ＡＤＣかＭＤＣのいずれかを選択するように設定されている。つまり従来の観察装置では、欠陥分類を全て装置に任せるか、あるいは人手によるマニュアル分類で行うかという２つの選択肢しかなく、欠陥分類作業の一部を装置が実行し、一部をマニュアル分類するといったＡＤＣとＭＤＣを任意に組み合わせて欠陥分類を行うといった機能が搭載されていなかった。【００１１】
そこで本発明は、いずれのカテゴリに対する分類作業をＭＤＣにより行うべきかを判断するための判断情報を画面表示することにより、本発明の課題を解決する。この判断情報は、ＡＤＣの結果を表示する画面表示手段上にＡＤＣ結果と併せて表示させた方が使い勝手が良いが、別画面に表示させることも可能である。
【発明の効果】
【００１２】
本発明によれば、欠陥レビューの結果検出された欠陥画像の分類作業において人手による作業量を低減することができる。ひいては、欠陥観察結果を迅速に製造工程にフィードバックすることが可能となり、製造歩留まりを向上させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】ＳＥＭ式欠陥観察装置の構成図。
【図２】観察画像分類装置の構成図。
【図３】分類パラメータの最適化手順を示すフローチャート。
【図４】コンフュージョンマトリックスの説明図。
【図５】ＭＤＣ作業低減のためのパラメータ最適化の設定および評価画面。
【図６】ＭＤＣ作業低減のためのパラメータ最適化の手順を示すフローチャート。
【図７】特徴量空間における境界設定をパラメータとする分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための概念図。
【図８】特徴量空間における境界設定をパラメータとする分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための設定および評価画面。
【図９】特徴量の重み設定をパラメータとする分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための概念図。
【図１０】多段階分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための概念図。
【図１１】ＤＯＩ見逃し低減のためのパラメータ最適化の手順を示すフローチャート。
【図１２】ＤＯＩ見逃し低減のためのパラメータ最適化の設定および評価画面。
【図１３】ＭＤＣ作業低減とＤＯＩ見逃し低減のためのパラメータ最適化の設定および評価画面。
【図１４】ＭＤＣに用いる欠陥の選択用ＧＵＩ画面の構成例。
【発明を実施するための形態】
【００１４】
（実施例１）
実施例１では、コンフュージョンマトリックス上にＡＤＣとＭＤＣ切り分けの判断情報を表示する機能を備えたＳＥＭ式欠陥観察装置の構成例について説明する。
【００１５】
ＳＥＭ式欠陥観察装置とは、光学式あるいはＳＥＭ式外観検査装置といった、外部の欠陥検出装置で検出された試料上の欠陥位置の高精細ＳＥＭ像を取得し、得られた高精細ＳＥＭ像を所定基準で分類するための装置である。ところが、［背景技術］欄で説明した通り、観察装置の性能向上は目覚しく、１時間あたりの欠陥観察で取得できる欠陥画像の数は数百から数千に達している。このような膨大な量の欠陥画像を人手によりマニュアル分類するのは事実上不可能であり、製造工程へのフィードバックに十分といえるだけの欠陥画像について欠陥分類を行うためにはＡＤＣの導入が必須である。しかしながら、［背景技術］欄で説明した通り、ＡＤＣの分類性能は十分とは言えず、一部カテゴリの欠陥については人手によるＭＤＣを行わざるを得ない。
【００１６】
そこで本実施例では、どのカテゴリに対するＡＤＣ結果が信頼でき、どのカテゴリに対するＡＤＣ結果が信頼できないかを示す判断情報を、観察対象試料から取得された欠陥画像の一部に対するＡＤＣおよびＭＤＣの結果を用いて算出し、表示部２０６上に表示することにより、装置ユーザーにＡＤＣ／ＭＤＣ切り分けの判断情報を提示する。
【００１７】
図１は、本実施例のＳＥＭ式欠陥観察装置の全体構成を示す模式図である。図１のＳＥＭ式欠陥レビュー装置は、電子銃１０１，レンズ１０２，走査偏向器１０３，対物レンズ１０４，試料１０５，二次粒子検出器１０９などの光学要素により構成される電子光学系，観察対象となる試料を保持する試料台をＸＹ面内に移動させるステージ１０６，当該電子光学系に含まれる各種の光学要素を制御する電子光学系制御部１１０，二次粒子検出器１０９の出力信号を量子化するＡ／Ｄ変換部１１１，ステージ１０６を制御するステージ制御部１１２，全体制御部１１３，画像処理部１１４，装置を操作するための操作部１１５，欠陥レビュー装置の制御情報や後述するＡＤＲあるいはＡＤＣに用いる画像データを格納する記録媒体を備えた記憶装置１１６，光学式顕微鏡１１９などにより構成されている。また、以上説明した電子光学系，電子光学系制御部１１０，Ａ／Ｄ変換部１１１，ステージ１０６，ステージ制御部１１２は，ＳＥＭ画像の撮像手段であるところの走査電子顕微鏡を構成する。
【００１８】
電子銃１０１から発射された一次電子ビーム１０７は、レンズ１０２で集束され、走査偏向器１０３で偏向された後、対物レンズ１０４で集束されて、試料１０５に照射される。一次電子ビーム１０７が照射された試料１０５から、試料の形状や材質に応じて二次電子や反射電子等の二次粒子１０８が発生する。発生した二次粒子１０８は、二次粒子検出器１０９で検出された後、Ａ／Ｄ変換部１１１でデジタル信号に変換される。デジタル信号に変換された二次粒子検出器の出力信号を画像信号と称する場合もある。Ａ／Ｄ変換部１１１の出力信号は、画像処理部１１４に入力されＳＥＭ画像を形成する。画像処理部１１４は、生成したＳＥＭ画像を使用して欠陥検出などの画像処理を実行するＡＤＲ処理部１１７を備える他、各種の画像処理を実行する。
【００１９】
レンズ１０２，走査偏向器１０３，対物レンズ１０４など、電子光学系内部の光学要素の制御は、電子光学系制御部１１０で行われる。試料の位置制御は、ステージ制御部１１２で制御されたステージ１０６で実行される。全体制御部１１３は、ＳＥＭ式欠陥観察装置全体を統括的に制御する制御部であり、キーボード１１６，マウス１１８，記憶装置１１６からの入力を解釈し、電子光学系制御部１１０，ステージ制御部１１２，画像処理部１１４等を制御し、必要に応じて操作部１１５に含まれる表示部２０６，記憶装置１１６に処理結果を出力する。また、欠陥の自動分類処理は全体制御部１１３により実行され、全体制御部１１３はＡＤＣを行うためのＡＤＣ処理部１１８を備えている。ＡＤＣ処理部は、ＡＤＲ処理部により抽出された欠陥画像あるいは記憶装置１１６に蓄積された欠陥画像を用いてＡＤＣを実行する。
【００２０】
以上説明したＡＤＲ処理部１１７またはＡＤＣ処理部１１８は、ハードウェア，ソフトウェアいずれの方式でも実現可能である。ハードウェアによりＡＤＲ処理部１１７またはＡＤＣ処理部１１８を構成する場合には、ＡＤＲあるいはＡＤＣに必要な処理を実行する複数の演算器を配線基板上、あるいは１つの半導体チップないしパッケージ内に集積することにより実現できる、ソフトウェアによりＡＤＲ処理部１１７またはＡＤＣ処理部１１８を構成する場合には、ＡＤＲ処理部１１７またはＡＤＣ処理部１１８内に高速な汎用ＣＰＵを搭載し、ＡＤＲあるいはＡＤＣの処理を行うプログラムを実行させることにより実現できる。
【００２１】
図２には、図１に示したＡＤＣ処理部１１８の更に詳細図を示した。図２に示すＡＤＣ処理部１１８は、図１の全体制御部１１３に設けられたＣＰＵが所定のプログラムを実行することにより実現される複数の機能ブロックにより構成されており、ＡＤＣ処理の全体を制御するＡＤＣ制御部２０２，欠陥分類に必要な前処理を行う画像処理部２０３，画像処理部２０３で前処理された画像データを用いて実際の欠陥分類処理を実行する分類処理部２０４などを含んで構成されている。以上の機能ブロックをハードウェアで実現することも可能であり、その場合には、ＡＤＣ制御部２０２，画像処理部２０３および分類処理部２０４を実現する演算器が集積された半導体装置が全体制御部１１３内に設けられることになる。
【００２２】
ＡＤＣ処理部１１８には、画像処理部２０３で前処理された画像データが格納される画像情報記憶部２０１と、分類処理部２０４で実行された分類結果が格納される分類情報記憶部２０５が接続されている。分類情報記憶部２０５にはまた、ＡＤＣの結果を検証するための検証データとして、ＭＤＣの結果情報も格納される。物理的には、これらの記憶部は、記憶装置１１６内に設けられたパーティション，論理ボリュームあるいはファイルシステムなどに対応する。また、ＡＤＣ処理部１１８には、キーボード２０７やマウス２０８によって構成される操作部１１５，ＡＤＣの処理結果や装置に指示を与えるためのＧＵＩ（Graphical User Interface）が表示される表示部２０６が接続される。
【００２３】
撮像手段である走査電子顕微鏡で取得された欠陥画像の画像情報は、画像情報記憶部２０１に保存されている。まず、ＡＤＣ制御部２０２は画像情報記憶部２０１から画像情報を読み込み、画像処理部２０３に転送する。画像処理部２０３は、転送された画像情報から分類処理に必要な観察画像の各種特徴量、例えば、欠陥部分の寸法，形状，輝度分布，テクスチャなど、或いは、背景パターンの寸法，形状，輝度分布，テクスチャなど、更には、欠陥部分と背景パターンとの位置関係など、対応するデータを算出し、画像情報記憶部２０１に保存する。
【００２４】
次に、ＡＤＣ制御部２０２は画像情報記憶部２０１に保存された観察画像の特徴量データを読み込み、分類処理部２０４に転送する。分類処理部２０４は、所定の分類モデルに基づき欠陥の分類処理を行い、処理結果を分類情報記憶部２０５に保存する。
【００２５】
分類モデルには教示型とルールベース型がある。教示型は、正しい分類結果と対応付けられた特徴量データの教示によって、自動的に分類器を構成するものである。例えば、教示データに基づく特徴量空間において、境界を定義することで特徴量空間を分割して各カテゴリに対応させ、分類対象がどの特徴量空間に属するかを判定することで、カテゴリに分類することができる。また、特徴量空間の境界を定義する手法としては、特徴量空間上での距離がもっとも近い教示済み欠陥のカテゴリへ分類する方法や、教示データに基づいて各欠陥カテゴリの特徴量分布を推定しておき、分類しようとする欠陥の特徴量の生起確率が最も高いカテゴリへ分類する方法などがある。これらが教示型分類の基本型である。
【００２６】
一方、ルールベース型とは、例えば、if−then−elseで記述されるルールに従って分類する方法であり、分類対象とする欠陥の集合を二つに分けることを繰り返して最終的に各カテゴリに分類する二分木構造の分類モデルが典型的なものである。エキスパートシステムやＢＲＭＳ（Business Rules Management System）として実用化されている。半導体あるいは液晶検査・観察装置におけるＡＤＣにルールベース型アルゴリズムを適用する場合には、欠陥部分の凹凸，欠陥部分と背景パターンとの位置関係などを基本ルールとして定義することが多い。
【００２７】
分類モデルに基づく欠陥分類を行うためのプログラムは、記憶装置１１６内に格納されており、全体制御部１１３内のＣＰＵがこのプログラムを実行することにより、分類処理部２０４の分類処理機能が実現される。各種処理の実行指示や処理対象データの選択などは、キーボード２０７やマウス２０８によって構成される操作部１１５から指示することができる。以上の指示内容，分類処理，保存などの実行過程は表示部２０６に表示され、装置ユーザーは表示内容を確認することにより、ＡＤＣの処理内容を確認することができる。なお、ＡＤＣ処理部１１８は、必ずしも全体制御部１１３の内部に備えられている必要はなく、全体制御部とは独立して設けられた情報処理手段により実現してもよい。更に、同じＡＤＣ処理を全体制御部１１３に接続された複数台の情報処理手段により並列処理することも可能である。
【００２８】
次に、コンフュージョンマトリックスの概念について説明する。
【００２９】
一般に、何らかの分類を行う分類モデルの評価を行う場合、コンフュージョンマトリックスと呼ばれる分類表を用いることが多い。コンフュージョンマトリックスは、モデルによって正しく分類された場合の数と誤って分類された場合の数をマトリックス表示した表であり、基本的には、図４（Ａ）に示されるように、True Positive（真陽性），False Positive（偽陽性），False Negative（偽陰性），True Negative（真陰性）の４つの要素からなる形式で表現される。
【００３０】
ここで、上記の真陽性，偽陽性，偽陰性，真陰性の意味は以下の通りである。
・True Positive：モデルはPositive（陽性）と分類し、その結果も正しかった（True）、すなわち実際もPositiveであった場合の数
・False Positive：モデルはPositive（陽性）と分類したが、その判定は誤り（False）、すなわち実際はNegativeであった場合の数
・False Negative：モデルはNegative（陰性）と分類したが、その判定は誤り（False）、すなわち実際はPositiveであった場合の数
・True Negative：モデルはNegative（陰性）と分類し、その判定も正しかった（True）、すなわち実際もNegativeであった場合の数
図４（Ａ）に示すコンフュージョンマトリックスをＡＤＣの正しさ評価に応用する場合、図４（Ｂ）に示される様式のコンフュージョンマトリックスが使用される場合が多い。図４（Ｂ）に示すコンフュージョンマトリックスは、横方向にＡＤＣ結果を、縦方向に真の分類結果をマトリックス表示した分類表であり、図４（Ｂ）に示す例では、ＡＤＣによりカテゴリＡに分類され、真の分類結果もＡであった欠陥点数（True Positive）がａ個、ＡＤＣによりカテゴリＡに分類されたが真の分類結果はＢであった欠陥点数（False Positive）がｃ個、ＡＤＣによりカテゴリＢに分類されたが真の分類結果はＡであった欠陥点数（False Negative）がｂ個、ＡＤＣによりカテゴリＢに分類され、真の分類結果もＢであった欠陥点数（True Negative）がｄ個となっている。なお、実際にコンフュージョンマトリックスを作成する場合には、真の分類結果としてはＭＤＣの結果を使用する。
【００３１】
ＡＤＣの正しさを評価する指標としては、図４（Ｂ）に示すＡＤＣ分類正解率の純度（以下、Purityと表現），ＡＤＣ分類正解率の確度（以下、Accuracyと表現）という指標が用いられる。Purityとは、分類性能を示す一指標であり、ＡＤＣ結果の純度を示している。つまり、ＡＤＣが分類したあるカテゴリの総数を分母とし、そのカテゴリ内の分類正解数を分子として算出される値である。このPurityが高いほど、ＡＤＣ結果の信頼性は高いと判断できる。
【００３２】
次に、Accuracyとは、コンフュージョンマトリックスにおいて、あるカテゴリに着目した場合に、そのカテゴリのＭＤＣ結果、つまりそのカテゴリに分類するべき欠陥の総数を分母とし、そのカテゴリ内でＡＤＣが分類に成功した数を分子として算出される値である。このAccuracyが高いほど、そのカテゴリに分類すべき欠陥の見逃しが少ないと判断できる。
【００３３】
図４（Ｂ）に示すコンフュージョンマトリックスでは、カテゴリＡ，Ｂに対するPurityは、それぞれａ／（ａ＋ｃ），ｄ／（ｂ＋ｄ）で算出される。また、カテゴリＡ，Ｂに対するAccuracyは、それぞれａ／（ａ＋ｂ），ｄ／（ｃ＋ｄ）で表される。コンフュージョンマトリックスを用いた詳細解析は行わずに、単にＡＤＣの正解率と言う場合には、全体の正解率を表す（ａ＋ｄ）／（ａ＋ｂ＋ｃ＋ｄ）で算出した値が用いられることが多い。
【００３４】
さて、本実施例においては、上記のPurity，Accuracyの情報をどのカテゴリに対するＡＤＣ結果が信頼でき、どのカテゴリに対するＡＤＣ結果が信頼できないかを示す判断情報として使用する。
【００３５】
一般に、人手による分類作業における個人差や体調によるバラツキを考慮すると、ＭＤＣ作業における分類正解率は８０％程度と考えられている。従って、ＡＤＣのPurityが８０％以上であれば、そのカテゴリはＭＤＣ作業不要と判定することができ、すなわち、PurityをＭＤＣ作業による目視確認が必要か否かの判断基準として用いることができる。
【００３６】
図４（Ｃ）には、分類カテゴリを３種類に増やしたコンフュージョンマトリックスの例を示す。また、図４（Ｃ）は、表示部２０６に表示される実際のＧＵＩを示す模式図になっており、コンフュージョンマトリックス４０１に加えてＡＤＣ／ＭＤＣ切り分けの判断情報が表示される。
【００３７】
分類カテゴリを３種類以上に増やしたコンフュージョンマトリックスで各カテゴリのPurity，Accuracyを算出する場合には、着目するカテゴリに該当するＡＤＣ結果あるいは着目する分類結果に対応するＭＤＣ結果で、真陽性以外の分類結果が全て偽陰性または偽陽性に該当すると考えて算出すればよい。
【００３８】
例えば図４（Ｃ）において、ＡＤＣ結果“Ａ”に対するPurityは、ＡＤＣ結果“Ａ”に対するTrue Positive数／ＡＤＣ結果“Ａ”に対するTrue Positive数とFalse Positive数の総和＝５５／（５５＋５＋０）×１００＝９２％であり、カテゴリＡに対するAccuracyは、カテゴリＡに対するTrue Positive数／カテゴリＡに対するTrue Positive数とFalse Negative数の総和＝５５／（５５＋２＋３）×１００＝９２％と算出される。他のＡＤＣ結果“Ｂ”，“Ｃ”に対するPurity、あるいは他のカテゴリＢ，Ｃに対するAccuracyも同じ要領で算出できる。
【００３９】
図４（Ｃ）に示したコンフュージョンマトリックスは、ＡＤＣ制御部２０２が、分類情報記憶部２０５に格納された分類情報を読み出すことにより生成される。上述の通り、分類情報記憶部２０５には、ＡＤＣの結果データとともにＭＤＣの結果データが、共通の欠陥ＩＤと対応させて格納されており、ＡＤＣ制御部２０２は、欠陥ＩＤを参照しながら、ＡＤＣの結果データとＭＤＣの結果データを読み出し、同一カテゴリの欠陥数をカウントすることにより、コンフュージョンマトリックスを生成する。Purity，Accuracyについては、同じくＡＤＣ制御部２０２が、コンフュージョンマトリックス中の数値を着目するカテゴリ毎にTrue PositiveとFalse Negative、あるいはTrue PositiveとFalse Positiveに分類し、これらの分類毎の欠陥カウント数に基づき、上述のTrue Positive数／True Positive数とFalse Positive数の総和、あるいはTrue Positive数／True Positive数とFalse Negative数の総和、という式を演算することにより算出する。
【００４０】
ＡＤＣ／ＭＤＣ切り分けの判断情報としては、ＭＤＣが必要なカテゴリを示すメッセージ４０２や、ＭＤＣが不要なPurityの強調表示４０３，ＭＤＣが不要なカテゴリの強調表示４０４などが使用可能である。強調表示の手法としては、図４（Ｃ）に示したような丸で囲むなど、適当なオブジェクトをコンフュージョンマトリックス上に重畳表示するほか、Purityやカテゴリに対応する数字や背景をハイライト表示する、あるいは色を変えるなどの手法を用いることができる。なお、図４（Ｃ）の例では、メッセージ４０２はＭＤＣが必要なカテゴリを、強調表示４０３，４０４は、ＭＤＣが不要な数値あるいはカテゴリに対して付与しているが、ＭＤＣが不要なカテゴリのメッセージを表示、あるいはＭＤＣが必要な数値あるいはカテゴリに対して強調表示を行っても良い。
【００４１】
図４（Ｃ）に示した例では、強調表示４０３あるいは４０４は、Purityが８０％以上という基準を満たすカテゴリあるいは数値、つまりＭＤＣが不要なカテゴリあるいは数値に対して行っている。この数値はＡＤＣ処理部１１８が持っている初期値であるが、初期値を変更することも可能である。このため、ＡＤＣ制御部２０２はＧＵＩ上に判定基準設定ボックス４０５を表示し、装置ユーザーが任意の数値を入力できるようにする。ＡＤＣ制御部２０２はＧＵＩに入力された数値を読み込み、この数値に基づきＧＵＩ上に表示するメッセージ，コンフュージョンマトリックス上に強調表示する対象項目（カテゴリや数値）を変更する。
【００４２】
次に、コンフュージョンマトリックスを用いて、欠陥分類処理に使用する閾値の最適化を行う手法について説明する。例えば二分木構造の分類モデルを用いて欠陥分類を行う場合、二分木を構成する各ツリーの分類は、欠陥特徴量がある閾値を超えるか超えないかに基づき行われる。従って、装置ユーザーが所望の精度で欠陥分類を行うためには、閾値は最適化されている必要がある。以下、閾値の最適化手法について説明するが、閾値はパラメータ設定される量であるため、以下の説明ではこの閾値のことを“パラメータ”と称する。
【００４３】
図３は、分類処理パラメータ最適化の手順を示すフローチャートである。分類処理パラメータ最適化の実行が開始されると、着目するPurityあるいはAccuracyの選択要求が表示部２０６上に表示される（ステップ３０１）。装置ユーザーは、選択要求に従い着目するPurityあるいはAccuracyをＧＵＩ上で入力する。次に、複数の分類パラメータの組み合わせで分類処理を実行する（ステップ３０２）。この処理は、図２で説明したようにＡＤＣ処理部１１８で実行される。分類処理の実行後、分類結果が表示部２０６上に表示される（ステップ３０３）。複数の分類パラメータに対する分類結果を比較表示するためには、コンフュージョンマトリックスを複数の分類パラメータ毎に並列表示すると評価結果を見やすく表示できる。この際、表示結果が表示されるＧＵＩ上には、分類パラメータの選択ボタンが表示される。そこでユーザーは、複数の分類パラメータで実行した分類結果の中から、最良の結果を選択する（ステップ３０４）。ＡＤＣ制御部２０２は、入力された結果に基づき、採用するパラメータを決定する（ステップ３０５）。以上の手順により、特定カテゴリの正解率に着目して、着目したカテゴリの分類性能を向上させるのに最適なパラメータを決定することができる。
【００４４】
図５は、ＭＤＣ作業の低減を目的として、パラメータを最適化する際に、複数パラメータでの評価結果を確認するためのＧＵＩの一例であり、複数のパラメータに対して生成されたコンフュージョンマトリックスがパラメータ毎に表示されている。図５に示されるＧＵＩ上には、ＭＤＣ作業不要の判定基準を設定するための判定基準設定ボックス５０１と、コンフュージョンマトリックスの構成要素をユーザーの所望の順にソート表示させるためのソート基準設定ボックス５０２，パラメータ入力ボックス５０３，５０４，パラメータ設定のManual切り替えボタン５０５，Auto切り替えボタン５０６が表示されている。また、図中に表示されている“ＭＤＣ作業不要率”とは、ＭＤＣ不要と判定したカテゴリに分類された欠陥数（あるいは欠陥画像数）を全欠陥数（あるいは全欠陥画像数）で割った数値であり、ＡＤＣ制御部２０２によって算出される。なお、“ＭＤＣ作業不要率”に替えて“ＭＤＣ作業必要率”を算出・表示することも可能であり、その場合の定義は、ＭＤＣが必要と判定したカテゴリに分類された欠陥数（あるいは欠陥画像数）を全欠陥数（あるいは全欠陥画像数）で割った数値となる。
【００４５】
図５の場合、ＭＤＣ作業不要の判定基準はPurity≧８０％と設定されており、評価結果は、ＭＤＣ作業が不要と判断された欠陥数が多い順、すなわちPurityの降順にソートされて表示されている。
【００４６】
本事例では、パラメータ１の場合、カテゴリＡとＢはＡＤＣ結果が信頼できるのでＭＤＣ作業不要であり、カテゴリＣのみＭＤＣ作業による確認が必要となる。またパラメータ２の場合は、ＭＤＣ作業不要なカテゴリはＡとＣであり、カテゴリＢのみをＭＤＣ作業により確認すればよい。ＭＤＣ作業が必要なカテゴリ数は、パラメータ１でもパラメータ２でも同等であるが、カテゴリＣより、カテゴリＢの方が発生欠陥数が多いので、ＭＤＣ作業の不要率はパラメータ２よりもパラメータ１の方が高くなる。つまりパラメータ２の方が、パラメータ１よりも目視確認を必要とする欠陥点数が多くなるので、ＭＤＣ作業の低減を目的とした場合、パラメータ２よりもパラメータ１の方が適しているという結果になる。
【００４７】
図６は、ＭＤＣ作業の低減を目的とした、分類パラメータ最適化のフローチャートである。ＡＤＣ制御部２０２が、まずＭＤＣ作業不要の判定基準設定要求（例えば判定基準設定ボックス５０１など）と最適パラメータを装置側で自動設定するかマニュアル設定するかの設定要求とをＧＵＩ上に表示する（ステップ６０１）。設定要求としては、例えば、これらの項目を設定するための入力ボックスや設定ボタンなどがＧＵＩ上に表示される。装置ユーザーは設定要求に従い判定基準を入力する。図５の事例であれば、Purity≧８０％と設定する。次に、複数の分類パラメータで分類処理を実行する（ステップ６０２）。ステップ６０２で装置が実行する処理は、図４あるいは図５の説明で既出の通りである。ここでステップ６０３に示されるように、最適パラメータを自動設定する場合と、人手で最適パラメータを選択設定する場合とで処理が分岐する。自動設定する場合には、ＡＤＣ制御部２０２が、ＭＤＣ作業不要率を計算し（ステップ６０４）、ＭＤＣ不要カテゴリに属する欠陥数が最大となる分類パラメータを採用する。最終的に採用されたパラメータはＧＵＩ上に表示される（ステップ６０５）。人手で最適パラメータを選択設定する場合には、図５に示すように複数のパラメータで分類実行した結果をＧＵＩ上に比較表示し（ステップ６０６）、装置側は最適パラメータの入力待ち状態になる（ステップ６０７）。ユーザーは、図５のようなＧＵＩ上で最良結果を入力し、ＡＤＣ制御部２０２は入力結果を最適パラメータとして採用する（ステップ６０８）。
【００４８】
人手による選択設定が必要となるのは、最適パラメータとして必ずしもＭＤＣ作業不要率が最大となる分類パラメータを採用するわけではない場合であり、この場合には、他の判断基準を加味して選択設定する必要がある。例えば分類カテゴリの重要度を加味してもよいし、後に説明する見逃し低減を目的とした分類パラメータ設定と合わせて判断してもよい。人手によりパラメータを選択設定できるようにすることで、ユーザーの要望により適した分類結果を提供するパラメータを設定することができる。このとき、図５のように、コンフュージョンマトリックスとＭＤＣ作業不要と判定する基準、ＭＤＣ作業不要あるいは必要なカテゴリ名、ＭＤＣ作業不要率などを並列表示すれば、最良結果の選択が簡単になる。以上の手順により、ＭＤＣ作業を低減するために最適な分類パラメータを自動、あるいは手動で設定することができる。
【００４９】
なお、本実施例では、最適パラメータの表示画面上にコンフュージョンマトリックスも同時表示しているが、これは装置ユーザーの使い易さのために表示しているに過ぎず、本質的に重要なのは、いずれのカテゴリに対してＭＤＣが必要（あるいは不要）かを示す判別情報の画面表示である。したがって、図５のようにコンフュージョンマトリックスを表示せず、計算されたPurity，ＭＤＣが必要あるいは不要なカテゴリの情報、あるいはＭＤＣが必要（あるいは不要な）なカテゴリを示すメッセージのみを表示してもよい。
【００５０】
（実施例２）
本実施例では、特徴量空間における各カテゴリ間の境界線を設定しこの境界線に基づき分類を行うアルゴリズムを採用した場合の境界値（パラメータ）を最適化する手法について説明する。説明では２次元空間に簡略化しており、二分木構造の分類モデルを使用しているが、アルゴリズムは二分木構造に限定するものではなく、多次元空間における境界設定にも適用できる。
【００５１】
本実施例の最適化手法が実装される装置としては、ＳＥＭ式欠陥観察装置を想定するが、装置のハードウェア構成は実施例１と同様であるので、説明は省略する。
【００５２】
図７には、本実施例のアルゴリズムにおけるパラメータ最適化の方法を説明する特徴量分布図を示す。図７の場合、境界線がパラメータとなる。実際には、特徴量は数十から数百個存在することが多く、多次元空間で表現されるが、ここでは、説明を簡単にするために、横軸に特徴量１、縦軸に特徴量２を採用し、２つの特徴量で表現している。また、カテゴリＡの特徴量分布を◆で、カテゴリＢの特徴量分布を○で表現し、３種類の境界線をパラメータ１，２，３として表現している。
【００５３】
分類パラメータの最適化目的としてＭＤＣ作業の低減を採用する場合の最適化手法について考える。初期パラメータ１の境界線を設定した場合、誤分類の数は、カテゴリＡが２個、カテゴリＢが２個となる。欠陥発生頻度が高いカテゴリＡを、ＭＤＣ作業不要にできれば作業低減効果が大きいので、カテゴリＡに着目して、カテゴリＡのPurityを向上させることを目指す。
【００５４】
カテゴリＡのPurityを向上させるためには、ＡＤＣによってカテゴリＡと分類された欠陥群へ、カテゴリＢの誤分類が混在しないようにすればよいので、パラメータ２が好ましいと考えられる。
【００５５】
図８は、図７の事例において、パラメータ１とパラメータ２を採用した場合の分類結果を比較したものである。一般的には、８０％程度に設定することが多いが、カテゴリ数が少ないため、判定基準設定ボックス８０１に示されるＭＤＣ作業要不要の判定基準は、Purity≧９５％と厳しく設定されている。
【００５６】
この基準に基づくと、パラメータ１の境界線を採用した場合には、結果８０２に示されるように、カテゴリＤ，カテゴリＥ共にPurity≧９５％を満たさないので、ＭＤＣ作業が必要となり、ＭＤＣ作業不要率は０％となる。ＭＤＣ作業不要率に替えてＭＤＣ作業必要率を算出・表示してもよいことは実施例１と同様である。
【００５７】
一方、欠陥発生頻度が高いカテゴリＤに着目して、カテゴリＤをＭＤＣ作業不要にするために、カテゴリＤのPurityを向上させることを目指したパラメータ２では、期待通り、カテゴリＤはＭＤＣ作業不要と判定され、その結果、ＭＤＣ作業不要率は６０％と大幅に向上する。これは、ＡＤＣを導入することで、人手によるＭＤＣ作業の６０％を低減することができることを示している。
【００５８】
このように、図７でパラメータ１を採用した場合には、パラメータ２を採用した場合と比較して、全体正解率（図４の（ａ＋ｄ）／（ａ＋ｂ＋ｃ＋ｄ）で算出）は９２％から９０％に低下するが、ＭＤＣ作業削減を目的として、カテゴリＡ（図８ではカテゴリＤ）のPurityに着目して、パラメータ２を採用することで、ＭＤＣ作業不要率は０％から６０％へ飛躍的に向上している。
【００５９】
（実施例３）
本実施例では、各特徴量の重みを変化させることで、分類性能を向上させるアルゴリズムを採用している場合の重み最適化の手法について説明する。本実施例の場合、パラメータとしては重みが相当することになる。図９では、説明簡略化のために２つの特徴量に限定しているが、アルゴリズムは多次元空間においても適用可能であり、多次元空間における教示データの特徴量分布と分類対象データとの距離算出、あるいはファージーボーティングなど特徴量空間における距離に相当する量を別の算出方法で定量化する方式にも適用可能である。
【００６０】
また、実施例２と同様、本実施例の最適化手法が実装される装置としては、ＳＥＭ式欠陥観察装置を想定しているが、装置のハードウェア構成は実施例１と同様であるので、説明は省略する。
【００６１】
図９（Ａ）（Ｂ）には、本実施例のアルゴリズムにおけるパラメータ最適化の概念を説明する特徴量ヒストグラムを示す。図９（Ａ）（Ｂ）では、カテゴリはカテゴリＦ，Ｇ，Ｈの３種類、特徴量は特徴量３と４の２個を、説明のために抽出して模式図で表している。
【００６２】
この特徴量ヒストグラムは、教示データの特徴量分布を表しており、例えば図９（Ａ）では、横軸に特徴量３の値を、縦軸に発生頻度をとることで作成する。ここでは、カテゴリＦとして教示したデータはカテゴリＧやＨよりも、特徴量が小さい傾向があり、分類対象データの特徴量が小さいときには、カテゴリＦに分類される可能性が高いことを示している。この特徴量分布は、図１におけるＡＤＣ処理部１１８、図２においてはＡＤＣ制御部が作成する。例えば、画像情報記憶部に保存されている画像を用いて、画像処理部２０３で画像処理演算を実施して特徴量を算出し、分類処理部２０４で分類処理に適した形式に変換して、表示部２０６に表示する。結果は再利用を容易にするために、分類情報記憶部２０５に保存しておくのが良い。
【００６３】
特徴量の重みを変化させることで、分類性能を向上させるアルゴリズムでは、有効性が高いと思われる特徴量の重みを増やして、有効性が低い、あるいは弊害があると思われる特徴量の重みを減らすことで、分類性能を向上させる。ここでも、ＭＤＣ作業の低減を目的とした、分類パラメータの最適化を実行する場合を考える。例えば、カテゴリＦの発生頻度が高く、カテゴリＦをＭＤＣ作業不要にできれば、作業低減効果が大きいとする。この場合、カテゴリＦに着目して、カテゴリＦのPurityを向上させることを目指す。
【００６４】
カテゴリＦのPurityを向上させるためには、カテゴリＦの特徴量ヒストグラムが、他のカテゴリＧやＨと重ならない特徴量分布をした特徴量の重みを増やし、逆に、カテゴリＦの特徴量ヒストグラムが、他のカテゴリＧやＨと重なる特徴量分布をした特徴量の重みを減らせばよい。本事例では、図９（Ａ）に示した特徴量３の重みを増やし、図９（Ｂ）に示した特徴量４の重みを減らすことになる。
【００６５】
特徴量の重みパラメータは自動設定することができる。例えば、初期値は特徴量の数で等分した値として、初期値に対して重みパラメータを複数通りの値に変化させ、着目するカテゴリのPurityが最高となるパラメータを最適値として採用する。後述のように、着目するカテゴリの見逃し防止を目的とする場合には、PurityではなくAccuracyに着目して、重みパラメータを最適化することも可能である。また自動設定ではなく、手動設定することも可能である。例えば、経験に基づき知見がある場合などは、パラメータの初期値，刻み幅，振り幅の上下限を設定することで、短時間で効率よく最適解を得ることができる。このように手動設定する場合には、例えば、図２の表示部２０６に表示したＧＵＩに対して、キーボード２０７やマウス２０８を用いて、初期値，刻み幅，振り幅の上下限を設定し、設定値に基づき、画像情報記憶部２０１に保存されているデータを用いて画像処理部２０３で特徴量を算出、あるいは分類情報記憶部に保存されている特徴量を読み込んで、分類処理部２０４で重みパラメータの最適化を行い、結果を表示部２０６に表示する。
【００６６】
最終的にＭＤＣ作業をどれだけ低減できるかは、カテゴリＧやＨも含めて、ＭＤＣ作業不要率を算出する必要があるので、図５や図８に示したように、複数のパラメータ、ここでは複数の特徴量重み付けを試行して、結果を比較表示して、パラメータを決定するのがよい。
【００６７】
本方式によれば、特徴量の重みを最適化することで分類性能の向上をはかるシステムにおいて、着目するカテゴリのPurity，Accuracy、あるいは全体正解率を向上できる。特に、学習型の分類アルゴリズムを採用しているシステムにおいて有効である。
【００６８】
（実施例４）
本実施例では、段階的に分類対象を分類するシステムにおいて、各段階の接続を最適化する手法の実施例について説明する。ここでは、各段階の接続がパラメータとなる。各段階における分類アルゴリズムは、異質なものの組み合わせに限定するものではなく、一つの分類アルゴリズム内で多段階に、例えば分類対象を限定して絞り込んでいくモデルにも適用できる。また、実施例２，３と同様、本実施例でもＳＥＭ式欠陥観察装置への実装を想定しているが、装置のハードウェア構成は実施例１と同様であるので、説明は省略する。
【００６９】
図１０（Ａ）には、多段階に分類することで、分類性能を向上させるアルゴリズムを採用している場合の、パラメータ最適化方法を説明するカテゴリリンクの模式図である。カテゴリＩ，Ｊ，Ｋの３分類に直接分類するよりも、本実施例のように、ｎ段目に中間分類α，β，γを導入することで、ｎ＋１段目では、それぞれカテゴリＩとＪ，カテゴリＪとＫ，カテゴリＫとＩの２分類に分類すればよくなり、分類の難易度を下げることに成功している。このような多段階の分類アルゴリズムにおいて、ＭＤＣ作業の低減を目的とした、分類パラメータの最適化を実行する場合を考える。ここでは、分類パラメータはｎ段目とｎ＋１段目のカテゴリリンクに相当する。例えば、カテゴリＩの発生頻度が高く、カテゴリＩのPurityをＭＤＣ作業不要にできれば、作業低減効果が大きいとする。この場合、カテゴリＩに着目して、カテゴリＩのPurityを向上させることを目指す。カテゴリＩのPurityを向上させるためには、カテゴリＩに他のカテゴリの誤分類が混入することを減らせばよいので、中間分類カテゴリαとカテゴリＩのカテゴリリンク１００１、あるいは中間分類カテゴリγとカテゴリＩのカテゴリリンク１００２を切断することを検討する。但し、例えばカテゴリリンク１００１を切断した場合には、中間分類αに分類された欠陥は全てがカテゴリＪに分類されることになるので、中間分類αに分類されるカテゴリＩに属する欠陥が多い場合は、カテゴリＩに分類される正解数も減少するので注意が必要である。したがって、カテゴリリンクの切断条件として、該当欠陥の発生頻度に関する条件を追加するなどの工夫が考えられる。あるいは、実際にカテゴリリンクが切断しない場合をパラメータ１，カテゴリリンク１００１を切断した場合をパラメータ２，カテゴリリンク１００２を切断した場合はパラメータ３，カテゴリリンク１００１と１００２の両方を切断した場合をパラメータ４として、分類処理を実行した結果を、比較評価することが有効である。比較評価の結果は図５や図８のように表示すれば、どのパラメータが、最もＭＤＣ作業低減効果が高いのか容易に判定できる。
【００７０】
（実施例５）
本実施例では、着目する欠陥種、つまり装置ユーザーが特に興味のある特定の欠陥カテゴリについて、検出漏れ・見逃しをなるべく低減するためのパラメータ最適化手法について説明する。以下では、上記の興味欠陥のことをＤＯＩと称する。装置の全体構成は実施例１と同様であるので説明は省略する。
【００７１】
既出のように、Accuracyとは、コンフュージョンマトリックスにおいて、着目カテゴリに対するＡＤＣの正解欠陥数を分子、当該カテゴリに対するＭＤＣ結果を分母として算出される値である。従って、Accuracyが高いほど、そのカテゴリに分類すべき欠陥の見逃しが少ないため、ＤＯＩの見逃し率の評価指標として使用することができる。
【００７２】
図１１には本実施例のパラメータ最適化手順を示すフローチャートを、また、図１２には本実施例のパラメータ最適化結果が表示されるＧＵＩ画面の模式図をそれぞれ示す。図１２のＧＵＩ画面は、図２の表示部２０６に表示される。
【００７３】
フローが開始されると、まずステップ１１０１において、ＧＵＩ上に、見逃し率を低減したい欠陥カテゴリ（以下、ＤＯＩ）と判定基準および最適パラメータを装置側で自動設定するかマニュアル設定するかの設定要求とがＧＵＩ上に表示される（ステップ１１０１）。設定要求としては、例えば、図１２に示される判定基準設定ボックス１２０１，ソート基準設定ボックス１２０２，評価基準の閾値を設定するためのパラメータ入力ボックス１２０５，１２０６，パラメータ選択のManual切り替えボタン１２０７，パラメータ選択のAuto切り替えボタン１２０８などの表示により示され、装置ユーザーは、これらのボックスやボタンを介して所望の設定値を入力する。判定基準としては、特定ＤＯＩのAccuracyや、ＤＯＩに対して基準となるAccuracyを超えたカテゴリに属する欠陥数などがある。
【００７４】
図１２の事例では、カテゴリＣをＤＯＩとし、ＤＯＩ見逃しの判定基準１２０１として、カテゴリＣのＤＯＩ見逃し率を採用している。ＤＯＩ見逃し率の評価基準としては、Accuracy≧９０％に設定している。ＤＯＩとして複数のカテゴリを設定することもできる。また、カテゴリ毎に判定基準の設定値を変えることもできる。カテゴリ毎に判定基準を変えることで、分類される欠陥種の重要度に応じて重み付けすることができ、ＤＯＩをより柔軟に設定可能となる。
【００７５】
ＤＯＩと判定基準が入力されると、ＡＤＣ処理部１１８は、入力された複数の分類パラメータで分類処理を実行する（ステップ１１０２）。
【００７６】
分類処理の実行後は、ステップ１１０３に示すように、最適パラメータを自動設定する場合と、人手で最適パラメータを選択設定する場合とで処理が分岐する。フロー開始時にManual切り替えボタン１２０７が押されていれば、ステップ１１０３はＮｏに分岐する。Auto切り替えボタン１２０８が押されていれば、Ｙｅｓに分岐する。
【００７７】
自動設定する場合には、ＡＤＣ制御部２０２は、入力された各パラメータに基づき、ＤＯＩの見逃し率を計算し（ステップ１１０４）、ＤＯＩの見逃し率が最低となるパラメータを決定し、更に計算結果をＧＵＩ上に表示する。
【００７８】
人手で最適パラメータを選択設定する場合には、ＡＤＣ制御部２０２は、複数のパラメータで分類実行した結果をＧＵＩ表示する（ステップ１１０５）とともにパラメータの入力待ち状態になる（ステップ１１０６）。ユーザーは、例えば図１２に示されるようなパラメータ選択ボタン１２０５，１２０６をクリックすることにより最良結果を選択する。パラメータ選択ボタンではなくパラメータ自体をテキスト入力させる入力ボックスを表示しても良い。最良パラメータが選択されると、ＡＤＣ制御部２０２は、選択されたパラメータを採用する（ステップ１１０７）。
【００７９】
図１２に示されるＧＵＩは、ステップ１１０５あるいはステップ１１０６の実行後の表示画面に相当する。複数のパラメータに対する計算結果は、コンフュージョンマトリックスとして並列表示され、かつＤＯＩの見逃し率を示すメッセージ１２０３，１２０４が各カテゴリ毎に表示されている。パラメータ毎のコンフュージョンマトリックスを任意のパラメータに対してソート表示することもできる。本実施例では、ソート基準として、ＤＯＩ見逃し率の昇順にマトリックスを並べている。ＤＯＩの見逃し率は、パラメータ１の場合が１０％で、パラメータ２の場合が３０％となっており、カテゴリＣの見逃しを低減したい場合には、パラメータ１を採用した方が良いことが分かる。
【００８０】
人手により選択設定する場合は、必ずしも、ＤＯＩの見逃し率が最小となる分類パラメータを採用する必要は無く、他の判断基準を加味して選択設定することができる。このとき、図１２のように、コンフュージョンマトリックス，判定基準，ＤＯＩカテゴリ名ＤＯＩ見逃し率などを並列表示すれば、最良結果の選択が簡単になる。以上の手順により、ＤＯＩの見逃しを低減するために最適な分類パラメータを、自動あるいは手動で設定することができる。
【００８１】
ＤＯＩの見逃し低減を目的とした場合、パラメータの調整方法が、ＭＤＣ作業の低減を目的とした場合とは異なる場合がある。例えば、図７のように、特徴量空間において境界線を設定することで分類処理を行うアルゴリズムの場合、ＭＤＣ作業の低減を目的とする場合には、発生頻度が高いカテゴリＡのPurityを向上させることが、ＭＤＣ作業の低減に有効であるため、パラメータ３，パラメータ１，パラメータ２の順に最適化されると予想できる。ところが、カテゴリＡがＤＯＩで、ＤＯＩの見逃し低減を目的とする場合には、カテゴリＡのAccuracyを向上させることが、ＤＯＩ見逃し低減に有効であるため、パラメータ２，パラメータ１，パラメータ３の順に最適化されると予想できる。このため、複数のパラメータを比較評価する際には、最適化の基準に合ったパラメータを効率良く抽出することが、比較作業の効率向上につながる。
【００８２】
同様に、図１０のように、多段階に分類処理を行うアルゴリズムのカテゴリリンク最適化の場合、ＭＤＣ作業の低減を目的とした場合には、発生頻度が高いカテゴリＩのPurityを向上させることが、ＭＤＣ作業の低減に有効であるため、図１０（Ａ）のように、カテゴリＩのカテゴリリンクを切断することを考える。ところが、ＤＯＩの見逃し低減を目的とする場合には、カテゴリＩがＤＯＩだとすると、カテゴリＩのAccuracyを向上させることが、ＤＯＩの見逃し低減に有効であるため、図１０（Ｂ）のように、カテゴリＩのカテゴリリンク１００３や１００５を削除せずに残すだけでなく、中間分類βとカテゴリＩのカテゴリリンク１００４を追加することを考える。
【００８３】
以上のようにＤＯＩの見逃し低減を目的とすることで、ＤＯＩカテゴリに分類すべき観察画像の誤分類による見逃し画像数を最少にできるので、ＤＯＩ見逃しによる問題工程への対策漏れを防止することができる。
【００８４】
（実施例６）
図１３は、ＭＤＣ作業の低減と、ＤＯＩの見逃し低減という二つの判定基準に基づいて、分類パラメータの最適化を行った結果を示す、ＧＵＩの一例である。ここでは、ＤＯＩとしてカテゴリＣを選択し、カテゴリＣの見逃し率を、判定基準１３０１の一つとして設定している。さらに、ＭＤＣ作業の低減を目的とし、Purity≧８０％をＭＤＣ作業不要の判定基準１３０１として設定している。コンフュージョンマトリックスの表示順は、ソート基準１３０２をＤＯＩの見逃し率が低い順にしているので、上位に表示されるパラメータが、最適なパラメータと判断できる。ここでは、ＤＯＩの見逃し率の定義として、ＤＯＩに設定したカテゴリに分類されるべき欠陥数、つまりＭＤＣでカテゴリＣと分類された欠陥数を分母とし、ＭＤＣ作業による確認作業を実施しないカテゴリに誤分類された欠陥画像、つまり、ＡＤＣによって、カテゴリＣ以外のカテゴリで、かつPurityが設定閾値以上のカテゴリに分類された欠陥数を分子としている。したがって、パラメータ２を用いた場合のＤＯＩの見逃し率は、真値がカテゴリＣにも関わらずＡＤＣでカテゴリＡと分類された欠陥数／カテゴリＣのＭＤＣ結果＝０／７＝０％（ＭＤＣ作業による確認作業を実施するカテゴリＢに誤分類した欠陥画像の数１３０３は、ＤＯＩの見逃しとしてはカウントしない）となり、パラメータ１を用いた場合のＤＯＩ見逃し率１０％を上回る結果となる。本実施例によれば、このような複雑な判定基準による分類パラメータの良否判定を、簡単に実行することが可能になる。
【００８５】
（実施例７）
本実施例では、コンフュージョンマトリックスを生成するために事前に行うＭＤＣに使用する欠陥を欠陥マップ上で選択する機能を備えたＳＥＭ式欠陥観察装置の構成について説明する。
【００８６】
図１４には、ＭＤＣを行う欠陥を選択するためのＧＵＩ画面の一例を示す。
【００８７】
画面左には欠陥マップ１４０１が表示され、装置ユーザーは、マウスなどのポインティングデバイスを用いてＧＵＩ上に示されるポインタ１４０２を操作し、欠陥マップ上の任意の欠陥を選択する。選択された欠陥は１４０３に示されるようにＧＵＩ上で活性表示され、更に画面左側に、選択された欠陥の高倍率画像がサムネイル表示される。欠陥には全て欠陥ＩＤが付与されており、サムネイル画像１４０４下には、欠陥ＩＤ表示欄１４０５も表示される。
【００８８】
ＭＤＣを行う欠陥の選択をＡＤＲ実行後に行う場合には、表示部２０６に備えられたパーソナルコンピュータが、欠陥ＩＤをもとに記憶装置１１６内を検索して表示する。欠陥の選択をＡＤＲ実行前に行う場合には、全体制御部を介してＳＥＭ像を撮像する。サムネイル画像としては外観検査装置で取得されたパッチ画像を用いることもできる。
【００８９】
装置ユーザーは、表示されたサムネイル画像１４０４を参照しながら、欠陥種入力ボックス１４０６に欠陥種の情報を入力する。入力が確定されると、活性表示１４０３は、図中の黒い丸で示されるように不活性表示１４０７に変わる。入力された欠陥ＩＤと当該欠陥ＩＤの欠陥種情報は、分類情報記憶部２０５に格納され、コンフュージョンマトリックスを生成する際に使用される。
【００９０】
なお本実施例のＭＤＣ実行画面は、操作部１１５に表示されるＧＵＩだけではなく、（ＳＥＭ式欠陥観察装置とは）オフラインのコンピュータ上に表示させてもよい。
【符号の説明】
【００９１】
１０１  電子銃
１０２  レンズ
１０３  偏向器
１０４  対物レンズ
１０５  試料
１０６  ステージ
１０７  電子ビーム
１０８  二次粒子
１０９  二次粒子検出器
１１０  電子光学系制御部
１１１  Ａ／Ｄ変換部
１１２  ステージ制御部
１１３  全体制御部
１１４，２０３  画像処理部
１１５  操作部
１１６  記憶装置
１１７  ＡＤＲ処理部
１１８  ＡＤＣ処理部
１１９  光学顕微鏡
２０１  画像情報記憶部
２０２  ＡＤＣ制御部
２０４  分類処理部
２０５  分類情報記憶部
２０６  表示部
２０７  キーボード
２０８  マウス
４０１  コンフュージョンマトリックス
４０２  ＭＤＣが必要なカテゴリを示すメッセージ
４０３，４０４  強調表示
４０５，５０１，８０１，１２０１  判定基準設定ボックス
５０２，１２０２  ソート基準設定ボックス
５０３，５０４，１２０５，１２０６  パラメータ入力ボックス
５０５，１２０７  Manual切り替えボタン
５０６，１２０８  Auto切り替えボタン
８０２，８０３，１３０４，１３０５  結果
１００１，１００２，１００３，１００４，１００５  カテゴリリンク
１２０３，１２０４  ＤＯＩ見逃し率を示すメッセージ
１３０１  判定基準
１３０２  ソート基準
１３０３  誤分類した欠陥画像の数
【図１】
2011155123.tif 000003
【図２】
2011155123.tif 000004
【図３】
2011155123.tif 000005
【図４】
2011155123.tif 000006
【図５】
2011155123.tif 000007
【図６】
2011155123.tif 000008
【図７】
2011155123.tif 000009
【図８】
2011155123.tif 000010
【図９】
2011155123.tif 000011
【図１０】
2011155123.tif 000012
【図１１】
2011155123.tif 000013
【図１２】
2011155123.tif 000014
【図１３】
2011155123.tif 000015
【図１４】
2011155123.tif 000016
【国際調査報告】
2011155123.tif 000017
2011155123.tif 000018
2011155123.tif 000019
2011155123.tif 000020