(57)【要約】【課題】ユーザの欠陥分類要求を実現するために最適な分類モデルがユーザにとって不明であるために、ユーザは必ずしも好適とは言えない分類モデルを設定して分類を行ってしまい、結果として分類性能が低下する。【解決手段】複数の分類モデル候補を自動生成し、複数の分類モデルによって算出したクラス尤度を組み合わせて分類する。組み合わせに際しては、各モデルの妥当性に関する指標、換言すれば、各分類モデル候補の算出する尤度を信頼できる程度を示す指標をも算出し、この結果を勘案して前記複数の分類モデルによって算出したクラス尤度を組み合わせて分類する。【選択図】  図１
2004294360.tif 000002
【特許請求の範囲】
【請求項１】
試料を撮像して得た画像から抽出した欠陥を分類する方法であって、
試料を撮像して欠陥の画像を得、
該欠陥の画像から欠陥の特徴量を抽出し、
該抽出した欠陥の特徴量の情報を用いて該抽出した欠陥が分類クラスに属する尤度を算出するルールベース型分類と学習型分類とを組合わせた分類モデルを少なくとも一種類以上作成し、
該少なくとも一種類以上の分類モデルを用いて前記特徴量を抽出した欠陥を分類することを特徴とする欠陥分類方法。
【請求項２】
前記試料を撮像して得る欠陥の画像がＳＥＭ画像であることを特徴とする請求項１記載の欠陥分類方法。
【請求項３】
前記欠陥の画像を得ることを、前記試料の欠陥の位置座標データを用いて前記試料を位置決めした状態で試料を撮像することにより行うことを特徴とする請求項１記載の欠陥分類方法。
【請求項４】
試料を撮像して得た画像から抽出した欠陥を分類する方法であって、
欠陥を該欠陥の特徴量に応じて予め設定した分類クラスに属する尤度を算出するルールベース型分類手段と、前記欠陥を教示データを用いて設定した分類クラスに属する尤度を算出する学習型分類手段との少なくとも一方の分類手段を複数組み合わせて構成される分類モデルを少なくとも一つ以上作成し、
該作成した分類モデルを用いて欠陥を分類する
ことを特徴とする欠陥分類方法。
【請求項５】
前記学習型分類は、表示画面上で設定することを特徴とする請求項４記載の欠陥分類方法。
【請求項６】
試料を撮像して得た画像から抽出した欠陥を分類する方法であって、
欠陥を該欠陥の特徴量に応じて予め設定した分類クラスに属する尤度を算出するルールベース型分類手段と、表示画面上で設定した複数の分類クラスに属する尤度を算出する学習型分類手段との少なくとも一方の分類手段を複数組合わせて少なくとも一つ以上の分類モデルを構成し、
該構成した分類モデルを用いて前記欠陥を分類する
ことを特徴とする欠陥分類方法。
【請求項７】
前記ルールベース型分類は、表示画面上で、予め用意された複数の分類クラスセットから、特定の分類クラスセットを選択することを特徴とする、請求項１または４または６の何れかに記載の欠陥分類方法。
【請求項８】
前記、予め設定した分類クラス、または教示データを用いて設定したクラス、または画面を用いて設定したクラスの相関関係を解析し、これらのクラスの組み合わせから成る分類モデルを生成すること、を特徴とする請求項１または４または６の何れかに記載の欠陥分類方法。
【請求項９】
前記各分類モデルはそれぞれ分類クラスを有し、該各分類クラスのクラス尤度を算出し、前記各分類モデルの妥当性に関するモデル尤度を求め、該求めたモデル尤度に応じてクラス尤度を決定することを特徴とする請求項１または４または６の何れかに記載の欠陥分類方法。
【請求項１０】
試料を撮像して得た画像から欠陥を分類する装置であって、
欠陥を該欠陥の特徴量に応じて予め設定した分類クラスに属する尤度を算出するルールベース型分類部と前記欠陥を該欠陥の特徴量に応じて教示データを用いて設定した分類クラスに属する尤度を算出する学習型分類部とを組合わせて構成した複数種類の分類モデル手段と、
該複数種類の分類モデル手段を組合わせて前記特徴量を抽出した欠陥を分類する欠陥分類手段と
を備えたことを特徴とする欠陥分類装置。
【請求項１１】
前記欠陥分類装置は表示画面を更に備え、前記学習型分類部は、前記表示画面上で教示データを用いて分類クラスを設定することを特徴とする請求項１０記載の欠陥分類装置。
【請求項１２】
前記欠陥分類装置は表示画面を更に備え、該表示画面上に前記構成した分類モデル手段を表示することを特徴とする請求項１０記載の欠陥分類装置。
【請求項１３】
前記欠陥分類手段は前記複数種類の分類モデル手段のそれぞれの尤度を算出する演算部を有し、前記欠陥分類手段は該演算部で算出したそれぞれの種類の分類モデル手段の尤度の情報を用いて前記欠陥を分類することを特徴とする請求項１０記載の欠陥分類装置。
【請求項１４】
前記複数種類の分類モデル手段は、それぞれ分類クラス部を有し、前記欠陥分類手段は、前記それぞれの分類クラス部のクラス尤度と前記各分類モデルの妥当性に関するモデル尤度とを算出してモデル尤度に応じてクラス尤度を決定する演算部を有することを特徴とする請求項１０記載の欠陥分類装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデータの自動分類方法に関する。特に、半導体電子回路基板やプリント回路基板、液晶表示基板等の表面に生じた欠陥を、検出画像やＥＤＸ検出スペクトル等に基づいて自動分類する方法に関する。
【０００２】
【従来の技術】
近年、半導体電子回路基板等の表面に生じた欠陥の発生状況の迅速な把握や、欠陥種毎の発生数のモニタを目的として、欠陥部の画像を検出し、自動分類する方法が開発されてきている。
【０００３】
画像を自動分類する方法については、パターン認識の分野において、古くから多様な手法が研究されている。
【０００４】
古典的な方法論の一つに、学習型分類と呼ばれる方法がある。この方法論においては、教師画像を事前に収集し、これを学習することにより、分類器を最適化する（ニューラルネット等）。学習型分類器は、ユーザの要求に応じた柔軟な分類ができる可能性がある反面、一般に良好な性能を得るためには、教示データを大量に収集する必要があるため、生産プロセス立ち上げ時には実質的に使用できない、という問題がある。逆に、少数の教示データのみを用いた場合には、過学習と呼ばれる、教示データに対する学習の過剰適合現象が生じて性能が低下することが知られている。
【０００５】
また、他の古典的な方法論に、ルールベース型分類と呼ばれる方法がある。この方法論においては、分類対象である画像から特徴量を抽出し、システムに組み込んだ“ｉｆ−ｔｈｅｎ”式のルールに基づいて特徴量の値を判定することにより、欠陥をクラスの一つに分類する。ルールベース型分類器は、分類するクラス・ルールが固定で、ユーザの要求に柔軟に対応できない反面、教示データが不要であるため、生産プロセス立ち上げ時より使用可能である、という利点がある。
【０００６】
また、上述のルールベース型分類器と学習型分類器を併用する方法も考えられるが、このような方法の例として、特許文献１に開示された方法がある。すなわち、“コア分級器”と呼ばれるルールベース型分類器によって、事前に組み込まれた固定数のクラス（“コア分類”と呼ばれる）に欠陥を分類し、更に、コア分類に関連付けられた“特定の適用可能な分級器”と呼ばれる学習型分類器によって、任意数からなる“下位分類“に分類する。
【０００７】
上記特許文献１に開示された例では、コア分級器を用いることにより、教示データ数を収集する必要がなく、プロセス立ち上げ時よりコア分類を行うことができるとされる。また、更に詳細な分類が必要な場合には、学習型の“特定の適用可能な分級器”による分類が可能とされる。
【０００８】
【特許文献１】
特開２００１−１３５６９２号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来の技術においては、ルールベース型分類器と学習型分類器とを組合わせた分類モデルを事前に決定する必要がある。しかし、最適な分類モデルを事前に設定することは一般に非常に難しいため、この結果、分類モデルが不適切であるがゆえの性能低下に陥る場合がある。以下に、実例に則して説明する。
【００１０】
図２〜４には、欠陥を、膜上異物、膜下異物、凹み、パターン欠陥の４クラスに分類するための３種類の分類モデルを示す。以下、欠陥の分布の状況によって、最適な分類モデルが異なってくることを述べる。
【００１１】
図２に、１層の分類モデルの例を示す。節１にはルールベース型分類器２１が対応しており、膜上異物２２、膜下異物２３、凹み２４、パターン２５の４クラスに分類する。
【００１２】
ルールベース型の分類器は、設計されたルールが分類対象に対して十分よく適合している限りにおいては安定した性能を発揮できる点で、学習型分類器より優れている。
【００１３】
しかし、一方、欠陥分類の分野においては、製造プロセスの技術進化とともに欠陥発生原因も多様化しており、これに伴って欠陥を分類するクラスも変化している。したがって、普遍的な欠陥分類クラスを用いて異なる製造プロセスを経て製造された製品の欠陥を分類することは難しく、設計者がある製造プロセスに対して事前に想定したルールを、他の製造プロセスで生産された製品に対しても適用できる可能性は極めて低いと言わざるを得ない。この点、手書き数字認識分類等、分類クラスが設計時に確定している場合の設定と大きく異なる。
【００１４】
図３に、２層の分類モデルを示す。第１層目のルールベース型分類器３１では、異物３２、凹み３３、パターン３４の３クラスへ分類し、第２層目の学習型分類器３５では、異物３２を更に、膜上異物３６、膜下異物３７の２クラスへ分類する。
【００１５】
図２に示した１層構造の分類モデルの例では、検出した欠陥をユーザが求める４つのクラスの何れかに分類するのに対し、図３に示したモデルでは３クラス、換言すれば、一部クラスの分類のみを行う点で、設計したルールが適用可能な蓋然性は高くなると言える。一方、膜上異物、膜下異物分類を第２層の学習型分類器に委ねることにより、膜上異物、膜下異物の教示データが十分に多い状況に対しては、設計者の想定したルールベース型分類より信頼性高く分類できる可能性が高くなる。
【００１６】
図４に、図３に示したものとは異なるタイプの２層の分類モデルを示す。第１層目は、異物、凹み、パターンの３クラスへの分類し、第２層目は、異物を更に、膜上異物、膜下異物の２クラスへ分類する。分類モデルの節１、節２には分類器が対応しており、ここでは、仮に節１はルールベース型分類器、節２は学習型分類器、とする。
【００１７】
図４に示した例において、図３に示した分類器と異なり、かつ、若干奇妙に見える点は、節２である。節２の学習型分類器は、第１層目の分類器によって異物と分類された欠陥を、膜上異物、膜下異物、パターン欠陥に分類する学習型分類器である。ルールベース型分類器によって、凹み、パタ−ン欠陥に関しては信頼性高く分離できるが、異物に限っては、パターン欠陥と分離できない状況において、図３のモデルよりも分類性能が高くなる可能性がある。
【００１８】
更に、図４に示した分類モデルが図２、３に示した分類木と大きく異なる点は、ユーザの分類概念上としての階層関係（意味論的な分類モデル）と異なる分類モデルである点である。ユーザ分類概念上は、異物とパターン欠陥とは排他的なクラスであり、異物の下位にパターン欠陥が位置することは有り得ない。しかし、最大の分類性能を実現する分類モデルとユーザの概念上の分類モデルは、最下層が最終的にユーザが分類するクラスである点以外には、独立であり得る。これは、最適な分類モデルをユーザが設定することの難しさをも示している。
【００１９】
以上の事例から、欠陥自動分類問題においては、最適な分類モデルは問題設定によって異なる、ということが言える。そして、この問題設定（設計者によるルールの妥当性の程度や、学習データの収集可能性等）は、事前に想定することができないため、最適な分類モデルも事前に設定することができない。結果として分類モデルが最適でないがゆえに分類性能が低下する、という問題が生じる。
【００２０】
また、最大の性能を実現するために分類木はユーザのユーザ毎に異なる欠陥分類要求に対し、固有の最適な分類モデルを自動的に提供し、分類性能を向上する。更には、手動による分類モデルのマニュアル設定を不要とする点にある。概念上の分類モデルとは必ずしも一致しない（一般にセマンティックギャップと呼ばれる）ため、最適な分類モデルをユーザが事前に設定しておくことは難しい。
【００２１】
本発明の目的は、上記した従来技術欠点を解消して、ユーザ毎に異なる欠陥分類要求に対して固有の最適な分類モデルを自動的に提供する、または少なくともユーザが容易に選択可能とすることにより、分類性能を向上することができる欠陥分類方法及びその装置を提供することに有る。
【００２２】
【課題を解決するための手段】
上記目的を達成するために、本発明では、以下のような欠陥分類方法とした。すなわち、まず、一つないし複数の分類モデル候補を生成する。分類モデル候補とは、例えば、図２、図３、ないし図４に示したようなルールベース型分類器と学習型分類器との階層的からなるものである．分類候補モデルは、後に詳しく述べるように、画面からユーザが設定する、あるいは教示データを用いて設定する、あるいは更に自動設定することを想定している。分類モデルを複数生成した場合は、各モデルの妥当性に関する指標（以下、モデル尤度と呼ぶ）を算出する。モデル尤度は、換言すれば、各分類モデル候補の算出する尤度を信頼できる程度を示す指標である。
【００２３】
次に、各分類モデル候補において、クラス尤度を算出する．次に、モデル尤度に応じて前記複数の分類モデルによって算出したクラス尤度を組み合わせて分類する。クラス尤度の組合せにおいては、モデル尤度が高い、すなわち信頼できるモデルによって算出したクラス尤度を相対的に重視し、モデル尤度が低い、すなわち信頼できないモデルによって算出したクラス尤度を相対的に軽視して尤度を組み合わせる。
【００２４】
これにより、ユーザ毎に異なる欠陥分類要求に対し、固有の最適な分類モデルを容易に設定する、ないし、自動的に提供することができ、分類性能を向上することが可能になる。
【００２５】
【発明の実施の形態】
本発明の第一の実施形態について説明する。
【００２６】
先ず、本発明においては、光学顕微鏡または電子顕微鏡を用いた欠陥検査装置により、試料の欠陥を検出する。ここで、検査対象の試料としては、半導体電子回路基板、プリント回路基板、ＦＰＤ、液晶表示基板等がある。これらの基板の表面に生じた欠陥部を上記光学顕微鏡または電子顕微鏡を応用した欠陥検査装置を用いて検出し、検出した欠陥の基板上の位置座標情報を記憶し、この記憶した欠陥の位置座標情報に基づいてレビュー装置の検出視野内に試料上の欠陥が入るように試料を位置決めしてレビュー装置で欠陥の画像を取得し、この取得した欠陥の画像を処理することにより欠陥を分類する。
【００２７】
図８に、本発明における欠陥レビュー装置の概略の構成を示す。８０は電子線式顕微鏡で、筐体８１の内部に載置した検査対象である半導体基板８２に対して、欠陥検査装置で検出した欠陥の位置座標情報に基づいて電子線８３を偏向器８４で偏向させることにより走査して照射し、半導体基板８２から発生する二次電子を、検出器８５で偏向器８４による偏向の信号と同期させて検出する。検出した二次電子は、電気信号に変換された後、更にＡ／Ｄ変換器８６によりデジタル画像信号に変換され、欠陥の画像信号として処理手段８７に入力される。処理手段８７は、入力された欠陥のデジタル画像信号をソフトウエア処理により解析し、自動分類する。処理結果や検出画像は記憶装置８８に記憶する。
【００２８】
次に、このレビュー装置で取得した欠陥の画像を処理して欠陥を分類する方法について説明する。
【００２９】
（１）欠陥分類の概略
初めに、図１を用いて、本発明による欠陥分類の概略を説明する。欠陥分類は、（ｉ）分類処理を実行する前に予め行う分類モデル生成、と（ｉｉ）分類実行、の２段階からなる。
【００３０】
（ｉ）  分類モデル生成
１１は分類モデル生成前の状態を示す。図中Ｍ１、Ｍ２、Ｍ３は予め本発明によるシステムが提供するクラス（以後、メインクラス）、Ｕ１〜Ｕ４はユーザが設定するクラス（以後、ユーザクラス）である。ユーザは設定画面上から、手動、ないし教示データを用いてユーザクラスを設定する。ここで、どのユーザクラスがどのメインクラスの下位に位置するのかについて、事前には設定されていない。これに対し、例えば、１２、あるいは１３に示すような、メインクラスとユーザクラスが組み合わされたモデルを一つ以上、生成する。モデル生成は、設定画面上から手動で設定しても良いし、後述する方法を用いて、自動的に行っても良い。自動生成においては、ルールベース型分類器によるメインクラス尤度算出結果と、ユーザが教示したユーザクラスとの相関関係を解析する。
【００３１】
ここで、欠陥データによって、適切なモデルが異なること、そのため、単独の分類モデルではなく、複数の分類モデルを想定することにより分類性能を向上できる可能性があることを図１０を用いて説明する。
【００３２】
図１０（ａ）のグラフ１０１、および図１０（ｂ）のグラフ１０２は、それぞれ特徴量分布の一例を示している。図１０（ａ）のグラフ１０１の例の場合、『異物』、『凹み』、『パターン』の分布が十分良く分離しているため、図３に示したようなルールベース型分類器３１と学習型分類器３５とを組合わせた分類モデルが好適であると予想される。仮にルールベース型分類器による尤度関数Ｌ異物（ｆ１、ｆ２）、Ｌパターン（ｆ１、ｆ２）、Ｌ凹み（ｆ１、ｆ２）を、以下のように定義したとすると、ルールベース型尤度が分類に非常に有効な尺度になる。
Ｌ異物（ｆ１、ｆ２）：ｆ１＜Ｔｈ０ならば、異物の尤度大
Ｌパターン（ｆ１、ｆ２）：ｆ１＞Ｔｈ０かつ、ｆ２＞Ｔｈ１ならば、パターンの尤度大
Ｌ凹み（ｆ１、ｆ２）：ｆ１＞Ｔｈ０かつ、ｆ２＜Ｔｈ１ならば、凹みの尤度大
一方、図１０（ｂ）のグラフ１０２に示したような分布の場合、図３に示したような構成におけるルールベース型分類器３１では、『異物』３２のみならず『パターン』３４をも多数『異物』３２に分類してしまう可能性が高くなる。このため、『異物』３２を更に学習型分類器３５で細分する際、図３に示すようなルールベース型分類器３１と学習型分類器３５とを組合わせた分類モデルは最適とは限らない。逆に、学習型分類器の性能が十分に信頼できるならば、図４に示すようなルールベース型分類器４１と学習型分類器４５とを組合わせた分類モデルの方が、より好適であると考えられる。
【００３３】
実際のところ、最適な分類モデルは、データ毎に異なる。例えば、図１０（ｂ）のグラフ１０２のように特徴量が分布している欠陥のデータに関しては、図４に示した分類モデルの方が、図３に示した分類モデルより適している（図３に示した分類モデルでは、図１０（ｂ）のパターン欠陥が正しく分類できない）が、図１０（ａ）のグラフ１０１のように特徴量が分布している欠陥のデータに関しては、図３に示した分類モデルの方が、図４に示した分類モデルより高い分類の信頼性を期待することができる。
【００３４】
このように、好適な分類モデルが欠陥データによって異なるため、特定の分類モデルを採用するよりも、複数の分類モデルを併用した方が、分類の信頼性を向上させることができる可能性がある。本発明では複数のモデルを作成し、欠陥データに対し、いずれのモデルを用いるべきかモデルの妥当性を示す尺度（モデル尤度）を算出し、これを考慮して分類を行う。
【００３５】
（ｉｉ）分類実行
さて、分類実行時には、上記生成した少なくとも一つ以上の分類モデルに従って欠陥の分類を行う。分類モデルを複数生成した場合は、それらを組み合わせて分類を行う。すなわち、上記生成した各モデル１２、１３のもとで各クラスに属する尤度を算出する（１４、１５）。次に、各モデルのもとで独立に算出された尤度から最終的なクラス尤度をどのように算出するかが問題となる。本発明では、各々のモデル１２、１３に対し、そのモデル自身の妥当性を示す尺度としてモデル尤度を算出し（１６、１７）、モデル尤度を勘案して最終的なクラス尤度（組み合わせ尤度）を算出する（１８）。モデル尤度の算出方法と、最終的なクラス尤度の算出方法は後述する。
【００３６】
（２）欠陥分類の詳細
次に、本発明による欠陥分類の具体例を詳細に説明する。
【００３７】
（ｉ）  分類モデル生成
初めに、分類処理を実行する前に予め行う分類モデルを生成する。図５は分類モデルを生成する前のメインクラスとユーザクラスの関係を模式化した図である。
【００３８】
本実施の形態における分類モデルでは、上位の節１がルールベース型分類器５１、下位の節２乃至４が学習型分類器５５〜５７からなる、２層で構成される分類モデルを仮定する。上位の節１のルールベース型分類器５１では、ｉｆ−ｔｈｅｎ式のルールによって、『異物』５２、『凹み』５３、『パターン』５４の３つのメインクラスに属する尤度を算出する。一方、下位の節２乃至４の学習型分類器５５〜５７では、あるメインクラスに欠陥が分類されると仮定した際、そのメインクラスの下位にユーザが定義したクラス（ユーザクラス１〜４：５８−１〜４）における尤度を算出する．なお、図５ではまだメインクラスとユーザクラスの関係は定義されていないが、本例では、欠陥は最終的には、ユーザクラス１〜４のいずれかに分類されることを想定している。
【００３９】
次に、分類モデルの生成方法について述べる。以下に述べる方法により、図５に示した状態から、図６や図７に示した分類モデルが生成される。
【００４０】
ユーザインタフェースを、図９（ａ）乃至（ｃ）に示す。
【００４１】
図９（ａ）はメインクラス画面で、９１はルールベース型分類画面である。ルールベース型のクラスの一覧９１１と各ルールベース型クラスにおける尤度が最大となる、すなわちもっともそのクラスらしいとされる欠陥画像の一覧９１２とを表示する。
【００４２】
一方、図９（ｂ）はユーザクラス画面で、９２は学習型分類器によるクラスの教示用の画面（以下、学習型分類画面という）を示しており、学習型のクラスの一覧９２１と欠陥画像の一覧９２２とから成る。ユーザは、学習型分類画面９２上で分類したい欠陥のクラスを学習用のクラスとして設定し、次にドラッグ・アンド・ドロップ操作によって、各欠陥画像９２２を学習型クラス９２１の何れかに教示する。
【００４３】
次に、分類モデルの自動生成を指示するボタン「自動リンク」９２３をアイコンでクリックすることにより、分類モデルの構成を内部で計算する。
【００４４】
分類モデルの生成においては、ユーザによる教示結果とルールベース型分類器による尤度算出結果とから、メインクラスとユーザクラスの相関を解析し、図６または、図７に示すような、ルールベース型分類器６０１又は７０１と学習型分類器６０２、６０３又は７０２、７０３とを組合わせた分類モデルを生成する。ずなわち、（１）ルールベース型分類器によってメインクラスＭｉの尤度が最大とされた欠陥のうち、学習型分類器でクラスＵｊとして教示された欠陥が多い場合、メインクラスＭｉとユーザクラスＵｊとは相関が高い、あるいは、（２）  ユーザクラスＵｊに教示された欠陥のうち、メインクラスＭｉとして分類された欠陥が多い場合、メインクラスＭｉと、ユーザクラスＵｊとは相関が高いと考え、相関が高いメインクラスとユーザクラス間に階層関係を設定する。前記（１）、（２）は例えば、以下のように、定式化することができる。
【００４５】
［分類モデル生成規則１］
ＮＵｊ／ＮＭｉ    がｔｈ１以上、または、ＮＭｉ／ＮＵｊ    がｔｈ２以上ならば、ユーザクラスＵｊをメインクラスＭｉの下位とする。
ここで、
ＮＭｉ：ルールベース型分類器によってメインクラスＭｉの尤度が最大とされた欠陥数、
ＮＵｊ：学習型分類器によってユーザクラスＵｊの尤度が最大とされた欠陥数、
ＮＭｉ∩Ｕｊ：ルールベース型分類器によってメインクラスＭｉの尤度が最大とされ、かつ、学習型分類器によってユーザクラスＵｊの尤度が最大とされた欠陥数
以上述べた方法により、得られた教示データに対して好適な分類モデルを自動的に生成することができる。
また、好適な分類モデルは、得られた教示データの分布に対して、必ずしも唯一ではない場合、複数の分類モデルを生成する方法について述べる。
今、仮に図５の例において、ユーザクラス１、２（５８−１、５８−２）はメインクラス『異物』５２と高い相関、ユーザクラス４（５８−４）はメインクラス『パターン』５４と高い相関があったと仮定する。更に、ユーザクラス３（５８−３）のサンプルが５個あり、このうち、４個においてメインクラス『パターン』５４の尤度が最大、１個においてメインクラス『異物』５２の尤度が最大になったと仮定する。分類モデル生成規則１よれば、ユーザクラス３（５８−３）に属する欠陥の大半（４／５＝８０％）において、メインクラス『パターン』５４の尤度が最大になるため、ユーザクラス３（５８−３）をメインクラス『パターン』５４の下位に設定すればよさそうであるが、実際には、データ数が少なすぎるため、ユーザクラス３（５８−３）に属する欠陥の大半においてメインクラス３『パターン』５４の尤度が最大になる、と十分確からしく言うことはできない。そこで、例えば、分類モデル生成規則１に加えて、次の分類モデル生成規則２により、データ数が少ない場合には、想定され得る複数のモデルを生成する。分類モデル生成規則１、２に従えば、上の例において、図６又は図７に示したような、ルールベース型分類器６０１又は７０１と学習型分類器６０２、６０３又は７０２、７０３とを組合わせた分類モデルが生成される。
【００４６】
［分類モデル生成規則２］
ユーザクラスＵｊに属する欠陥数ＮＵｊが一定以下の場合、以下に従って、複数の分類モデルを生成する。ユーザクラスＵｊに属する欠陥であって、メインクラスＭｉに属する尤度が最大になる欠陥数をＮＭｉ∩Ｕｊとした時、ＮＭｉ∩Ｕｊが最大値となるメインクラス、２番目に大きな値になるメインクラスを、それぞれ、Ｍｍａｘ１  、Ｍｍａｘ２とする。ユーザクラスＵｊをＭｍａｘ１の下位に設定したモデル、及び、ユーザクラスＵｊをＭｍａｘ１とＭｍａｘ２の下位に設定したモデルを生成する。
【００４７】
以上に、得られた教示データに対して分類モデルを自動生成する方法について述べたが、手動でモデルを設定、あるいは自動生成したモデルを手動で修正することもできる。図９のユーザインタフェース画面において、学習型分類画面９２上に表示された「レシピ設定画面」ボタン９２４をアイコンでクリックすることにより、図９（ｃ）のレシピ設定画面９３に移行し、生成した分類モデルの構成を確認し、ユーザは必要に応じて自動生成したモデルをレシピ設定画面９３上で手動により変更することもできる．図９（ｃ）では一つの分類モデルしか表示していないが、分類モデルの候補を複数算出、表示し、修正できるようにしてもよい．
以上の説明においては、ルール型分類器と学習型分類器の階層構造からなる二つの分類モデルが構成される例を説明したが、同様の分類モデル構成方法を用いて、他の構成として、図１５、図１６に示すような複数の学習型分類器（１５０１〜１５０３又は１６０１〜１６０３）を組合わせて分類モデルを構成することもできる。また、他の構成として図１７、図１８に示すような複数のルール型分類器（１７０１〜１７０３又は１８０１〜１８０３）を組合わせて分類モデルを構成してもよい。
【００４８】
（ｉｉ）分類実行
次に、分類実行時における処理の詳細を述べる、図１２は分類実行時の処理フローを示す。はじめに、図１２を用いて各分類モデルにおける尤度の算出について説明する。
【００４９】
ＳＴＥＰ１  各分類モデルにおける尤度の算出（１２０１）
メインクラス尤度の算出、ユーザクラス、これらからルール学習統合尤度の算出、の３ステップからなる。
【００５０】
ＳＴＥＰ１．１  メインクラス尤度の算出（１２０２）
ルールベース型分類器は特定のクラスに分類するのではなく、ファジー論理（Ｆｕｚｚｙ  ｉｆ−ｔｈｅｎ  ルール）に基づき各クラスの尤度を算出する．尤度とはそのクラスらしさを表す指標であり、０から１の値域とし、１に近いほどそのクラスらしい、とみなす．特徴量の値から尤度を算出するための関数は尤度関数と呼ばれ、システムによって提供される。図１３にメインクラス尤度関数の例を示す。１３１は異物の尤度関数、１３２はパターン、１３３は凹みの尤度関数である。特徴ｆ１の値から、各クラスに対する尤度を１３１、１３２、１３３により算出する。
【００５１】
ＳＴＥＰ１．２  ユーザクラス尤度の算出（１２０３）
次に学習型分類器によるユーザクラス尤度の算出方法を図１４に示す。１４０１はユーザクラス尤度算出のための尤度関数の例を示す。尤度関数として、例えば、特徴空間におけるマハラノビス距離の利用が考えられる。マハラノビス距離とは、各クラスの教示データの分布１４１、１４２が特徴量空間中で、（一般には多次元）正規分布１４３、１４４に従うと仮定し、各正規分布の中心から着目する欠陥の特徴量ベクトルまでの距離を正規分布の分散（共分散行列）で規格化した距離である。このとき、以下のように学習型クラスの尤度を算出できる。
（学習型クラスｉに属する尤度）＝Ｄｉ／ΣＤｉ
ただし、Ｄｉは学習型クラスＤｉと、分類対象欠陥の特徴量ベクトルとのマハラノビス距離
メインクラス尤度における尤度関数との相違は、尤度関数が教示データによって決定される点にある。
【００５２】
ＳＴＥＰ１．３  ルール学習統合尤度の算出（１２０４）
次に、算出したメインクラス尤度、ユーザクラス尤度を組み合わせたクラス尤度を算出する（以下、ルール学習統合尤度）。ユーザクラス尤度は、上位のメインクラスに分類されたことを仮定した上で定義される尤度であるので、例えば、ユーザクラス尤度が高い値であっても、その上位のメインクラス尤度が極めて低い値ならば、そのユーザクラスにおけるルール学習統合尤度は低い値になるように定義する必要がある。
【００５３】
ルール学習統合尤度は、例えば、メインクラス尤度とユーザクラス尤度の荷重平均として算出することができる．
（ルール学習統合尤度）＝α＊（メインクラス尤度）＋（１−α）＊（ユーザクラス尤度）
ここで、αは、メインクラス尤度を重視する度合いを意味しており、ルール型分類器と学習型分類器の経験的な信頼性に基づいて天下り的に設定してもよい．また、他の計算方法として、メインクラス尤度、ユーザクラス尤度の積等の方法も考えられる．
以上述べたステップを各分類モデル毎に行い、各分類モデルのもとでのクラス尤度を求める。
【００５４】
ＳＴＥＰ２  モデル尤度算出（１２０５）
次に生成した各分類モデルに対し、そのモデルの妥当性を表す指標としてのモデル尤度を算出する。
【００５５】
さて、複数生成したモデルのうち、最適な分類モデルは、実は欠陥毎に異なる。例えば、図３、図４の２種類のモデルが生成されたと仮定する。今、分類対象欠陥が、特徴量の値からパターン欠陥であることが自明で、あえて学習型の分類器による尤度算出を必要としないことが明らかな場合は、異物への誤分類の可能性がある図４のモデルより、図３のモデルが有利と考えられる。一方、特徴量の値からはパターン欠陥か異物か明らかではない場合には、図４のモデルにより学習型の分類器によって分類した方が有利と考えられる。このように、最適な分類モデルは、実は欠陥毎に異なっている。
【００５６】
モデル尤度は、欠陥毎に、例えば、以下のように定義することができる。
モデル尤度＝１／（−Σｐｉｌｏｇｐｉ）
ただし、ｐｉは分類対象欠陥のメインクラスＭｉでの尤度
上式の分母はエントロピーであり、ｐｉが一様であるほど、値が大きくなる性質をもつ。従って、ｐｉが一様であるほど、言い換えるとメインクラスによってｐｉに差がなく特定のクラスに信頼性高く分類できないほど、エントロピーが大きくなり、結果として、モデル尤度は小さくなる。このようなモデル尤度を各モデルに対して算出する。
【００５７】
ＳＴＥＰ３  組み合わせ尤度算出（１２０６）
次に、各モデルのもとで算出したルール学習統合尤度（図１２、ＳＴＥＰ１）とモデル尤度（図１２、ＳＴＥＰ２）とから、欠陥クラス尤度を以下のようにして定式化することができる。
ＰＣｊ＝ΣｉＰ（Ｃｊ｜  Ｍｉ）Ｐ（Ｍｉ）                ・・・（１）
Ｃｊ：分類クラス
ＰＣｊ：クラスＣｊの尤度
Ｍｉ：分類モデルｉ
Ｐ（Ｃｊ｜  Ｍｉ）：分類モデルＭｉによるクラスＣｊの尤度
Ｐ（Ｍｉ）：分類モデルＭｉの尤度
式（１）は、複数のモデルによってクラス尤度を算出した上で、分類モデル自体の尤らしさ（＝モデル尤度）による重み付き平均を算出する式と説明できる。
【００５８】
これにより、ユーザ毎に異なる欠陥分類要求に対し、固有の最適な分類モデルを自動的に提供することができ、分類性能を向上することが可能になる。
【００５９】
上記説明においては、ルールベース型の分類器と学習型の分類器とが階層的に接続するモデルを想定した事例を説明したが、図１１に示すように。並列に存在するルールベース型分類器１１０１と学習型分類器１１０２、あるいはルールベース型分類器１１０３、それぞれによって算出した尤度１１０４〜１１０６を組み合わせてもよい。図１１の場合、ルールベース型分類器１１０１、１１０３は、特定のクラスに分類するのではなく、いわゆるファジー論理（Ｆｕｚｚｙ  ｉｆ−ｔｈｅｎルール）に基づき、尤度１１０４、１１０６を算出する。すなわち、設計者が作りこんだ尤度関数を用いて各クラスの尤度を算出する。
【００６０】
図１１に示す構成を採用することにより、教示データ数が少ない場合の学習型分類器の性能不安定性を解消することができる。例えば、教示データ数が少ない場合は、学習型分類器１１０２のモデル尤度を低くしてルールベース型分類器１１０１、１１０３の算出した尤度１１０４、１１０６を相対的に重視し、逆に、教示データ数が多い場合は、学習型分類器１１０２のモデル尤度を高くして学習型分類器１１０２の算出した尤度１１０５を相対的に重視すればよい。
【００６１】
また、教示データ数がクラスによって偏っている場合の学習型分類器１１０２の性能不安定性を解消することができる。例えば、教示データ数が少ないクラス、あるいは、特徴量空間の領域においては、学習型分類器１１０２のモデル尤度を低くしてルールベース型分類器１１０１、１１０３の算出した尤度１１０４、１１０６を相対的に重視し、逆に、教示データ数が多いクラス、あるいは、特徴量空間の領域においては、学習型分類器１１０２のモデル尤度を高くして学習型分類器１１０２の算出した尤度１１０５を相対的に重視すればよい。
【００６２】
これにより、ユーザ毎に異なる欠陥分類要求に対し、固有の最適な分類モデルを自動的に提供することができ、分類性能を向上することが可能になる。
【００６３】
以上、本発明の実施の形態について述べてきた。
【００６４】
上記説明においては、電子線式の画像検出器によって検出した欠陥画像を分類する場合について説明したが、光学式の画像検出器よって検出した欠陥画像を分類する場合についても同様にして適用することができる。
【００６５】
更に、複数の電子線式、あるいは光学式の画像検出器、あるいは欠陥分析装置の出力情報（例えば、ＥＤＸによるＸ線スペクトル等）の少なくともいずれかを解析して欠陥の特徴量ベクトルを算出し、欠陥の分類を行ってもよい。もちろん、欠陥分析装置の出力情報単独から特徴量ベクトルを算出し、欠陥の分類を行ってもよいし、欠陥に対応する参照データに基づいて特徴量ベクトルを算出してもよい。
【００６６】
更に、半導体電子回路基板上に生じた欠陥画像の分類を適用対象例として、本発明の詳細を述べたが、本発明の適用対象は上記に限るものではない。
【００６７】
例えば、プリント回路基板、ＦＰＤ、液晶表示基板等の表面に生じた欠陥部の画像を自動分類する方法にも適用することができる。
【００６８】
【発明の効果】
本発明によれば、ユーザ毎に異なる欠陥分類要求に対し、固有の最適な分類モデルを自動的に提供し、分類性能を向上させることができる。
【００６９】
また、本発明によれば、プロセスの変化による新たな欠陥クラスの発生等、ユーザが要求する欠陥分類が変化した場合にも、最適な分類モデルを自動的に提供し、分類性能を安定化させることができる。
【００７０】
更に、本発明によれば、欠陥分類要求に対し、最適な分類モデルを自動的に提供し、手動による分類モデルのマニュアル設定を不要にすることができる。
【図面の簡単な説明】
【図１】第一の実施の形態における分類モデルの生成の流れを示す図である。
【図２】分類モデルの一例を示す図である。
【図３】分類モデルの一例を示す図である。
【図４】分類モデルの一例を示す図である。
【図５】本発明の第一の実施の形態における分類モデルを説明する図である。
【図６】本発明の第一の実施の形態における分類モデルを説明する図である。
【図７】本発明の第一の実施の形態における分類モデルを説明する図である。
【図８】第一の実施の形態における欠陥レビュー装置の概略構成を示すブロック図である。
【図９】第一の実施の形態におけるユーザインタフェースを示す表示画面の正面図で、（ａ）はルールベース型分類画面、（ｂ）は学習型分類画面、（ｃ）はレシピ設定画面である。
【図１０】（ａ）（ｂ）ともに、欠陥の特徴量の分布を示すグラフである。
【図１１】分類モデルを示す図である。
【図１２】分類実行時の処理の流れを示す図である。
【図１３】ルール型分類器における尤度関数を示す図である。
【図１４】マハラノビス距離を説明する図である。
【図１５】学習型の分類モデルの一例を示す図である。
【図１６】学習型の分類モデルの一例を示す図である。
【図１７】ルール型の分類モデルの一例を示す図である。
【図１８】ルール型の分類モデルの一例を示す図である。
【符号の説明】
１１・・・分類モデル生成前の状態    １２・・・生成した分類モデル    １３・・・生成した分類モデル    ２１、３１、４１、５１、６１、７１・・・ルールベース型分類器    ３５、４５、５５、５６、５７、６５、６６、７５、７６・・・学習型分類器    ８０・・・電子線式顕微鏡    ８１・・・筐体    ８４・・・偏向器    ８５・・・検出器    ８６・・・Ａ／Ｄ変換器    ８７・・・処理部    ８８・・・記憶装置    ９１・・・ルールベース型分類の表示画面９２・・・学習型分類の表示画面    ９３・・・レシピ設定画面、１３１、１３２、１３３・・・尤度関数、１４１、１４２・・・教示データの分布、１４３、１４４・・・教示データから求めた正規分布
【図１】
2004294360.tif 000003
【図２】
2004294360.tif 000004
【図３】
2004294360.tif 000005
【図４】
2004294360.tif 000006
【図５】
2004294360.tif 000007
【図６】
2004294360.tif 000008
【図７】
2004294360.tif 000009
【図８】
2004294360.tif 000010
【図９】
2004294360.tif 000011
【図１０】
2004294360.tif 000012
【図１１】
2004294360.tif 000013
【図１２】
2004294360.tif 000014
【図１３】
2004294360.tif 000015
【図１４】
2004294360.tif 000016
【図１５】
2004294360.tif 000017
【図１６】
2004294360.tif 000018
【図１７】
2004294360.tif 000019
【図１８】
2004294360.tif 000020