(57)【要約】【課題】汎化能力に優れた分類器を生成する技術を提供する。【解決手段】正クラスが教示された複数の教師データ８２を含む教師データ群８２Ｇを用いて分類器８４が生成され（ステップＳ２２）、当該分類器８４で教師データ群８２Ｇが分類され（ステップＳ２３）、分類先が教示とは異なった教師データ８２について、教示クラス８２４が元の正クラスの対である副クラスに変更される（ステップＳ２４）。教示クラス８２４が副クラスに変更された教師データ８２を含む教師データ群８２Ｇを用いて生成された新たな分類器８４で、教師データ群８２Ｇが分類される（ステップＳ２６）。分類先が教示とは異なった教師データ８２について、教示が正クラスである場合には教示クラス８２４がその対である副クラスに変更され、教示が副クラスであって分類先がその副クラスの対である正クラスである場合には教示クラスが当該正クラスに変更される（ステップＳ２７）。【選択図】図７
2020021224.tif 000002
【特許請求の範囲】
【請求項１】
データを特徴量に応じて分類する分類器を生成する分類器生成方法であって、
（ａ）  複数の教示用データのそれぞれについて、複数種類の特徴量を算出する工程と、
（ｂ）  前記複数の教示用データのそれぞれについて、異なる正クラスのいずれか１つを教示することによって、複数の教師データを含む教師データ群を生成する工程と、
（ｃ）  前記教師データ群を用いて分類器を生成する工程と、
（ｄ）  前記工程（ｃ）によって生成された前記分類器で前記教師データ群を分類する工程と、
（ｅ）  前記教師データ群のうち、前記工程（ｄ）において分類先が教示とは異なった教師データについて、教示クラスを元の正クラスの対である副クラスに変更する工程と、
（ｆ）  前記工程（ｅ）によって教示クラスが前記副クラスに変更された教師データを含む教師データ群を用いて新たな分類器を生成する工程と、
（ｇ）  前記工程（ｆ）によって生成された前記分類器で前記教師データ群を分類する工程と、
（ｈ）  前記工程（ｇ）において分類先が教示とは異なった前記教師データについて、教示が正クラスである場合には教示クラスをその対である副クラスに変更し、教示が副クラスであって分類先がその副クラスの対である正クラスである場合には教示クラスを当該正クラスに変更する工程と、
（ｉ）  前記工程（ｈ）において教示クラスが変更された教師データを含む教師データ群を用いて新たな分類器を生成する工程と、
を含む、分類器生成方法。
【請求項２】
請求項１の分類器生成方法であって、
（ｊ）  前記工程（ｇ）から前記工程（ｉ）までを再度行う工程、
をさらに備える、分類器生成方法。
【請求項３】
請求項２の分類器生成方法であって、
前記工程（ｊ）は、
所定の終了条件を満たすまで、前記工程（ｇ）から前記工程（ｉ）までを２回以上行う工程である、分類器生成方法。
【請求項４】
請求項３の分類器生成方法であって、
前記終了条件が、前記工程（ｈ）において、教示クラスの変更が起こらないことである、分類器生成方法。
【請求項５】
請求項３の分類器生成方法であって、
前記終了条件が、前記工程（ｇ）の分類結果において、正クラスについての正答率が所定の閾値を上回ることである、分類器生成方法。
【請求項６】
データを特徴量に応じて分類する分類器を生成する分類器生成装置であって、
異なるクラスのうち１つが教示された教師データ群を用いて分類器を生成する分類器生成部と、
前記分類器による前記教師データの分類先に応じて、前記教師データの教示クラスを、正クラスとその対である副クラスとの間で変更する教示クラス変更部と、
を備え、
前記教示クラス変更部は、
前記教師データ群を前記分類器で分類したときに、前記分類器による分類先が教示とは異なった教師データについて、
教示が正クラスであった場合には教示クラスをその正クラスの対である副クラスに変更し、
教示が副クラスであって分類先がその副クラスの対である正クラスである場合には教示クラスを当該正クラスに変更し、
前記分類器生成部は、前記教示クラス変更部によって教示クラスが変更された教師データを含む教師データ群を用いて、新たな分類器を生成する、分類器生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、データが持つ複数種類の特徴量に応じて当該データを分類する技術に関する。
【背景技術】
【０００２】
半導体基板、ガラス基板、プリント配線基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。また、このような検査工程において検出された欠陥に対して、詳細な解析を行うことによって、その欠陥の発生原因を特定し、欠陥に対する対策が施される。
【０００３】
近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動分類も用いられる。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現される。自動分類では、ニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類（クラス））を示す信号を含む教師データを用意して分類器を学習させる必要がある（分類器の生成について、例えば、特許文献１参照）。典型的には、各欠陥画像のカテゴリをオペレータが決定することにより、教師データが作成される。
【０００４】
教師データの作成においてオペレータによるカテゴリの判定が曖昧な場合、分類器の学習用データに矛盾したデータが含まれることによって、分類器の性能が低下するおそれがある。そこで、特許文献２〜５には、学習中または学習後に学習の妨げになる学習用入力パターンを検出して、除去あるいは変更した後に再学習などを行なうニューラルネットワークの学習装置が開示されている。
【０００５】
特許文献６には、上記矛盾したデータの抽出を図る技術が開示されている。当該欠陥分類方法では、教師データを使用した学習により判別関数が求められ、当該判別関数を用いて教師データが各カテゴリに分類される。そして、分類カテゴリが初期カテゴリと一致しない教師データがオペレータに提示される。それに応じて、オペレータは、当該教師データの初期カテゴリを修正し、または、当該データを教師データから除外する。
【０００６】
特許文献７には、検査画像から抽出された欠陥領域が分類されるべき正解カテゴリを確信レベル付きで入力することで正解カテゴリおよび確信レベルの情報を含む教師データを作成する教師データ作成手段と、確信レベルが高い教師データを確信レベルが低い教師データより有意なデータとして分類を行う分類手段とを備える分類装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平２００３−３１７０８３号公報
【特許文献２】特開平６−８３７９２号公報
【特許文献３】特開平７−１６８７９９号公報
【特許文献４】特開平９−８１１９０号公報
【特許文献５】特開平１０−４９５０９号公報
【特許文献６】特開平１１−３４４４５０号公報
【特許文献７】特開２００６−１８９９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術では、分類器が提示した結果に基づき、該当する教師データが真に不適切であるかどうかを、オペレータが再確認する場合があった。このため、オペレータの作業の負担が大きくなっていた。また、不適切な学習データを削除する場合には、教師データが減少してしまう。さらに、実在する一部データを無視した再学習によって生成された分類器では、その無視されたデータに類似するデータに遭遇したときに、それに対する分類結果が成り行き任せになるおそれがあった。
【０００９】
また、機械学習の分野では、学習に使用されなかったデータに対しても正しい分類結果を与える能力（汎化能力）が重視されるが、それは母集団から偏りなくデータを取り出して作られた標本分布で学習した場合を前提にしている。このため、意図的に一部のデータを除外して学習した場合には、不都合なデータに対しても正しい分類結果を与えることは困難であった。
【００１０】
本発明の目的は、汎化能力に優れた分類器を生成する技術を提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、第１態様は、データを特徴量に応じて分類する分類器を生成する分類器生成方法であって、（ａ）複数の教示用データのそれぞれについて、複数種類の特徴量を算出する工程と、（ｂ）前記複数の教示用データのそれぞれについて、異なる正クラスのいずれか１つを教示することによって、複数の教師データを含む教師データ群を生成する工程と、（ｃ）前記教師データ群を用いて分類器を生成する工程と、（ｄ）前記工程（ｃ）によって生成された前記分類器で前記教師データ群を分類する工程と、（ｅ）前記教師データ群のうち、前記工程（ｄ）において分類先が教示とは異なった教師データについて、教示クラスを元の正クラスの対である副クラスに変更する工程と、（ｆ）前記工程（ｅ）によって教示クラスが前記副クラスに変更された教師データを含む教師データ群を用いて新たな分類器を生成する工程と、（ｇ）前記工程（ｆ）によって生成された前記分類器で前記教師データ群を分類する工程と、（ｈ）前記工程（ｇ）において分類先が教示とは異なった前記教師データについて、教示が正クラスである場合には教示クラスをその対である副クラスに変更し、教示が副クラスであって分類先がその副クラスの対である正クラスである場合には教示クラスを当該正クラスに変更する工程と、（ｉ）前記工程（ｈ）において教示クラスが変更された教師データを含む教師データ群を用いて新たな分類器を生成する工程とを含む。
【００１２】
第２態様は、第１態様の分類器生成方法であって、（ｊ）前記工程（ｇ）から前記工程（ｉ）までを再度行う工程をさらに備える。
【００１３】
第３態様は、第２態様の分類器生成方法であって、前記工程（ｊ）は、所定の終了条件を満たすまで、前記工程（ｇ）から前記工程（ｉ）までを２回以上行う工程である。
【００１４】
第４態様は、第３態様の分類器生成方法であって、前記終了条件が、前記工程（ｈ）において、教示クラスの変更が起こらないことである。
【００１５】
第５態様は、第３態様の分類器生成方法であって、前記終了条件が、前記工程（ｇ）の分類結果において、前記正クラスについての正答率が所定の閾値を上回ることである。
【００１６】
第６態様は、データを特徴量に応じて分類する分類器を生成する分類器生成装置であって、異なるクラスのうち１つが教示された教師データ群を用いて分類器を生成する分類器生成部と、前記分類器による前記教師データの分類先に応じて、前記教師データの教示クラスを、正クラスとその対である副クラスとの間で変更する教示クラス変更部と、を備え、前記教示クラス変更部は、前記教師データ群を前記分類器で分類したときに、前記分類器による分類先が教示とは異なった教師データについて、教示が正クラスであった場合には教示クラスをその正クラスの対である副クラスに変更し、教示が副クラスであって分類先がその副クラスの対である正クラスである場合には教示クラスを当該正クラスに変更し、前記分類器生成部は、前記教示クラス変更部によって教示クラスが変更された教師データを含む教師データ群を用いて、新たな分類器を生成する。
【発明の効果】
【００１７】
第１態様の分類器生成方法によると、教示されたクラスが不適切であった教師データが、教示の信頼性が低いことを前提にした副クラスに自動的に変更され、その副クラスも含めた再学習によって分類器が生成される。このように教師データを除去せずに再学習が行われるため、汎化能力に優れた分類器を得ることができる。また、正クラスへ分類された結果については確信度が高く、かつ、副クラスへ分類されたものは確信度の低い分類器を得ることができる。したがって、分類結果に対して確信度の情報が付加される分類器を得ることができる。
【００１８】
第２態様の分類器生成方法によると、正クラスの対となる副クラスを含めた分類器の生成を繰り返し行うことによって、分類結果に対して付与される確信度の情報の精度を向上できる。
【００１９】
第３態様の分類器生成方法によると、終了条件が満たされるまで副クラスを含めた再学習による分類器の生成を繰り返し行うことによって、分類結果に対して付与される確信度の情報の精度を向上できる。
【００２０】
第４態様の分類器生成方法によると、教示クラスの変更が起こらなくなるまで再学習による分類器の生成を繰り返し行うことによって、分類結果に対して付与される確信度の情報の精度を向上できる。
【００２１】
第５態様の分類器生成方法によると、正クラスの正答率が所定の閾値を上回るまで再学習による分類器の生成を繰り返し行うことによって、正クラス間での分類結果に対して付与される確信度の情報の精度を向上できる。
【００２２】
第６態様の分類器生成装置によると、教示されたクラスが不適切であった教師データが、教示の信頼性が低いことを前提にした副クラスに自動的に変更され、その副クラスも含めた再学習によって分類器が生成される。このように教師データを除去せずに再学習が行われるため、汎化能力に優れた分類器を得ることができる。また、正クラスへ分類された結果については確信度が高く、かつ、副クラスへ分類されたものは確信度の低い分類器を得ることができる。したがって、分類結果に対して確信度の情報が付加される分類器を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】実施形態の画像分類装置１の概略構成を示す図である。
【図２】実施形態の画像分類装置１による欠陥画像の分類の流れを示す図である。
【図３】実施形態のホストコンピュータ５の構成を示すブロック図である。
【図４】分類器４２２を生成するためのホストコンピュータ５の機能構成を示すブロック図である。
【図５】教師データ群８２Ｇの一例を示す図である。
【図６】実施形態のホストコンピュータ５において分類器８４を生成する流れを示す図である。
【図７】実施形態のホストコンピュータ５において分類器８４を生成する流れを概念的に示す図である。
【発明を実施するための形態】
【００２４】
以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張又は簡略化して図示されている場合がある。
【００２５】
等しい状態であることを示す表現（例えば「同一」「等しい」「均質」等）は、特に断らない限り、定量的に厳密に等しい状態を表すのみならず、公差もしくは同程度の機能が得られる差が存在する状態も表すものとする。
【００２６】
＜１．実施形態＞
図１は、実施形態の画像分類装置１の概略構成を示す図である。画像分類装置１は、半導体基板９上のパターン欠陥を示す欠陥画像を取得し、その欠陥画像の分類を行う。画像分類装置１は、撮像装置２、検査・分類装置４およびホストコンピュータ５を備えている。
【００２７】
撮像装置２は、半導体基板９上の検査対象領域を撮像する。検査・分類装置４は、撮像装置２によって取得された画像データに基づく欠陥検査を行う。検査・分類装置４は、欠陥が検出された場合に、その欠陥を欠陥の種別毎に分類する。以下、この種別を「クラス」とも称する。半導体基板９上に存在するパターンの欠陥のクラスは、例えば、「欠損」、「突起」、「断線」、「ショート」、「異物」などである。ホストコンピュータ５は、画像分類装置１の全体動作を制御するとともに、検査・分類装置４における欠陥の分類に利用される分類器４２２を生成する。ホストコンピュータ５は分類器生成装置の一例である。
【００２８】
撮像装置２は、半導体基板９の製造ラインに組み込まれてもよい。画像分類装置１は、いわゆるインライン型のシステムとされてもよい。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能が付加された装置である。
【００２９】
撮像装置２は、撮像部２１、ステージ２２およびステージ駆動部２３を備えている。撮像部２１は、半導体基板９の表面における検査対象領域を撮像する。ステージ２２は、半導体基板９を水平姿勢に保持する。「水平姿勢」とは、半導体基板９が水平面に対して平行な状態をいう。ステージ駆動部２３は、撮像部２１に対してステージ２２を半導体基板９の表面に平行な方向に相対的に移動させる。
【００３０】
撮像部２１は、照明部２１１、光学系２１２および撮像デバイス２１３を備えている。光学系２１２は半導体基板９に照明部２１１からの照明光を導く。半導体基板９の表面にて反射した光は、再び光学系２１２に入射する。撮像デバイス２１３は、光学系２１２によって結像された半導体基板９の像を電気信号に変換する。
【００３１】
ステージ駆動部２３は、ボールネジ、ガイドレールおよびモータなどを備えている。ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することによって、半導体基板９上の検査対象領域が撮像される。
【００３２】
検査・分類装置４は、欠陥検出部４１および分類制御部４２を備えている。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。詳細には、欠陥検出部４１は、検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像により得られた画像と参照画像（欠陥が存在しない画像）との比較や画像処理により検査対象領域の欠陥検査を行う。分類制御部４２は、欠陥検出部４１が検出した欠陥画像を分類する。分類制御部４２は、各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、特徴量算出部４２１および分類器４２２を有する。分類器４２２は、ニューラルネットワーク、決定木、判別分析等を利用して欠陥の分類、すなわち、欠陥画像の分類を実行する。
【００３３】
図２は、実施形態の画像分類装置１による欠陥画像の分類の流れを示す図である。撮像装置２が半導体基板９の表面を撮像することによって、検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。続いて、欠陥検出部４１が検査対象領域の欠陥検査を行うことによって、欠陥の検出を行う（ステップＳ１２）。ステップＳ１２において欠陥が検出された場合（ステップＳ１２においてＹＥＳ）、欠陥部分の画像（すなわち欠陥画像）のデータが分類制御部４２へと送信される。欠陥が検出されない場合（ステップＳ１２においてＮＯ）、ステップＳ１１に戻って画像データの取得が行われる。
【００３４】
分類制御部４２は、欠陥画像を受け取ると、その欠陥画像の複数種類の特徴量を算出する（ステップＳ１３）。複数種類の特徴量の配列を、特徴量ベクトルとも称する。算出された特徴量ベクトルは分類器４２２に入力され、分類器４２２によって分類が行われる（ステップＳ１４）。すなわち、分類器４２２によって欠陥画像が複数のクラスのいずれかに分類される。画像分類装置１では、欠陥検出部４１にて欠陥が検出されるたびに、特徴量ベクトルの算出がリアルタイムに行われ、多数の欠陥画像の自動分類が高速に行われる。
【００３５】
図３は、実施形態のホストコンピュータ５の構成を示すブロック図である。ホストコンピュータ５は、機械学習によって分類器４２２を生成する分類器生成装置の一例である。
【００３６】
ホストコンピュータ５は、ＣＰＵ５１、ＲＯＭ５２およびＲＡＭ５３を備えている。ＣＰＵ５１は各種演算処理を行う演算回路を含む。ＲＯＭ５２は本プログラムを記憶している。ＲＡＭ５３は各種情報を記憶する揮発性の主記憶装置である。ホストコンピュータ５は、バスライン５０１によって互いに接続されているＣＰＵ５１、ＲＯＭ５２およびＲＡＭ５３を有する一般的なコンピュータシステムを備えている。
【００３７】
ホストコンピュータ５は、固定ディスク５４、ディスプレイ５５、入力部５６、読取装置５７および通信部５８を備えている。これらの各要素は、インターフェース（Ｉ／Ｆ）を介してバスライン５０１に接続されている。
【００３８】
固定ディスク５４は、情報記憶を行う補助記憶装置である。ディスプレイ５５は、画像などの各種情報を表示する出力装置である。入力部５６は、キーボード５６ａおよびマウス５６ｂなどを含む入力用デバイスである。読取装置５７は、可搬性を有する一過性の記録媒体８から情報を読み取る装置である。記録媒体８は、例えば、光ディスク、磁気ディスク、光磁気ディスクまたは半導体メモリである。通信部５８は、画像分類装置１の他の要素との間で信号を送受信する。
【００３９】
ホストコンピュータ５は、読取装置５７を介して記録媒体８からプログラム８０を読み取る。読み取られたプログラム８０は、固定ディスク５４に記録される。プログラム８０は、適宜ＲＡＭ５３に格納される。そして、ＣＰＵ５１が、ＲＡＭ５３に格納されたプログラム８０に従って、各種演算処理を行う。
【００４０】
図４は、分類器４２２を生成するためのホストコンピュータ５の機能構成を示すブロック図である。ホストコンピュータ５は、制御部６１、記憶部６３を備えている。ホストコンピュータ５のＣＰＵ５１がプログラム８０に従って動作することにより、制御部６１は特徴量算出部６１１、分類器生成部６１３、教示クラス変更部６１５および終了判定部６１７として機能する。
【００４１】
特徴量算出部６１１は、欠陥画像から特徴量ベクトルを算出する。特徴量ベクトルに含まれる特徴量の項目としては、例えば、欠陥部分の面積、明度平均、周囲長、平坦度または欠陥部分を楕円形に近似した場合の長軸の傾きなどが含まれる。
【００４２】
分類器生成部６１３は、複数の教師データ８２を含む教師データ群を用いた機械学習を行うことによって、欠陥画像を分類する分類器８４を生成する。機械学習とは、教師データ群８２Ｇについて、付与されたクラス間の判別を行う判別関数を計算することを意味する。判別関数の算出方法としては、例えば、ニューラルネットワーク、決定木、判別分析などである。
【００４３】
図５は、教師データ群８２Ｇの一例を示す図である。教師データ８２は、欠陥画像から抽出された特徴量ベクトル８２２、および、予めオペレータが教示したクラス（以下、教示クラス８２４とも称する。）を示す情報であるクラスラベルを含む。各欠陥画像について、クラスを教示する（クラスを付与する）にあたっては、予め複数の正クラスが定義されている。正クラスは、例えばオペレータが想定する欠陥の種類毎に定義されるクラスである。オペレータが複数の正クラスのうち１つの正クラスを、各欠陥画像に対して教示することにより、教師データ８２が生成される。
【００４４】
本実施形態では、後述するように、再学習が繰り返し行われることによって、新たな分類器８４が次々と生成されるようになっている。その再学習による分類器８４の生成過程においては、副クラスが定義される場合がある。副クラスは、最初に定義された正クラスとは対になるクラスであって、正クラスとは１対１の関係にある。すなわち、１つの正クラスについては、副クラスが１つだけ定義される。なお、副クラスは必要に応じて定義されるものであり、必ずしもすべての正クラスに対して定義されるとは限らない。また、再学習による分類器８４の生成過程において、不要となった副クラスは適宜除去される場合もある。
【００４５】
教示クラス変更部６１５は、予め定められた変更規則に従って、教師データ８２における教示クラス８２２を変更する。この変更規則については、後に詳述する。なお、教示クラス変更部６１５は、教師データ８２の教示クラス８２４を変更する場合、最初に教示された正クラスとその正クラスの対である副クラスとの間で教示クラス８２４を変更する。すなわち、各教師データ８２の教示クラス８２４は、１つの正クラスとその正クラスに対応する副クラスとの間でのみ変更される。
【００４６】
終了判定部６１７は、終了条件を満たすかどうかを判断することによって、分類器８４の生成処理を終了するか否かを判定する。後述するように、制御部６１は、終了判定部６１７の判定結果に基づいて、再学習を停止し、新たな分類器８４の生成を終了する。ホストコンピュータ５において生成された分類器８４は、検査・分類装置４に送られ、分類器４２２として利用される。
【００４７】
＜再学習による分類器８４の生成について＞
図６は、実施形態のホストコンピュータ５において分類器８４を生成する流れを示す図である。図７は、実施形態のホストコンピュータ５において分類器８４を生成する流れを概念的に示す図である。図６および図７に示すホストコンピュータ５の動作は、特に断らない限り、制御部６１が行うものとする。
【００４８】
機械学習によって分類器８４を生成するために、教師データ群８２Ｇの生成が行われる（図６：ステップＳ２１）。詳細には、教師データ８２として使用されるデータである複数の欠陥画像のそれぞれについて、特徴量算出部６１１が複数種類の特徴量である特徴量ベクトル８２２を算出する。また、オペレータは、各欠陥画像について、予め定義された複数の正クラスの中から１つの正クラスを教示クラス８２４として付与する。図５に示すように、各欠陥画像から、特徴量ベクトル８２２と教示クラス８２４とを含む複数の教師データ８２が生成される。
【００４９】
図７に示す例では、３つの正クラス「ａ」「ｂ」「ｃ」が定義されており、これらクラスａ−ｃのそれぞれに、円形状で示す教師データ８２が６個ずつ準備されている。また、これら正クラスａ−ｃのそれぞれについて、対となる副クラスを「ａ？」「ｂ？」「ｃ？」としている。各教師データ８２に記載されている「ａ」「ｂ」および「ｃ」は教示クラス８２４を示している。以下では、複数の教師データ８２について教示クラス（正クラスａ−ｃ）を区別する場合、符号の最後に括弧書きでクラスを表記する。例えば、正クラスａの教師データ８２は「教師データ８２（ａ）」と表記され、正クラスｂの教師データ８２は「教師データ８２（ｂ）」と表記され、正クラスｃの教師データ８２は「教師データ８２（ｃ）」と表記される。
【００５０】
ステップＳ２１において教師データ群８２Ｇが生成されると、分類器生成部６１３が、その教師データ群８２Ｇを用いた機械学習によって、第１段階の分類器８４を生成する（図６：ステップＳ２２）。第１段階の分類器８４は、欠陥画像から算出される特徴量ベクトル８２２に応じて、その欠陥画像を複数の正クラス間で分類する機能を備える。
【００５１】
第１段階の分類器８４が生成されると、当該分類器８４が教師データ群８２Ｇを分類する（図６：ステップＳ２３）。ステップＳ２３の処理は、いわゆる再代入法である。これにより、各教師データ８２について、分類先のクラスが決定される。図７に示す例では、教師データ８２群のうち、一部の教師データ８２が教示とは異なるクラスに分類されている。例えば、正クラスＡには、５つの教師データ８２が分類されているが、１つは教師データ８２（ｂ）であり、もう１つは教示が正クラスｃである教師データ８２（ｃ）である。
【００５２】
続いて、ステップＳ２３にて決定された分類先のクラスに応じて、教示クラス変更部６１５が、既定の変更規則に従って、教師データ８２の教示クラス８２４を変更する（図６：ステップＳ２４）。このステップＳ２４では、以下の変更規則１に従って、教示クラス変更部６１５が教示クラスの変更を行う。
【００５３】
（変更規則１）
再代入法の結果、分類先が教示とは異なった教師データ８２について、その教示クラス８２４を元の正クラスから、その正クラスの対である副クラスに変更する。
【００５４】
すなわち、ステップＳ２３の再代入法の結果、分類先が教示とは異なった教師データ８２が存在する場合、教示クラス変更部６１５が、その教師データ８２の元の教示クラス８２２である正クラスの対となる副クラスを定義する。そして、教示クラス変更部６１５は、分類先が教示とは異なった教師データ８２の教示クラス８２２を、その新たに定義された副クラスに変更する。
【００５５】
図７に示す例では、分類先が正クラスａであった教師データ８２（ｂ），８２（ｃ）について、それぞれの教示クラス８２２（正クラスｂ，ｃ）が副クラスｂ？，ｃ？に変更される。分類先が正クラスｂであった２つの教師データ８２（ｃ）については、教示クラス８２２（正クラスｃ）が副クラスｃ？に変更される。分類先が正クラスｃであった１つの教師データ８２（ａ）についても、教示クラス８２２（正クラスａ）が副クラスａ？に変更される。
【００５６】
ステップＳ２４において、変更規則に該当しない教師データ８２については、教示クラス８２４の変更は行われず、教示クラスが元のままに維持される。
【００５７】
図６に戻って、ステップＳ２４の教示クラス８２４の変更処理が完了すると、分類器生成部６１３が、教師データ群８２Ｇを用いた再学習を行うことによって、第２段階の分類器８４を生成する（図６：ステップＳ２５）。この再学習に用いられる教師データ群８２Ｇには、ステップＳ２４において教示クラス８２４が変更された教師データ８２、および、教示クラス８２４が変更されなかった教師データ８２を含んでいる。このため、第２段階の分類器８４は、複数の正クラス間だけではなく、ステップＳ２４において定義された副クラスを含めたクラス間で、欠陥画像を分類する機能を備える。
【００５８】
第２段階の分類器８４が生成されると、当該分類器８４が教師データ群８２Ｇを分類する（図６：ステップＳ２６）。ステップＳ２６の処理も、ステップＳ２３と同様、いわゆる再代入法である。これにより、各教師データについて、分類先のクラスが決定される。
【００５９】
続いて、ステップＳ２５にて決定された分類先のクラスに応じて、教示クラス変更部６１５が、既定の変更規則に従って、教師データ８２の教示クラス８２４を変更する（図７：ステップＳ２７）。このステップＳ２７では、以下の変更規則２，３に従って、教示クラス変更部６１５が教示クラスの変更を行う。
【００６０】
（変更規則２）
再代入法の結果、分類先が教示とは異なる教師データ８２について、教示が正クラスであった場合、教示クラス８２４をその対である副クラスに変更する。この変更規則２は、変更規則１とほぼ同じ内容である。
【００６１】
（変更規則３）
再代入法の結果、分類先が教示とは異なる教師データ８２について、教示が副クラスであって分類先がその副クラスの対である正クラスであった場合、教示クラス８２４を当該正クラスに変更する。
【００６２】
変更規則２に関しては、図７に示す例では、教示クラス８２４が正クラスａであった教師データ８２（ａ）の１つが、正クラスｃに分類されている。このため、当該教師データ８２（ａ）の教示クラスが、変更規則２に従って、正クラスａから副クラスａ？に変更される。
【００６３】
変更規則３に関しては、図７に示す例では、教示クラス８２４が副クラスａ？であった教師データ８２（ａ？）が、その副クラスａ？の対である正クラスａに分類されている。このため、変更規則３にしたがって、当該教師データ８２（ａ？）の教示クラス８２４（副クラスａ？）が正クラスａに変更される。同様に、教示クラス８２４が副クラスｃ？であった教師データ８２（ｃ？）が、元の正クラスｃに分類されている。このため、当該教師データ８２（ｃ？）の教示クラス８２４（副クラスｃ？）が正クラスｃに変更される。
【００６４】
ステップＳ２７において、変更規則に該当しない教師データ８２については、教示クラス８２４の変更は行われず、教示クラスが元のままに維持される。
【００６５】
図６に戻って、ステップＳ２７の教示クラス８２４の変更処理が完了すると、分類器生成部６１３が、教師データ群８２Ｇを用いた再学習を行うことによって、第３段階の分類器８４を生成する（図６：ステップＳ２８）。この再学習に用いられる教師データ群８２Ｇには、ステップＳ２７において教示クラス８２４が変更された教師データ８２と教示クラス８２４が変更されなかった教師データ８２とが含まれる。
【００６６】
続いて、終了判定部６１７が、終了条件を満たすかどうかを判定する。これによって、終了基準を満たすか否かが判定される（図６：ステップＳ２９）。終了条件としては、例えば次の２つが考えられる。
【００６７】
（終了条件１）
ステップＳ２６の再代入法の結果、ステップＳ２７において教示クラスの変更が起こらないこと。
【００６８】
（終了条件２）
ステップＳ２６の分類結果において、正クラスについての正答率（Accuracy）が所定の閾値を上回ること。ここで、正答率(Accuracy)とは、分類器８４によって分類された教師データ８２の総数のうち、分類先と教示とが一致した教師データ８２の総数の割合をいう。また、所定の閾値は、運用において要求される正答率に設定されてもよい。例えば、正答率９５％が要求される場合、閾値が０．９５に設定されるとよい。また、終了条件１が満たされるとき（すなわち、教示クラスの変更が起こらなくなるとき）の正答率を基準として、当該正答率よりも小さい正答率が閾値に設定されてもよい。例えば、終了条件１が満たされるときの正答率が９５％であったと仮定した場合、その９５％よりも小さい９２％（＝０．９２）が閾値に設定されてもよい。
【００６９】
ステップＳ２９において、終了判定部６１７が上記終了条件１，２のうちいずれかを満たすと判断した場合（ステップＳ２９においてＹＥＳ）、制御部６１は分類器８４の生成処理を終了する。これにより、直前のステップＳ２８で生成された分類器８４が記憶部６３に保存される。終了判定部６１７が上記終了条件１，２のいずれも満たさないと判断した場合（ステップＳ２９においてＮＯ）、制御部６１はステップＳ２６に戻って処理を続行する。すなわち、終了条件１または２が満たされるまで、ステップＳ２６からステップＳ２８までが繰り返し行われる。
【００７０】
本実施形態のホストコンピュータ５では、予めオペレータが定義した正クラス各々について、対となる副クラスが必要に応じて定義される。そして、再代入法を行った際に、正クラスに分類されなかった教師データは、教示クラスがその対である副クラスにされる。その再学習の結果、副クラスが教示された教師データが再代入法によって仮に元の正クラスに分類された場合には、その教師データの教示クラスが再び正クラスに変更される。このように、教師データ８２が最初に教示された正クラスに正しく分類されなかったとしても、その教師データ８２を除くことなく再学習が行われることによって分類器８４が生成される。これにより、汎化能力に優れた分類器８４を得ることができる。
【００７１】
本実施形態で生成される分類器８４によれば、オペレータが付与したクラスラベルが仮に不適切であった場合には、教示の信頼性が低いことを前提にした副クラスに自動的に分類され、その後、その副クラスも含めて機械学習が行われる。教師データの教示クラスが正クラス間で変更されることはないため、教示の信頼性が高い正クラス間では汎化能力を高く保つことができる。これに対して、信頼性が低い教師データは分類器によって副クラスに分類されやすくなる。このため、副クラスに分類される教師データは、教示の信頼性が低いものとなる。このように、分類結果に対して確信度の情報が付加される分類器８４を生成できる。
【００７２】
分類器８４は、検査・分類装置４に送信され、分類器４２２として登録される。クラスが不明である（すなわち、欠陥の種別が不明である）データを分類器４２２が分類する際には、正クラスに分類されたものを確信度の高い結果としてもよい。また、副クラスに分類されたものは、一応対の正クラスを分類先とするものの、確信度の低い結果としてもよい。対の正クラスの欠陥としてもよい。また、いずれかの副クラスに分類されたものを、ひとまとめにして分類不能のものとして、分類先を特定のクラスとはしないようにしてもよい。
【００７３】
例えば、特徴空間内で２つの正クラス（Ａ，Ｂ）が混じり合って分布している部分を積極的に副クラスとして学習に取り込むことにより、自動的に生成された副クラスの教師データを再確認することなく、正クラスの分類精度を高く保つことができる。２つの正クラスＡとＢの間で、副クラスの分布域が、例えばＳＶＭ（Support Vector Machine）でいうマージン幅の役目を果たす。このため、２クラス分類器としたときの汎化能力が向上する。
【００７４】
なお、上記説明では、副クラスは必要に応じて定義されるものとしている。しかしながら、ステップＳ２１の時点で、あらかじめすべての正クラス各々に対して副クラスを定義しておいてもよい。そして、ステップＳ２２の段階で、複数の正クラス、および、それら正クラスに対応する複数の副クラス間で分類する分類器８４が生成されてもよい。また、上記説明では、分類器８４を生成する際に、所属する教師データがなくなることで不要になった副クラスについては定義から除外するとしている。しかしながら、これは必須ではなく、不要となった副クラスも維持したままの再学習によって、新たな分類器８４が生成されてもよい。
【００７５】
（実施例１）
表１は、半導体ウェハの欠陥検査で発見された欠陥の画像を線形判別分析で３種類（Class 1／2／3）に分類する分類器の性能を、再代入法で評価した結果の一例である。表１は、分類器による分類結果を示す混同行列（分類表や混同対照表とも呼ばれる。）である。なお、この例では、オペレータが行った教示の信頼性は十分に高いと考えてよいものとする。
【００７６】
【表１】
2020021224.tif 000003
【００７７】
この表１では、事前に教示した３種類のクラス（Class 1／2／3）を行見出しに記し、分類器により分類されたクラスを列見出しに記している。例えば、Class 1として教示された教師データは、１４９６個がClass 1に、８１個がClass 2に、１個がClass 3に分類されたことを示している。
【００７８】
また、表１において、見出しに「Sum」と記す行は分類器によって各クラスに分類された教師データの総数を示し、見出しに「Sum」と記す列は教示された教師データの総数を示している。
【００７９】
見出しに「Precision」と記す行は、分類器によってある特定のクラスに分類された教師データのうち、正しく分類された教師データの割合（適合率）である。見出しに「Recall」と記す列は、特定のクラスであると教示されたすべての教師データのうち、分類器によって正しくその特定のクラスに分類された教師データの割合（再現率）である。
【００８０】
「Precision」の行と「Recall」の列とが交差するセルは、「Accuracy」であって、教師データの総数に対する、分類器により分類されたクラスと教示されたクラスとが一致した教師データの総数の割合（正答率）である。
【００８１】
このデータセットについて、図６に示した手法を適用したところ、２６６回の教示変更および再学習の繰り返しによって、表２に示す結果が得られた。
【００８２】
【表２】
2020021224.tif 000004
【００８３】
表２に示す例では、３つの正クラス（Class 1／2／3）と、これら正クラスの対である３つ副クラス（Class 1?／2?／3?）が定義されており、計６種類のクラスに分類する分類器８４が得られている。
【００８４】
正クラスであるClass1／2／3のRecall（再現性）がほぼ１００％に近い値となっている。つまり、この分類器８４が分類結果をClass1、Class 2、Class 3と答えたとき、それぞれ９３．２５％、９６．０３％、９８．３２％の精度で信用できると言える。そしてこのRecallは、表１に示す初期の分類器のRecallよりも顕著に優れている。
【００８５】
また、副クラスであるClass 1?／2?／3?のPrecisionのうち、Class2?の値だけ正クラスのものに劣らない。この場合、Class2の正／副クラスを統合してClass2と判定してもよい。また、Precisionが相対的に低い、Class 1?／3?については、これらを統合して「分類不可」と判定するようにしてもよい。さらには、PrecisionがClass 1?よりも小さいClass3?のみを「分類不可」と判定するようにしてもよい。この場合、分類先がClass 1?である場合には、「Class 1かも知れない」といったように低い確信度を伴った判定結果を出力するようにしてもよい。
【００８６】
なお、Class 2?のPrecisionの高さは、Class2?と教示して（すなわち、教示が変更されて）正しくClass2? と分類される画像群が新しいクラスClass4 を形成する可能性を示唆している。したがって、Precisionが高いクラスについて、新たに正クラスとして定義することも考えられる。例えば、Precisionが所定の閾値を超える副クラスを、新たな正クラスとして定義するとともに、その副クラスに分類された教師データ８２の教示クラスを新たな正クラスに変更してもよい。そして、その変更された教師データ８２を含む教師データ群８２Ｇを用いて、分類器８４の生成処理（図６のステップＳ２２）が行われるようにしてもよい。このように分類器８４を再び生成することによって、より高性能な分類器８４を得られる場合がある。
【００８７】
（実施例２）
表３は、新薬の薬効試験中に撮像された細胞塊（スフェロイド／オルガノイド）の画像を、リニアカーネルＳＶＭで「Alive（生）」「Dead（死）」の２種類に分類した例である。なお、この例では、教示の信頼性はあまり高いとは言えないものである。これは、培養液に薬剤を全く添加しなかったウエル内の細胞塊は全て生存とみなし、逆に高濃度の薬剤を添加したウエル内の細胞塊は全て死滅とみなしており、個々の細胞塊の実際の生死は確認せずにラベルを与えているためである。この例では、分類成績の数字そのものではなく、分類器が死滅と判定した細胞塊の画像の中に目視で明らかに生存していると判るものが混入していることが問題とされる。
【００８８】
【表３】
2020021224.tif 000005
【００８９】
このデータセットについて、図６に示した手法を適用したところ、４０回の教示変更および再学習の繰り返しによって、以下に示す結果が得られた。
【００９０】
【表４】
2020021224.tif 000006
【００９１】
表４に示すように、正クラスであるAlive／DeadのRecallが100%であるのとともに、AliveのPrecisionも９９．９５％と高い値である。一方、副クラスであるAlive?に教示が変更されたデータのうち、１１５個がDead の正クラスに分類されているが、重要なのは目視で明らかに生存していると判るものが混入しないことである。
【００９２】
本手法を適用する前は、表３に示すように、２８２個のAliveのラベルを持つデータがDeadに混入し、そのうち６，７割方は真に誤分類であり、少なくとも１０個は「目立つ」ものであった。これに対して、本手法では上記１１５個のうち誤分類は半数以下で目立つものは無く、有効に作用していると考えられる。
【００９３】
この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態および各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。
【符号の説明】
【００９４】
５  ホストコンピュータ（分類器生成装置）
９  半導体基板
８２  教師データ
８２Ｇ  教師データ群
８４  分類器
６１１  特徴量算出部
６１３  分類器生成部
６１５  教示クラス変更部
６１７  終了判定部
８２２  教示クラス
８２２  特徴量ベクトル
８２４  教示クラス
【図１】
2020021224.tif 000007
【図２】
2020021224.tif 000008
【図３】
2020021224.tif 000009
【図４】
2020021224.tif 000010
【図５】
2020021224.tif 000011
【図６】
2020021224.tif 000012
【図７】
2020021224.tif 000013