(57)【特許請求の範囲】
【請求項１】
分類対象を示す画像を分類する画像分類装置であって、
基板上の欠陥を分類対象として、前記分類対象に対して定められた複数の属性項目に関する分類をそれぞれ行う複数の分類器を構築する分類器構築部と、
前記分類対象を示す対象画像を記憶する対象画像記憶部と、
前記対象画像に対する前記複数の属性項目における分類結果を前記複数の分類器に取得させる分類制御部と、
を備え、
前記分類器構築部が、
それぞれが教師画像と、前記教師画像に対する前記複数の属性項目についての教示情報と、前記教師画像に対応する参照画像とを含む複数の教師データセットを記憶する教師データ記憶部と、
各属性項目に関して、他の属性項目を考慮することなく前記複数の教師データセットから選択された選択データセット群を用いて、前記各属性項目用の分類器を学習させる学習部と、
を備え、
一の属性項目である前記欠陥の存在領域の種類を分類する分類器の学習において、前記参照画像から導かれる特徴量が用いられ、
前記分類制御部が、前記対象画像に対応する参照画像を用いて前記分類器に前記欠陥の存在領域の種類における分類結果を取得させることを特徴とする画像分類装置。
【請求項２】
請求項１に記載の画像分類装置であって、
一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の種類が相違することを特徴とする画像分類装置。
【請求項３】
請求項１または２に記載の画像分類装置であって、
一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の算出領域が相違することを特徴とする画像分類装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像分類装置であって、
前記複数の分類器の学習に用いられる複数の選択データセット群が、少なくとも１つの共通の教師データセットを含むことを特徴とする画像分類装置。
【請求項５】
分類対象を示す画像を分類する画像分類方法であって、
ａ）基板上の欠陥を分類対象として、前記分類対象に対して定められた複数の属性項目に関する分類をそれぞれ行う複数の分類器を構築する工程と、
ｂ）前記分類対象を示す対象画像を準備する工程と、
ｃ）前記対象画像に対する前記複数の属性項目における分類結果を前記複数の分類器に取得させる工程と、
を備え、
前記ａ）工程が、
ａ１）それぞれが教師画像と、前記教師画像に対する前記複数の属性項目についての教示情報と、前記教師画像に対応する参照画像とを含む複数の教師データセットを準備する工程と、
ａ２）各属性項目に関して、他の属性項目を考慮することなく前記複数の教師データセットから選択された選択データセット群を用いて、前記各属性項目用の分類器を学習させる工程と、
を備え、
一の属性項目である前記欠陥の存在領域の種類を分類する分類器の学習において、前記参照画像から導かれる特徴量が用いられ、
前記ｃ）工程において、前記対象画像に対応する参照画像を用いて前記分類器が前記欠陥の存在領域の種類における分類結果を取得することを特徴とする画像分類方法。
【請求項６】
請求項５に記載の画像分類方法であって、
一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の種類が相違することを特徴とする画像分類方法。
【請求項７】
請求項５または６に記載の画像分類方法であって、
一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の算出領域が相違することを特徴とする画像分類方法。
【請求項８】
請求項５ないし７のいずれかに記載の画像分類方法であって、
前記複数の分類器の学習に用いられる複数の選択データセット群が、少なくとも１つの共通の教師データセットを含むことを特徴とする画像分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分類対象を示す画像を分類する技術に関する。
【背景技術】
【０００２】
半導体基板、ガラス基板、プリント配線基板等の基板の外観検査において、検出された欠陥の画像を自動的に分類する自動欠陥分類が従来より行われている。例えば、それぞれが教師画像と、当該教師画像に対して教示された欠陥クラスの情報とを含む複数の教師データセットが準備され、当該複数の教師データセットを用いて分類器を学習させることにより、自動欠陥分類に利用される分類器が得られる。
【０００３】
また、特許文献１および２では、分類性能を向上するために、メインクラスと呼ばれるラフな欠陥分類と、サブクラスと呼ばれる詳細な欠陥分類を多段階に階層化した分類モデルが利用されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２９４３６０号公報
【特許文献２】特開２０１１−２７４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１および２のように、複数の分類器を階層化する場合に、下層の分類器を学習により構築するときには、当該分類器により分類されるサブクラスは、当該分類器の上層の分類器による分類クラスに依存するため、あるサブクラスに関して、十分な個数の教師データセットを準備することができないことがある。この場合、分類性能が高い分類器を構築することが困難となる。全てのサブクラスへの分類が可能な１つの分類器を学習により構築することも考えられるが、出現頻度が希なクラスについては、分類器の学習が不十分となり、当該クラスに係る分類性能が低下する。したがって、分類性能を向上することが可能な新規な手法が求められている。
【０００６】
本発明は上記課題に鑑みなされたものであり、分類性能を向上することを目的としている。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、分類対象を示す画像を分類する画像分類装置であって、基板上の欠陥を分類対象として、前記分類対象に対して定められた複数の属性項目に関する分類をそれぞれ行う複数の分類器を構築する分類器構築部と、前記分類対象を示す対象画像を記憶する対象画像記憶部と、前記対象画像に対する前記複数の属性項目における分類結果を前記複数の分類器に取得させる分類制御部とを備え、前記分類器構築部が、それぞれが教師画像と、前記教師画像に対する前記複数の属性項目についての教示情報と、前記教師画像に対応する参照画像とを含む複数の教師データセットを記憶する教師データ記憶部と、各属性項目に関して、他の属性項目を考慮することなく前記複数の教師データセットから選択された選択データセット群を用いて、前記各属性項目用の分類器を学習させる学習部とを備え、一の属性項目である前記欠陥の存在領域の種類を分類する分類器の学習において、前記参照画像から導かれる特徴量が用いられ、前記分類制御部が、前記対象画像に対応する参照画像を用いて前記分類器に前記欠陥の存在領域の種類における分類結果を取得させる。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像分類装置であって、一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の種類が相違する。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の画像分類装置であって、一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の算出領域が相違する。
【００１０】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の画像分類装置であって、前記複数の分類器の学習に用いられる複数の選択データセット群が、少なくとも１つの共通の教師データセットを含む。
【００１２】
請求項５に記載の発明は、分類対象を示す画像を分類する画像分類方法であって、ａ）基板上の欠陥を分類対象として、前記分類対象に対して定められた複数の属性項目に関する分類をそれぞれ行う複数の分類器を構築する工程と、ｂ）前記分類対象を示す対象画像を準備する工程と、ｃ）前記対象画像に対する前記複数の属性項目における分類結果を前記複数の分類器に取得させる工程とを備え、前記ａ）工程が、ａ１）それぞれが教師画像と、前記教師画像に対する前記複数の属性項目についての教示情報と、前記教師画像に対応する参照画像とを含む複数の教師データセットを準備する工程と、ａ２）各属性項目に関して、他の属性項目を考慮することなく前記複数の教師データセットから選択された選択データセット群を用いて、前記各属性項目用の分類器を学習させる工程とを備え、一の属性項目である前記欠陥の存在領域の種類を分類する分類器の学習において、前記参照画像から導かれる特徴量が用いられ、前記ｃ）工程において、前記対象画像に対応する参照画像を用いて前記分類器が前記欠陥の存在領域の種類における分類結果を取得する。
【００１３】
請求項６に記載の発明は、請求項５に記載の画像分類方法であって、一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の種類が相違する。
【００１４】
請求項７に記載の発明は、請求項５または６に記載の画像分類方法であって、一の属性項目用の分類器と、他の一の属性項目用の分類器とにおいて、利用される特徴量の算出領域が相違する。
【００１５】
請求項８に記載の発明は、請求項５ないし７のいずれかに記載の画像分類方法であって、前記複数の分類器の学習に用いられる複数の選択データセット群が、少なくとも１つの共通の教師データセットを含む。
【発明の効果】
【００１７】
本発明によれば、十分な個数の教師データセットを用いて各属性項目に特化した分類器を構築することができ、その結果、分類性能を向上することができる。
【図面の簡単な説明】
【００１８】
【図１】検査・分類装置の構成を示す図である。
【図２】コンピュータの構成を示す図である。
【図３】検査・分類装置における機能構成を示すブロック図である。
【図４】複数の分類器の構築の流れを示す図である。
【図５Ａ】教師データセットに含まれる画像を示す図である。
【図５Ｂ】教師データセットに含まれる画像を示す図である。
【図６】欠陥画像の分類の流れを示す図である。
【図７】分類部の性能評価結果を示す図である。
【図８】比較例の分類部の性能評価結果を示す図である。
【発明を実施するための形態】
【００１９】
図１は本発明の一の実施の形態に係る検査・分類装置１の概略構成を示す図である。検査・分類装置１では、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。欠陥画像の分類により、分類対象である当該欠陥が分類される。
【００２０】
検査・分類装置１は、撮像装置２、欠陥検出部４１、および、コンピュータ５を備える。撮像装置２は、基板９上の検査対象領域を撮像する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。コンピュータ５は、欠陥検出部４１において欠陥が検出された場合に欠陥が属すべき欠陥クラスへと欠陥を分類する。コンピュータ５は、検査・分類装置１の全体動作の制御、および、欠陥の分類に利用される分類器の構築も行う。撮像装置２は基板９の製造ラインに組み込まれ、検査・分類装置１はいわゆるインライン型のシステムとなっている。検査・分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。
【００２１】
撮像装置２は、撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、基板９上の検査対象領域を撮像して多値の撮像画像（のデータ）を取得する。撮像部２１は、照明光を出射する照明部２１１、光学系２１２、および、撮像デバイス２１３を有する。光学系２１２は基板９に照明光を導き、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成される。コンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。
【００２２】
欠陥検出部４１では、基板９の撮像画像と、当該撮像画像と同じ領域（正常な領域）を示す参照画像とを比較することにより差分画像（典型的には、両画像の差の絶対値を示す画像）が得られ、当該差分画像に基づいて、異常部分である欠陥が検出される。そして、欠陥部分の多値画像である欠陥画像が生成される。欠陥検出部４１では、他の手法により欠陥が検出されてよい。
【００２３】
図２はコンピュータ５の構成を示す図である。コンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。コンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、検査・分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。
【００２４】
コンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。
【００２５】
図３は検査・分類装置１における機能構成を示すブロック図であり、図３では、コンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される機能構成を、符号５を付す破線の矩形にて囲んでいる。
【００２６】
コンピュータ５は、分類部３２および分類器構築部３３を有する。分類部３２および分類器構築部３３により、画像を分類する画像分類装置が実現される。分類部３２は、欠陥が検出された場合にニューラルネットワーク、決定木、判別分析等を利用して当該欠陥を自動的に分類する。分類部３２は、対象画像記憶部３２１および分類制御部３２２を有し、分類制御部３２２は、特徴量算出部３２３および複数の分類器３２４を有する。分類器構築部３３は、分類部３２における複数の分類器３２４を構築する。分類器構築部３３は、教師データ記憶部３３１および学習部３３５を有する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
【００２７】
検査・分類装置１では、事前準備として、複数の分類器３２４が分類器構築部３３により構築される。図４は、分類器構築部３３による複数の分類器３２４の構築の流れを示す図である。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。
【００２８】
分類器３２４の構築の際には、事前準備として、欠陥検出部４１にて検出された多数の欠陥画像が、教師データ記憶部３３１に記憶される。欠陥画像は、例えば、基板上のレジストによるパターンの欠陥を示す。続いて、ユーザにより、各欠陥画像が示す欠陥に対して、複数の属性項目についての教示が行われる。ここで、欠陥の属性項目とは、欠陥の色、欠陥の種類、欠陥の存在領域、欠陥のサイズ、欠陥表面の質感等であり、欠陥の性質や特徴に関する評価項目（評価の観点）である。例えば、欠陥の色では、白または黒等の属性があり、欠陥の種類では、異物、（レジストパターンの）不良、気泡等の属性がある。また、欠陥の存在領域では、下層パターンの密集部、平坦部、エッジ部等の属性があり、欠陥のサイズでは、大、中、小等の属性がある。欠陥表面の質感では、ざらざら、滑らか等の属性がある。教示すべき複数の属性項目（以下、「設定属性項目」という。）は、入力部５６を介したユーザの入力により定められる。複数の設定属性項目は、好ましくは互いに独立しており、この場合、任意の２つの設定属性項目において、各特徴量についての高い相関性がない。設定属性項目は、予め定められていてもよい。
【００２９】
設定属性項目についての教示では、まず、複数の欠陥画像が、コンピュータ５のディスプレイ５５に表示される。そして、ユーザにより、各欠陥画像に対して各設定属性項目における一の属性を示す入力が入力部５６を介して行われる。換言すると、各欠陥画像に対する各設定属性項目についての属性の入力が入力部５６により受け付けられる。以下、設定属性項目について入力された属性を「教示情報」という。各欠陥画像に対する複数の設定属性項目についての教示情報と、当該欠陥画像（すなわち、複数の設定属性項目についての教示が行われた欠陥画像であり、以下、「教師画像」という。）とは互いに関連付けられ、教師データセット８１として教師データ記憶部３３１に記憶される。このようにして、複数の教師データセット８１が準備される（ステップＳ１１）。
【００３０】
既述のように、欠陥検出部４１では、基板９の撮像画像と参照画像とを比較することにより差分画像が得られ、当該差分画像に基づいて欠陥画像が生成される。このとき、欠陥画像と共に、参照画像および差分画像において欠陥画像と同じ領域を示す部分（以下、単に「参照画像」および「差分画像」という。）、並びに、欠陥領域を示す２値の画像（例えば、差分画像を二値化して得られる画像であり、以下、「マスク画像」という。）も生成される。各教師データセット８１には、教師画像に加えて、当該教師画像に対応する参照画像、差分画像およびマスク画像も含められる。
【００３１】
図５Ａおよび図５Ｂは、教師データセット８１に含まれる画像を示す図である。図５Ａおよび図５Ｂでは、教師画像７１、参照画像７２、マスク画像７３および差分画像７４を示している。マスク画像７３中の白い領域が欠陥領域である。本実施の形態では、欠陥の種類および欠陥の存在領域が、設定属性項目として定められているものとする。図５Ａの教師画像７１では、欠陥の種類の属性は異物であり、欠陥の存在領域の属性は平坦部である。図５Ｂの教師画像７１では、欠陥の種類の属性は異物であり、欠陥の存在領域の属性は密集部である。なお、教師データセット８１には他の種類の画像が含められてもよい（後述の画像セットデータ８２において同様）。
【００３２】
続いて、分類器構築部３３により、複数の設定属性項目に関する分類をそれぞれ行う複数の分類器３２４が個別に構築される（ステップＳ１２）。ここで、各分類器３２４は、当該分類器３２４に対応付けられた設定属性項目のみに着目して画像を分類するものである。各分類器３２４の構築では、教師データセット８１に含まれる画像から当該分類器３２４において利用される特徴量が特徴量算出部３２３により取得される。
【００３３】
例えば、欠陥の種類に関する分類を行う分類器３２４では、欠陥領域の面積、周囲長、重心位置等の幾何学的特徴量（ここでは、複数の特徴量の集合である特徴量ベクトル）が利用される。したがって、各教師データセット８１に含まれるマスク画像７３が示す欠陥領域に基づいて幾何学的特徴量が取得される。そして、学習部３３５が、全ての教師データセット８１における欠陥の種類の教示情報、および、当該幾何学的特徴量を用いて、上記分類器３２４を学習させることにより、欠陥の種類に関する分類を行う分類器３２４が構築される。当該分類器３２４では、後述の分類動作において、異物、不良、気泡のいずれかの分類結果を出力することが可能である。
【００３４】
また、欠陥の存在領域に関する分類を行う分類器３２４では、画像中の画素値の変化に着目した、濃度ヒストグラム、自己相関関数値、空間周波数、差分統計量、濃度共起行列、高次局所自己相関、ランレングス行列、フラクタル特徴等のテクスチャ的特徴量が利用される。具体的には、各教師データセット８１に含まれる参照画像７２の全体からテクスチャ的特徴量が取得される。そして、学習部３３５が、全ての教師データセット８１における欠陥の存在領域の教示情報、および、参照画像７２から導かれる当該テクスチャ的特徴量を用いて、上記分類器３２４を学習させることにより、欠陥の存在領域に関する分類を行う分類器３２４が構築される。当該分類器３２４では、後述の分類動作において、密集部、平坦部、エッジ部のいずれかの分類結果を出力することが可能である。
【００３５】
検査・分類装置１では、Ｋ個（Ｋは２以上の整数）の設定属性項目が設定される場合、Ｋ個の分類器３２４が構築される。各分類器３２４において利用される特徴量の種類、および、特徴量の算出領域は予め決定される。分類部３２に含まれる複数の分類器３２４の構築は、分類部３２自体の構築と捉えることができる。後述するように、欠陥画像の欠陥クラスは、複数の設定属性項目における複数の属性の組合せ（積集合）にて表される。したがって、ｋ番目（ｋは１以上Ｋ以下の整数）の分類器３２４の設定属性項目に対して、ｎｋ個（ｎｋは２以上の整数）の属性（ラベル）が定められる場合、表現可能な欠陥クラスの最大個数は、ΠＫｎｋ個となる。
【００３６】
各分類器３２４にて利用される幾何学的特徴量およびテクスチャ的特徴量は一例に過ぎず、分類器３２４の学習（および後述の分類）において、他の種類の特徴量が用いられてよい。各分類器３２４において利用される特徴量は、単一の値のみを有するもの（単一の特徴量）であってもよく、この場合に、当該分類器３２４の学習により、ｉｆ−ｔｈｅｎルールの条件（閾値）が決定されてもよい。単一の特徴量により区別可能な属性項目は限定されるため、通常は、少なくとも１つの設定属性項目に関する分類器３２４では、複数の特徴量（特徴量ベクトル）が利用される。なお、分類器３２４を構築する方法（学習アルゴリズム）または機構としては、例えば、最近傍法、決定木法、線形判別法、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等が採用可能であり、当該方法または機構は分類器３２４（設定属性項目）毎に相違してよい。
【００３７】
図６は、分類部３２による欠陥画像の分類の流れを示す図である。既述のように、検査・分類装置１では、撮像装置２により基板９が撮像され、撮像画像が欠陥検出部４１に入力される。欠陥検出部４１では、検査対象領域の欠陥検査が行われ、欠陥が検出されると、欠陥部分の多値画像である欠陥画像が生成されて分類部３２に出力される。既述のように、欠陥検出部４１では、欠陥画像に加えて、参照画像、差分画像およびマスク画像も生成され（図５Ａおよび図５Ｂ参照）、これらの画像の集合のデータ（以下、「画像セットデータ」という。）８２が、対象画像記憶部３２１に記憶されて準備される（ステップＳ２１）。画像セットデータ８２に含まれる欠陥画像は、分類部３２における分類対象（欠陥）を示す画像であるため、以下、「対象画像」という。
【００３８】
続いて、複数の分類器３２４により、対象画像に対する複数の設定属性項目における分類結果が個別に取得される（ステップＳ２２）。各分類器３２４による分類では、当該分類器３２４の構築動作と同様に、画像セットデータ８２に含まれる画像から当該分類器３２４において利用される特徴量が特徴量算出部３２３により取得される。
【００３９】
例えば、欠陥の種類に関する分類を行う分類器３２４については、画像セットデータ８２に含まれるマスク画像が示す欠陥領域に基づいて幾何学的特徴量が取得される。そして、幾何学的特徴量が当該分類器３２４に入力されることにより、対象画像の欠陥の種類として、異物、不良、気泡のいずれかの分類結果が出力される。また、欠陥の存在領域に関する分類を行う分類器３２４については、画像セットデータ８２に含まれる参照画像（すなわち、対象画像に対応する参照画像）の全体からテクスチャ的特徴量が取得される。そして、テクスチャ的特徴量が当該分類器３２４に入力されることにより、対象画像の欠陥の存在領域として、密集部、平坦部、エッジ部のいずれかの分類結果が出力される。
【００４０】
分類制御部３２２では、分類器構築部３３により構築された全ての分類器３２４による分類結果の組合せが、対象画像の欠陥クラス（最終分類結果）として扱われる。ここでは、密集部∩異物、平坦部∩異物、エッジ部∩異物、密集部∩不良、平坦部∩不良、エッジ部∩不良、密集部∩気泡、平坦部∩気泡、および、エッジ部∩気泡の９個の欠陥クラスが存在する。以上のようにして、対象画像が、複数の設定属性項目における複数の属性の組合せにて表される（絞り込まれる）１つの欠陥クラスに分類される。検査・分類装置１では、欠陥検出部４１にて欠陥が検出される毎に上記ステップＳ２１，Ｓ２２の動作がリアルタイムにて行われ、多数の対象画像の自動分類が高速に行われる。
【００４１】
ここで、上記９個の欠陥クラスを１つの分類器にて分類する比較例の分類部を想定する。各教師データセットに含まれる複数の設定属性項目についての教示情報の組合せを「教示欠陥クラス」として、比較例の分類部における分類器（多クラス分類器）の構築では、全ての教師データセットにおける教示欠陥クラス、並びに、テクスチャ的特徴量および幾何学的特徴量を用いて、当該分類器を学習させることにより、欠陥クラスの分類を行う分類器が構築される。
【００４２】
図７は、図３の分類部３２の性能評価結果を示す図であり、図８は、比較例の分類部の性能評価結果を示す図である。性能評価では、学習結果として得られた分類部に、教師画像を分類させ（すなわち、当該教師画像を含む画像セットデータを利用して分類させ）、分類結果をまとめたコンフュージョンマトリクス（混同行列）を、性能評価結果として図７および図８に示している。以下、双方の分類部による分類結果における欠陥クラスを「分類欠陥クラス」という。
【００４３】
図７および図８では、９個の教示欠陥クラスを行見出しに記し、９個の分類欠陥クラスを列見出しに記している。教示欠陥クラス「Ａ」に属する複数の教師画像のうち、分類欠陥クラス「Ｂ」に属すると判定された教師画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。また、「Ｐｒｅｃｉｓｉｏｎ」の行と「Ｒｅｃａｌｌ」の列との交差位置は、分類が行われた教師画像の総数のうち、教示欠陥クラスと分類欠陥クラスとが一致した教師画像の個数の比率（総正答率）を示す。
【００４４】
比較例の分類部による総正答率は、図８に示すように８２．２％であるのに対し、分類部３２による総正答率は、図７に示すように８４．１％である。実際には、多数の欠陥画像（対象画像）の分類が行われるため、両者の総正答率の相違は、正しく分類される欠陥画像の個数としては大きな差となる。
【００４５】
以上に説明したように、検査・分類装置１では、分類対象である欠陥に対して複数の属性項目（設定属性項目）が定められ、それぞれが教師画像と、当該教師画像に対する複数の属性項目についての教示情報とを含む複数の教師データセット８１が準備される。続いて、複数の属性項目に関する分類をそれぞれ行う複数の分類器３２４が、全ての教師データセット８１を用いた学習により構築される。そして、対象画像の分類では、分類制御部３２２が、対象画像に対する複数の属性項目における分類結果を、複数の分類器３２４にそれぞれ取得させ、複数の分類器３２４による分類結果を統合した欠陥クラスが決定される。
【００４６】
ここで、上記比較例の分類部における多クラス分類器では、教師データセットの個数が少ない、すなわち、出現頻度が希な教示欠陥クラスについては、分類器の学習が不十分となり、未知の画像に対する分類性能（汎化性能）が低下する場合がある。また、複数の分類器を階層化（ツリー構造化）する他の比較例の分類部では、下層の分類器を学習により構築する場合に、当該分類器により分類されるサブクラスが、当該分類器の上層の分類器による分類クラスに依存するため、あるサブクラスに関する教師データセットの個数が少なくなることがある。この場合、上記比較例と同様の問題が生じる。
【００４７】
これに対し、検査・分類装置１では、（原則として）全ての教師画像に対して、各設定属性項目の属性を教示し、全ての教師画像を用いて当該設定属性項目の分類器３２４の学習が行われる。したがって、十分な個数の教師データセット８１を用いて各設定属性項目に特化した分類器３２４を構築することができ、その結果、分類性能を向上することができる。また、ユーザによる教示作業では、各設定属性項目のみに着目して、当該設定属性項目の属性を決定（教示）すればよいため、過度な注意力が求められることはなく、教示を容易に行うことができる。
【００４８】
検査・分類装置１では、各設定属性項目に応じて特徴量の種類を個別に設定し、当該種類の特徴量を利用して、当該設定属性項目用の分類器３２４の学習および分類が行われる。したがって、一の設定属性項目用の分類器３２４と、他の一の設定属性項目用の分類器３２４とにおいて、学習および分類に利用される特徴量の種類が相違する。これにより、各設定属性項目用の分類器３２４では、当該設定属性項目に関する分類性能を容易に向上することができる。また、１つの分類器のみを用いる比較例の分類部では、特徴量の種類が非常に多くなるため（特徴量ベクトルの次元が高くなるため）、いわゆる、次元の呪いの影響を受ける可能性がある。これに対し、分類部３２では、各設定属性項目用の分類器３２４に対して、利用される特徴量の種類を比較的少なくする、すなわち、特徴量ベクトルの次元を低くすることができる。その結果、次元の呪いの影響を受けにくくすることができる。
【００４９】
ところで、比較例の分類部のように、１つの分類器のみにより全ての欠陥クラスへの分類を行う場合、全ての欠陥クラスを考慮して、各画像における特徴量の算出領域を画一的に設定せざるを得ない。例えば、各画像における特徴量の算出領域として、マスク画像が示す欠陥領域が設定される場合、欠陥の種類を精度よく分類するという観点では、当該欠陥領域は欠陥そのものの形状を忠実に表すことが好ましい。一方、欠陥の存在領域を精度よく分類するという観点では、欠陥領域はその周囲を含むように広げられる（すなわち、膨張させる）ことが好ましい。したがって、全ての欠陥クラスを考慮して、欠陥領域の膨張量を適切に決定するための作業等が必要となる。
【００５０】
これに対し、検査・分類装置１では、各設定属性項目に応じて特徴量の算出領域を個別に設定し、当該算出領域にて取得される特徴量を利用して、当該設定属性項目用の分類器３２４の学習および分類が行われる。したがって、一の設定属性項目用の分類器３２４と、他の一の設定属性項目用の分類器３２４とにおいて、学習および分類に利用される特徴量の算出領域が相違する。これにより、欠陥領域の膨張量の決定等の煩雑な作業が不要となるとともに、各設定属性項目用の分類器３２４では、当該設定属性項目に関する分類性能を容易に向上することができる。
【００５１】
好ましい検査・分類装置１では、欠陥の存在領域の種類を分類する分類器３２４の学習、および、当該分類器３２４による欠陥の存在領域の種類における分類結果の取得において、参照画像の全体から取得される特徴量が用いられる。これにより、欠陥の存在領域をより精度よく分類することができる。その結果、例えば、見かけ上が同じ異物であっても、当該異物が、密集部、平坦部、エッジ部のいずれに存在するかによって、偽欠陥または真欠陥に区別される場合等であっても、偽欠陥または真欠陥の区別を精度よく行うことができる。なお、欠陥の存在領域の種類に関する分類器３２４にて利用される特徴量は、参照画像において欠陥領域よりも十分に大きい領域から取得されるのであれば、必ずしも参照画像の全体から取得される必要はない。
【００５２】
上記検査・分類装置１では様々な変形が可能である。
【００５３】
各分類器３２４の学習において、十分な個数の教師データセット８１が確保される場合には、全ての教師データセット８１から、分類器３２４毎に個別に選択された一部の教師データセット８１のみが用いられてもよい。この場合、各選択属性項目用の分類器３２４の学習に用いられる複数の教師データセット８１（以下、「選択データセット群」という。）は、他の選択属性項目を考慮することなく、すなわち、他の選択属性項目の属性に依存することなく選択される。例えば、各選択属性項目に関する選択データセット群は、他の各選択属性項目において複数の属性に教示される複数の教師データセット８１を含む。
【００５４】
また、複数の分類器３２４において、選択データセット群が互いに相違してよい。この場合に、各分類器３２４の学習において、十分な個数の教師データセット８１を容易に確保するという観点では、複数の分類器３２４の学習に用いられる複数の選択データセット群が、少なくとも１つの共通の教師データセット８１を含むことが好ましい。なお、各分類器３２４の学習において、全ての教師データセット８１が選択データセット群として用いられる上記実施の形態では、各属性項目に関して、他の属性項目を考慮することなく複数の教師データセット８１から、全ての教師データセット８１が選択データセット群として選択されていると捉えることができる。
【００５５】
検査・分類装置１の設計によっては、一の設定属性項目用の分類器３２４と、他の一の設定属性項目用の分類器３２４とにおいて、利用される特徴量の種類が同じであってもよく、同様に、利用される特徴量の算出領域が同じであってもよい。設定属性項目は、欠陥の種類および欠陥の存在領域以外であってよい。欠陥検出部４１において、欠陥の検出の際に特徴量が算出される場合には、当該特徴量が分類器３２４の学習および分類に利用されてよい。
【００５６】
例えば、一の設定属性項目が欠陥のサイズである場合に、真欠陥または偽欠陥の区別がなされる明確な閾値が定められているときには、当該設定属性項目に関する分類を行う分類器３２４が、ルールベースにより構築されてもよい。
【００５７】
対象画像は、半導体基板以外の基板の外観を示すものであってよい。すなわち、欠陥画像は、半導体基板以外の基板上の欠陥を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。
【００５８】
また、検査・分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、検査・分類装置１において太陽電池パネルの欠陥が分類されてよい。さらに、欠陥画像は、電子線やＸ線等により撮像される画像であってもよい。このように、検査・分類装置１では、可視光により撮像される画像のみならず、広義の放射線により撮像される画像が分類される。
【００５９】
検査・分類装置１において、分類部３２および分類器構築部３３により実現される画像分類装置の機能は、撮像装置２および欠陥検出部４１とは独立して用いられてよい。画像分類装置は、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。画像分類装置は、様々な分類対象を示す画像の分類に利用可能である。
【００６０】
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
【符号の説明】
【００６１】
９    基板
３２    分類部
３３    分類器構築部
７１    教師画像
７２    参照画像
８１    教師データセット
８２    画像セットデータ
３２１    対象画像記憶部
３２２    分類制御部
３２４    分類器
３３１    教師データ記憶部
３３５    学習部
Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２    ステップ
【図１】
0006669453.tif 000002
【図２】
0006669453.tif 000003
【図３】
0006669453.tif 000004
【図４】
0006669453.tif 000005
【図５Ａ】
0006669453.tif 000006
【図５Ｂ】
0006669453.tif 000007
【図６】
0006669453.tif 000008
【図７】
0006669453.tif 000009
【図８】
0006669453.tif 000010