(57)【要約】【課題】各教師画像に対して複数種類の特徴量に基づく適切なカテゴリ候補を容易に特定する。【解決手段】複数の教師画像とその初期カテゴリを示す教師データが記憶部６１４に記憶され、特徴量の複数種類のそれぞれに関して、各教師画像が複数のカテゴリのそれぞれに属するとした場合の妥当性を示す評価値が評価値取得部６１１で取得される。カテゴリ候補特定部６１２では、各教師画像において、特徴量の複数種類における評価値の代表値がカテゴリ毎に求められ、複数のカテゴリにおける複数の代表値に基づいて当該教師画像が属すべきものと判定されるカテゴリ候補が決定される。これにより、複数種類の特徴量に基づく適切なカテゴリ候補を容易に特定することができる。初期カテゴリとカテゴリ候補とが相違する教師画像であるカテゴリ相違画像がカテゴリ候補と共にディスプレイ５５に表示されることにより、信頼性の高い教師データを容易に作成することができる。【選択図】図５
2014070944.tif 000002
【特許請求の範囲】
【請求項１】
画像を分類する分類器の学習に使用される教師データを検証する教師データ検証装置であって、
それぞれが複数のカテゴリのいずれかに割り振られた複数の教師画像、および、前記複数の教師画像のカテゴリを示す教師データを記憶する記憶部と、
特徴量の複数種類のそれぞれに関して、各教師画像が前記複数のカテゴリのそれぞれに属するとした場合の妥当性を示す評価値を取得する評価値取得部と、
前記各教師画像において、前記複数のカテゴリのそれぞれに関して、特徴量の前記複数種類における評価値の代表値を求め、前記複数のカテゴリにおける複数の代表値に基づいて前記各教師画像が属すべきものと判定されるカテゴリを、カテゴリ候補として特定するカテゴリ候補特定部と、
前記教師データが示すカテゴリと前記カテゴリ候補とが相違する教師画像をカテゴリ相違画像として、少なくとも１つのカテゴリ相違画像のそれぞれを前記カテゴリ候補と共に表示部に表示する表示制御部と、
を備えることを特徴とする教師データ検証装置。
【請求項２】
請求項１に記載の教師データ検証装置であって、
前記評価値取得部が、特徴量の各種類に関して、前記複数のカテゴリのそれぞれに割り振られた教師画像の特徴量のヒストグラムを生成し、前記各教師画像の特徴量を含む区間を注目区間として、前記複数のカテゴリに対する複数のヒストグラムにおける前記注目区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値を取得することを特徴とする教師データ検証装置。
【請求項３】
請求項２に記載の教師データ検証装置であって、
前記評価値取得部が、前記複数のヒストグラムにおける前記注目区間および前記注目区間の両側に隣接する複数の区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値を取得することを特徴とする教師データ検証装置。
【請求項４】
請求項２または３に記載の教師データ検証装置であって、
前記複数のヒストグラムのうち、一のカテゴリに対するヒストグラムにおける前記注目区間の頻度が所定数以下であり、他の全てのカテゴリのそれぞれに対するヒストグラムにおける前記注目区間の頻度が０である場合に、前記評価値取得部が前記評価値を取得しないことを特徴とする教師データ検証装置。
【請求項５】
請求項１ないし４のいずれかに記載の教師データ検証装置であって、
前記表示制御部が、前記少なくとも１つのカテゴリ相違画像のそれぞれを、前記教師データが示すカテゴリおよび前記カテゴリ候補と共に前記表示部に表示することを特徴とする教師データ検証装置。
【請求項６】
画像を分類する分類器の学習に使用される教師データを作成する教師データ作成装置であって、
請求項１ないし５のいずれかに記載の教師データ検証装置と、
前記少なくとも１つのカテゴリ相違画像のそれぞれに対する最終的なカテゴリの入力を受け付ける入力部と、
を備えることを特徴とする教師データ作成装置。
【請求項７】
画像を分類する画像分類装置であって、
請求項６に記載の教師データ作成装置と、
前記教師データ作成装置により作成された教師データを用いて学習が行われるとともに、画像を分類する分類器と、
を備えることを特徴とする画像分類装置。
【請求項８】
画像を分類する分類器の学習に使用される教師データを検証する教師データ検証方法であって、
ａ）それぞれが複数のカテゴリのいずれかに割り振られた複数の教師画像、および、前記複数の教師画像のカテゴリを示す教師データを準備する工程と、
ｂ）特徴量の複数種類のそれぞれに関して、各教師画像が前記複数のカテゴリのそれぞれに属するとした場合の妥当性を示す評価値を取得する工程と、
ｃ）前記各教師画像において、前記複数のカテゴリのそれぞれに関して、特徴量の前記複数種類における評価値の代表値を求める工程と、
ｄ）前記複数のカテゴリにおける複数の代表値に基づいて前記各教師画像が属すべきものと判定されるカテゴリを、カテゴリ候補として特定する工程と、
ｅ）前記教師データが示すカテゴリと前記カテゴリ候補とが相違する教師画像をカテゴリ相違画像として、少なくとも１つのカテゴリ相違画像のそれぞれを前記カテゴリ候補と共に表示部に表示する工程と、
を備えることを特徴とする教師データ検証方法。
【請求項９】
請求項８に記載の教師データ検証方法であって、
前記ｂ）工程において、特徴量の各種類に関して、前記複数のカテゴリのそれぞれに割り振られた教師画像の特徴量のヒストグラムが生成され、前記各教師画像の特徴量を含む区間を注目区間として、前記複数のカテゴリに対する複数のヒストグラムにおける前記注目区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値が取得されることを特徴とする教師データ検証方法。
【請求項１０】
請求項９に記載の教師データ検証方法であって、
前記ｂ）工程において、前記複数のヒストグラムにおける前記注目区間および前記注目区間の両側に隣接する複数の区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値が取得されることを特徴とする教師データ検証方法。
【請求項１１】
請求項９または１０に記載の教師データ検証方法であって、
前記ｂ）工程において、前記複数のヒストグラムのうち、一のカテゴリに対するヒストグラムにおける前記注目区間の頻度が所定数以下であり、他の全てのカテゴリのそれぞれに対するヒストグラムにおける前記注目区間の頻度が０である場合に、前記評価値が取得されないことを特徴とする教師データ検証方法。
【請求項１２】
請求項８ないし１１のいずれかに記載の教師データ検証方法であって、
前記ｅ）工程において、前記少なくとも１つのカテゴリ相違画像のそれぞれが、前記教師データが示すカテゴリおよび前記カテゴリ候補と共に前記表示部に表示されることを特徴とする教師データ検証方法。
【請求項１３】
画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、
請求項８ないし１２のいずれかに記載の教師データ検証方法と、
前記少なくとも１つのカテゴリ相違画像のそれぞれに対する最終的なカテゴリを決定する工程と、
を備えることを特徴とする教師データ作成方法。
【請求項１４】
画像を分類する画像分類方法であって、
請求項１３に記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、
前記分類器により画像を分類する工程と、
を備えることを特徴とする画像分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を分類する分類器の学習に使用される教師データを検証する技術、当該技術を利用して教師データを作成する技術、および、画像を分類する技術に関する。
【背景技術】
【０００２】
半導体基板、ガラス基板、プリント配線基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。また、このような検査工程において検出された欠陥に対して、詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が施される。近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動分類も用いられる。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現される。
【０００３】
自動分類では、ニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類）を示す信号を含む教師データを用意して分類器を学習させる必要がある。特許文献１では、欠陥画像に予め付与されたカテゴリが欠陥画像の属すべきカテゴリか否かを判定することにより、質が高い教師データを作成する手法が開示されている。具体的には、各カテゴリに属する複数の欠陥画像の各種類の特徴量の分散に基づいて、当該種類に対して特徴量の代表値を含む特徴量範囲が設定され、各欠陥画像の一の種類の特徴量を当該種類の特徴量範囲に含むカテゴリに投票を行う処理が特徴量の全ての種類について行われる。そして、複数のカテゴリのうち得票数が最も多いカテゴリと当該欠陥画像が属するカテゴリとが異なる場合にその旨が出力される。
【０００４】
なお、特許文献２では、複数の教示用欠陥画像について複数の特徴量を算出し、各教示用欠陥について特徴量に基づく特徴空間におけるカテゴリ間の判別関数で示される分類パラメータを算出して複数の教示用欠陥と欠陥の種類に対応するカテゴリとの対応関係を示す教示用データの統計的有意性を診断し、性能を低下させる可能性がある教示用欠陥画像を画面に表示して教示データを修正する手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９１４０１号公報
【特許文献２】特開平１１−３４４４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１における統計的な処理によるカテゴリの判定は、各カテゴリに属する複数の欠陥画像（教師画像）の各種類の特徴量の分布が正規分布に従う（または、正規分布に従うとみなすことができる）場合に特に有効であるが、特徴量の分布が多峰性を示す等、正規分布に従わない場合には、特許文献１における結果（カテゴリ）が操作者の判断と合致しない、あるいは、操作者が当該結果を合理的に解釈することができないことがある。この場合、信頼性の高い教師データの作成に支障が生じる虞がある。また、特許文献２の手法では、教師画像のカテゴリを操作者に提示する際に、煩雑な処理によりカテゴリ間の判別関数を算出する必要がある。したがって、各教師画像に対して複数種類の特徴量に基づく適切なカテゴリ候補を容易に特定することが可能な新規な手法が求められている。
【０００７】
本発明は上記課題に鑑みなされたものであり、各教師画像に対して複数種類の特徴量に基づく適切なカテゴリ候補を容易に特定することを目的としている。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、画像を分類する分類器の学習に使用される教師データを検証する教師データ検証装置であって、それぞれが複数のカテゴリのいずれかに割り振られた複数の教師画像、および、前記複数の教師画像のカテゴリを示す教師データを記憶する記憶部と、特徴量の複数種類のそれぞれに関して、各教師画像が前記複数のカテゴリのそれぞれに属するとした場合の妥当性を示す評価値を取得する評価値取得部と、前記各教師画像において、前記複数のカテゴリのそれぞれに関して、特徴量の前記複数種類における評価値の代表値を求め、前記複数のカテゴリにおける複数の代表値に基づいて前記各教師画像が属すべきものと判定されるカテゴリを、カテゴリ候補として特定するカテゴリ候補特定部と、前記教師データが示すカテゴリと前記カテゴリ候補とが相違する教師画像をカテゴリ相違画像として、少なくとも１つのカテゴリ相違画像のそれぞれを前記カテゴリ候補と共に表示部に表示する表示制御部とを備える。
【０００９】
請求項２に記載の発明は、請求項１に記載の教師データ検証装置であって、前記評価値取得部が、特徴量の各種類に関して、前記複数のカテゴリのそれぞれに割り振られた教師画像の特徴量のヒストグラムを生成し、前記各教師画像の特徴量を含む区間を注目区間として、前記複数のカテゴリに対する複数のヒストグラムにおける前記注目区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値を取得する。
【００１０】
請求項３に記載の発明は、請求項２に記載の教師データ検証装置であって、前記評価値取得部が、前記複数のヒストグラムにおける前記注目区間および前記注目区間の両側に隣接する複数の区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値を取得する。
【００１１】
請求項４に記載の発明は、請求項２または３に記載の教師データ検証装置であって、前記複数のヒストグラムのうち、一のカテゴリに対するヒストグラムにおける前記注目区間の頻度が所定数以下であり、他の全てのカテゴリのそれぞれに対するヒストグラムにおける前記注目区間の頻度が０である場合に、前記評価値取得部が前記評価値を取得しない。
【００１２】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の教師データ検証装置であって、前記表示制御部が、前記少なくとも１つのカテゴリ相違画像のそれぞれを、前記教師データが示すカテゴリおよび前記カテゴリ候補と共に前記表示部に表示する。
【００１３】
請求項６に記載の発明は、画像を分類する分類器の学習に使用される教師データを作成する教師データ作成装置であって、請求項１ないし５のいずれかに記載の教師データ検証装置と、前記少なくとも１つのカテゴリ相違画像のそれぞれに対する最終的なカテゴリの入力を受け付ける入力部とを備える。
【００１４】
請求項７に記載の発明は、画像を分類する画像分類装置であって、請求項６に記載の教師データ作成装置と、前記教師データ作成装置により作成された教師データを用いて学習が行われるとともに、画像を分類する分類器とを備える。
【００１５】
請求項８に記載の発明は、画像を分類する分類器の学習に使用される教師データを検証する教師データ検証方法であって、ａ）それぞれが複数のカテゴリのいずれかに割り振られた複数の教師画像、および、前記複数の教師画像のカテゴリを示す教師データを準備する工程と、ｂ）特徴量の複数種類のそれぞれに関して、各教師画像が前記複数のカテゴリのそれぞれに属するとした場合の妥当性を示す評価値を取得する工程と、ｃ）前記各教師画像において、前記複数のカテゴリのそれぞれに関して、特徴量の前記複数種類における評価値の代表値を求める工程と、ｄ）前記複数のカテゴリにおける複数の代表値に基づいて前記各教師画像が属すべきものと判定されるカテゴリを、カテゴリ候補として特定する工程と、ｅ）前記教師データが示すカテゴリと前記カテゴリ候補とが相違する教師画像をカテゴリ相違画像として、少なくとも１つのカテゴリ相違画像のそれぞれを前記カテゴリ候補と共に表示部に表示する工程とを備える。
【００１６】
請求項９に記載の発明は、請求項８に記載の教師データ検証方法であって、前記ｂ）工程において、特徴量の各種類に関して、前記複数のカテゴリのそれぞれに割り振られた教師画像の特徴量のヒストグラムが生成され、前記各教師画像の特徴量を含む区間を注目区間として、前記複数のカテゴリに対する複数のヒストグラムにおける前記注目区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値が取得される。
【００１７】
請求項１０に記載の発明は、請求項９に記載の教師データ検証方法であって、前記ｂ）工程において、前記複数のヒストグラムにおける前記注目区間および前記注目区間の両側に隣接する複数の区間の頻度に基づいて、前記各教師画像の前記複数のカテゴリのそれぞれに対する前記評価値が取得される。
【００１８】
請求項１１に記載の発明は、請求項９または１０に記載の教師データ検証方法であって、前記ｂ）工程において、前記複数のヒストグラムのうち、一のカテゴリに対するヒストグラムにおける前記注目区間の頻度が所定数以下であり、他の全てのカテゴリのそれぞれに対するヒストグラムにおける前記注目区間の頻度が０である場合に、前記評価値が取得されない。
【００１９】
請求項１２に記載の発明は、請求項８ないし１１のいずれかに記載の教師データ検証方法であって、前記ｅ）工程において、前記少なくとも１つのカテゴリ相違画像のそれぞれが、前記教師データが示すカテゴリおよび前記カテゴリ候補と共に前記表示部に表示される。
【００２０】
請求項１３に記載の発明は、画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、請求項８ないし１２のいずれかに記載の教師データ検証方法と、前記少なくとも１つのカテゴリ相違画像のそれぞれに対する最終的なカテゴリを決定する工程とを備える。
【００２１】
請求項１４に記載の発明は、画像を分類する画像分類方法であって、請求項１３に記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、前記分類器により画像を分類する工程とを備える。
【発明の効果】
【００２２】
本発明によれば、各教師画像に対して複数種類の特徴量に基づく適切なカテゴリ候補を容易に特定することができる。また、カテゴリ相違画像をカテゴリ候補と共に表示部に表示することにより、信頼性の高い教師データを容易に作成することができる。
【図面の簡単な説明】
【００２３】
【図１】画像分類装置の構成を示す図である。
【図２】欠陥画像の分類の流れを示す図である。
【図３】ホストコンピュータの構成を示す図である。
【図４】ホストコンピュータの機能構成を示す図である。
【図５】教師データ作成部の機能構成を示す図である。
【図６】教師データを作成して分類器を学習させる処理の流れを示す図である。
【図７】ディスプレイに表示される複数の教師画像を示す図である。
【図８】複数のカテゴリに対する複数のヒストグラムを示す図である。
【図９】ディスプレイに表示される複数の教師画像を示す図である。
【図１０】異質さの度合いを説明するための図である。
【図１１】複数の教師画像を示す図である。
【図１２】複数の教師画像を示す図である。
【発明を実施するための形態】
【００２４】
図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）上の欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。画像分類装置１は基板９上の検査対象領域を撮像する撮像装置２、撮像装置２からの画像データに基づいて欠陥検査を行って欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類する検査・分類装置４、並びに、画像分類装置１の全体動作を制御するとともに検査・分類装置４における欠陥の分類に利用される分類器４２１を生成するホストコンピュータ５を有する。基板９上に存在する欠陥の種類（カテゴリ）は、例えば、欠損、突起、断線、ショート、異物である。また、撮像装置２は基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。
【００２５】
撮像装置２は、基板９上の検査対象領域を撮像して画像データを取得する撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、照明光を出射する照明部２１１、基板９に照明光を導くとともに基板９からの光が入射する光学系２１２、および、光学系２１２により結像された基板９の像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成され、ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。
【００２６】
検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する自動欠陥分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。自動欠陥分類部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、ニューラルネットワーク、決定木、判別分析等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。
【００２７】
図２は画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが自動欠陥分類部４２へと送信される。自動欠陥分類部４２は欠陥画像の複数種類の特徴量を算出し（ステップＳ１３）、欠陥画像の特徴量が自動欠陥分類部４２の分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により欠陥画像が複数のカテゴリのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。
【００２８】
次に、ホストコンピュータ５による分類器の学習について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２および各種情報を記憶するＲＡＭ５３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、操作者からの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００２９】
ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶され、さらに、プログラム８０はＲＡＭ５３にコピーされるとともにＣＰＵ５１によりＲＡＭ５３内のプログラムに従って演算処理が実行される。
【００３０】
図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される、分類器を学習させるための機能構成を示すブロック図であり、検査・分類装置４も示している。ホストコンピュータ５は分類器の学習に使用される教師データを作成する教師データ作成部６１、および、教師データを用いて分類器を学習させる学習部６２を有する。
【００３１】
教師データは、欠陥画像である教師画像のデータ、教師画像の特徴量、および、欠陥のカテゴリを示す情報である教示信号を含み、教師画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された教師画像の特徴量がホストコンピュータ５内の分類器（図示省略）に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が自動欠陥分類部４２へと転送される。
【００３２】
図５はホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図であり、学習部６２も示している。教師データ作成部６１は、データ演算部６１０、ディスプレイ５５および入力部５６を有する。データ演算部６１０は、評価値取得部６１１、カテゴリ候補特定部６１２、表示制御部６１３、記憶部６１４および特徴量算出部６１５を有する。データ演算部６１０の処理の詳細については後述する。なお、データ演算部６１０および学習部６２の機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
【００３３】
図６は、教師データを作成して分類器を学習させる処理の流れを示す図である。教師データ作成部６１では、まず、教師データ作成用の欠陥画像である多数の教師画像（例えば、数千個の教師画像）のデータが図５に示す教師データ作成部６１の記憶部６１４に記憶されて準備される（ステップＳ２１）。なお、教師画像は図１に示す撮像装置２および欠陥検出部４１を利用して取得されてもよいし、別途用意されてもよい。
【００３４】
特徴量算出部６１５では、全ての教師画像の複数種類の（例えば、１００〜２００種類の）特徴量が算出される（ステップＳ２２）。算出された特徴量は記憶部６１４に記憶される。また、ディスプレイ５５では、各教師画像が表示されるとともに当該教師画像のカテゴリの入力を促す表示が行われ、入力部５６において操作者によるカテゴリの入力が受け付けられる（ステップＳ２３）。以下の説明では、ステップＳ２３の処理において各教師画像に対して操作者により入力されたカテゴリを「初期カテゴリ」という。なお、各教師画像の初期カテゴリは、所定のアルゴリズムにより自動的に決定されてもよい。
【００３５】
図７は、ディスプレイ５５に表示される複数の教師画像を例示する図である。各教師画像７１ａ，７１ｂ，７１ｃ，７１ｄの下方にはカテゴリ表示領域７２が設けられており、図７の教師画像７１ａ〜７１ｄでは、初期カテゴリ（の名称）がそれぞれ「大欠損」、「中欠損」、「中突起」、「中突起」と記されている。このようにして、それぞれが複数のカテゴリのいずれかに割り振られた複数の教師画像、および、当該複数の教師画像のカテゴリを示す教師データ７１０が準備されて記憶部６１４にて記憶される。本実施の形態では、各教師画像における複数の特徴量も教師データ７１０に含まれる。また、複数種類のカテゴリのそれぞれに対して番号が割り当てられており、各教師画像に対する初期カテゴリの決定により、当該教師画像に関連付けられたカテゴリ変数の値が初期カテゴリの番号に変更される。
【００３６】
教師データ７１０が準備されると、評価値取得部６１１では、特徴量の各種類に関して、複数のカテゴリのそれぞれに割り振られた教師画像の特徴量のヒストグラムが生成される。図８は、特徴量の一の種類における複数のカテゴリに対する複数のヒストグラムを示す図である。図８の例では、５３４８個の教師画像が、番号１ないし４の４種類のカテゴリのいずれかに割り振られており、番号１のカテゴリが１５７８個の教師画像を含み、番号２のカテゴリが２８４９個の教師画像を含み、番号３のカテゴリが６８８個の教師画像を含み、番号４のカテゴリが１３３個の教師画像を含む。また、図８では、各教師画像の特徴量を正規化した後に１００区間に量子化し、各区間における頻度を示している。図８では、番号１ないし４のカテゴリのヒストグラムに符号Ｈ１，Ｈ２，Ｈ３，Ｈ４をそれぞれ付している。なお、評価値取得部６１１における特徴量のヒストグラムは度数分布を示すものであればよく、度数分布を示す表も実質的にヒストグラムと等価である。
【００３７】
評価値取得部６１１では、各教師画像が複数のカテゴリのそれぞれに属するとした場合の妥当性（確率と捉えることもできる。）を示す評価値が特徴量の種類毎に取得される（ステップＳ２４）。例えば、ある教師画像を注目教師画像とし、特徴量の一の種類に関して注目教師画像の特徴量を含む区間を注目区間として、注目区間に番号１のカテゴリの教師画像がｘ１個、番号２のカテゴリの教師画像がｘ２個、番号３のカテゴリの教師画像がｘ３個、番号４のカテゴリの教師画像がｘ４個存在するものとする（すなわち、ヒストグラムＨ１，Ｈ２，Ｈ３，Ｈ４における注目区間の頻度がそれぞれｘ１個、ｘ２個、ｘ３個、ｘ４個である。）。なお、仮に注目教師画像の初期カテゴリが番号２のカテゴリである場合には、ｘ２個のうちの１個が注目教師画像である。この場合に、注目教師画像が番号ｎ（ここでは、ｎは１ないし４のいずれか）のカテゴリに属するとした場合の妥当性を示す評価値Ｐｎは（（ｘｎ／（ｘ１＋ｘ２＋ｘ３＋ｘ４））×１００）［％］として求められる。
【００３８】
具体的に、注目教師画像の特徴量が図８中にて符号Ａを付す区間に含まれ、ヒストグラムＨ１，Ｈ２，Ｈ３における注目区間Ａの頻度がそれぞれａ１個、ａ２個、ａ３個である（ヒストグラムＨ４における頻度は０である。）場合には、注目教師画像が番号１のカテゴリに属するとした場合の妥当性を示す評価値Ｐ１は（（ａ１／（ａ１＋ａ２＋ａ３））×１００）［％］である。また、注目教師画像が番号２のカテゴリに属するとした場合の妥当性を示す評価値Ｐ２は（（ａ２／（ａ１＋ａ２＋ａ３））×１００）［％］であり、番号３のカテゴリに属するとした場合の妥当性を示す評価値Ｐ３は（（ａ３／（ａ１＋ａ２＋ａ３））×１００）［％］である。なお、注目教師画像が番号４のカテゴリに属するとした場合の妥当性を示す評価値Ｐ４は０％である。なお、図８では、黒い点に付す符号により、当該点の頻度を示している。
【００３９】
また、注目教師画像の特徴量が図８中にて符号Ｂを付す区間に含まれ、ヒストグラムＨ１，Ｈ２，Ｈ３における注目区間Ｂの頻度がそれぞれｂ１個、ｂ２個、ｂ３個である（ヒストグラムＨ４における頻度は０である。）場合には、注目教師画像が番号１のカテゴリに属するとした場合の妥当性を示す評価値Ｐ１は（（ｂ１／（ｂ１＋ｂ２＋ｂ３））×１００）［％］である。また、注目教師画像が番号２のカテゴリに属するとした場合の妥当性を示す評価値Ｐ２は（（ｂ２／（ｂ１＋ｂ２＋ｂ３））×１００）［％］であり、番号３のカテゴリに属するとした場合の妥当性を示す評価値Ｐ３は（（ｂ３／（ｂ１＋ｂ２＋ｂ３））×１００）［％］である。なお、注目教師画像が番号４のカテゴリに属するとした場合の妥当性を示す評価値Ｐ４は０％である。
【００４０】
さらに、注目教師画像の特徴量が図８中にて符号Ｃを付す区間に含まれ、ヒストグラムＨ３，Ｈ４における注目区間Ｃの頻度がそれぞれｃ３個、ｃ４個である（ヒストグラムＨ１，Ｈ２における頻度は０である。）場合には、注目教師画像が番号３のカテゴリに属するとした場合の妥当性を示す評価値Ｐ３は（（ｃ３／（ｃ３＋ｃ４））×１００）［％］である。また、注目教師画像が番号４のカテゴリに属するとした場合の妥当性を示す評価値Ｐ４は（（ｃ４／（ｃ３＋ｃ４））×１００）［％］である。なお、注目教師画像が番号１のカテゴリに属するとした場合の妥当性を示す評価値Ｐ１、および、番号２のカテゴリに属するとした場合の妥当性を示す評価値Ｐ２は共に０％である。
【００４１】
以上のように、評価値取得部６１１では、各教師画像の特徴量を含む区間を注目区間として、複数のカテゴリに対する複数のヒストグラムにおける注目区間の頻度に基づいて、当該教師画像の複数のカテゴリのそれぞれに対する評価値が取得される。これにより、各教師画像において、特徴量の一の種類に関して、４種類のカテゴリにおける４個の評価値の組合せ（例えば、「番号１のカテゴリが２５％、番号２のカテゴリが７２％、番号３のカテゴリが３％、番号４のカテゴリが０％」のような組合せ）が評価値群として取得され、特徴量の種類がＮ個ある場合には、原則としてＮ個の評価値群が取得される。上記処理は全ての教師画像に対して行われ、全ての教師画像において（原則として）Ｎ個の評価値群が取得される。上記処理では、ヒストグラムが多峰性を有している場合等であっても、当該ヒストグラムの凹凸に応じた評価値を取得することが可能となる。なお、各教師画像が複数のカテゴリのそれぞれに属するとした場合の妥当性を示す評価値は上記以外の演算にて求められてもよい。
【００４２】
一方、例えば、図８の横軸において右側の領域では、番号４のカテゴリのヒストグラムＨ４だけが分布する。この場合、注目区間におけるヒストグラムＨ４の頻度が１または２のように極めて低い場合でも、番号４のカテゴリの評価値は必ず１００％となり、後述の処理にて求められる番号４のカテゴリの評価値の代表値を不当に押し上げることになる。したがって、特徴量の一の種類に関する複数のカテゴリの複数のヒストグラムのうち、一のカテゴリに対するヒストグラムにおける注目区間の頻度が所定数（例えば、１または２）以下であり、他の全てのカテゴリのそれぞれに対するヒストグラムにおける注目区間の頻度が０である場合には、特徴量の当該種類については評価値が取得されない。
【００４３】
続いて、カテゴリ候補特定部６１２では、各教師画像において、各カテゴリに関して、特徴量の複数種類（正確には、評価値が取得された全ての種類）における評価値の代表値が求められる（ステップＳ２５）。ここで、評価値の代表値とは、当該評価値が分布する範囲の中央近傍を示す値であり、平均値や中央値等である。各教師画像における各カテゴリの評価値の代表値は、当該教師画像が当該カテゴリに属するとした場合における、複数（全て）の特徴量を考慮した妥当性を示す値となる。
【００４４】
各教師画像に対して複数のカテゴリにおける複数の代表値が求められると、当該複数の代表値に基づいて当該教師画像が属すべきものと判定されるカテゴリがカテゴリ候補として特定される（ステップＳ２６）。具体的には、各教師画像において、複数の代表値のうちの最大値が得られたカテゴリがカテゴリ候補として特定される。ただし、当該最大値が所定の閾値（例えば、５０％）未満である場合には、当該教師画像に対して「分類不可」がカテゴリ候補として付与されることが好ましい。
【００４５】
表示制御部６１３では、教師データ７１０が示す初期カテゴリとカテゴリ候補とが相違する教師画像をカテゴリ相違画像として、複数のカテゴリ相違画像がディスプレイ５５に表示される（ステップＳ２７）。図９は、ディスプレイ５５に表示される複数の教師画像を例示する図であり、本実施の形態では、カテゴリ相違画像７１ａ，７１ｄ以外の教師画像７１ｂ，７１ｃもディスプレイ５５に表示される。図９の教師画像７１ａ〜７１ｄに対するカテゴリ表示領域７２では、カテゴリ候補（の名称）がそれぞれ「分類不可」、「中欠損」、「中突起」、「分類不可」と記されている。また、カテゴリ表示領域７２では、初期カテゴリおよびカテゴリ候補の双方が表示される。さらに、カテゴリ相違画像７１ａ，７１ｄに対するカテゴリ表示領域７２の背景色が、カテゴリ相違画像ではない他の教師画像７１ｂ，７１ｃに対するカテゴリ表示領域７２の背景色と相違しており、カテゴリ相違画像７１ａ，７１ｄが強調される。
【００４６】
続いて、操作者において、各カテゴリ相違画像に対する初期カテゴリおよびカテゴリ候補を考慮しつつ当該カテゴリ相違画像を参照することにより最終的なカテゴリが決定される（ステップＳ２８）。そして、入力部５６において操作者からの最終的なカテゴリの入力が受け付けられ、当該カテゴリ相違画像である教師画像に関連付けられるカテゴリ（カテゴリ変数の値）が変更または維持される。このようにして、教師データ７１０が更新される。もちろん、カテゴリ相違画像以外の教師画像に対する最終的なカテゴリの入力が行われてもよいが、初期カテゴリおよびカテゴリ候補が一致する教師画像については、現在のカテゴリ（初期カテゴリ）が維持されることが好ましい。
【００４７】
各教師画像の最終的なカテゴリが決定されると、全ての教師画像のデータ、並びに、これらの特徴量およびカテゴリの情報を含む更新後の教師データ７１０が記憶部６１４から学習部６２に転送され、学習部６２にて教師データ７１０を用いて分類器の学習が行われる（ステップＳ２９）。すなわち、分類器（図４参照）を構成する変数の値が決定されたり、構造が決定されて分類器４２１が生成される。これにより、教師データを作成して分類器を学習させる図６の処理が完了する。
【００４８】
ここで、図６の処理では、各カテゴリ相違画像に対して、特徴量の全ての種類を勘案した上での妥当性が高いカテゴリ候補が提示される。したがって、最終的なカテゴリが決定された教師データは、特徴量空間において矛盾したカテゴリに関連付けられる教師画像を含みにくくなる。すなわち、教師データの信頼性が向上する。よって、このような教師データを用いた学習結果（分類器）は高い分類性能を有することが期待できる。
【００４９】
なお、元の教師データからカテゴリ相違画像を取り除きつつステップＳ２４〜Ｓ２６の処理を複数回繰り返す後述の処理を行うと、初期カテゴリとしてあるカテゴリに割り振られた全ての教師画像を、カテゴリ相違画像として特定されるまでの処理の繰り返し回数に応じて複数のグループに分割することができる。各グループは、当該カテゴリに対する異質さの度合いがおよそ等しい教師画像の集合と捉えることができ、複数のグループでは異質さの度合いが互いに相違する。図１０では、異質さの度合いが相違する複数のグループを抽象的に示しており、例えば、１回目の処理にてカテゴリ相違画像として特定される教師画像は最も外側の環状領域Ｚ１に含まれる「異質なもの」と捉えられる。２ないし４回目の処理にてカテゴリ相違画像として特定される教師画像は、異質さの度合いが漸次低下する環状領域Ｚ２，Ｚ３，Ｚ４にそれぞれ含まれる。４回目の処理でもカテゴリ相違画像として特定されない教師画像は中央の円形領域Ｚ０に含まれ、当該カテゴリの典型的な教師画像として捉えられる。
【００５０】
次に、カテゴリ候補を特定する上記処理の優位性について説明する。画像分類装置１では、図６の処理において元の教師データからカテゴリ相違画像を取り除きつつステップＳ２４〜Ｓ２６の処理を複数回繰り返すことが可能であり、ここでは、教師データからカテゴリ相違画像を取り除きつつステップＳ２４〜Ｓ２６の処理を４回繰り返した場合における結果（以下、「本処理例における結果」という。）を、比較例の処理における結果と比較する。ここで、比較例の処理は、特開２０１０−９１４０１号公報（特許文献１）の手法と同様のものであり、各カテゴリに属する複数の教師画像の各種類の特徴量の分散に基づいて、当該種類に対して特徴量の代表値を含む特徴量範囲が設定され、各教師画像の一の種類の特徴量を当該種類の特徴量範囲に含むカテゴリに投票を行う処理が特徴量の全ての種類について行われる。そして、複数のカテゴリのうち得票数が最も多いカテゴリがカテゴリ候補とされる。なお、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値以下である場合、このような教師画像は不適切な教師画像と判定される。
【００５１】
図１１は本処理例における結果を示す図であり、図１２は比較例における結果を示す図である。図１１および図１２では、同じ複数の教師画像７１ａ〜７１ｄをカテゴリ候補と共に示している。また、図１１および図１２のカテゴリ相違画像に対するカテゴリ表示領域７２では、カテゴリ相違画像として特定されるまでの処理の繰り返し回数が多いほど狭い幅の平行斜線を付している（実際には、カテゴリ表示領域７２の背景色が相違する。）。実際には、本処理例における結果では、図１１に示す教師画像７１ａ，７１ｄはステップＳ２４〜Ｓ２６の１回目の処理にてカテゴリ相違画像として特定され、教師画像７１ｃはステップＳ２４〜Ｓ２６の４回目の処理にてカテゴリ相違画像として特定され、教師画像７１ｂは１ないし４回目のいずれの処理においてもカテゴリ相違画像として特定されていない（すなわち、初期カテゴリが正しい。）。また、比較例における結果では、図１２に示す教師画像７１ｂは１回目の比較例の処理にてカテゴリ相違画像として特定され、教師画像７１ｃは２回目の比較例の処理にてカテゴリ相違画像として特定され、教師画像７１ａ，７１ｄは１ないし４回目のいずれの比較例の処理においてもカテゴリ相違画像として特定されていない。
【００５２】
比較例の処理では、図１２に示すように、パターンの断線を示す教師画像７１ａに対して初期カテゴリと同様に、「大欠損」がカテゴリ候補として決定される。すなわち、特徴量空間では大きく相違すると考えられる「大欠損」および「断線」を共に「大欠損」として取り扱っている点について何も指摘されていない。これに対し、本処理例では、図１１に示すように、パターンの断線を示す教師画像７１ａに対して初期カテゴリの「大欠損」とは相違する「分類不可」がカテゴリ候補として決定され、「大欠損」および「断線」の混在が指摘されている。また、本処理例では、教師画像７１ｄに対して初期カテゴリの「中突起」とは相違する「分類不可」がカテゴリ候補として決定され、教師画像７１ｄが「中突起」または「大突起」のいずれであるかが紛らわしいことが指摘されている。以上より、本処理例における結果が、比較例における結果よりも人間の感覚に沿ったものであると捉えることができる。
【００５３】
以上に説明したように、画像分類装置１では、複数の教師画像、および、複数の教師画像のカテゴリを示す教師データが記憶部６１４にて記憶され、特徴量の複数種類のそれぞれに関して、各教師画像が複数のカテゴリのそれぞれに属するとした場合の妥当性を示す評価値が評価値取得部６１１にて取得される。そして、カテゴリ候補特定部６１２では、各教師画像において、特徴量の複数種類における評価値の代表値がカテゴリ毎に求められ、さらに、複数のカテゴリにおける複数の代表値に基づいて各教師画像が属すべきものと判定されるカテゴリがカテゴリ候補として特定される。これにより、各教師画像に対して複数種類（全種類）の特徴量に基づく適切なカテゴリ候補を、簡単な演算で、容易に特定することができる。
【００５４】
また、初期カテゴリとカテゴリ候補とが相違する教師画像であるカテゴリ相違画像が、表示制御部６１３によりカテゴリ候補と共にディスプレイ５５に表示される。そして、操作者がディスプレイ５５上のカテゴリ相違画像およびカテゴリ候補を参照して、最終的なカテゴリの入力を行うことにより、信頼性の高い教師データを容易に作成することができる。その結果、画像分類装置１では、当該教師データを用いて学習が行われる分類器４２１を利用して、欠陥画像を精度よく分類することができる。
【００５５】
また、各カテゴリ相違画像に対して、初期カテゴリおよびカテゴリ候補の双方を並べてディスプレイ５５に表示することにより、操作者がカテゴリ相違画像の解釈を容易に行うことが可能となる。さらに、画像分類装置１では、特徴量の各種類における複数のヒストグラムのうち、一のカテゴリに対するヒストグラムにおける注目区間の頻度が（１以上）所定数以下であり、他の全てのカテゴリのそれぞれに対するヒストグラムにおける注目区間の頻度が０である場合には、評価値取得部６１１において特徴量の当該種類の評価値が取得されない。これにより、分散分析（いわゆる、ＡＮＯＶＡ（analysis of variance））等により不必要な特徴量の種類を排除する処理を行うことなく、評価値の代表値を不当に押し上げる不適切な特徴量の種類（の評価値）を排除することができる。
【００５６】
ところで、教師画像の個数が少ない場合には、多くの教師画像がいずれかの区間にて孤立して存在し（特徴量空間において孤立した状態となり）、図８の番号４のカテゴリのヒストグラムＨ４のように、大部分の区間において頻度が低く、平坦な分布を示す。このような場合には、番号ｎのカテゴリのヒストグラムにおいて、注目教師画像における注目区間の頻度のみならず、当該注目区間の両側に隣接する複数の区間における頻度も加えた値をｘｎとして、評価値Ｐｎが（（ｘｎ／（ｘ１＋ｘ２＋ｘ３＋ｘ４））×１００）［％］により求められることが好ましい。このように、評価値取得部６１１では、複数のヒストグラムにおける注目区間および注目区間の両側に隣接する複数の区間の頻度に基づいて、各教師画像の複数のカテゴリのそれぞれに対する評価値が取得されることにより、教師画像の個数が少ない場合等にも、カテゴリ候補を適切に決定することが可能となる。
【００５７】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、様々な変形が可能である。
【００５８】
上記実施の形態では、教師データからカテゴリ相違画像を取り除きつつ図６のステップＳ２４〜Ｓ２６の処理を複数回繰り返した結果を参照することにより、カテゴリ候補を特定する図６の処理の優位性について説明したが、教師データからカテゴリ相違画像を取り除きつつステップＳ２４〜Ｓ２６の処理を複数回繰り返すことにより、最終的な教師データが生成されてもよい。図１０を参照して説明したように、このような教師データは各カテゴリの典型的な教師画像のみを含むと捉えることができる。
【００５９】
ディスプレイ５５では必ずしも複数のカテゴリ相違画像が表示される必要はなく、１つのカテゴリ相違画像のみが表示されてもよい。また、カテゴリ候補のみがカテゴリ相違画像と共に表示されてもよい。以上のように、図６のステップＳ２７の処理では、少なくとも１つのカテゴリ相違画像のそれぞれがカテゴリ候補と共にディスプレイ５５に表示される。
【００６０】
画像分類装置１において、教師データに利用される多数の教師画像の特徴量が検査・分類装置４にて算出されてもよい。また、教師データから特徴量が省略され、学習部６２において教師画像のデータに基づいて特徴量が求められてもよい。
【００６１】
上記実施の形態では、欠陥検査装置に自動欠陥分類の機能を付加した画像分類装置１について説明したが、他の欠陥検査装置にて検出された基板上の欠陥を観察する観察装置（レビュー装置とも呼ばれる。）に自動欠陥分類の機能を付加した装置（同様に、画像分類装置として捉えることができる。）において、上記教師データ作成部６１が用いられてもよい。このような画像分類装置における撮像装置では、欠陥をより高度に解析するため、図１の撮像装置２に比べて高い解像度の画像が取得される。
【００６２】
図１の画像分類装置１では、半導体基板に代えてガラス基板（例えば、平面表示装置用のガラス基板）、プリント配線基板あるいは基板の露光に使用するマスク基板等の検査が行われてもよい。
【００６３】
また、画像分類装置１が、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。このように、画像分類装置１は、様々な対象物を示す画像の分類に利用可能である。さらに、画像分類装置１では、可視光により撮像される画像以外に、電子線やＸ線等により撮像される画像が分類されてよい。
【００６４】
上記実施の形態では、各教師画像に対してカテゴリ候補を特定することにより教師データを検証する教師データ検証装置が、教師データ作成部６１に設けられる記憶部６１４、評価値取得部６１１、カテゴリ候補特定部６１２および表示制御部６１３により実現されるが、教師データ検証装置は、教師データ作成部６１とは個別の装置として実現されてもよい。また、教師データ作成装置である教師データ作成部６１が画像分類装置１とは個別の装置として実現されてもよい。
【００６５】
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
【符号の説明】
【００６６】
１    画像分類装置
５５    ディスプレイ
５６    入力部
６１    教師データ作成部
７１ａ〜７１ｄ    教師画像
４２１    分類器
６１１    評価値取得部
６１２    カテゴリ候補特定部
６１３    表示制御部
６１４    記憶部
７１０    教師データ
Ｈ１〜Ｈ４    ヒストグラム
Ｓ１４，Ｓ２１〜Ｓ２９    ステップ
【図１】
2014070944.tif 000003
【図２】
2014070944.tif 000004
【図３】
2014070944.tif 000005
【図４】
2014070944.tif 000006
【図５】
2014070944.tif 000007
【図６】
2014070944.tif 000008
【図７】
2014070944.tif 000009
【図８】
2014070944.tif 000010
【図９】
2014070944.tif 000011
【図１０】
2014070944.tif 000012
【図１１】
2014070944.tif 000013
【図１２】
2014070944.tif 000014