(57)【要約】【課題】複数の分類カテゴリの全てに対して十分な数の教師画像を準備することができない場合でも、効果的に学習を行うことのできる技術を提供する。【解決手段】複数の教師画像のそれぞれに対して、複数の分類カテゴリのうち当該教師画像が分類されるべき一の分類カテゴリを関連付ける教示工程と、複数の分類カテゴリのうち少なくとも１つを対象カテゴリとして、当該対象カテゴリに関連付けられた教師画像について求めた複数種の特徴量の値の組を、当該対象カテゴリに関連付けられた教師データとする一次作成工程と、一の教師データに基づき、複数種の特徴量からなる特徴量空間において当該教師データが占める点からの距離が所定距離以内である点に対応する新たな特徴量の値の組を生成し、それらの特徴量の値を対象カテゴリに関連付けられた新たな教師データとする二次作成工程とを備える。【選択図】図４
2014178229.tif 000002
【特許請求の範囲】
【請求項１】
複数の教師画像のそれぞれに対して、複数の分類カテゴリのうち当該教師画像が分類されるべき一の分類カテゴリを関連付ける教示工程と、
前記複数の分類カテゴリのうち少なくとも１つを対象カテゴリとして、当該対象カテゴリに関連付けられた前記教師画像について求めた複数種の特徴量の値の組を、当該対象カテゴリと関連付けた教師データとする一次作成工程と、
一の前記教師データに基づき、前記複数種の特徴量からなる特徴量空間において当該教師データが占める点からの距離が所定距離以内である点に対応する新たな前記特徴量の値の組を生成し、それらの特徴量の値と前記対象カテゴリとを関連付けて新たな教師データとする二次作成工程と
を備える教師データ作成方法。
【請求項２】
前記対象カテゴリに関連付けられた複数の前記教師画像に対応する前記教師データのそれぞれについて、前記二次作成工程を実行する請求項１に記載の教師データ作成方法。
【請求項３】
前記二次作成工程により作成した新たな前記教師データの少なくとも１つに基づく前記二次作成工程をさらに実行する請求項１または２に記載の教師データ作成方法。
【請求項４】
前記二次作成工程において生成する新たな前記教師データは、基となる前記教師データに対応する点を体心とする前記特徴量空間における超立方体の頂点に対応する請求項１ないし３のいずれかに記載の教師データ作成方法。
【請求項５】
少なくとも１つの前記教師画像が関連付けられた前記分類カテゴリのうち、関連付けられた前記教師画像の数が最も少ないものを前記対象カテゴリの１つとする請求項１ないし４のいずれかに記載の教師データ作成方法。
【請求項６】
請求項１ないし５のいずれかに記載の教師データ作成方法により作成した前記教師データと、前記対象カテゴリ以外の前記分類カテゴリに関連付けられた前記教師画像のそれぞれに対応し前記複数の特徴量の値の組からなる複数の教師データとに基づく学習を行って分類器を構成する工程と、
分類対象画像を、前記分類器を用いて前記分類カテゴリのいずれかに分類する工程と
を備える画像分類方法。
【請求項７】
複数の教師画像を取得する画像取得手段と、
前記教師画像のそれぞれに対して複数の分類カテゴリのうち当該教師画像が分類されるべき一の分類カテゴリを関連付ける教示情報を受け付ける受付手段と、
前記教師画像のそれぞれについて複数種の特徴量を算出する特徴量算出手段と、
前記教師画像に基づき教師データを作成する教師データ作成手段と、
前記教示情報と前記教師データとに基づく学習を行って分類器を構成し、該分類器を用いて分類対象画像を分類する分類手段と
を備え、
前記教師データ作成手段は、前記複数の教師画像のそれぞれについて求められた前記複数種の特徴量の値の組を、それぞれ当該教師画像が関連付けられた前記分類カテゴリに関連付けて１つの前記教師データとする一方、少なくとも１つの前記教師データに基づき、当該教師データが前記複数種の特徴量からなる特徴量空間において占める点からの距離が所定距離以内である点に対応する新たな前記特徴量の値の組を生成し、それらの特徴量の値の組を前記対象カテゴリに関連付けて１つの前記教師データとする
ことを特徴とする画像分類装置。
【請求項８】
前記教師データ作成手段は、少なくとも１つの前記教師画像が関連付けられた前記分類カテゴリのうち、関連付けられた前記教師画像の数が最も少ないものを含む少なくとも１つの前記分類カテゴリに関連付けられた前記教師データに基づき新たな前記特徴量の値の組を生成する請求項７に記載の画像分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の教師画像に基づく画像分類技術に関するものであり、特に教師画像に基づいて教師データを作成する技術に関する。
【背景技術】
【０００２】
例えば半導体やプリント基板等の製造技術分野では、製品に含まれる欠陥を検出しこれを分析・評価するために、評価対象物を顕微鏡等を介して撮像し、得られた画像について複数種の特徴量を算出して自動分類を行うことが研究されている（例えば、特許文献１参照）。この種の技術では、予め収集された欠陥画像（教師画像）のそれぞれに対して、オペレータにより、欠陥の種別に対応して予め設定された複数の分類カテゴリのいずれに分類されるべきかの関連付け（教示）が行われる。そして、各教師画像について求めた複数種の特徴量の値と、当該教師画像に関連付けられた分類カテゴリとに基づいて適宜の学習手法、例えば判別分析やロジスティック回帰分析、ニューラルネットワーク、遺伝的プログラミングまたはサポートベクタマシン等により機械学習が行われて、判別木または分類器が構成される。こうして構成された判別木や分類器を用いて未知の欠陥画像が分類される。
【０００３】
この種の技術では、学習に用いられる教師画像が多いほど統計的には分類精度が向上する。そのため、欠陥の種別ごとにできるだけ多くの教師画像を収集することが求められる。しかしながら、例えば欠陥の発生頻度の差異に起因して、全ての欠陥種別に対して十分な数の教師画像を用意することができない場合がある。少数の教師画像を用いて機械学習を行った場合、過学習と呼ばれる学習の過剰適合現象が生じ、欠陥画像を適切に分類することができなくなるおそれがある。
【０００４】
一方、このような問題に対応するものとして、例えば特許文献２および３に記載された技術がある。特許文献２に記載の技術では、欠陥分類の過程で分類不能な未知の欠陥画像が出現したとき、当該欠陥画像を新たに教師画像に追加したり必要に応じ新たな分類カテゴリを創設して再学習が行われる。また、特許文献３に記載の技術では、欠陥のない良品である検査対象物を撮像した画像に何らかの加工を施すことによって疑似的な欠陥画像を生成する。そして、これを実際に得られた欠陥画像とともに教師画像とすることで教師画像の数を増大させて学習に供することにより、機械学習の効果向上が図られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１５５４９７号公報（例えば、図５）
【特許文献２】特開２０００−０５７３４９号公報（例えば、段落００５２）
【特許文献３】特開２０１１−２１４９０３号公報（例えば、段落００３７）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記した通り、機械学習に基づく画像分類技術においては種々の欠陥のそれぞれに対して多くの教師画像が準備されることが望ましいが、必ずしもそれが達成されない場合がある。一方、特許文献２に記載の技術では、教師画像として適切な欠陥画像が相当数出現するまで上記問題は解決されない。また特許文献３に記載の技術における疑似欠陥画像は当然に実在する欠陥を表すものではないため、その作成方法によっては、実際には発生し得ないような特徴を有する画像が教師画像として学習に供されてしまうおそれがある。すなわち、このような不適切な画像を教師画像とすることにより、学習結果に基づく分類精度が却って低下してしまうという問題が残されている。
【０００７】
この発明は上記課題に鑑みなされたものであり、複数の分類カテゴリの全てに対して十分な数の教師画像を準備することができない場合でも、効果的に学習を行うことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明にかかる教師データ作成方法は、上記目的を達成するため、複数の教師画像のそれぞれに対して、複数の分類カテゴリのうち当該教師画像が分類されるべき一の分類カテゴリを関連付ける教示工程と、前記複数の分類カテゴリのうち少なくとも１つを対象カテゴリとして、当該対象カテゴリに関連付けられた前記教師画像について求めた複数種の特徴量の値の組を、当該対象カテゴリに関連付けた教師データとする一次作成工程と、一の前記教師データに基づき、前記複数種の特徴量からなる特徴量空間において当該教師データが占める点からの距離が所定距離以内である点に対応する新たな前記特徴量の値の組を生成し、それらの特徴量の値と前記対象カテゴリとを関連付けて新たな教師データとする二次作成工程とを備えている。
【０００９】
このように構成された発明では、実在する教師画像から教師データが求められるとともに、教師データに対応する特徴量空間内の点からの距離が所定距離以内である点に対応する特徴量の組が、元の教師データと同じ分類カテゴリに関連付けられた新たな教師データとされる。
【００１０】
上記従来技術のように画像に何らかの加工を施して疑似欠陥画像を生成して教師画像を補充した場合、特徴量空間内では真の欠陥画像と疑似欠陥画像とが大きく離隔することがあり得る。特に特徴量空間の次元が高くなると、見かけ上は僅かな差異でも特徴量空間内では大きな差となることがある。このように特徴量空間上で本来の欠陥画像から遠い位置に生成された疑似欠陥画像を教師画像に含めることは、特徴量空間における分類カテゴリ同士の境界を不明確にし、分類精度の低下をもたらす。
【００１１】
一方、本発明では、教師画像を疑似的に生成するのではなく、特徴量空間上において、既に存在する一の教師データに対応する点の周囲に新たな点を生成することで教師データを補充する。このように、元の教師データからの特徴量空間における距離が規定された教師データを新たに生成することにより、特徴量空間における分類カテゴリ間の境界を不明確にすることのない必要十分な数の教師データを補充することができる。そして、これらの教師データを学習に供することで、各分類カテゴリに対して十分な数の教師画像を準備することができない場合でも効果的な学習が可能となる。
【００１２】
この発明において、対象カテゴリに関連付けられた教師画像が複数ある場合、例えば、それらに対応する教師データのそれぞれについて、二次作成工程を実行するようにしてもよい。こうすることにより、特定の教師データのみに基づく偏った教師データの補充を未然に回避することができ、補充された教師データを用いて適切に学習を行うことが可能となる。
【００１３】
また例えば、二次作成工程により作成した新たな教師データの少なくとも１つに基づく二次作成工程をさらに実行してもよい。実在の教師画像に対応する教師データに基づく教師データの補充のみでは教師データの数が不足する場合がある。このような場合、さらに多くの教師データを補充することが望ましいが、教師画像に対応する教師データの周囲にのみ多くの教師データを作成するよりも、教師画像に対応する教師データから作成された教師データの周囲にも新たな教師データを作成する方が、より効果的な学習が可能となる点で好ましい。
【００１４】
また例えば、二次作成工程において生成する新たな教師データは、基となる教師データに対応する点を体心とする特徴量空間における超立方体の頂点に対応するものであってもよい。基となる教師データから特徴量空間において所定距離内にある点を特定する方法としては種々のものが考えられる。このうち、当該教師データに対応する点を体心とする超立方体の頂点とする方法では、当該教師データを表す各種特徴量の少なくとも１つにおいてその値に所定値を加算することのみによって新たな教師データを生成することができるので、簡単な処理で教師データを補充することができる。
【００１５】
また例えば、少なくとも１つの教師画像が関連付けられた分類カテゴリのうち、関連付けられた教師画像の数が最も少ないものを対象カテゴリの１つとするようにしてもよい。教師画像の絶対数が十分に多くても、一部の分類カテゴリにおいて当該分類カテゴリに関連付けられる教師画像の数が少なければ、教師画像数の不足に起因する過学習等の問題は依然として残る。欠陥分類の分野においては、欠陥の発生頻度の差異に起因してこのような教師画像数の偏りが生じやすい。このように教師画像の数が少ない分類カテゴリを対象カテゴリとして教師データの補充を行うようにすれば、教師データ数の不均衡に起因する過学習等の不都合を効果的に回避することが可能である。
【００１６】
また、この発明にかかる画像分類方法は、上記目的を達成するため、上記したいずれかの教師データ作成方法により作成した教師データと、対象カテゴリ以外の分類カテゴリに関連付けられた教師画像のそれぞれに対応し複数の特徴量の値の組からなる複数の教師データとに基づく学習を行って分類器を構成する工程と、構成された分類器を用いて分類対象画像を分類カテゴリのいずれかに分類する工程とを備えている。
【００１７】
このように構成された発明では、上記のように構成された教師データ作成方法により作成された教師データを用いることで効果的に学習を行うことができるので、学習により構成された分類器を用いた分類対象画像の分類を精度よく行うことができる。
【００１８】
また、この発明にかかる画像分類装置は、上記目的を達成するため、複数の教師画像を取得する画像取得手段と、前記教師画像のそれぞれに対して複数の分類カテゴリのうち当該教師画像が分類されるべき一の分類カテゴリを関連付ける教示情報を受け付ける受付手段と、前記教師画像のそれぞれについて複数種の特徴量を算出する特徴量算出手段と、前記教師画像に基づき教師データを作成する教師データ作成手段と、前記教示情報と前記教師データとに基づく学習を行って分類器を構成し、該分類器を用いて分類対象画像を分類する分類手段とを備え、前記教師データ作成手段は、前記複数の教師画像のそれぞれについて求められた前記複数種の特徴量の値の組を、それぞれ当該教師画像が関連付けられた前記分類カテゴリに関連付けて１つの前記教師データとする一方、少なくとも１つの前記教師データに基づき、当該教師データが前記複数種の特徴量からなる特徴量空間において占める点からの距離が所定距離以内である点に対応する新たな前記特徴量の値の組を生成し、それらの特徴量の値の組を前記対象カテゴリに関連付けて１つの前記教師データとする。
【００１９】
このように構成された発明では、上記した原理に基づく教師データの補充が可能となっており、実在する教師画像に対応する教師データとこうして補充された教師データとを用いた学習結果に基づく画像分類を行うことで、複数の分類カテゴリに対して十分な数の教師画像を準備することができない場合でも、分類対象画像の分類を精度よく行うことが可能である。この発明においても、教師画像の数が少ない分類カテゴリに対して教師データの補充が行われることが望ましい。
【発明の効果】
【００２０】
この発明によれば、各分類カテゴリに対して十分な数の教師画像が準備できない場合でも、教師データを適切に補充して、画像の分類に供するための学習を効果的に行うことが可能となる。
【図面の簡単な説明】
【００２１】
【図１】この発明を好適に適用可能な検査システムの概略構成を示す図である。
【図２】欠陥検出装置の動作を示すフローチャートである。
【図３】欠陥分類装置の動作を示すフローチャートである。
【図４】欠陥分類装置により実行される事前学習処理を示すフローチャートである。
【図５】特徴量空間における欠陥画像の分布の一例を示す図である。
【図６】この実施形態における教師データ補充方法の原理を説明するための図である。
【図７】教師データ補充の結果を例示する図である。
【発明を実施するための形態】
【００２２】
図１はこの発明を好適に適用可能な検査システムの概略構成を示す図である。この検査システム１は、検査対象である半導体基板Ｓの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム１は、基板Ｓ上の検査対象領域から欠陥を検出する欠陥検出装置２と、欠陥検出装置２により検出された欠陥をより詳細に分析して欠陥の種類を特定する欠陥分類装置３とを備えている。欠陥検出装置２は基板Ｓの製造ラインに組み込まれ、検査システム１はいわゆるインライン型のシステムとなっている。
【００２３】
欠陥検出装置２は、基板Ｓ上の検査対象領域の画像を取得する画像取得ユニット２０と、画像取得ユニット２０からの画像データを解析して欠陥検出を行う検出ユニット２１とを備えている。画像取得ユニット２０は、例えばＣＣＤセンサまたはＣＭＯＳセンサなどの撮像素子を有し基板Ｓ上の検査対象領域を撮像することにより画像データを取得する撮像部２０１、基板Ｓを保持するステージ２０２、および、撮像部２０１に対してステージ２０２を相対的に移動させるステージ駆動部２０３を備えている。ステージ駆動部２０３はボールねじ、ガイドレールおよびモータにより構成される。撮像部２０１およびステージ駆動部２０３は検出ユニット２１に設けられた機構制御部２１１により制御されており、機構制御部２１１からの制御指令に応じて動作することで、基板Ｓ上の検査対象領域を撮像する。
【００２４】
撮像部２０１による撮像で得られた画像データに対して欠陥検出部２１２が適宜のデータ処理を施して欠陥検出を行う。欠陥検出部２１２は、撮像部２０１から与えられた画像データに対して適宜のデータ処理、例えばノイズ除去処理や平滑化処理などを施し、こうして処理された画像データに基づき欠陥検出を行う。より具体的には、実際の基板Ｓにおいて撮像された画像と、記憶部２１３に予め記憶された無欠陥の基板の画像とを比較して、その差異が予め定められた基準を超える場合には当該画像に欠陥が含まれると判定する。欠陥検出部２１２は、検出した欠陥の画像データをインターフェース（Ｉ／Ｆ）２１４を介して欠陥分類装置３に送信する。
【００２５】
欠陥分類装置３は、欠陥検出装置２から与えられる欠陥データに基づき、検出された欠陥の種別を判定する。すなわち、欠陥分類装置３は欠陥検出装置２から与えられる欠陥画像データに基づいて当該欠陥が属すべき分類カテゴリへと欠陥を自動分類（ＡＤＣ；Automatic Defect Classification）する機能を有している。この欠陥分類装置３は、この発明にかかる画像分類装置の一実施形態であり、本発明にかかる教師データ作成方法および画像分類方法を実行可能な装置である。
【００２６】
欠陥分類装置３は、予め読み込まれた制御プログラムを実行することにより、図１に示す各機能ブロックを専用ハードウェアおよびソフトウェアにより実現する。欠陥分類装置３は、欠陥検出装置２から欠陥画像データを受信するためのインターフェース（Ｉ／Ｆ）３１、欠陥画像データに基づく自動分類により、当該欠陥の種別を判定する欠陥分類部（ＡＤＣ）３２を備えている。インターフェース３１は例えばＬＡＮ（Local Area Network）を介して他の外部機器と通信が可能となっている。
【００２７】
欠陥検出装置２から与えられる画像データおよび欠陥分類部３２における処理過程で生じる種々の処理データは必要に応じて記憶部３３に随時保存される。欠陥分類部３２は、与えられた欠陥画像データに基づき特徴量算出部３４が算出した複数種の特徴量の値に基づき、当該欠陥画像を、欠陥種別に対応して予め設定された複数の分類カテゴリのいずれかに分類する。
【００２８】
さらに、欠陥分類装置３は、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部３５および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部３６を備えている。
【００２９】
欠陥分類部３２は、検出された欠陥をＳＶＭ（サポートベクタマシン；Support Vector Machine）、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。具体的には、欠陥検査装置２から与えられて記憶部３３に記憶保存された欠陥画像データと、当該欠陥画像が分類されるべき分類カテゴリに関するユーザからの教示情報とに基づいて予め適宜の学習アルゴリズムによる機械学習を行っておく。そして、未分類の欠陥画像に対応する画像データが新たに与えられると、学習結果に基づく自動分類を行って新たな欠陥画像をいずれかの分類カテゴリに分類する。
【００３０】
図２は欠陥検出装置の動作を示すフローチャートである。欠陥検出装置２は、検査対象基板Ｓを撮像し、その撮像結果から欠陥を検出するための動作として以下の欠陥検出処理を実行する。最初に検査対象基板Ｓが画像取得ユニット２０のステージ２０２にロードされると（ステップＳ１０１）、機構制御部２１１が撮像部２０１およびステージ駆動部２０３を制御して、基板Ｓ上の所定の検査対象位置を撮像し画像を取得する（ステップＳ２０２）。こうして得られた画像データに対して、欠陥検出部２１２は、必要に応じて例えば輝度調整やノイズ除去等の処理を行う。さらに、予め記憶部２１３に記憶されている無欠陥の基板の画像データのうち、当該検査対象位置に対応する画像データを読み出して、撮像により得られた画像データとの画素単位の差分を算出する（ステップＳ１０３）。
【００３１】
撮像された画像に欠陥が含まれなければ予め記憶されていた無欠陥の画像との差は小さい一方、欠陥が含まれていれば大きな差異が現れる。このことを利用して、両者の差分を求めることで欠陥の有無を判定することが可能である。具体的には、得られた差分画像に対して適宜の平滑化処理および二値化処理を行って（ステップＳ１０４）、有意な差が認められる領域があればその部分を欠陥部分として抽出する（ステップＳ１０５）。欠陥が検出された画像については（ステップＳ１０６）、当該画像を欠陥画像として、インターフェース２１４を介して欠陥分類装置３に送信する（ステップＳ１０７）。上記処理を、検査対象位置を順次変えながら基板Ｓの全体について行うことで（ステップＳ１０８）、基板Ｓの検査が完了する。
【００３２】
欠陥検出装置２は、検査対象基板Ｓの各位置を検査して欠陥の有無を判定する。一方、欠陥分類装置３は、検出された欠陥の種別を判定して、欠陥の発生傾向を分析してその結果を製造ラインにフィードバックしたり、欠陥検出装置２による欠陥検出処理の処理内容の調整を行うのに用いられる。検出された欠陥の分析を欠陥分類装置３により行うことで、欠陥検出装置２は欠陥検出に特化した処理を実行することができるので、高速での欠陥検出が可能となる。
【００３３】
図３は欠陥分類装置の動作を示すフローチャートである。上記した通り、欠陥分類装置３は欠陥検出装置２から出力される欠陥画像を、その欠陥種別に応じた分類カテゴリに分類する。より具体的には、欠陥分類部３２が予め収集された欠陥画像データに基づき事前学習（後述）を行っておき（ステップＳ２０１）、未分類の欠陥画像が欠陥検出装置２から新たに与えられると（ステップＳ２０２）、特徴量算出部３４が当該欠陥画像を特徴付ける複数の特徴量の値を算出する（ステップＳ２０３）。そして、欠陥分類部３２が、算出された特徴量の値に基づき、事前学習により構成された分類器を用いて当該欠陥画像を複数の分類カテゴリのいずれかに分類する（ステップＳ２０４）。
【００３４】
分類カテゴリは当該基板Ｓにおいて発生し得る複数の欠陥種別に対応して複数種が予め設定されており、例えば異物、傷、パターン断線、短絡などが代表的なものであるが、これらに限定されるものではない。
【００３５】
図４は欠陥分類装置により実行される事前学習処理を示すフローチャートである。事前学習処理は、種々の欠陥を撮像した教師画像と、ユーザから教示される、当該教師画像がどの分類カテゴリに分類すべきものであるかを示す教示情報とに基づいて行われる。具体的には、まず最初に教師画像の収集を行う。ここでは欠陥検出装置２から出力される欠陥画像を教師画像としてこれを順次記憶部３３に保存することで収集を行うものとするが（ステップＳ３０１）、例えば予め用意された画像ライブラリや外部のストレージに収集された教師画像データを取得する態様であってもよい。
【００３６】
こうして収集された多数の教師画像のそれぞれについて、特徴量算出部３４が特徴量の算出を行う（ステップＳ３０２）。ここで算出される特徴量の種類は、未知の欠陥画像の分類を行うときに用いられるものと同じである。算出された特徴量の値は、各教師画像に対応する教師データの一部として記憶部３３に記憶保存される。
【００３７】
次に、各教師画像に対して、当該教師画像が分類されるべき分類カテゴリを関連付ける。より具体的には、収集された教師画像を順に表示部３６に表示させ、当該教師画像がどの欠陥種別に属するものであるかについて、入力受付部３５を介してユーザから教示入力を受け付ける。そして、教師画像と、教示された欠陥種別に対応する分類カテゴリとを関連付けて（ステップＳ３０３）、当該教師画像の特徴量の値と、当該教師画像に関連付けられた分類カテゴリを指定するユーザからの教示情報とをセットにして、これを当該教師画像に対応する教師データとして記憶部３３に記憶保存しておく。
【００３８】
続いて、こうして準備された教師データ、すなわち教師画像を表す特徴量の値の組と教示情報とに基づき、欠陥分類部３２が適宜の学習アルゴリズムによる学習を行い、分類器を構成する（ステップＳ３０４）。そして、学習結果を検証するため、構成された分類器を用いて教師データ自身の分類を行い（ステップＳ３０５）、その分類成績を算出する（ステップＳ３０６）。分類成績は適宜の性能評価尺度を用いて表すことができ、例えば分類カテゴリ毎のpurityおよびaccuracyにより表すことができる。こうして算出された分類成績が表示部３６に表示されることで、ユーザは学習の適切さを評価することができる。
【００３９】
統計的には用意された教師画像の数が多いほど有効な学習を行うことができるが、欠陥の発生頻度はその種別によってまちまちであり、欠陥種別ごとに必ずしも十分な数の欠陥画像を収集することができるとは限らない。特に、製造プロセスを新たに立ち上げた直後では、ある欠陥種別については多くの欠陥画像が収集されても他の欠陥種別については僅かしか欠陥画像が得られないことがある。
【００４０】
図５は特徴量空間における欠陥画像の分布の一例を示す図である。欠陥画像の分類に用いられる特徴量としては種々のものが知られており、実際の欠陥分類においても多種類の特徴量が用いられる。このため、使用される複数種の特徴量のそれぞれを一の座標軸とする特徴量空間も多次元空間となるが、ここでは原理を理解しやすくするために、２種類の特徴量Ｘ1，Ｘ2からなる２次元の特徴量空間を考える。収集された欠陥画像（教師画像）をその特徴量の値に応じて特徴量空間にプロットすると、例えば図５に示すように、類似した特徴を有する欠陥画像がある程度まとまっていくつかのクラスタを形成する。図５における各点は、欠陥画像を特徴量で表したときそれらの値を特徴量空間における座標値として持つ点を表しており、それぞれの点が１つの欠陥画像に対応する。同じ欠陥種別に分類される欠陥画像は当然に互いに類似した画像上の特徴を持つため、特徴量空間内でも互いに近接すると考えられる。すなわち、同じ欠陥種別に属する欠陥画像が特徴量空間内で１つのクラスタを形成する。
【００４１】
欠陥種別ごとの特徴量空間におけるクラスタの広がりが既知であれば、未知の欠陥画像が与えられたときに、当該欠陥画像に対応する点が占める特徴量空間の位置から当該欠陥画像の欠陥種別を判定することができる。これを可能とするために、教師画像に基づく学習を行う。
【００４２】
ここで、例えば図５に例示する欠陥種別ＡおよびＢにはそれぞれ比較的多くの教師画像が関連付けられており、これらに対応する多くの点によりクラスタが形成されている。したがって、当該欠陥種別の類型の多くが出揃っていると考えられ、クラスタの広がり範囲を比較的高い精度で推定することができる。したがって、特徴量空間内で当該広がり範囲内の位置を占める未知の欠陥画像が、高い確度で当該欠陥種別に属するものと判断することができる。また欠陥種別ＡとＢとの境界が特定しやすく、これらの間での誤分類の確率を低くすることができる。
【００４３】
一方、例えば図５に示す欠陥種別Ｃのように、関連付けられる教師画像の数が少ない場合、特徴量空間において当該欠陥種別が分布する範囲を特定することが困難である。すなわち、例えば一点鎖線で示すように比較的小さな広がりであるのか、あるいは二点鎖線で示すようにより大きな広がりであるのかについて、現状の学習アルゴリズムでは既存の教師画像のみで的確に判断することができない。そのため、特徴量空間における欠陥種別ＡとＣとの境界、および欠陥種別ＢとＣとの境界の特定が困難となり、結果として誤分類が増えてしまうことになる。このような現象は過学習と呼ばれる学習の過剰適合現象によるものであり、分類カテゴリ間で教師画像の数の不均衡が大きいときに顕著となる。このような場合に対応するために、この実施形態の事前学習処理は、必要に応じて教師データを補充して再学習を行うことができるように構成されている。
【００４４】
この問題を解決するために前述した従来技術の技術思想を適用すると、教師画像数の少ない欠陥種別の欠陥を模した画像を疑似的に作成し、該画像を教師画像として補充し学習を行うこととなる。しかしながら、たとえ欠陥の発生メカニズムを模したとしても実際に発生した欠陥ではないため、見かけ上は僅かな画像の差異であっても多次元特徴量空間上では大きな差異となり、各欠陥種別に属する欠陥画像が作るクラスタの広がりが却って不明瞭となってしまうことがあり得る。
【００４５】
そこで、この実施形態では、既に存在する教師データが特徴量空間において占める点の近傍に、補充により作成される新たな教師データに対応する点を派生させることにより、教師データの補充を行う。すなわち、実画像として欠陥画像を模した画像を作成することはしない。このため、特徴量空間における既存の教師データからの新たな教師データまでの距離を限定されたものとすることができる。
【００４６】
図６はこの実施形態における教師データ補充方法の原理を説明するための図である。図６（ａ）に示すように、既存の教師データに対応する特徴量空間内の点Ｐ（ｖ1，ｖ2）を考える。この点Ｐの座標値ｖ1およびｖ2は、それぞれこの点に対応する教師画像について求めた特徴量Ｘ1およびＸ2の値に相当する。そして、当該点Ｐから特徴量空間内で所定の距離内に新たな点Ｑを設定し、当該点Ｑの座標値に対応する特徴量の値と、作成の基になった点Ｐの分類カテゴリとを関連付けて、これを新たな教師データとする。
【００４７】
原理的には、例えば点Ｐを中心とし所定の半径Ｒを有する特徴量空間内の超球面（二次元特徴量空間では破線で示される円）上の１点を点Ｑとすることができるが、より簡易的には、点Ｐを体心とする特徴量空間内の超立方体（二次元特徴量空間では点線で示される正方形）の１つの頂点として点Ｑを設定することができる。多次元特徴量空間における超球面は多数の特徴量の関数により表されるので、超球面上の点の座標を求めるための計算が煩雑である。これに対して、特徴量空間内の超立方体の頂点の座標は、超立方体の辺を各座標軸の方向と平行としておけば、各座標軸の座標値に一定値を加算するのみで求めることができる。
【００４８】
二次元特徴量空間を表した図６（ａ）の例では、基となる点ＰのＸ1座標値ｖ1に所定値Δｖ1を加算または減算した値を、点ＱのＸ1座標値とすることができる。また、点ＰのＸ2座標値ｖ2に所定値Δｖ2を加算または減算した値を、点ＱのＸ2座標値とすることができる。図６（ａ）では点Ｐに対して右上の頂点に点Ｑ（ｖ1＋Δｖ1，ｖ2＋Δｖ2）を作成しているが、他の頂点に新たな点を作成してもよい。また２以上の頂点をそれぞれ新たな点としてもよい。
【００４９】
なお、各特徴量はそれぞれ個別の算出基準に基づき数値化されるので、特徴量ごとに数値のスケールが異なることが当然にあり得る。この点に鑑み、特徴量空間内の超球または超立方体を有意なものとするために、この場合の各特徴量の値は正規化されたものであることが好ましい。特徴量の正規化演算は、例えば、点Ｐに対応する教師データにおける特徴量の値を、全教師データ間での当該特徴量の最大値で除することにより行うことができる。例えば点ＰのＸ1座標値ｖ1については、点Ｐに対応する教師データにおける特徴量Ｘ1の値をｖ0、同特徴量Ｘ1の全ての教師データ間での最大値をｖmaxとしたとき、
ｖ1  ＝  ｖ0／ｖmax  …  （式１）
により求めることができる。
【００５０】
また例えば、点Ｐに対応する教師データにおける特徴量の値を、全教師データ間での当該特徴量の最大値と最小値との差で除することにより行うことができる。例えば点ＰのＸ1座標値ｖ1については、点Ｐに対応する教師データにおける特徴量Ｘ1の値をｖ0、同特徴量Ｘ1の全ての教師データ間での最大値をｖmax、最小値をｖminとしたとき、
ｖ1＝  ｖ0／（ｖmax−ｖmin）  …  （式２）
により求めることができる。特徴量の数値を結果として求めることを目的としないため、算出ルールが各特徴量間で統一されていれば、（式１）、（式２）のいずれの算出方法によってもよい。
【００５１】
上記のようにして点Ｐから派生的に作成される点Ｑを、以下の説明では点Ｐの「子」と表現することがある。また、基となった点Ｐを点Ｑの「親」と表現することがある。また点Ｐに対応する教師データを「親データ」、点Ｑに対応する教師データを「子データ」と表現することがある。
【００５２】
図４に戻って、事前学習処理の説明を続ける。ステップＳ３０６で求められ表示部３６に表示された分類成績が不十分であるとユーザが判断したときには、入力受付部３５を介して教師データの補充を指示することができる。教師データの補充が必要とされたとき（ステップＳ３０７においてＹＥＳ）、続いて教師データ数の不足している欠陥種別がユーザ入力により指定される（ステップＳ３０８）。また、欠陥種別ごとの教師データ数に応じて、データを補充すべき欠陥種別が自動的に選択されるようにしてもよい。例えば教師データ補充の効果は元の教師データ数の少ない欠陥種別において特に顕著であることから、教師データ数の少ない欠陥種別から順に補充を行うようにすることができる。この場合、例えば何番目の欠陥種別まで補充を行うかをユーザに指定させてもよい。
【００５３】
そして、指定された欠陥種別に対して教師データの補充を行う。データの補充は、上記した通り、特徴量空間において既存の教師データの近傍に新たな教師データを派生させることにより行う。このとき、特定の教師データの周囲にのみ新しい教師データが生成されるのを防止するために、「子」を持たない教師データのみを「親」として、新たな子データを生成する（ステップＳ３０９）。子を持たない全ての教師データについて子データを派生させることで、教師データの数が増大する。１つの親データからＮ個の子データを生成した場合、教師データの数は元のＮ倍となる。
【００５４】
多次元特徴量空間における超立方体の頂点は多数あり、その全てに子を生成すると膨大な数の教師データが生成されてしまい、欠陥種別ごとの教師データ数が却って不均衡となる。１つの親から生成する子の生成数を予め定めておき、多数の頂点からその生成数に対応する数の頂点を選択してそれらの頂点に子を生成するのが好ましい。選択のルールは任意であり、例えば乱数を用いて無作為に決定することができる。ただし、各頂点のうちその位置またはその近傍に既に教師データに対応する点があるものについては、選択から除外されることが好ましい。こうすることで、教師データの偏在を防止することができる。
【００５５】
教師データを作成しようとする点の近傍に他の教師データが存在するか否かについては、例えば特徴量空間におけるユークリッド距離により判断することができる。ただし、既存の全ての教師データについて演算を行うことは計算量が膨大となるため現実的でない。これに代えて、例えば当該点を内部に含むまたは当該点を体心とする適宜のサイズの超立方体を仮定し、その中に含まれる他の点を探索する方法を用いることができる。このようにした場合、座標軸ごとの、すなわち特徴量ごとの数値の相互比較により近傍点を探索することができるので、必要な演算量を大幅に軽減することが可能である。
【００５６】
上記のようにして新たに生成された教師データについては、元の教師データと同じ分類カテゴリ（欠陥種別）に属するものとして、以後は元の教師データと区別することなく扱う。続いて、新たに生成された教師データと元の教師データとを用い、性能評価を行う（ステップＳ３１０）。この性能評価は、前述したステップＳ３０４ないしＳ３０６の処理と同じものである。このとき分類成績に変化がなければ（ステップＳ３１１においてＮＯ）、教師データの補充が十分でないとみなし、ステップＳ３０９に戻って再びデータ補充を行う。
【００５７】
このとき、先のデータ補充で親となった教師データについては再びこれを親とせず、先のデータ補充で新たに生成された子を新たな親としてデータ補充を行う。すなわち、図６（ｂ）に示すように、先のデータ補充で点Ｐを親として子Ｑ１が生成されたとき、次のデータ補充では、点Ｑ１を親として子Ｑ２を生成する。またこの場合、点Ｑ１を体心とする超立方体の頂点のうち、点Ｐとは異なる頂点に子Ｑ２を生成する。
【００５８】
このように、教師データを補充するに際しては、既存の教師データのうち過去のデータ補充において親となっていないもの、すなわち子を持たない教師データから新たな子を生成する。また、親を体心とする超立方体の頂点のうち、その位置または近傍位置に教師データが存在しない点に教師データを補充する。このようにすることで、収集された教師画像に対応する教師データの周囲に偏りのない教師データを補充し、特徴量空間において当該欠陥種別が占める空間を拡充してゆくことがことができる。
【００５９】
データ補充後の性能評価で分類成績に変化が見られたとき（図４のステップＳ３１１においてＹＥＳ）、その結果をユーザに提示してさらなる教師データの補充が必要か否かを判断させる（ステップＳ３０７）。そして、補充が必要ないと判断されるまで上記処理を繰り返すことにより、教師データの補充が完了する。
【００６０】
図７は教師データ補充の結果を例示する図である。欠陥種別Ｃを対象として教師データの補充を行ったとき、特徴量空間上では、収集された教師画像に対応する教師データ（黒丸印で示す）の周辺に補充された教師データ（白丸印で示す）が偏りなく分布した状態となる。これにより、欠陥種別Ｃに属するクラスタの外延が図５に示す補充前の状態よりも明確となる。その結果、これらの教師データに基づく学習が効果的に行われ、誤分類の少ない分類器を構成することが可能となる。
【００６１】
以上のように、この実施形態では、教師画像に基づく教師データとともに補充された教師データを用いて学習を行うことで、過学習の弊害が抑制され、誤分類の確率を低くすることができる。そして、教師データの補充は、特徴量空間上で既存の教師データの近傍に新たな教師データを作成する方法によって行う。教師画像を疑似的に補充する方法では特徴量空間でのばらつきが却って大きくなる懸念があるが、本実施形態では特徴量空間上での位置が管理された教師データが補充されるので、このような問題がなく、学習の精度を効果的に高めることが可能である。
【００６２】
以上説明したように、この実施形態では、欠陥分類装置３が本発明の「画像分類装置」として機能し、欠陥検出装置２、およびこれから欠陥画像データを受信する欠陥分類装置３のインターフェース３１が本発明の「画像取得手段」として機能している。また、入力受付部３５が本発明の「受付手段」として機能している。また、特徴量算出部３４が本発明の「特徴量算出手段」として機能する一方、欠陥分類部３２が本発明の「分類手段」として機能している。そして、欠陥分類部３２と特徴量算出部３４とが一体として、本発明の「教師データ作成手段」として機能している。
【００６３】
図４のフローチャートにおいて、ステップＳ３０３が本発明の「教示工程」に相当し、ステップＳ３０２とＳ３０３とが本発明の「一次作成工程」に相当している。一方、ステップＳ３０９が本発明の「二次作成工程」に相当している。また上記実施形態では、欠陥種別Ａ，ＢおよびＣがいずれも本発明の「分類カテゴリ」に相当し、このうち教師画像数が最も少なくデータ補充の対象となる欠陥種別Ｃが、本発明の「対象カテゴリ」に相当している。
【００６４】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、教師データの作成後、作成した教師データに基づく学習を行っている。これは教師データの妥当性を検証するためであるが、本発明の教師データ作成方法において学習のプロセスは必須の要件ではない。例えば、教師画像の収集とユーザによる教示作業が終了した後、欠陥種別ごとの教師画像の数からデータ補充の要否を判断し、必要とされる欠陥種別を対象としてデータ補充を行うようにしてもよい。この場合には学習作業を行わずに教師データが作成される。そして、教師データの補充が完了した後に学習を行うことで、未知の欠陥画像の分類が可能となる。
【００６５】
また、上記実施形態では、教師データ補充の要否をユーザに判断させているが、例えば次のようにすることでユーザ判断を介在させることなく教師データを作成することも可能である。すなわち、教師データの必要数を予め定めておき、教示作業の結果、当該必要数に教師画像数が達しない分類カテゴリがあればそれを対象カテゴリとして、教師データ数が必要数以上になるまでデータ補充を行うようにしてもよい。
【００６６】
また、上記実施形態では、親となる教師データに対応する特徴量空間上の点を体心とする超立方体の頂点を新たな教師データに対応する点としているが、教師データの生成ルールはこれに限定されるものではない。例えば特徴量空間内の超球を仮定してもよいことは先に説明した通りであり、またこのような超立方体または超球の内部に新たな点を派生させるようにしてもよい。このように特徴量空間内において親からの距離が制限された位置に子を派生させることが、本発明の主たる技術思想である。
【００６７】
また、上記実施形態では対応していないが、事前学習処理において、ユーザが教示作業の内容を変更する場合がある。すなわち、各教師画像にいったん付与した欠陥種別の情報を、分類成績等を検証した結果としてユーザが事後的に変更することがある。このような場合、当該教師画像に基づき派生的に作成された教師データについても同様に、関連付けられた欠陥種別を変更することで、有効な教師データとして引き続き使用することが可能である。
【００６８】
また、上記実施形態は、欠陥検出装置２と欠陥分類装置３とを備える検査システム１であるが、欠陥検出機能とその分類機能とを一体化させた装置に対しても、本発明を適用することが可能である。また、撮像機能を備えず欠陥分類のみを専門的に行う装置であってもよい。また例えば、本発明にかかる教師データ作成方法を例えばパーソナルコンピュータなどの演算処理装置上のソフトウェアとして実現し、該演算処理装置が検査装置により取得される欠陥画像を教師画像として教師データを作成し、該教師データを検査装置に与えて検査装置で欠陥分類を行う構成としてもよい。
【００６９】
また、上記実施形態は半導体基板の欠陥を検査・分類する画像分類装置であるが、本発明の適用対象たる画像分類装置は、半導体基板を検査する装置だけでなく、他の対象物、例えばプリント基板やガラス基板等を検査する装置や、各種材料の表面状態を検査する表面検査装置であってもよい。
【００７０】
また、上記実施形態は、半導体基板等から欠陥を検出し分類する検査システムに本発明を適用し、欠陥種別に対応して分類カテゴリが規定されるものであるが、本発明が対象とする画像はこのような欠陥画像に限定されず、特徴量に基づいて評価される種々の画像を扱う技術全般に対して、本発明を適用することが可能である。
【産業上の利用可能性】
【００７１】
本発明は複数の特徴量によって表される画像を扱う技術に好適であり、特に、教師データに基づく機械学習を伴う技術分野に対して好適に適用することが可能である。
【符号の説明】
【００７２】
１  検査システム
２  欠陥検出装置（画像取得手段）
３  欠陥分類装置（画像分類装置）
３１  インターフェース（画像取得手段）
３２  欠陥分類部（分類手段、教師データ作成手段）
３４  特徴量算出部（特徴量算出手段、教師データ作成手段）
３５  入力受付部（受付手段）
Ｓ３０２  一次作成工程
Ｓ３０３  教示工程、一次作成工程
Ｓ３０９  二次作成工程
【図１】
2014178229.tif 000003
【図２】
2014178229.tif 000004
【図３】
2014178229.tif 000005
【図４】
2014178229.tif 000006
【図５】
2014178229.tif 000007
【図６】
2014178229.tif 000008
【図７】
2014178229.tif 000009