(57)【特許請求の範囲】
【請求項１】
特徴量に基づき画像を分類する画像の分類方法であって、
教師データとなる画像の複数種の特徴量に基づいて機械学習を行い、その結果から、分類結果に及ぼす影響の大きさを前記複数種の特徴量間で指標とする指標値を各特徴量ごとに求める学習工程と、
前記指標値に基づいて、前記複数種の特徴量の中から有効特徴量を選出する有効特徴量選出工程と、
選出された前記有効特徴量に基づき前記教師データの再学習を行う再学習工程と、
分類対象となる画像について、前記有効特徴量を算出する特徴量算出工程と、
前記再学習の結果および前記有効特徴量に基づき前記画像を分類する分類工程と
を備え、
前記有効特徴量選出工程では、前記複数種の特徴量のうち前記指標値の大きさが最上位のものから第Ｎ番目（Ｎは自然数）のものまでを前記有効特徴量として選出し、しかも、前記複数種の特徴量全ての前記指標値の総和に対する前記Ｎ個の有効特徴量それぞれの前記指標値の和の割合が、予め定められた規定割合となるようにする
ことを特徴とする、画像の分類方法。
【請求項２】
特徴量に基づき画像を分類する画像の分類方法であって、
教師データとなる画像の複数種の特徴量に基づいて機械学習を行い、その結果から、分類結果に及ぼす影響の大きさを前記複数種の特徴量間で指標とする指標値を各特徴量ごとに求める学習工程と、
前記指標値に基づいて、前記複数種の特徴量の中から前記有効特徴量を選出する有効特徴量選出工程と、
選出された前記有効特徴量に基づき前記教師データの再学習を行う再学習工程と、
分類対象となる画像について、前記有効特徴量を算出する特徴量算出工程と、
前記再学習の結果および前記有効特徴量に基づき前記画像を分類する分類工程と
を備え、
前記有効特徴量選出工程では、前記複数種の特徴量のうち前記指標値の大きさが最上位のものから順に当該特徴量に対応する前記指標値を累積加算し、該累積加算値が前記複数種の特徴量全ての前記指標値の総和に対して占める割合が予め定められた規定割合に達すると、それまで累積加算した前記指標値に対応する特徴量を前記有効特徴量とする
ことを特徴とする、画像の分類方法。
【請求項３】
前記学習工程では、前記複数種の特徴量についてのサポート・ベクタ・マシンに対応する最適化問題を解き、その最適解の値を前記指標値とする請求項１または２に記載の画像の分類方法。
【請求項４】
前記学習工程では、前記複数種の特徴量についてニューラルネットワークを構築し、当該ニューラルネットワークにおける各ニューロンの枝の重みに基づく値を前記指標値とする請求項１または２に記載の画像の分類方法。
【請求項５】
前記学習工程では、各ニューロンの枝の重みの絶対値の和を前記指標値とする請求項４に記載の画像の分類方法。
【請求項６】
前記規定割合が５０％である請求項１ないし５のいずれかに記載の画像の分類方法。
【請求項７】
検査対象物の外観を検査する外観検査方法において、
前記検査対象物の外観を撮像した画像を取得する画像取得工程と、
取得した前記画像を、請求項１ないし６のいずれかに記載の分類方法により分類する工程と
を備えることを特徴とする外観検査方法。
【請求項８】
検査対象物の外観を撮像した画像を取得する画像取得手段と、
取得した前記画像を、請求項１ないし６のいずれかに記載の分類方法により分類する分類手段と
を備えることを特徴とする外観検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば画像をその特徴量に基づいて分類する技術に関するものである。
【背景技術】
【０００２】
例えば画像をその内容に応じていくつかの分類グループに分類する方法として、分類対象となる画像から特徴量を算出し、該特徴量に基づき分類器による分類を行う方法が知られている。この技術においては、分類対象をどのような特徴量に基づいて分類するかが分類精度に大きく影響する。しかしながら、特徴量としては数多くのものが知られており、そのような多くの特徴量に基づく分類は処理時間の点で現実的でないことから、多くの特徴量の中から当該分類対象の分類に適合したものを選出するための技術が従来より提案されている。
【０００３】
例えば、特許文献１に記載の技術では、各特徴量の有意性を、ＳＶＭ（サポート・ベクタ・マシン）２次計画形式に対応する最小化問題を解くことにより定量的に求め、その値が予め定めた閾値よりも大きいものを有効な特徴量とし、有効とされた特徴量のみを用いて学習および分類を行うようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５２４６７５号公報（例えば、図４）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術においては、特徴量が有効であるか否かを区別する閾値をどのように設定するかが分類精度の上で重要となる。しかしながら、その設定の方法に関して特許文献１には具体的な記載がない。仮にこれを例えば経験に基づき人為的に設定するとしても、その設定の仕方により有効とされる特徴量の種類や数が変わってくることがあり、後の分類の結果の安定性に悪影響を及ぼすおそれが残されている。
【０００６】
この発明は上記課題に鑑みなされたものであり、特徴量に基づく分類技術において、分類に有効な特徴量のみを効率よく、かつばらつきなく選出し、こうして選出された有効特徴量を使用することにより、短い処理時間で安定した分類結果を得ることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の一の態様は、特徴量に基づき画像を分類する画像の分類方法であって、上記目的を達成するため、教師データとなる画像の複数種の特徴量に基づいて機械学習を行い、その結果から、分類結果に及ぼす影響の大きさを前記複数種の特徴量間で指標とする指標値を各特徴量ごとに求める学習工程と、前記指標値に基づいて、前記複数種の特徴量の中から有効特徴量を選出する有効特徴量選出工程と、選出された前記有効特徴量に基づき前記教師データの再学習を行う再学習工程と、分類対象となる画像について、前記有効特徴量を算出する特徴量算出工程と、前記再学習の結果および前記有効特徴量に基づき前記画像を分類する分類工程とを備え、前記有効特徴量選出工程では、前記複数種の特徴量のうち前記指標値の大きさが最上位のものから第Ｎ番目（Ｎは自然数）のものまでを前記有効特徴量として選出し、しかも、前記複数種の特徴量全ての前記指標値の総和に対する前記Ｎ個の有効特徴量それぞれの前記指標値の和の割合が、予め定められた規定割合となるようにすることを特徴としている。
【０００８】
また、この発明の他の態様は、特徴量に基づき画像を分類する画像の分類方法であって、教師データとなる画像の複数種の特徴量に基づいて機械学習を行い、その結果から、分類結果に及ぼす影響の大きさを前記複数種の特徴量間で指標とする指標値を各特徴量ごとに求める学習工程と、前記指標値に基づいて、前記複数種の特徴量の中から前記有効特徴量を選出する有効特徴量選出工程と、選出された前記有効特徴量に基づき前記教師データの再学習を行う再学習工程と、分類対象となる画像について、前記有効特徴量を算出する特徴量算出工程と、前記再学習の結果および前記有効特徴量に基づき前記画像を分類する分類工程とを備え、前記有効特徴量選出工程では、前記複数種の特徴量のうち前記指標値の大きさが最上位のものから順に当該特徴量に対応する前記指標値を累積加算し、該累積加算値が前記複数種の特徴量全ての前記指標値の総和に対して占める割合が予め定められた規定割合に達すると、それまで累積加算した前記指標値に対応する特徴量を前記有効特徴量とすることを特徴としている。
【０００９】
これらの発明では、教師データとなる画像を用いた機械学習の結果、分類結果に与える影響が大きいという結果が得られた特徴量が有効特徴量として選出される。しかも、有効特徴量とする特徴量の数や指標値の閾値を一義的に決めるのではなく、これらは機械学習によって得られる各特徴量ごとの有効性を表す指標値の値に応じて動的にかつ客観的に決定され、それに基づいて有効特徴量が選出される。そのため、選出される有効特徴量の数や種類についてのばらつきが生じない。したがって、本発明によれば、多くの特徴量の中から、分類に有効な特徴量を効率よく選出することができ、その結果にばらつきが生じない。そして、こうして選出された有効特徴量を用いて分類を行うことで、短い処理時間で安定した分類結果を得ることが可能となる。また、上記のようにして選出された有効特徴量に基づき教師データを用いて再学習を行い、該再学習結果に基づき分類を行うことで、分類対象となる画像の分類精度をより向上させることが可能である。
【００１０】
この発明において、学習工程では、例えば複数種の特徴量についてのＳＶＭ（サポート・ベクタ・マシン）に対応する最適化問題を解き、その最適解の値を指標値とすることができる。ＳＶＭの理論によれば、最適化問題の最適解の値が直接的に各特徴量の有効性を指標する値となることが知られており、これを本発明の「指標値」とすることで効率よく有効特徴量を選出することができる。
【００１１】
また、これに代えて、複数種の特徴量についてニューラルネットワークを構築し、当該ニューラルネットワークにおける各ニューロンの枝の重みに基づく値を指標値とするようにしてもよい。学習により構築されたニューラルネットワークでは、ある特徴量に対応するニューロンの枝の重みに基づく値、例えば枝の重みの絶対値の和が当該特徴量の有効性を表す指標値となる。これを本発明の「指標値」とすることによっても、有効特徴量を効率よく選出することが可能である。
【００１４】
また、この発明にかかる外観検査方法は、検査対象物の外観を検査する外観検査方法であって、上記目的を達成するため、前記検査対象物の外観を撮像した画像を取得する画像取得工程と、取得した前記画像を、上記した分類方法により分類する工程とを備えることを特徴としている。さらに、この発明にかかる外観検査装置は、上記目的を達成するため、検査対象物の外観を撮像した画像を取得する画像取得手段と、取得した前記画像を上記した分類方法により分類する分類手段とを備えることを特徴としている。これらの発明によれば、多くの特徴量の中から上記のようにばらつきのない選出方法で選出された有効特徴量に基づいて検査対象物の画像を分類することができるので、検査対象物の外観検査を短い処理時間で安定的に行うことができる。
【発明の効果】
【００１５】
この発明によれば、機械学習の結果に基づいて、分類に有効な有効特徴量を効率よく、かつばらつきなく客観的に求めることができるので、特徴量に基づく分類を短い処理時間で、しかも安定して行うことができる。
【図面の簡単な説明】
【００１６】
【図１】この発明にかかる外観検査装置の一実施形態としての検査システムの概略構成を示す図である。
【図２】この検査システムにおける自動欠陥分類処理を示すフローチャートである。
【図３】この実施形態における学習処理を示すフローチャートである。
【図４】この実施形態における有効特徴量の選出方法の基本概念を示す図である。
【図５】有効特徴量を選出するための処理の一例を示すフローチャートである。
【図６】ニューラルネットワークの一例を示す図である。
【図７】ＳＶＭを用いた場合の実験結果の一例を示す図である。
【図８】ニューラルネットワークを用いた場合の実験結果の一例を示す図である。
【発明を実施するための形態】
【００１７】
図１はこの発明にかかる外観検査装置の一実施形態としての検査システムの概略構成を示す図である。この検査システム１は、検査対象である半導体基板（以下「基板」という。）Ｓの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム１は、基板Ｓ上の検査対象領域を撮像する撮像装置２と、撮像装置２からの画像データに基づいて欠陥検査を行うとともに欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類（ＡＤＣ；automatic defect classification）する検査・分類機能および検査システム１の全体動作を制御する機能を有するホストコンピュータ５を有する。撮像装置２は基板Ｓの製造ラインに組み込まれ、検査システム１はいわゆるインライン型のシステムとなっている。
【００１８】
撮像装置２は、基板Ｓ上の検査対象領域を撮像することにより画像データを取得する撮像部２１、基板Ｓを保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動させるステージ駆動部２３を有し、撮像部２１は、照明光を出射する照明部２１１、基板Ｓに照明光を導くとともに基板Ｓからの光が入射する光学系２１２、および、光学系２１２により結像された基板Ｓの像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレールおよびモータにより構成され、ホストコンピュータ５に設けられた装置制御部５０１がステージ駆動部２３および撮像部２１を制御することにより、基板Ｓ上の検査対象領域が撮像される。
【００１９】
ホストコンピュータ５は、予め読み込まれた制御プログラムを実行することにより、図１に示す各機能ブロックをソフトウェアにより実現する。ホストコンピュータ５は、上記の装置制御部５０１のほか、欠陥検出部５０２、欠陥分類部（ＡＤＣ）５０３、有効特徴量特定部５０４、教示部５０５、特徴量算出器５０６などの各機能ブロックを備えている。さらに、ホストコンピュータ５は、各種データを記憶するための記憶装置５１０、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部５１１および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部５１２などを備えている。また、図示を省略しているが、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体から情報の読み取りを行う読取装置を有し、検査システム１の他の構成との間で信号を送受信する通信部が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００２０】
各機能ブロックの詳細については後に説明するが、ここでは各機能ブロックの機能について簡単に説明しておく。欠陥検出部５０２は、検査対象領域の画像データを処理しつつ、検査対象領域中の特異な領域を見出すことで欠陥検出を行う。欠陥検出部５０２が検査対象領域から欠陥を検出すると、欠陥の画像データや検査に利用された各種データが記憶装置５１０に一時的に保存される。
【００２１】
一方、欠陥分類部５０３は、検出された欠陥をＳＶＭ（サポート・ベクタ・マシン；Support Vector Machine）、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。教示部５０５は欠陥分類部５０３に上記アルゴリズムを機械学習させるための教示データを与える。特徴量算出器５０６は、検出された欠陥の画像データに基づいて、当該欠陥を特徴付ける特徴量を算出する。有効特徴量特定部５０４は、多くの特徴量のうち欠陥分類に適したいくつかの特徴量を有効特徴量として特定し、その情報を教示部５０５に与える。
【００２２】
図２はこの検査システムにおける自動欠陥分類処理を示すフローチャートである。この処理は本発明の「外観検査方法」の一実施形態であり、まず検査対象物の画像を取得する（ステップＳ１０１）。具体的には、撮像装置２が検査対象となる基板Ｓ表面を撮像する。そして、欠陥検出部５０２は撮像された画像について欠陥検出を行う（ステップＳ１０２）。以下では、欠陥を含むとみなされる画像を「欠陥画像」と称することとする。
【００２３】
欠陥画像が検出されると、欠陥検出部５０２は検査対象領域の画像（欠陥画像）や検査処理の際に求められたデータ（当該検査対象領域の座標情報、差分画像、参照画像等のデータ）を出力し、これらのデータは欠陥分類部５０３に送られるほか、記憶装置５１０にも書き込まれる。記憶装置５１０に記憶された画像データに基づいて、特徴量算出器５０６が当該欠陥画像の特徴量を算出する（ステップＳ１０３）。
【００２４】
続いて、検出された欠陥の自動分類が欠陥分類部５０３により行われる（ステップＳ１０４）。欠陥分類部５０３は、機械学習アルゴリズムを実行可能となっており、教示部５０５から与えられる教師データに基づいて予め行った学習結果に基づいて、欠陥画像の分類を行う。具体的には、特徴量算出器５０６により求められた欠陥画像の特徴量に基づいて、欠陥の特徴に応じて予め設定されている複数の分類カテゴリのいずれに当該欠陥画像が該当するかを決定する。なお、特徴量とは、画素値を所定の規則にて演算処理することにより得られる値を指し、特徴量の多くは、画像に何らかのフィルタを作用させることにより得られる。例えば、画像の平均輝度、テクスチャ情報、所定の条件を満たす領域の大きさ、抽出されるエッジの量等のように画像の何らかの特徴を示す指標値が特徴量とされる。複数の自己相関フィルタを用いた高次局所自己相関に基づく特徴量を用いてもよい。
【００２５】
分類の結果は適宜の表示方法により表示部５１２に表示され（ステップＳ１０５）、ユーザに提示される。検査システム１では、欠陥検出部５０２にて欠陥が検出される毎に図２のステップＳ１０３ないしＳ１０５に示す動作がリアルタイムにて行われ、欠陥を示す多量の画像の分類が高速に行われる。こうして検出された欠陥画像は対応する分類カテゴリに分類されてゆく。
【００２６】
次に、欠陥分類部５０３による学習処理について説明する。この実施形態では、図２の欠陥分類処理に先立って、欠陥分類部５０３等が以下に説明する学習処理を行う。学習処理では、欠陥の種類に対応する分類カテゴリごとの典型的な欠陥画像についてユーザから教示を受け、そのような欠陥画像の典型例を教師データとして学習を行うことによって、新たに検出された未知の欠陥画像をその特徴に基づいていくつかの分類カテゴリに分類することが可能となっている。
【００２７】
図３はこの実施形態における学習処理を示すフローチャートである。まず教師データとなる画像を取得する（ステップＳ２０１）。この画像は、撮像装置２によって例えばサンプル基板を撮像することで新たに取得してもよく、また欠陥画像の典型例としてライブラリ化された画像を外部装置から取り込むものであってもよい。そして、こうして取得した画像から欠陥部分を検出するとともに（ステップＳ２０２）、その画像データの特徴量を、特徴量算出器５０６により算出する（ステップＳ２０３）。この時点では、欠陥を的確に分類するためにどのような特徴量を用いるべきかが不明であるため、算出する特徴量としてはできるだけ種類が豊富であることが望ましい。
【００２８】
次に、欠陥画像を何通りの、またどのような分類カテゴリに分類するかをユーザに設定入力させ、教示部５０５はそれらに対応する分類カテゴリを作成する（ステップＳ２０４）。そして、検出された欠陥画像を順次表示部５１２に表示させて、表示された欠陥がどの分類カテゴリに分類されるべきものかについてのユーザの教示入力を受け付ける（ステップＳ２０５）。教示入力により各分類カテゴリごとに少なくとも１つの欠陥画像が指定されると、教示部５０５は、その教示入力結果と各欠陥画像の特徴量とを欠陥分類部５０３に与え、欠陥分類部５０３はこれらに基づく学習作業を行う（ステップＳ２０６）。この際の学習プロセスとしては、例えばＳＶＭ（Support Vector Machine）や判別分析法、ニューラルネットワークによるものなど、公知のものを適用することができる。こうして得られた学習データを符号Ｓ1により表す。
【００２９】
ここでの学習では多くの特徴量を用いているため分類の精度は高いが演算処理に時間を要する。そのため、このままリアルタイムでの欠陥分類に適用するには処理時間の点で問題がある。一方、学習作業の結果、それぞれの特徴量が分類結果にどの程度寄与しているのかが明らかになる。このことから、多くの特徴量のうち、分類結果に与える影響の大きいものを有効特徴量として選出し、以後の学習・分類処理はこの有効特徴量のみを用いて行う。こうすることで、演算に用いる特徴量の種類を少なくして処理時間を短縮することができる。
【００３０】
その一方で、使用する特徴量を削減することは分類精度の低下につながるおそれがあるので、分類精度を維持するためには、有効特徴量をどのようにして選出するかが重要である。この実施形態では次のようにしている。すなわち、学習作業の結果Ｓ1から各特徴量ごとの有効度を定量的に求め（ステップＳ２０７）、有効度の値Ｗに基づき有効特徴量を特定する（ステップＳ２０８）。具体的には、有効度の値Ｗが高いものが有効特徴量となるようにする。
【００３１】
図４はこの実施形態における有効特徴量の選出方法の基本概念を示す図である。図４に丸印で示すように、こうして得られた各特徴量に対応する有効度をその値Ｗの大きいものから順に並べた場合を考える。ここでは、ｍ個（ｍは自然数）の特徴量が学習に用いられたものとし、それらの特徴量に対し有効度Ｗが最も大きいものから順に符号Ｘ1，Ｘ2，…，Ｘｍを付すものとする。また、特徴量Ｘ1，Ｘ2，…，Ｘｍに対応する有効度の値Ｗをそれぞれ符号Ｗ1，Ｗ2，…，Ｗｍで表す。さらに、各特徴量の有効度Ｗの総和を符号Ｓｗで表す。すなわち、
Ｓｗ＝Ｗ1＋Ｗ2＋…＋Ｗｍ
である。
【００３２】
各特徴量Ｘ1，Ｘ2，…，Ｘｍの間では、有効度Ｗの値が大きい特徴量ほど当然に分類結果に与える影響が大きく、分類作業においては無視することができないものである。一方、有効度Ｗの小さな特徴量については分類結果に与える影響も小さく、これらを分類作業から除外しても分類精度の低下は小さいと考えられる。このような影響の小さい特徴量を除外し、影響の大きい、つまり有効度Ｗの大きい特徴力のみを用いて分類を行うようにすれば、特徴量の算出およびそれに基づく分類作業に要する処理時間を大きく短縮することが可能である。
【００３３】
したがって、有効度Ｗの大きい特徴量を有効特徴量として選出すればよいのであるが、ｍ個の特徴量のうちいくつを有効特徴量とするかが問題となる。前述の特許文献１に記載の技術思想では、有効度Ｗに閾値を定めて該閾値より有効度の大きい特徴量を有効特徴量とすることになる。しかしながら、閾値の定め方によって選出される有効特徴量の数は大きく変動し、しかも、それによる分類精度への影響は不明である。実際に、特許文献１には閾値をどのように定めるかについて明記されていない。
【００３４】
一方、この実施形態では次のようにして有効特徴量を選出する。上記のようにして得られた有効度Ｗの配列Ｗ1，Ｗ2，…，Ｗｍにおいて、その値の大きいものから順に有効度の値Ｗを累積加算してゆく。この累積加算値を符号Σｗで表す。図４に示すように、累積加算値Σｗが有効度の総和Ｓｗに対して規定の割合、例えば５０％に達する有効度の順位をｎとする。言い換えれば、有効度の値Ｗの大きさが最上位から第ｎ番目のものまで（図４では白丸印で示す）についてその値Ｗを累積加算したとき、その累積加算値Σｗ：
Σｗ＝Ｗ1＋Ｗ2＋…＋Ｗｎ
が、有効度の総和Ｓｗの５０％以上となっている。
【００３５】
このとき、有効度の値Ｗの大きさが最上位のものから第ｎ番目のものまでに対応する特徴量、すなわち特徴量Ｘ1，Ｘ2，…，Ｘｎを、当該分類のための有効特徴量とし、これ以降の特徴量（図４にハッチング付きの丸印で示す）については処理対象から除外する。詳しくは後述するが、こうすることにより、分類精度を低下させることなく、分類に使用する特徴量をｍ個からｎ個に削減することが可能となる。使用する特徴量の種類が削減されることにより、分類作業に要する処理時間を短縮することができる。
【００３６】
このように、この実施形態では、各特徴量の有効度Ｗを大きいものから順に累積加算し、その累積加算値Σｗが有効度の総和Ｓｗに対して占める割合が規定割合に達するまでに加算されたｎ個の有効度（Ｗ1，Ｗ2，…，Ｗｎ）に対応するｎ個の特徴量（Ｘ1，Ｘ2，…，Ｘｎ）を有効特徴量とする。そのため、有効特徴量とみなされる特徴量に対応する有効度の値や選出される有効特徴量の数は予め決まっておらず、これらは各特徴量が有する有効度の分布の程度によって動的に決まるものである。このように、各特徴量の有効度の分布状態に応じて有効特徴量が選出されるため、この実施形態では分類の精度を低下させることなく、分類に必要な特徴量の数を削減することができる。この原理に基づく有効特徴量の選出については、種々のアルゴリズムにより実現可能であるが、例えば以下のようなソフトウェア処理によって実現することができる。
【００３７】
図５は有効特徴量を選出するための処理の一例を示すフローチャートである。最初に、ｍ個の特徴量の有効度Ｗ（Ｗ1，Ｗ2，…，Ｗｍ）の総和Ｓｗを算出するとともに（ステップＳ３０１）、有効度の累積値Σｗをリセットして０にする（ステップＳ３０２）。次に、ｍ個の特徴量のうち、まだ以下の処理のために選出されていない未選出の特徴量の中から、特徴量に対応する有効度Ｗの値が最も大きいものを選出する（ステップＳ３０３）。第１回目の処理では当然に、最も大きな有効度Ｗ1を有する特徴量Ｘ1が選出されることになる。
【００３８】
こうして選出された特徴量に対応する有効度Ｗを累積加算してゆき（ステップＳ３０４）、累積加算値Σｗが有効度の総和Ｓｗの５０％以上となるまで（ステップＳ３０５）、特徴量の選出と有効度の累積加算を繰り返す。累積加算値Σｗが有効度の総和Ｓｗの５０％以上になれば、そのときまでに選出されている特徴量を有効特徴量とすることができる（ステップＳ３０６）。このように、有効特徴量を求めるに際しては、図４の原理図に示すような有効度に応じて特徴量を並べ替える工程を必須とするものではない。
【００３９】
ここで、欠陥分類部５０３の学習アルゴリズムがＳＶＭである場合、多数の特徴量についての最適化問題を解くと、その最適解がそのまま各特徴量の有効度Ｗを示す指標となる。したがって、この場合には最適解の値を用いて簡単に有効特徴量を選出することが可能である。一方、学習アルゴリズムが例えばニューラルネットワークを利用したものである場合には、有効度Ｗに相当する値を例えば次のようにして求めることができる。
【００４０】
図６はニューラルネットワークの一例を示す図である。特徴量Ｘ1，Ｘ2，Ｘ3に対して分類カテゴリＹ1，Ｙ2，Ｙ3が与えられて学習を行った結果、図５に示すニューラルネットワークが構築され、各枝の重み（Ｗ111〜Ｗ223）が与えられる。こうして得られた枝の重みのうち、入力層側の第１層における枝の重みの絶対値を各特徴量ごとに加算した値を、有効度を指標する値として用いることができる。例えば、特徴量Ｘ1に対しては、第１層の各枝の重みＷ111、Ｗ112の絶対値の和：
Ｗ1＝｜Ｗ111｜＋｜Ｗ112｜
を当該特徴量Ｘ1の有効度を示す値とすることができる。そして、図４または図５の手法を適用することにより、同様に有効特徴量を選出することができる。その他の学習アルゴリズムでも同様に、分類結果に対する各特徴量の影響の度合いを相対的にあるいは絶対的に、かつ定量的に示す適当な値を有効度を指標する値として使用することができる。
【００４１】
図３に戻って、こうしてｍ個の特徴量の中からｎ個の有効特徴量が特定されると、先に取得した欠陥画像について、特定されたｎ個の有効特徴量に基づいて再学習を行う（ステップＳ２０９）。このとき得られた学習データを符号Ｓ2により表す。学習データＳ2については記憶装置５１０に記憶しておき（ステップＳ２１０）、前述した自動欠陥分類処理（図２）において欠陥画像を分類（ステップＳ１０４）する際には、記憶装置５１０に記憶された学習データＳ2が用いられる。したがって、自動欠陥分類処理における特徴量の算出時（ステップＳ１０３）には、ｎ個の有効特徴量のみを算出すればよい。このため、特徴量の算出およびそれに基づく分類作業において使用される特徴量の数が少なくなっており、自動欠陥分類を短時間で効率よく行うことが可能となる。
【００４２】
次に、この実施形態において、有効特徴量を求める際の「規定割合」を５０％に設定した理由について説明する。本願発明者らは、多数の画像サンプルを収集し、それらについて種々の特徴量を算出するとともに、規定割合を多段階に変更設定しながら上記手法により有効特徴量を選出し、特徴量の削減効果および分類精度を検証する実験を行った。
【００４３】
サンプル画像としては、生物顕微鏡により撮像された生体の組織画像のセットと、半導体検査装置により撮像された欠陥画像のセットとの２種類を用いた。また、特徴量セットとしては、３×３マトリクスを用いた高次局所自己相関特徴量（Texture）、欠陥領域の面積、周囲長、円形度などの欠陥の構造を示す特徴量（Structure）、上記特徴量Textureの３×３マトリクスを用いた高次局所自己相関特徴量を回転等して同じになるものをマージした特徴量（Rotationally Symmetric Texture）、上記特徴量Textureの５×５マトリクスを用いた高次局所自己相関特徴量（Coarse Texture）、および、画像内のオブジェクトの平行移動や回転移動、スケール変化に影響を受けない量であるＨｕモーメントを特徴量として用意し、これらの中から画像内容に応じて適宜選択した特徴量を用いた。また、学習アルゴリズムとしてはＳＶＭ（線形カーネル法）および３層ニューラルネットワークの２種類を使用した。
【００４４】
実験では、用意したサンプル画像および特徴量セットを用いて図３に示す処理を実行することで有効特徴量を選出し、有効特徴量に基づく学習により得られた学習データＳ2からCross-Validationにより分類性能を予測するとともに、選出された有効特徴量の数から特徴量の削減効果を求めた。種々の画像データについて行った実験では概ね類似した結果が見られたので、以下では実験結果の一部の例のみを示す。
【００４５】
図７は学習アルゴリズムとしてＳＶＭを用いた場合の実験結果の一例を示す図である。また、図８は学習アルゴリズムとしてニューラルネットワークを用いた場合の実験結果の一例を示す図である。これらの図においては、有効特徴量選出後の分類性能および選出された有効特徴量の数を、特徴量の削減を行わない場合の分類性能および特徴量数を１としてそれぞれ正規化して表示している。
【００４６】
図７（ａ）および図８（ａ）に示すように、いずれの学習アルゴリズムにおいても、規定割合を２０％とした場合には分類性能のばらつきが大きくなってしまい、規定割合を５０％、８０％と大きくするにつれてばらつきは小さくなっている。この点においては、規定割合が大きいほど分類性能は良好であると言える。しかしながら、規定割合が５０％の場合と８０％の場合とでは、いずれも約１００％近い性能が得られており、分類性能およびそのばらつきに大きな差異はないと言うことができる。なお、分類性能が１を超える場合があるが、これは、使用する特徴量の数が増えると分類性能が低下する「次元の呪い」として知られるように、特徴量の削減を行わず全ての特徴量を用いることが必ずしも最良ではなく、影響の少ない特徴量を除外した方が却って分類性能が上がるケースがあることを示唆するものである。
【００４７】
一方、図７（ｂ）および図８（ｂ）に示す有効特徴量の数について見ると、規定割合を５０％とした場合、これを８０％とした場合に比べて有効特徴量の数をさらに半分程度まで削減することが可能となっている。このように、分類性能を維持しつつ、大きな特徴量数の削減効果を得るには、規定割合を５０％程度とすることが望ましい。実験条件を種々に変更して実験を行ったが、ほぼ同様の傾向が見られた。
【００４８】
以上より、この実施形態では規定割合を５０％として有効特徴量を算出することとしている。こうすることで、この実施形態では、実用上の分類性能を十分に維持しながら、分類に用いる特徴量の数を大きく削減することが可能となっている。そして、このようにして選出された有効特徴量を用いて分類を行うことにより、画像の分類を短時間で効率よく、しかも優れた分類精度で分類することができる。
【００４９】
以上説明したように、この実施形態では、図３のステップＳ２０６およびＳ２０７が本発明の「学習工程」に相当しており、ステップＳ２０８および図５の各ステップがいずれも本発明の「有効特徴量選出工程」に相当している。また、上記実施形態では、有効度Ｗ（Ｗ1，Ｗ2等）が本発明の「指標値」に相当している。また、上記実施形態の自動欠陥分類処理（図２）では、ステップＳ１０１、Ｓ１０３およびＳ１０４がそれぞれ本発明の「画像取得工程」、「特徴量算出工程」および「分類工程」に相当している。また、図１に示す検査システム１においては、撮像装置２が本発明の「画像取得手段」として機能する一方、欠陥分類部５０３が本発明の「分類手段」として機能している。
【００５０】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では学習アルゴリズムの例としてＳＶＭおよびニューラルネットワークを示しているが、学習アルゴリズムはこれらに限定されるものでなく、公知の各種のアルゴリズムを適用することが可能である。
【００５１】
また、上記実施形態では、ホストコンピュータ５上で実行される制御プログラムによりソフトウェア上で各機能ブロックを実現しているが、これらの機能ブロックの少なくとも一部を専用ハードウェアにより実現するようにしてもよい。
【００５２】
また、上記実施形態では、本発明における「規定割合」を５０％としているが、この数値に限定されるものではなく、分類対象となる画像の性質やシステムの処理能力に応じて、この値を適宜変更しても構わない。規定割合を小さくすると、特徴量の削減効果は大きいが分類性能が低くなる傾向がある。また、規定割合を大きくすると、特徴量の削減効果は小さくなるが、分類性能は高くなる。ただし、前記したように、特徴量の数を多くすることが必ずしも精度の向上にはつながらないため、特徴量数の削減効果と分類性能とのトレードオフを判断して規定割合を定めることが望ましい。
【００５３】
また、上記実施形態では、インライン型の検査システムに本発明を適用しているが、リアルタイムの検査機能と、欠陥分類部を学習させるための教示作業を行う機能とを分離させた、いわゆるオフライン型の分類装置にも本発明を適用することが可能である。また、上記検査システム１では「画像取得手段」としての撮像装置２を備えているが、撮像装置を備えず、外部装置や外部記録媒体から画像データを受信して分類を行う検査装置および検査方法にも本発明を適用することが可能である。この場合、外部装置から画像データを受信するインターフェース部やディスクドライブ等が本発明の「画像取得手段」として機能することになる。
【００５４】
また、上記実施形態は、半導体の表面外観に現れる欠陥を検査するための装置に本発明を適用しているが、本発明の適用対象はこれに限定されるものではなく、対象物の画像を処理して分類を行う種々の技術に本発明を適用することが可能である。例えば、患者の生体組織から取得した組織画像を画像処理して病理診断支援を行う技術分野にも、本発明を適用することができる。
【産業上の利用可能性】
【００５５】
この発明は、半導体基板やプリント配線基板などの各種基板の欠陥を検出し分類する技術や病理診断支援技術のような、画像をその特徴量に応じて分類する技術を応用する種々の技術分野に好適に適用することができる。
【符号の説明】
【００５６】
１  検査システム（外観検査装置）
２  撮像装置（画像取得手段）
５  ホストコンピュータ
５０３  欠陥分類部（分類手段）
Ｓ  基板
Ｓ１０１  画像取得工程
Ｓ１０３  特徴量算出工程
Ｓ１０４  分類工程
Ｓ２０６，Ｓ２０７  学習工程
Ｓ２０８  有効特徴量選出工程
Ｓｗ  （有効度の）総和
Σｗ  （有効度の）累積加算値
Ｗ  有効度（指標値）
【図１】
0005637373.tif 000002
【図２】
0005637373.tif 000003
【図３】
0005637373.tif 000004
【図４】
0005637373.tif 000005
【図５】
0005637373.tif 000006
【図６】
0005637373.tif 000007
【図７】
0005637373.tif 000008
【図８】
0005637373.tif 000009