(57)【要約】【課題】特徴量空間内における所定の基準位置の近傍にある画像を探索する近傍探索方法および類似画像の探索方法において、高度な演算能力を必要とせず特徴量空間における近傍探索または類似画像の探索を効率よく行うことのできる技術を提供する。【解決手段】１つの特徴量Ｘ1について、基準画像Ｉｓの値を含む所定範囲を当該特徴量Ｘ1における近傍範囲Ｒ1として該範囲内にある画像Ｉ1、Ｉ2を候補画像として選出する。他の特徴量Ｘ2についても基準画像Ｉｓの値を含む近傍範囲Ｒ2を設定し、該範囲内にある画像Ｉ1、Ｉ3を候補画像として選出する。それぞれの特徴量において共通して選出された候補画像Ｉ1を、基準画像Ｉｓの近傍画像として特定する。【選択図】図４
2014006613.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数の特徴量によって表し、該複数の特徴量をそれぞれ一の座標軸とする多次元の特徴量空間内で、所定の基準座標点の近傍に位置する画像を探索する近傍探索方法において、
一の前記座標軸について、当該座標軸に対応する特徴量の値が当該座標軸における前記基準座標点の値から予め定められた近傍範囲内にある画像を候補画像として選び出す抽出処理を、複数の前記座標軸を対象として実行する候補抽出工程と、
前記候補抽出工程の対象とした複数の前記座標軸の全てにおいて前記候補画像として選ばれた画像を、前記基準座標点の近傍画像として特定する近傍画像特定工程と
を備えることを特徴とする近傍探索方法。
【請求項２】
複数の前記画像から前記近傍画像を探索し、
一の前記座標軸について、前記複数の画像における当該座標軸に対応する特徴量の値の分布態様に応じて前記近傍範囲を設定する請求項１に記載の近傍探索方法。
【請求項３】
一の前記座標軸に対応する特徴量の、前記複数の画像間での最大値と最小値とを含む数値範囲を所定の分割数で複数に均等分割した区間の数値範囲を当該特徴量に対応する座標軸についての前記近傍範囲とする請求項２に記載の近傍探索方法。
【請求項４】
当該座標軸における座標値が前記基準座標点と同一の区間内にある画像を、前記候補画像とする請求項３に記載の近傍探索方法。
【請求項５】
当該座標軸における座標値が、前記基準座標点の座標値が属する区間を含む連続した複数区間のいずれかにある画像を、前記候補画像とする請求項３に記載の近傍探索方法。
【請求項６】
複数の画像から互いに類似する画像を探索する類似画像探索方法において、
前記複数の画像のうち一を基準画像として選択し、該基準画像を表す複数の特徴量をそれぞれ一の座標軸とする多次元の特徴量空間内において前記基準画像が位置する点を基準座標点として設定する基準設定工程と、
請求項１ないし５のいずれかに記載の近傍探索方法により、前記複数の画像のうち前記基準画像以外の画像から前記基準座標点の近傍画像を探索する近傍探索工程と、
前記基準座標点の前記近傍画像として特定された画像を、前記基準画像に類似する類似画像として特定する類似画像特定工程と
を備えることを特徴とする類似画像探索方法。
【請求項７】
前記複数の特徴量のうち、前記複数の画像間での最大値と最小値との差が、当該特徴量に対して予め設定された閾値よりも大きいものについて、当該特徴量に対応する座標軸を前記候補抽出工程の対象とする請求項６に記載の類似画像探索方法。
【請求項８】
前記基準設定工程に先立って、前記複数の画像のそれぞれについて前記複数の特徴量を算出するとともに、前記複数の特徴量ごとに、当該特徴量の値とその値を有する前記画像とを関連付けたテーブルを作成し、前記近傍探索工程では、前記テーブルに基づき前記近傍画像を探索する請求項６または７に記載の類似画像探索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を複数種の特徴量によって表したとき、特徴量空間内における所定位置を基準としてその近傍にある画像を探索する近傍探索方法、およびその原理を用いた類似画像探索方法に関するものである。
【背景技術】
【０００２】
例えば半導体やプリント基板等の製造技術分野では、製品に含まれる欠陥を検出しこれを分析・評価するために、評価対象物を顕微鏡等を介して撮像し、得られた画像について複数種の特徴量を算出して自動分類を行うことが研究されている。この種の分類技術においては、複数の画像から互いに類似したものを見つけ出すために、複数種の特徴量をそれぞれ座標軸とする特徴量空間内における近傍探索が行われる。すなわち、特徴量空間内において互いに近接した位置にある画像同士は多くの共通した特徴を有していると言えるから、１つの画像について特徴量空間内でその近傍に位置する画像を見出すことは、当該画像に類似する画像を抽出することに相当する。
【０００３】
このような近傍探索技術としては、例えば特許文献１に記載されたものがある。特許文献１に記載の技術においては、多次元の特徴量空間における２点間の距離をオクタゴン距離によって近似的に算出し、その値に基づいて近傍探索を行っている。この技術では、オクタゴン距離を用いることで、より厳密な距離であるユークリッド距離を算出する場合に必要となる高精度な（例えば倍精度浮動小数点演算のような）演算処理を回避している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０８６１２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術においても、２点間のオクタゴン距離を求めるには相当の演算量を要し、特に多次元の特徴量空間では次元数に応じて指数関数的に演算量が増加するため、特徴量の種類が多い、つまり特徴量空間の次元数が大きい場合や、距離算出の対象となる点の数が多い場合には、距離演算のための処理量が膨大なものとなる。このため、上記従来技術では、ハードウェアに演算精度は要求されないものの、高速処理が可能でなければ処理に長大な時間がかかってしまうという問題があった。
【０００６】
この発明は上記課題に鑑みなされたものであり、特徴量空間内における所定の基準位置の近傍にある画像を探索する近傍探索方法および類似画像の探索方法において、高度な演算能力を必要とせず特徴量空間における近傍探索または類似画像の探索を効率よく行うことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の第１の態様は、画像を複数の特徴量によって表し、該複数の特徴量をそれぞれ一の座標軸とする多次元の特徴量空間内で、所定の基準座標点の近傍に位置する画像を探索する近傍探索方法であって、上記目的を達成するため、一の前記座標軸について、当該座標軸に対応する特徴量の値が当該座標軸における前記基準座標点の値から予め定められた近傍範囲内にある画像を候補画像として選び出す抽出処理を、複数の前記座標軸を対象として実行する候補抽出工程と、前記候補抽出工程の対象とした複数の前記座標軸の全てにおいて前記候補画像として選ばれた画像を、前記基準座標点の近傍画像として特定する近傍画像特定工程とを備えることを特徴としている。
【０００８】
このように構成された発明では、画像を表す複数の特徴量のそれぞれについて、特徴量空間において当該特徴量に対応する座標軸のみに着目して、当該特徴量の値が基準座標点から近傍範囲内にある画像を当該座標軸における候補画像とする。このために必要な処理は、特徴量の算出および特徴量の種類ごとの単なるスカラー量の比較のみである。そして、特徴量ごとに選出された候補画像の中から、全ての特徴量において共通するものを探し出し、これを近傍画像とする。
【０００９】
複数の画像間での類似度合いを判断する方法として、特徴量空間内における各画像に対応する点間の距離を求める方法がこれまで一般的に行われており、例えばユークリッド距離、マンハッタン距離およびマハラノビス距離などがこの目的のために使用される。しかしながら、欠陥画像の特徴を表すための特徴量としては種々のものがあり、特徴量空間の次元が１００を超えるような場合もある。このように特徴量空間の次元が多くなると、複数の画像間で相互に上記距離を求めるための演算量は膨大なものとなり、例えば浮動小数点処理など高度な演算能力を有するプロセッサが必須となる。
【００１０】
一方、上記した本発明の処理では、一の特徴量における値同士の比較を特徴量の種類数だけ行うことにより、２つの欠陥画像間の類似度合いが判断される。このため、従来の方法に比べて演算量が大幅に削減され、また高度な演算能力も必要とされない。すなわち、この発明によれば、高度な演算能力を必要とすることなく、特徴量空間における近傍探索を効率よく行うことができる。この点から、本発明は、多くの画像の中から所定の特徴を有する画像を探索したり、互いに類似した特徴を有する画像を見つけ出すという目的に好適に適用することが可能である。
【００１１】
なお、本発明では候補抽出工程の対象である特徴量の全てにおいて候補画像として選ばれた画像を近傍画像とするが、画像を表す複数種の特徴量の全てにおいて候補抽出工程が実行されることは必須ではない。すなわち、多数の特徴量のうち目的に応じて選択した一部について候補抽出工程を実行し、それらの特徴量間で共通する候補画像を近傍画像とする態様も、本発明の概念に含まれる。
【００１２】
この発明において、複数の画像から近傍画像を探索する場合、例えば、一の座標軸について、複数の画像における当該座標軸に対応する特徴量の値の分布態様に応じて近傍範囲を設定するようにしてもよい。複数の画像において、ある１つの特徴量の値がどのような分布を示すかは、収集される画像の内容に依存し、予め予想することは困難である。また、実際の分布の態様を反映せずに設定された近傍範囲が用いられることで、近傍とされる範囲が不適切に判断されてしまうおそれがある。収集された画像における特徴量の値の分布態様に応じて近傍範囲を設定し近傍探索を行うことで、このような問題を未然に回避することができる。このように、近傍範囲を予め画一的に決めておくのではなく、複数画像における特徴量の値の分布に応じて定めることにより、実際の画像の内容に即した近傍探索が可能となる。
【００１３】
より具体的には、例えば、一の座標軸に対応する特徴量の、複数の画像間での最大値と最小値とを含む数値範囲を所定の分割数で複数に均等分割した区間の数値範囲を、当該特徴量に対応する座標軸についての近傍範囲とすることができる。このようにすると、特徴量の最大値から最小値までの分布範囲が複数の区間に均等に分割され、特徴量の値がどの区間にあるかの判断のみで、当該画像が候補画像とすべきものであるか否かを判定することができる。これにより処理はさらに簡略化される。
【００１４】
さらに例えば、当該座標軸における座標値が基準座標点と同一の区間内にある画像を候補画像とするようにしてもよい。こうすることで、基準座標点の座標値に近い特徴量の値を有する画像が候補画像として選出される。このとき、各画像がどの区間に属しているかのみの情報があれば足り、特徴量の値そのものを用いるまでもなく候補画像の選出が可能となるので、さらに処理は簡単なものとなる。
【００１５】
また例えば、当該座標軸における座標値が、基準座標点の座標値が属する区間を含む連続した複数区間のいずれかにある画像を候補画像とするようにしてもよい。候補画像を基準座標点と同一区間にある画像のみに限定した場合、各特徴量間で共通する候補画像を見出すことが難しくなる。特に高次元の特徴量空間においてはその傾向が強く、特徴量空間における位置が基準座標点と実質的にほぼ一致する画像以外は「近傍」と判断されなくなる場合がある。基準座標点の座標値が属する区間を含む複数区間に候補画像の範囲を広げることで、より画像の態様に応じた近傍探索を行うことが可能となる。
【００１６】
また、この発明の第２の態様は、複数の画像から互いに類似する画像を探索する類似画像探索方法であって、上記目的を達成するため、前記複数の画像のうち一を基準画像として選択し、該基準画像を表す複数の特徴量をそれぞれ一の座標軸とする多次元の特徴量空間内において前記基準画像が位置する点を基準座標点として設定する基準設定工程と、上記したいずれかの近傍探索方法により、前記複数の画像のうち前記基準画像以外の画像から前記基準座標点の近傍画像を探索する近傍探索工程と、前記基準座標点の前記近傍画像として特定された画像を、前記基準画像に類似する類似画像として特定する類似画像特定工程とを備えることを特徴としている。
【００１７】
このように構成された発明では、複数の画像のうち１つを基準画像としたとき、当該基準画像が特徴量空間において位置する点を基準座標点として上記した近傍探索方法により近傍画像が探索される。これにより、特徴量空間において基準画像の近傍にある、つまり基準画像に類似した画像が効率よく探索され、上記した近傍探索方法と同様、この場合にも高度な演算能力は必要とされない。
【００１８】
この発明において、例えば、複数の特徴量のうち、複数の画像間での最大値と最小値との差が、当該特徴量に対して予め設定された閾値よりも大きいものについて、当該特徴量に対応する座標軸を候補抽出工程の対象とするようにしてもよい。前記した通り、画像を表す特徴量の全てについて候補抽出工程を行うことは必須ではない。例えば各画像間で値の差がほとんどない特徴量については候補画像抽出工程を行うまでもなく各画像がいずれも候補画像となることは明らかである。このような特徴量について候補抽出工程を実行する意味はなく、むしろ結果に悪影響（例えば当該特徴量における微小な差のみで近傍であるか否かが判断されるなど）を及ぼす可能性がある。複数画像間である程度の値の差がある特徴量を候補抽出工程の対象とすることで、そのような問題を回避するとともに処理をより簡単にすることができる。
【００１９】
また、例えば基準設定工程に先立って、複数の画像のそれぞれについて複数の特徴量を算出するとともに、複数の特徴量ごとに、当該特徴量の値とその値を有する画像とを関連付けたテーブルを作成し、近傍探索工程では、テーブルに基づき近傍画像を探索するようにしてもよい。このように、それぞれの特徴量ごとにその値と画像とを関連付けたテーブルは、複数の画像のうちいずれが基準画像に選ばれた場合でも、当該基準画像の近傍画像を探索する上で有用なものとなる。というのは、当該基準画像における特徴量の値に近い値を有する他の画像を、テーブルを参照することで直ちに導出することができるからである。特に基準画像を順次変更しながら繰り返し探索処理を行う場合、全ての基準画像について同一のテーブルを参照することができるので、その効果は特に顕著となる。
【発明の効果】
【００２０】
この発明によれば、１つの特徴量ごとに近傍範囲にある候補画像を選出し、各特徴量において共通して候補画像とされた画像を基準座標点の近傍画像とすることで、高度な演算能力を必要とすることなく、特徴量空間における近傍探索を効率よく行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の処理対象である欠陥画像の概念を示す図である。
【図２】この実施形態における処理の流れの概略を示すフローチャートである。
【図３】特徴量空間における画像の分布の例を示す図である。
【図４】この実施形態における近傍の範囲を示す図である。
【図５】近傍画像を探索するための前処理を示すフローチャートである。
【図６】特徴量の値の正規化・量子化の概念を示す図である。
【図７】量子化された特徴量と画像番号とを関連付けたテーブルの例を示す図である。
【図８】欠陥画像のグループ化処理を示すフローチャートである。
【図９】この発明を好適に適用可能な検査システムの概略構成を示す図である。
【発明を実施するための形態】
【００２２】
以下、この発明の一実施形態である欠陥画像の提示方法について説明する。この実施形態は、複数の欠陥画像を自動学習アルゴリズムによりいくつかの欠陥カテゴリに分類する自動欠陥分類を行うに当たり、その前段階の処理として実行されるものである。より詳しくは、基板等の検査対象物を撮像して収集された複数の欠陥画像の中から典型的な欠陥を含み自動学習における教師画像となりうる典型画像を見つけ出すユーザの作業を支援するための処理である。多数収集された欠陥画像から互いに類似する画像同士をグループ化して提示するに際して、類似した特徴を有する画像同士を関連付けるための処理に対して、本発明の近傍探索方法および類似画像の探索方法が適用されている。本実施形態の具体的な説明に先立って、本実施形態および以下の説明の前提となっている概念について説明しておく。
【００２３】
図１は本実施形態の処理対象である欠陥画像の概念を示す図である。図１（ａ）に示すように、予め収集された欠陥画像群ＩＧに属する各欠陥画像（以下、単に「画像」と称する場合がある）に対しては、各画像を個々に区別するための識別符号として連番かつ一意の画像番号（１，２，…）が付される。以下の説明では、欠陥画像群ＩＧの画像総数をＰ（Ｐは２以上の自然数）とし、そのうちの任意の１つの画像を画像番号ｐ（ｐは自然数、１≦ｐ≦Ｐ）として表すものとする。
【００２４】
各画像に含まれる欠陥の特徴は、複数の特徴量により表現される。図１（ｂ）に示すように、本実施形態ではＮ種類（Ｎは２以上の自然数）の特徴量により欠陥の特徴が表され、これら各種の特徴量のそれぞれに大文字Ｘを用いた符号Ｘ1，Ｘ2，…，ＸNが付される。そのうちの任意の１つの特徴量は、符号Ｘn（ｎは自然数、１≦ｎ≦Ｎ）により表されるものとする。
【００２５】
画像番号ｐの欠陥画像に対応する特徴量の値は小文字ｘを用いて符号ｘpnにより表される。したがって、例えば画像番号１の欠陥画像に対応するＮ種類の特徴量の値は、それぞれ符号ｘ11，ｘ12，…，ｘ1Nにより表される。また、画像番号１，２，…，Ｎに対応する特徴量Ｘ1の値は、それぞれｘ11，ｘ21，…，ｘP1により表される。また、一の特徴量Ｘnに着目したとき、各欠陥画像に対応する当該特徴量の値ｘ1n，ｘ2n，…，ｘPnのうちの最大値が符号Ｍn、最小値が符号ｍnにより表される。
【００２６】
図２はこの実施形態における処理の流れの概略を示すフローチャートである。最初に、互いに異なる複数の欠陥画像が取得され（ステップＳ１０１）、それらの欠陥画像により欠陥画像群ＩＧが構成される。各欠陥画像は、検査対象である例えば半導体基板の外観に現れたピンホールや異物等の欠陥を含むものであり、同一基板の異なる位置で撮像された複数の画像や、互いに異なる基板において撮像された複数の画像などを多数収集して欠陥画像群ＩＧを構成することができる。
【００２７】
こうして取得された複数の欠陥画像の各々について、複数の特徴量Ｘ1，…，ＸNが算出される（ステップＳ１０２）。これにより、各々の欠陥画像に含まれる欠陥の特徴がＮ種類の特徴量により定量的に表される。複数の特徴量を座標軸とする多次元の特徴量空間を想定したとき、各欠陥画像をその特徴量の値を座標値とする座標点として特徴量空間内にプロットすることができる。欠陥画像に含まれる欠陥の特徴が類似した画像は、特徴量空間内で互いに近接した位置に位置づけられる。言い換えれば、特徴量空間内で互いに近接した位置にある複数の画像の欠陥の特徴（例えば形状、大きさ等）は類似しており、それらは同じタイプの起源に基づく欠陥である可能性が高いと推定することができる。
【００２８】
学習アルゴリズムを用いた自動欠陥分類を精度よく行うためには、収集された複数の欠陥画像の中から教師画像となる典型的な欠陥を含む画像（典型画像）を見つけ出す必要がある。同一の欠陥であってもその発現態様は微妙に異なっており、コンピュータによる画像処理等で自動的に典型画像を求める技術は確立されていない。そのため、典型画像の選定は熟練したユーザの経験に基づく判断に委ねられているのが現状である。このとき、ユーザは事前に何らの手がかりもなく多数の画像を隈なく精査して典型画像を選び出す必要があり、その作業負荷は非常に大きい。収集された画像から自動的に把握できる欠陥の傾向や相関性に関する情報がユーザに対して提供されると便宜である。
【００２９】
そこで、この実施形態では、特徴量空間内で互いに近接した位置にある画像同士が同一のグループとなるように各欠陥画像がグループ化される（ステップＳ１０３）。これにより、類似した特徴を有する画像が互いに関連付けられる。そして、こうして形成されたグループごとに、当該グループに属する画像からいくつかが典型画像の候補としてユーザに提示される。このとき、形成されたいくつかのグループの中では、大きなグループ、つまりそのグループに属する画像の数が多いものから優先的に順に提示される（ステップＳ１０４）。
【００３０】
提示される画像の数は任意であり、同一グループに属する画像全てであってもよく、またその一部でもよい。提示の態様としては、提示の対象とされた画像を例えばディスプレイ等の表示手段に表示する方法であってもよく、また例えば同一グループに属する欠陥画像の画像番号のリストを出力する方法であってもよい。また、グループの大きさを把握し得るような情報、例えばそのグループに属する欠陥画像の数に関する情報をさらに付加してもよい。
【００３１】
属する画像の数が大きいグループを優先的に提示する理由は以下の通りである。類似した特徴を有する画像を集めたグループが大きいほど、その特徴を有する欠陥が発生頻度の高い「典型的な」ものであることを意味している。したがって、教師画像に基づく学習アルゴリズムに際しては、当該グループに対応する典型画像が教師画像に含まれていることが望ましい。このため、大きなグループから優先的に画像の提示を行うようにしている。
【００３２】
このような提示がなされることにより、相互の関連付けが全くなされていない未整理の多数の欠陥画像の中から、互いに類似する特徴を有する画像のみが絞り込まれて提示されることになる。そのため、ユーザは提示されたそれらの画像の中からいくつかの典型画像を選ぶだけで済むこととなり、典型画像の指定におけるユーザの作業負荷は大幅に軽減される。すなわち、未整理の画像群から最終的に典型画像を選出するための作業の多くが自動的に、かつ客観的に行われる。なお、１つのグループに属する画像から選出される典型画像の数は任意であり、例えば同一グループ内の画像全て、あるいはそのうち明らかに起源の異なると見られるもののみを除外した全てを典型画像としてもよい。
【００３３】
また、ユーザは、互いに類似する欠陥画像についてはその全てをチェックする必要はなく、提示されたいくつかの画像から把握される特徴的な部分を見てその欠陥が典型的なものか否かを判断すればよい。一方で、類似する特徴を持つ画像の少ない特殊な欠陥を含む画像であっても小さいながらも１つのグループとして提示されることで、そのような特殊な欠陥についても見落とすことなく、典型画像とするか否かをユーザに判断させることができる。
【００３４】
また、ユーザの目視のみで典型画像を選出する場合、特徴量に基づき定量的に判断される画像の特徴と矛盾する指定がなされ、これに基づく学習が却って分類結果に混乱をもたらす可能性があり得る。しかしながら、この実施形態では類似する画像とそうでない画像とが予め仕分けられており、その情報を把握した上でユーザが典型画像を指定することができるため、このように定量的な判断と矛盾する指定がなされる可能性は極めて低くなっている。
【００３５】
次に、収集された多数の欠陥画像から互いに類似した特徴を有する画像のグループを見つけ出す方法について説明する。前述したように、一般的には、特徴量空間内において近接した位置にある複数の画像は互いに類似しているということができる。したがって、複数の画像について特徴量空間内における相互の距離を算出することで、画像間の類似度合いを推定することが可能である。このような類似度合いを表すパラメータとして、ユークリッド距離、マンハッタン距離、マハラノビス距離などが知られているが、高次元空間において多数の画像間で互いにこれらの距離を求めるための演算量は膨大である。また、高次元の特徴量空間では欠陥画像間の距離の比較がほとんど意味をなさない場合があることが「次元の呪い」として知られている。この実施形態では、多次元空間内での距離計算を伴わないためこのような問題が生じず、かつより簡便な方法で画像間の類似度合いを推定しており、その方法について次に説明する。
【００３６】
図３は特徴量空間における画像の分布の例を示す図である。ここでは、２種類の特徴量Ｘ1、Ｘ2による二次元の特徴量空間を例として説明するが、より高い次元の特徴量空間においても以下の考え方を拡張して適用することが可能である。一例として、特徴量Ｘ1、Ｘ2をそれぞれ座標軸とする二次元特徴量空間に、２０枚の欠陥画像（Ｐ＝２０）をその特徴量の値に応じてプロットした場合を考える。図３において、内部に数字を付した丸印は特徴量空間における各欠陥画像の位置を示し、数字はそれぞれの欠陥画像の画像番号を表している。
【００３７】
画像番号１〜２０の２０枚の画像は、特徴量Ｘ1、Ｘ2の値に応じて座標空間内の各位置に配置される。ここで、図３に破線で示したように、互いに近接位置にある画像同士をまとめてゆくことで、画像全体をいくつかのグループに分けることができる。例えば画像番号１，４，７，１３，１７，２０で表される一群の画像は互いに近接しており、全体として１つの塊（クラスタ）を構成している。１つの欠陥画像を基準画像として、その近傍にある他の欠陥画像を基準画像と同じグループに含ませるとともに、該他の欠陥画像に対し近傍位置にあるさらに別の欠陥画像についても、基準画像と同じグループとする。なお、他の画像からの距離が遠い孤立した画像（例えば画像番号８）については、当該孤立画像を唯一の構成要素とする１つのグループとみなせばよい。
【００３８】
図４はこの実施形態における近傍の範囲を示す図である。この実施形態の考え方では、１つの欠陥画像を基準画像Ｉｓとしたとき、特徴量空間における当該基準画像の位置を中心として、特徴量Ｘ1に対応する座標軸において適宜に定めた近傍範囲Ｒ1、特徴量Ｘ2に対応する座標軸において適宜に定めた近傍範囲Ｒ2の範囲内にある画像を探索し、そのような画像があればそれを当該基準画像に近接する近傍画像と判定する。
【００３９】
この例では、基準画像Ｉｓに対し特徴量Ｘ1に対応する座標軸において近傍範囲Ｒ1内にある画像としてはそれぞれ符号Ｉ1、Ｉ2で示される画像があるが、このうち特徴量Ｘ2に対応する座標軸においても近傍範囲Ｒ2内にある画像Ｉ1が基準画像の近傍画像とされる。画像Ｉ2は特徴量Ｘ2に対応する座標軸において範囲外であるため、近傍とはみなされない。一方、画像Ｉ3は特徴量Ｘ2に対応する座標軸においては近傍範囲Ｒ2内にあるが、特徴量Ｘ1に対応する座標軸において範囲外であるため、やはり近傍とはみなされない。両座標軸のいずれにおいても範囲外である画像Ｉ4は当然に近傍ではないとされる。
【００４０】
このような基準に基づく判定は、上記したユークリッド距離等に基づく判定ほど厳密なものではないとも言えるが、各座標軸ごとの独立した演算の繰り返しにより判定を行うことができ、次元数が増加したときに指数関数的に演算量が増大する上記の距離計算に比べ、演算量がさほど大きくならないという利点がある。また、ここでの判定の目的は、一応関連があるとみられる画像をグループ化して提示することでユーザの判断を支援するというものであり、そのための近傍画像の探索という目的においては上記判定方法は必要十分な精度を得ることができるものである。すなわち、ここでは処理量の少なさの利点が演算の正確さよりも優先される。
【００４１】
図５は近傍画像を探索するための前処理を示すフローチャートである。この処理は、多数の欠陥画像間で相互の近傍関係をスムーズに探索するために、各欠陥画像の特徴量の値の関係を特徴量の種類ごとに予め整理しておく処理である。この処理は、図２に示した処理のうちステップＳ１０１およびＳ１０２と、ステップＳ１０３の一部とに相当する。複数の欠陥画像が取得されると（ステップＳ２０１）、各欠陥画像を識別するための符号として連番の画像番号が付与される（ステップＳ２０２）。そして、各欠陥画像について、Ｎ種類の特徴量がそれぞれ算出される（ステップＳ２０３）。
【００４２】
次いで、Ｎ種類から１つの特徴量Ｘnが選択され、当該特徴量の値ｘ1n，ｘ2n，…，ｘPnの大小関係に基づき各欠陥画像が配列される。ここでは例えば昇順に配列されるものとする（ステップＳ２０５）。画像の配列において、実際の欠陥画像を並べる必要はなく、特徴量の値の順に配列された画像番号の列が得られればよい。
【００４３】
そして、これらの特徴量の最大値Ｍnと最小値ｍnとの差分が求められる（ステップＳ２０６）。この差分が所定の閾値ａと比較され（ステップＳ２０７）、閾値ａを超えていれば次のステップＳ２０８〜Ｓ２１１が実行される一方、閾値以下ならこれらの各ステップはスキップされる。
【００４４】
ステップＳ２０８〜Ｓ２１１では、各欠陥画像間での特徴量の値の比較を容易にするために、特徴量の値を正規化・量子化するとともに、その値と画像番号とを関連付けたテーブルを作成する。ただし、特徴量の最大値Ｍnと最小値ｍnとの差分が閾値以下であるとき、当該特徴量については各画像間で有意な差がないとみなし、そのような作業を省略する。閾値ａとしては、例えば倍精度浮動小数点型で表現し得る最小正数の１０００倍の値とすることができる。最大値Ｍnと最小値ｍnとの差がこのように定められた閾値ａ以下であるとき、各欠陥画像間での値の差はさらに微小なものとなり、当該特徴量に対応する座標軸に関しては各画像間で比較するまでもなくそれらが極めて近接しているとみなせるからである。このように結果にほとんど影響のない特徴量を除外することで、実質的な次元数が元のＮ次元よりも小さくなり、演算量をさらに低減することができる。
【００４５】
ステップＳ２０８では、特徴量の値の昇順配列において隣接する画像間相互での特徴量の値の差δを求め、それらの値δを累積加算してデータ数で割ることにより、差分の平均値Δnを算出する。これにより特徴量の値の広がりの範囲を求める。このとき、値δが所定の閾値ｂnよりも小さいときは、隣接する画像間での特徴量の差が実質的にゼロであるとして累積加算から除外し、データ数からも除外する。閾値ｂnについては、例えば（Ｍn−ｍn）／１０００とすることができる。このようにすることで、次に行う特徴量の量子化において、画像間での特徴量の値のばらつきの態様に応じて、不必要に細かいステップとならない適切な量子化ステップを適用することが可能となる。
【００４６】
ステップＳ２０９では、当該特徴量Ｘnに対応する座標軸における量子化分割数Ｋnを求める。量子化分割数Ｋnについては次式：
Ｍn≦Ｋn・Δn
の関係を満たすような最小の整数とすることができる。さらに、ステップＳ２１０において、こうして定められた量子化分割数に基づき、個々の欠陥画像における特徴量Ｘnの値ｘpnが次式：
ｙpn＝Int｛（ｘpn−ｍn）／Δn＋０．５｝
により正規化・量子化される。ここで、Int｛ｘ｝は、変数ｘの整数部分を値として返す関数である。また、０．５を加えて整数化するのは、小数点以下を四捨五入するためである。
【００４７】
これにより、当該特徴量Ｘnに対応する座標軸において最小値ｍnから最大値Ｍnまでの範囲に分布する各欠陥画像の特徴量の値ｘpnは、１〜Ｋnまでの離散的な値を取る正規化・量子化された値ｙpnに変換される。これにより、画像間における特徴量の値の微小な差異に関する情報は失われることになるが、この情報は本実施形態のような用途においては必要のないものであり、結果にはほとんど影響しない。そして、こうして量子化された特徴量の値ｙpnとその値を取る欠陥画像の画像番号とを関連付けたテーブルを作成する（ステップＳ２１１）。
【００４８】
このような処理を、特徴量の全種について行う（ステップＳ２１２）。すなわち、選択する特徴量を順次変更しながら、上記した特徴量の値の正規化・量子化およびこれに基づくテーブルの作成を行う。なお、ステップＳ２０７において一部の特徴量が除外される可能性があるため、テーブルはＮ種の特徴量の全てについて作成されるとは限らない。以下ではテーブルが作成された特徴量の数をＮ’（≦Ｎ）によって表す。
【００４９】
図６は特徴量の値の正規化・量子化の概念を示す図である。また、図７は量子化された特徴量と画像番号とを関連付けたテーブルの例を示す図である。これらの図およびその説明における欠陥画像群としては、図３に示したものと同じものを用いる。二次元の特徴量空間において特徴量の値を量子化するとは、特徴量空間において各画像を表す座標点の位置を、図６に破線で示すように等間隔に設けた格子点のうち最も近いものの位置に移動させることに相当する。また、特徴量の値を正規化するとは、１つの座標軸において、量子化された特徴量の最小値が１、最大値がＫnとなるように座標軸をスケーリングすることに相当している。なお、図６の例では、特徴量Ｘ1（ｎ＝１）に対応する横軸において量子化分割数Ｋn（すなわちＫ1）が９、特徴量Ｘ2（ｎ＝２）に対応する縦軸において量子化分割数Ｋn（すなわちＫ2）を１０となっているが、これらは一例を示したものにずぎず、量子化分割数は、上記した通り各座標軸における特徴量の値の分布に応じて定まるものである。
【００５０】
画像番号１〜２０の各欠陥画像が、上記のような正規化・量子化の結果、特徴量空間のどこに位置づけられたかを各特徴量ごとに示すのが、図７に例示するテーブルである。図７（ａ）は特徴量Ｘ1についてのテーブル、図７（ｂ）は特徴量Ｘ2についてのテーブルである。図において「区画番号」は正規化・量子化された特徴量の値と同義であり、「区画に該当する画像番号」は正規化・量子化の結果として特徴量の値が区画番号と同じになる欠陥画像の画像番号を意味している。例えば図７（ａ）を見ると、特徴量Ｘ1に対応する座標軸において正規化・量子化された特徴量の値が１となるのは、画像番号４，７，１０の３つであることが示されている。
【００５１】
このように、それぞれの特徴量について、特徴量の値と画像番号とを関連付けたテーブルを作成しておけば、基準画像として１つの画像番号が指定されたとき、当該基準画像と特徴量の値が近い他の欠陥画像の画像番号を直ちにテーブルから読み出すことが可能である。
【００５２】
具体的には、このテーブルを次のように利用する。例えば画像番号１で表される欠陥画像を基準画像として、特徴量空間においてその近傍にある近傍画像を探索する場合を考える。基準画像に対応する画像番号として例えば画像番号１が指定されると、特徴量の値が基準画像の値に対して近傍範囲にあるものが候補画像として各テーブルから特定される。ここでは、基準画像と同一区画およびそれに隣接する区画までを近傍範囲とする。そうすると、特徴量Ｘ1については、図７（ａ）から明らかなように、画像番号１と同一区画（区画番号２）に属しているのは、画像番号１，１１，１３，１８，２０の５つ、隣接する区画（区画番号１および３）に属しているのは４，７，１０，１４，１７の計５つである。すなわち、特徴量Ｘ1についての候補画像は、画像番号１，４，７，１０，１３，１４，１７，１８，２０でそれぞれ特定される画像である。
【００５３】
一方、特徴量Ｘ2については、図７（ｂ）からわかるように、基準画像と同じ区画番号２に属するのは画像番号１，７，１６であり、隣接する区画番号１および３に属するのは区画番号４，１３，１７，２０である。したがって、特徴量Ｘ2についての候補画像は、画像番号１，４，７，１３，１６，１７，２０でそれぞれ特定される画像である。
【００５４】
特徴量空間内で近傍にある画像とは、全ての座標軸（特徴量）において基準画像の近傍範囲にある画像である。したがって、特徴量Ｘ1、Ｘ2それぞれでの候補画像の積集合を取り、そこから基準画像自体を除外した画像番号４，７，１３，１７，２０で表される画像が、基準画像（画像番号１）に対応する近傍画像であると言うことができる。なお、この場合の特徴量空間は、元のＮ次元空間から最大値Ｍnと最小値ｍnとの差が小さいと判断された（図５のステップＳ２０７）座標軸を除いたＮ’次元空間である。この原理を用いて、この実施形態では以下のようにして欠陥画像のグループ化を行う。
【００５５】
図８は欠陥画像のグループ化処理を示すフローチャートである。この処理は、図２のステップＳ１０３に相当するものである。最初に、収集されている複数の欠陥画像の中からまだグループ化されていない欠陥画像を選び出し、これを基準画像に指定する（ステップＳ３０１）。この基準画像に対して、グループを識別するための適宜のグループラベルを付与する（ステップＳ３０２）。異なるグループに同一のラベルを与えることのないよう、このときのグループラベルは既存のグループに割り当てられていない新たなものとする。
【００５６】
次に、基準画像に対する近傍画像の探索を行う。すなわち、上記原理に基づき、先に作成されたＮ’面のテーブルを参照して、各特徴量においてその値が基準画像の値に対して近傍範囲にあるものを候補画像として抽出する（ステップＳ３０３）。そして、Ｎ’面の全てのテーブルにおいて候補画像として抽出されたものを特定し（ステップＳ３０４）、それらから基準画像自体を除外したものを、当該基準画像に対応する近傍画像として特定する（ステップＳ３０５）。こうして特定された近傍画像の各々のうちグループラベルが未付与のものに対し、基準画像と同一のグループラベルを付与する（ステップＳ３０６）。これにより、基準画像とその近傍画像とが同一のグループとして関連付けられる。
【００５７】
本実施形態の趣旨によれば、近傍画像の近傍にある画像に対しても、たとえその画像が基準画像から近傍範囲を超えて離れたものであっても、基準画像と同一のグループラベルが与えられる必要がある。そこで、基準画像の近傍画像に対する近傍画像の探索とラベル付与とを引き続いて行う。具体的には、上記で得られた基準画像に対する近傍画像の画像番号をスタックに追加し（ステップＳ３０７）、それらの画像を順次新たな基準画像に指定しながら（ステップＳ３０９）、当該画像に対する近傍画像の探索および見つかった近傍画像へのグループラベル付与を行う（ステップＳ３０３〜Ｓ３０６）。新たな近傍画像が見つかれば演算プロセッサのスタックに追加する（ステップＳ３０７）。これをスタックが空になるまで繰り返すことで（ステップＳ３０８）、最初の基準画像を起点として互いの近傍画像を介した画像間の関連付けが次々と周囲に広がり、それらに同じグループラベルが割り当てられてゆく。
【００５８】
スタックが空になると、当該グループの近傍にはもはや他の画像は残っていないことになる。つまり当該グループの広がりは収束する。そこでステップＳ３０１に戻り（ステップＳ３１０）、まだグループ化されていない画像を新たな基準画像として上記処理を繰り返す。このとき、先のグループラベルとは異なるラベルが付与される。全ての欠陥画像にいずれかのグループラベルが与えられるまで、上記処理を繰り返して実行する。こうして全ての画像がグループ化される。グループ化の結果をユーザに提示する方法については先に説明した通りである。
【００５９】
上記の例では、正規化および量子化された特徴量の値において基準画像と同一区画またはこれに隣接する区画までを「近傍範囲」として説明した。この近傍範囲の設定の仕方により、グループ化の結果は当然に異なる。すなわち、近傍範囲を広くすると、比較的差異の大きな画像まで同じグループにグループ分けされることになる。逆に近傍範囲を狭くすると、僅かな特徴の差異であっても別のグループとして扱われることとなる。特に高次元の特徴量空間では、外観上の小さな差異が特徴量空間では大きな距離となって各画像が孤立してしまう傾向がある。欠陥画像の数や特徴量の分布によって様々ではあるが、本願発明者の知見によれば、Ｋn＝１００程度の欠陥画像群においては、基準画像と同一区画を基準として±１０〜±５０区画程度を近傍範囲に含めたとき好結果が得られている。
【００６０】
図９はこの発明を好適に適用可能な検査システムの概略構成を示す図である。この検査システム１は、検査対象である半導体基板Ｓの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム１は、基板Ｓ上の検査対象領域を撮像する撮像装置２と、撮像装置２からの画像データに基づいて欠陥検査を行うとともに欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類（ＡＤＣ；automatic defect classification）する検査・分類機能および検査システム１の全体動作を制御する機能を有する制御部としてのホストコンピュータ５を有する。撮像装置２は基板Ｓの製造ラインに組み込まれ、検査システム１はいわゆるインライン型のシステムとなっている。
【００６１】
撮像装置２は、基板Ｓ上の検査対象領域を撮像することにより画像データを取得する撮像部２１、基板Ｓを保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動させるステージ駆動部２３を有し、撮像部２１は、照明光を出射する照明部２１１、基板Ｓに照明光を導くとともに基板Ｓからの光が入射する光学系２１２、および、光学系２１２により結像された基板Ｓの像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレールおよびモータにより構成され、ホストコンピュータ５に設けられた装置制御部５０１がステージ駆動部２３および撮像部２１を制御することにより、基板Ｓ上の検査対象領域が撮像される。
【００６２】
ホストコンピュータ５は、予め読み込まれた制御プログラムを実行することにより、図１に示す各機能ブロックをソフトウェアにより実現する。ホストコンピュータ５は、上記の装置制御部５０１のほか、欠陥検出部５０２、欠陥分類部（ＡＤＣ）５０３、特徴量算出部５０４、教示部５０５、判定部５０６、演算部５０７などの各機能ブロックを備えている。さらに、ホストコンピュータ５は、各種データを記憶するための記憶部５１０、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部５１１および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部５１２などを備えている。また、図示を省略しているが、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体から情報の読み取りを行う読取装置を有し、検査システム１の他の構成との間で信号を送受信する通信部が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００６３】
欠陥検出部５０２は、検査対象領域の画像データを処理しつつ、検査対象領域中の特異な領域を見出すことで欠陥検出を行う。欠陥検出部５０２が検査対象領域から欠陥を検出すると、欠陥の画像データや検査に利用された各種データが記憶装置５１０に一時的に保存される。
【００６４】
一方、欠陥分類部５０３は、検出された欠陥をＳＶＭ（サポート・ベクタ・マシン；Support Vector Machine）、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。特徴量算出部５０４は、検出された欠陥の画像データに基づいて、当該欠陥を特徴付ける特徴量を算出する。教示部５０５は欠陥分類部５０３に上記アルゴリズムを機械学習させるための教示データを与える。
【００６５】
判定部５０６および演算部５０７はそれぞれ、欠陥分類部５０３によって分類された分類結果の妥当性を示す確度を算出するための処理を行う。具体的には、判定部５０６は欠陥画像の各特徴量の値が各分類カテゴリに適合するものであるか否かの判定を行う。また演算部５０７は判定部５０６の判定結果に基づき確度を算出する。
【００６６】
このように構成された検査システムに対し、本発明を好適に適用することが可能である。すなわち、撮像装置２により撮像された多数の欠陥画像のうちいくつかを典型画像として欠陥分類部５０３が機械学習を行う際、ユーザが欠陥画像の中から典型画像を見つけ出す作業を支援するのに本発明を用いることができる。グループ化により得られた典型画像の候補については、ホストコンピュータ５の表示部５１２への表示によってユーザに提示することができる。ユーザにより典型画像が指定されると、その情報に基づき教示部５０５が教示データを作成し欠陥分類部５０３に与えることになる。
【００６７】
以上のように、この実施形態では、互いに類似した特徴を有する複数の欠陥画像を見出すのに際して、一の欠陥画像を基準画像としたとき特徴量空間内で当該基準画像の近傍位置にある画像を探索するという方法を採っている。そして、近傍画像の探索は、特徴量空間内における距離計算によるのではなく、特徴量空間を構成する座標軸（すなわち各特徴量）の１つ１つについて基準画像から近傍範囲にある画像を候補画像として選出し、各特徴量に共通する候補画像を近傍画像とする方法によっている。
【００６８】
このような探索方法によれば、１つの特徴量における数値の比較のみで当該特徴量における候補画像を選出することが可能であり、各特徴量での候補画像から共通のものを抽出することにより、近傍画像が特定される。このため、特徴量空間内での距離計算を伴う従来の探索方法に比べて処理量が大幅に軽減され、また高度な演算処理能力が必要とされない。この利点は、特に特徴量空間の次元数が大きい場合や収集される画像の数が多い場合に顕著なものとなる。
【００６９】
以上説明したように、この実施形態においては、図８のステップＳ３０３が本発明にかかる近傍探索方法における「候補抽出工程」に相当する一方、ステップＳ３０４が「近傍画像特定工程」に相当している。また、これらが本発明にかかる類似画像探索方法における「近傍探索工程」に相当しており、ステップＳ３０１が「基準設定工程」に相当している。また、ステップＳ３０５が「類似画像特定工程」に相当している。
【００７０】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では欠陥画像の各特徴量の値を正規化・量子化した上で基準画像に対する近傍画像の探索を行っているが、これらは演算上の便宜のためであって、特徴量の値を正規化または量子化することは本発明において必須の要件ではない。またこれらの処理のうち一方のみが実行されてもよい。
【００７１】
したがって例えば、各特徴量について、複数の欠陥画像の間での当該特徴量の値の最小値から最大値までを含む範囲を均等に複数の区間に分割し、各画像の特徴量の値がそれらのうちのどの区間に該当するかという観点で図７のようなテーブルを作成しても、同様の効果が得られる。
【００７２】
また、上記実施形態は半導体基板の欠陥を検査・分類する画像分類装置であるが、本発明の適用対象たる画像分類装置は、半導体基板を検査する装置だけでなく、他の対象物、例えばプリント基板やガラス基板等を検査する装置や、各種材料の表面状態を検査する表面検査装置であってもよい。
【００７３】
また、上記実施形態は、半導体基板等における欠陥画像から互いに類似する特徴を有する画像を選び出す装置に本発明を適用したものであるが、本発明が対象とする画像はこのような欠陥画像に限定されず、特徴量に基づいて評価される種々の画像を扱う技術全般に対して、本発明を適用することが可能である。
【産業上の利用可能性】
【００７４】
本発明は複数の特徴量によって表される画像を扱う技術に好適であり、特に、多くの画像の中から所定の特徴を有する画像を探索したり、互いに類似した特徴を有する画像を見つけ出すという目的に好適に適用することが可能である。
【符号の説明】
【００７５】
１  検査システム
２  撮像装置
５０３  欠陥分類部
５０４  特徴量算出部
５０５  教示部
５０６  判定部
５０７  演算部
５１２  表示部
Ｓ３０１  基準設定工程
Ｓ３０３  候補抽出工程、近傍探索工程
Ｓ３０４  近傍画像特定工程、近傍探索工程
Ｓ３０５  類似画像特定工程
【図１】
2014006613.tif 000003
【図２】
2014006613.tif 000004
【図３】
2014006613.tif 000005
【図４】
2014006613.tif 000006
【図５】
2014006613.tif 000007
【図６】
2014006613.tif 000008
【図７】
2014006613.tif 000009
【図８】
2014006613.tif 000010
【図９】
2014006613.tif 000011