(57)【要約】【課題】  サンプル画像とターゲット画像とを比較し、画素単位でターゲット画像の欠陥を検出する方法において、特にパターンのエッジ部における欠陥を正しく判別する。【解決手段】  サンプル画像とターゲット画像とを比較し、画素単位でターゲット画像の欠陥を検出する方法において、濃度値などの特徴量からなる特徴ベクトルを画素毎に抽出し、予め求めておいた正常クラスと異常クラスの識別境界線または面に対する特徴ベクトルの位置関係を画素毎に判別し、特徴ベクトルが異常クラスにある場合に欠陥画素とする。【選択図】図２
2008139074.tif 000002
【特許請求の範囲】
【請求項１】
サンプル画像とターゲット画像とを比較し、画素単位でターゲット画像の欠陥を検出する方法において、濃度値などの特徴量からなる特徴ベクトルを画素毎に抽出し、予め求めておいた正常クラスと異常クラスの識別境界線または面に対する特徴ベクトルの位置関係を画素毎に判別し、特徴ベクトルが異常クラスにある場合に欠陥画素とすることを特徴とする画像の欠陥検出方法。
【請求項２】
複数のサンプル画像を用いて、各画像の画素毎に特徴ベクトルを求め、学習により正常クラスと異常クラスの識別境界線または面を画素毎に予め求めておくことを特徴とする請求項１記載の画像の欠陥検出方法。
【請求項３】
ターゲット画像と複数のサンプル画像の位置を予め位置合わせしておくことを特徴とする請求項１記載の画像の欠陥検出方法。
【請求項４】
画素毎の、正常クラスと異常クラスの識別境界線または面が等確率楕円または等確率楕円体であることを特徴とする請求項2記載の画像の欠陥検出方法。
【請求項５】
複数のサンプル画像が、検査対象物の製造工程より無作為に抽出されたサンプルの画像であることを特徴とする請求項2記載の画像の欠陥検出方法。
【請求項６】
各特徴量の平均、分散、および各特徴量間の共分散をサンプル画像が増える毎に更新し、記憶しておくことにより、学習終了後にこれらの計算値を用いて識別境界線または面を計算することを特徴とする請求項2記載の画像の欠陥検出方法。
【請求項７】
サンプル画像、ターゲット画像がともにカラー画像で、特徴ベクトルがr（赤色）濃度値、g（緑色）濃度値、b（青色）濃度値であることを特徴とする請求項１記載の画像の欠陥検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象物、例えばプリント基板のパターン検査や異種部品検査、パッケージのプリントミス検査など、複数の学習サンプルとターゲットとを画像処理で比較し欠陥を検出するような画像の欠陥検出方法に関する。
【背景技術】
【０００２】
図１は、良品マスタとターゲットとを画像処理で比較し、欠陥を検出する従来の画像の欠陥検出方法について示している。良品マスタ画象とターゲット画像とは予め位置合わせされている。位置合わせには、画像処理における、残差相関法や正規化相関法等が用いられる。ターゲット画像と良品マスタ画像とを重ね合わせ、画素毎に差分を取り、差の絶対値があるしきい値よりも大きい場合には欠陥画素と判別する。ただ、この方法には以下の3つの問題がある。
【０００３】
(1)良品マスタ画像、ターゲット画像のいずれも、パターンのエッジ部における濃度値の変化が著しく、差の絶対値が大きい。パターンのエッジ部の寸法には公差があるため、その位置は1画素の分解能の寸法内でもターゲット毎にばらついている。このようなパターン位置の変動は、エッジ部近傍画素の濃度値の変動として現れる。このため、画像全体でしきい値が１つだけだと、パターンのエッジ部で欠陥画素が多発する。
【０００４】
(2)上記(1)の問題を解決するため、画素毎にしきい値をもたせる方法がある。しかし、各画素に対して手動でしきい値を設定することは、煩雑であり使いにくい。
【０００５】
(3)上記(2)の問題を解決するため、良品マスタを1つとするのではなく複数の学習サンプルで代替する方法がある。これは、複数の学習サンプル画像を重ね合わせ、画素（i, j）毎の平均値μijと標準偏差σijを計算することにより、ある定数cを用いて、μij ± cσijを画素毎のしきい値とするものである。この方法は、画像処理により自動で行うことができ、また画素毎の濃度のばらつきもcσijという式で対応できるためエッジ部を含め欠陥画素が多発することはなくなる。ただし、エッジ部においては濃度値のばらつきが大きくなるため、標準偏差σijも大きくなり、欠陥画素の多発は押さえられるものの、逆に判定があまくなる。よってエッジ部に欠陥があった場合には、見逃しやすくなるという問題が生じる。
【特許文献１】特開２００１−１７５８６５号公報
【特許文献２】特開平１０−２５３５４４号公報
【特許文献３】特開平１１−２４２７４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の課題は、サンプル画像とターゲット画像とを比較し、画素単位でターゲット画像の欠陥を検出する方法において、特にパターンのエッジ部における欠陥を正しく判別することである。
【課題を解決するための手段】
【０００７】
上記の課題の下に、請求項１の発明は、サンプル画像とターゲット画像とを比較し、画素単位でターゲット画像の欠陥を検出する方法において、濃度値などの特徴量からなる特徴ベクトルを画素毎に抽出し、予め求めておいた正常クラスと異常クラスの識別境界線または面に対する特徴ベクトルの位置関係を画素毎に判別し、特徴ベクトルが異常クラスにある場合に欠陥画素としている。
【０００８】
請求項２の発明は、請求項１の発明において、複数のサンプル画像を用いて、各画像の画素毎に特徴ベクトルを求め、学習により正常クラスと異常クラスの識別境界線または面を画素毎に予め求めている。
【０００９】
請求項３の発明は、請求項１の発明において、ターゲット画像と複数のサンプル画像の位置を予め位置合わせしている。
【００１０】
請求項４の発明は、請求項２の発明において、画素毎の、正常クラスと異常クラスの識別境界線または面が等確率楕円または等確率楕円体であることを特徴としている。
【００１１】
請求項５の発明は、請求項２の発明において、複数のサンプル画像が、検査対象物の製造工程より無作為に抽出されたサンプルの画像であることを特徴としている。
【００１２】
請求項６の発明は、請求項２の発明において、各特徴量の平均、分散、および各特徴量間の共分散をサンプル画像が増える毎に更新し、記憶しておくことにより、学習終了後にこれらの計算値を用いて識別境界線または面を計算する。
【００１３】
請求項７の発明は、請求項１の発明において、サンプル画像、ターゲット画像をともにカラー画像とし、特徴ベクトルをr（赤色）濃度値、g（緑色）濃度値、b（青色）濃度値としている。
【発明の効果】
【００１４】
請求項１の発明は、濃度値などの特徴量からなる特徴ベクトルを画素毎に抽出し、予め求めておいた正常クラスと異常クラスの識別境界線または面に対する特徴ベクトルの位置関係を画素毎に判別し、特徴ベクトルが異常クラスにある場合に欠陥画素とするから、画像のエッジ部にある異常画素を的確に見つけることができる。
【００１５】
請求項２の発明は、請求項１の発明において、複数のサンプル画像を用いて、各画像の画素毎に特徴ベクトルを求め、学習により正常クラスと異常クラスの識別境界線または面を画素毎に予め求めるから、複数のサンプル画像を反映した適切な識別境界線または面を得ることができる。
【００１６】
請求項３の発明は、請求項１の発明において、ターゲット画像と複数のサンプル画像の位置を予め位置合わせしているから、後の処理、すなわち特徴ベクトルの抽出と、欠陥画素の判定を容易に行うことができる。
【００１７】
請求項４の発明は、請求項２の発明において、画素毎の、正常クラスと異常クラスの識別境界線または面として等確率楕円または等確率楕円体を用いるから、従来法では欠陥画素であるにも関わらず正常画素と判定されていた画素を、欠陥画素として正しく判定できる。
【００１８】
請求項５の発明は、請求項２の発明において、複数のサンプル画像として、検査対象物の製造工程より無作為に抽出されたサンプルの画像を用いるから、不良サンプルが連続で続いて等確率楕円または等確率楕円体が大きくなり、不良サンプルの特徴ベクトルを含むような識別境界線または面が生じることがなくなる。
【００１９】
請求項６の発明は、請求項２の発明において、各特徴量の平均、分散、および各特徴量間の共分散をサンプル画像が増える毎に更新し、記憶しておくことにより、学習終了後にこれらの計算値を用いて識別境界線または面を計算するから、記憶容量が大幅に削減され、少ない記憶容量のコンピュータ等でも請求項2記載の画像の欠陥検出方法の実行が可能である。
【００２０】
請求項７の発明は、特徴ベクトルをr（赤色）濃度値、g（緑色）濃度値、b（青色）濃度値とすることにより、カラー画像のサンプル画像、カラー画像のターゲット画像にも請求項１の発明を適用でき、同様の効果が期待できる。
【発明を実施するための最良の形態】
【００２１】
図２は、画素単位でターゲット画像の欠陥を検出する本発明の画像の欠陥検出方法を示している。ある画素 (i,j) において、複数の特徴量をx1, x2, …, xmとする。特徴量はたとえば、x1が濃度値、x2がエッジ強度、x3が近傍画素の平均濃度値などである。特徴量の数mは2以上の整数でいくつであってもよいが、図2では便宜上、m =3としてある。なお、サンプル画像、ターゲット画像がともにカラー画像である場合、特徴量としてr（赤色）濃度値、g（緑色）濃度値、b（青色）濃度値を用いることができる（請求項７）。
【００２２】
x1x2…xm 特徴空間において、正常クラスと異常クラスとがあるものとする。ターゲット画像の画素の特徴量を特徴ベクトルX=（x1, x2, …, xm）とするとき、特徴ベクトルXが正常クラスに属すれば正常画素と判定し、不良クラスに属すれば異常画素と判定する。
【００２３】
具体的には、濃度値やエッジ強度、近傍画素の平均濃度値などの特徴量からなる特徴ベクトルを画素毎に抽出し、予め求めておいた正常クラスと異常クラスの識別境界線または面に対する特徴ベクトルの位置関係を画素毎に判別し、特徴ベクトルが異常クラスにある場合に欠陥画素とする（請求項１）。
【００２４】
なお、複数のサンプル画像を用いて、各画像の画素毎に特徴ベクトルを求め、学習により正常クラスと異常クラスの識別境界線または面を画素毎に予め求めておく（請求項２）。このとき、画素毎の正常クラスと異常クラスの識別境界線または面は等確率楕円または等確率楕円体である（請求項４）。また、複数のサンプル画像は、検査対象物の製造工程より無作為に抽出されたサンプルの画像である（請求項５）。
【００２５】
図３は、段落番号０００５に示した従来手法を示している。この手法において、パターンのエッジ部における欠陥を正しく判別することが困難な理由は、エッジ上に欠陥があっても、もともとエッジにおける画素（i, j）のサンプル画像の標準偏差σijが大きいため、欠陥画素の濃度値 fij がサンプル画像の画素毎の平均値μijと差があっても、正常と判定されてしまうからである。
【００２６】
これに対し、図4に示す本発明の手法では、画素毎に特徴空間を用い、画素毎に抽出した特徴ベクトルXが識別境界の内側にあるか外側にあるかで正常画素か異常画素かを判定するので、このような問題は生じない。なお、図4ではm =2とし、特徴量x1にエッジ部の画素の濃度値、特徴量x2にエッジ部の画素のエッジ強度を用いている。このように、エッジ部におけるある画素の濃度値とエッジ強度の間には、通常、正の相関または負の相関が見られる。正と負の両方の相関が見られるのは、エッジ強度というのは、差分値の絶対値をとるからである。サンプル画像におけるある画素の濃度値の分布は、平均値μijを中心とする正規分布と考えてよいから、同様にその画素のエッジ強度の分布も正規分布と考えてよい。もちろん、平均値と分散は濃度値の場合のものとは異なる。このため、等確率線は楕円となり、識別境界線は等確率楕円となる。特徴量が3つの場合は、識別境界は面となりこれは等確率楕円体となる。特徴量が4つ以上の場合は、識別境界は超平面となりこれは等確率超楕円体となる。本明細書では、便宜上、特徴量が3つ以上の場合に、これら面・超平面の区別や、楕円体・超楕円体の区別をせずに、「識別境界は面で等確率楕円体」という表現をすることにする。
【００２７】
図3の従来手法では、特徴量が1つしかないためエッジ部分の画素の異常を検出できなかったが、図4の本発明の手法では特徴量が2つあるために、楕円を識別境界線とすることにより、エッジ部分の画素の異常（異常クラスに属する特徴ベクトルXをもつ）も検出できる。
【００２８】
それでは、このような本発明の手法は、図3の従来手法の特徴量mを1から2以上に増やしただけのものと考えられそうであるが、そうではない。図3の従来手法は統計的手法であって、下限をμ-cσ、上限をμ+cσとする方法である。これをフローチャートで示すと図5のようになる。同じ統計的手法で特徴量mが2つの場合は、同じような考え方を用いると図6のようになる。
【００２９】
このように単なる統計手法の組み合わせでは、特徴ベクトルXは異常画素のものであるにも関わらず、正常画素と判定されてしまう（図7）（図７右において、特徴ベクトルXは従来手法による正常画素判定領域（網点部）内にあり、正常画素と判定される。実際は、図７左の識別境界線内にあるものが正常である。）
【００３０】
これに対し、本発明の手法は単なる統計手法の組み合わせではなく、学習による識別境界線（または面）として楕円（または楕円体）を用いるため、識別境界線の外側にある特徴ベクトルXを異常画素として正しく判定できる。
【００３１】
以下、本発明の実施例を図面を参照しながら説明する。まず、互いに位置合わせがなされたn枚のサンプル画像を用意し（図8）、画素毎に濃度値やエッジ強度などの特徴量を抽出する。これらの特徴量をx1, x2,…, xmとする。ある注目画素Aについて見た時、各サンプル画像の特徴量をm次のx1x2…xm特徴空間にプロットする（図9）。各サンプルの特徴量は一般に正規分布で近似できるから、同じ確率Φの曲線または曲面は楕円または楕円体となる。
【００３２】
図9に各々Φ=0.682、0.955、0.997の場合の等確率楕円体を描いた。これらはそれぞれ各特徴量の標準偏差の1倍、2倍、3倍の確率密度を持つ等確率楕円体（請求項4）である。この楕円体の内部は、統計的には、それぞれ信頼度68.2%、95.5%、99.7%で正常クラスであるとみなせる。
【００３３】
さて、ここで信頼度99.7% の等確率楕円または楕円体は、正常クラスと異常クラスの識別境界とみなしてよい。これは、c1、c2, …, cmを任意の定数、各特徴量の標準偏差をσ1、σ2、…、σmとした時の、等確率楕円または楕円体である。ここでは、c1= c2=…=cm =3とする。等確率楕円または楕円体の線または面は、サンプル画像数が増えるとともに、少しづつ境界線または境界面の形を変える。具体的には、等確率楕円または楕円体の中心位置、各軸半径、傾きが変わる。ただし、サンプル画像数が多くなれば多くなるほど、境界線または境界面の形の変化は収束する。
【００３４】
なお、等確率楕円または楕円体は、いちいち各サンプル画像の各画素における、全特徴量を記憶しておかなくても、全特徴量における平均、分散、および各特徴量間の共分散を記憶しておくだけで、学習終了時にこれらの計算値を用いて、等確率楕円または楕円体の中心、各軸半径、傾きを計算することができる（請求項6）。このため、記憶容量が大幅に削減される。すなわち、新しい学習サンプルが追加されたときには、いちいち等確率楕円または楕円体を計算しなおすのではなく、各計算値を計算しなおすだけでよい。
【００３５】
続いて、新しいターゲット画像が与えられると、まず、学習サンプル画像と位置合わせを行う（請求項3）。
【００３６】
そして、すべての画素に対して、特徴量x1, x2,…, xmを求める。これを特徴ベクトルXとする。ある注目画素のサンプル画像と同じ位置の画素Aの特徴ベクトルXが与えられたとき、これを図2のように学習サンプルのx1x2…xm特徴空間に投票し、特徴ベクトルXが識別境界である等確率楕円または楕円体の内部にあれば正常画素、そうでなければ異常画素と判定する（請求項1）。
【００３７】
なお、本発明の手法における学習サンプルは必ずしもすべて正常である必要はなく、正常品と思われるサンプルで構わない。このようなサンプルには0.3%程度の不良サンプルを含む可能性があるが、もともと等確率楕円または楕円体の等確率面はc1= c2=…=cm =3とするとΦ=100%ではなく、Φ=99.7%程度なので、学習サンプルに不良サンプルが含まれていてもその該当異常画素は等確率楕円または楕円体の外側に位置付けられる。もちろん、不良サンプルの割合が多い場合には、定数c1、 c2、…、cm を小さく設定すればよい。ところで、不良サンプルが連続で続くと等確率楕円または楕円体が大きくなり、不良サンプルの特徴ベクトルを含むようになり都合が悪い。ただ、このような事態は、学習サンプルを母集団である検査対象物の製造工程から無作為に抽出している限り生じることはない（請求項5）。
【産業上の利用可能性】
【００３８】
本発明の手法は、画像のエッジ部にある異常画素を的確に見つけることができるから、プリント基板のパターン検査や異種部品検査、パッケージのプリントミス検査など、複数の学習サンプルとターゲットを画像処理で比較し欠陥を検出するような画像の欠陥検出に広く応用できる。
【図面の簡単な説明】
【００３９】
【図１】従来の画像の欠陥検出方法の説明図である。
【図２】本発明の画像の欠陥検出方法の説明図である。
【図３】段落番号０００５に示した従来手法の説明図である。
【図４】本発明の手法の説明図である。
【図５】従来手法による画素単位の判定（m=1）のフローチャートである。
【図６】従来手法による画素単位の判定（m=2）のフローチャートである。
【図７】従来手法による画素単位の判定（m=2）における正常画素判定領域と、本発明の手法（m =2）における識別境界とを比較した説明図である。
【図８】本発明の手法において用いられる互いに位置合わせがなされたn枚のサンプル画像の説明図である。
【図９】ある注目画素Aについて見た時、各サンプル画像の特徴量をm次のx1x2…xm特徴空間にプロットした結果得られる等確率楕円または楕円体の説明図である。
【図１】
2008139074.tif 000003
【図２】
2008139074.tif 000004
【図３】
2008139074.tif 000005
【図４】
2008139074.tif 000006
【図５】
2008139074.tif 000007
【図６】
2008139074.tif 000008
【図７】
2008139074.tif 000009
【図８】
2008139074.tif 000010
【図９】
2008139074.tif 000011