(57)【要約】検査システムは、複数のモデルを含み、各種別のモデルの有効性を高めるようにこれらを適用する。一実施形態では、印刷回路基板検査システムは、画像モデル、構造モデル、および幾何学モデルを含み、対象物を検査する。最初に画像モデルを検査対象物に適用し、同様に見える対象物を識別する。画像モデルを適用した後、構造モデルを適用し、画像内に同一構造を有する対象物が存在するか否か判定を行い、画像モデルが本当に画像内において部品を発見したのか否か判断を下すために用いる。最後に、幾何学モデルを適用し、前述の２つのモデルによって提供される近似位置データを用いて、検査対象物の位置を正確に判定する。また、複数のモデルを学習し更新する技法についても記載する。
2004502250.tif 000002
【特許請求の範囲】
【請求項１】
画像を検査し、対象領域内にある対象物に関する情報を取得する方法において、第１モデルおよび第２モデルを適用し、前記第２モデルの適用を、前記第１モデルの適用の結果に基づいて行うことを含み、前記第１モデルが、前記画像内において第１属性集合を識別することによって、前記対象領域に対象物が描写されているか否かを予測する出力を生成し、前記第２モデルが、第２の種別の属性を識別することによって、前記対象領域に特定の種別の対象物があるか否かを予測することを特徴とする方法。
【請求項２】
請求項１記載の方法において、更に、第３モデルを適用し、該第３モデルの適用することによって、前記対象物の正確な位置を突き止める、方法。
【請求項３】
請求項２記載の方法において、前記第３モデルを適用することによって、前記対象物の予想した位置からの位置変位と、予想した配向に対する回転との指示を得る、方法。
【請求項４】
請求項１〜３のいずれかに記載の方法において、前記第１モデルは、画像内にあるとき、前記対象領域内に対象物があることを示す陽性属性と、画像内にあるとき、前記対象領域には対象物がないことを示す陰性属性とを含む画像モデルである、方法。
【請求項５】
請求項４記載の方法において、印刷回路基板の検査に用いられる場合、前記陰性属性が、前記印刷回路基板上に適正に置かれた部品によって遮られるはずの印刷回路基板の表面上の特徴を表すオクルージョン特徴を含む、方法。
【請求項６】
請求項１〜５のいずれかに記載の方法において、前記第１モデルを適用する際、複数の回転で前記画像の部分領域にパターンを相関付けて複数の相関スコアを生成し、該相関スコアから前記対象物の存在および位置を特定する、方法。
【請求項７】
請求項６記載の方法において、前記画像内で可能性のある部分領域の一部にのみ前記パターンを適用し、前記特定した位置が粗い位置を表す、方法。
【請求項８】
請求項１〜７のいずれかに記載の方法において、前記第１モデルの適用によって、前記対象領域内に対象物があるという予測に対する信頼度係数を生成し、前記第２モデルの適用は、前記画像の部分領域内において所定の位置関係を有する複数の特徴を探索することを含む、方法。
【請求項９】
請求項８記載の方法において、前記複数の特徴は、前記画像内にある対象物の縁部を表す、前記画像内における大きな勾配を含む、方法。
【請求項１０】
請求項８または９記載の方法において、前記第２モデルを複数の部分領域に適用し、前記第２モデルを適用する部分領域の数は、前記信頼度係数が高い程少ない、方法。
【請求項１１】
請求項１〜１０のいずれかに記載の画像検査方法を用いて印刷回路基板を検査する方法において、前記画像が、前記印刷回路基板において電子構成素子を実装するエリアを表し、更に、検査プランを作成するステップを含み、前記印刷回路基板のエリア内に実装されることが予想される構成素子の様式に基づいて、用いるべき適切なモデルを選択することを含む、方法。
【発明の詳細な説明】
【０００１】
発明の分野
本発明は、一般的には、画像処理システムに関し、更に特定すれば、プリント（印刷）回路基板を検査するために用いられる検査システムを含む、検査システムと共に用いるための画像処理システムに関する。
【０００２】
発明の背景
当技術分野では公知であるが、検査システムとは、現実の世界におけるなんらかのプロセス、デバイス即ち対象物を点検するために用いられるシステムのことである。自動光学検査システム（ＡＯＩ：Ａｕｔｏｍａｔｅｄ ｏｐｔｉｃａｌ Ｉｎｓｐｅｃｔｉｏｎ Ｓｙｓｔｅｍ）は、殆ど人の介入なく、検査を実行する。ＡＯＩは、用いられる個々の用途に応じて、様々な形態や構成を取ることができる。しかしながら、通例では、このようなシステムは１つ以上のセンサを含み、これらは取付具（検査ヘッドと呼ばれることもある）内に取り付けられている。検査ヘッドは、検査対象物に対して移動が制御されるように適応している。１つ以上のセンサは、各々、検査対象物（または対象物の一部）の画像を取り込み、取り込んだ画像を画像処理システムに供給する。最も典型的なセンサの一種に、可視光スペクトルに感応するカメラがある。他には、例えば、Ｘ線に感応するものがある。画像処理システムは、検査対象である実際の物体の捕捉画像を、その種の対象物のソフトウエア・モデルと比較する。比較結果に基づいて、検査システムは、捕捉画像のモデルに対する一致度を示す。このように、検査システムは検査プロセスにおいてモデルを用いる。
【０００３】
また、これも公知であるが、ソフトウエア・モデル、または更に簡略化して、モデルとは、ソフトウエアで「実現」または「表現」された、現実世界におけるプロセス、デバイス、または概念のことである。したがって、モデルは、現実世界におけるプロセス、概念またはシステムの構造、挙動または動作、あるいはその他の特性の内選択した態様またはその態様全体を表す。現実世界におけるプロセス、デバイス、または概念はオブジェクト・クラスと呼ばれる。
【０００４】
モデルを生成するには、最初にオブジェクト・クラスを特定し、次いでモデルにエンコードするオブジェクト・クラスの属性を選択しなければならない。このように、オブジェクト・クラスは、１つ以上の特性または属性を共有する対象物または対象物の実例の一群を含むのが通例である。
【０００５】
一般に、モデルに含ませる際には、オブジェクト・クラスを簡潔に纏めることができる属性を選択すれば、これらの属性を含むモデルを用いる検査システムが特定の対象物を「真肯定（陽性）」（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）と識別し、当該クラスの一部ではないその他の対象物を「真否定（陰性）」（ｔｒｕｅ ｎｅｇａｔｉｖｅ）であるとして区別することができるので望ましい。モデルに含ませるために選択する属性は数多くあり、属性によっては、得られるモデルを適用すると、高い成功率で「真陽性」を識別し「真陰性」を区別することができるようになるので、モデルに含ませる属性を決定することは難しい。この問題は、検査システムに真陽性を真陰性から区別することを可能にする属性を決定することができない場合、更に深刻となる。加えて、どの属性を含ませるかについてある仮定を有する場合、その属性をどのように測定または表現するか把握できない場合もある。
【０００６】
「真陽性」と分類された対象物は、当該対象物との比較を行った特定のオブジェクト・クラスに属するのが適正である対象物である。例えば、オブジェクト・クラスが集積回路パッケージ種別であり、対象物が集積回路である場合、この集積回路は、集積回路オブジェクト・クラスに関して真陽性であると見なされる。
【０００７】
一方、「真陰性」である対象物とは、当該対象物との比較を行った特定のオブジェクト・クラスに属するのが適正ではない対象物である。例えば、オブジェクト・クラスが集積回路パッケージ種別であり、対象物が集中素子抵抗器（ｌｕｍｐｅｄ ｅｌｅｍｅｎｔ ｒｅｓｉｓｔｏｒ）であると想定する。この場合、集中素子抵抗器は、集積回路オブジェクト・クラスに関して真陰性であると見なされる。何故なら、集中素子抵抗器は、集積回路パッケージ種別を有する対象物と同じオブジェクト・クラスには属さないからである。
【０００８】
モデルを対象物と突き合わせを行い、それがオブジェクト・クラスの一部であるか否か判定するために、照合（マッチング）方法が用いられる。照合方法は、検査対象物から属性を選択して抽出し、その特定の対象物について測定した属性を、モデル内に格納してあるオブジェクト・クラスの属性と比較する。照合方法の重要な面の１つは、検査対象物から属性の値を正確に計算または判定することである。次に、これらの計算または選択した属性を、モデル属性と比較する。印刷回路基板上の構成素子をモデル化するために用いられる属性の一例として、部品の印刷回路基板との境界縁、および構成素子のあらゆる内縁があげられる。ある部品を含む画像が与えられた場合、大きな画像勾配（ｇｒａｄｉｅｎｔ）または不連続は、潜在的な「縁（端）部（エッジ）候補」と見なされ、基板上に構成素子を配置した結果である。
【０００９】
しかしながら、この手法に伴う問題の１つとして、多くの照合方法は、検査対象物を含む画像から、どのデータを属性測定に含ませるとよいか正しく判定できない、または現実的な時間量で判定できないことがあげられる。このジレンマのことを、多くの場合対応問題（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｐｒｏｂｌｅｍ）と呼ぶ。検査対象物の画像からの測定データとモデル属性との間に正確な対応付けが必要であるが、特定の属性に関してデータが曖昧である場合、多くの照合方法では良い結果が得られない。最悪の場合、画像内にｎ個の属性候補測定値があり、部品（ｐａｒｔ）のモデルにｍ個の属性測定値がある場合、可能な組み合わせはｍ＾ｎ個となる。最良の対応付けを選択するには、全てを評価しなければならない場合が多い。そうしたとしても、画像内の最重要属性測定値の１つが適正に測定されていなかった場合、真の一致が存在しない場合もある。
【００１０】
また、これも当技術分野では公知であるが、従来の印刷回路基板（ＰＣＢ：ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）の検査技法は、単一の属性を有する単一種類のモデルのみを用いるのが通例であった。また、従来の検査システムは、単一の照合方法を用いていた。殆どのモデル照合方式は、画像内における属性の実例を計算し、これらをモデル内にある全ての実例の属性と比較する。前述のように、評価しなければならない対応付けの数が指数関数的となる。多くの技法では、この集合を絞り込もうとして、可能性の低い組み合わせ、または経験的に生成した規則に違反する組み合わせを除外する。
【００１１】
また、異なる種類のモデルも公知である。画像モデルと呼ばれるモデルの一種は、検査対象物の実例の画像から生成する。実際には、モデルの導出または構築は、多くの場合、サンプルまたは検査対象物の内典型的な１つの画像を用いて行われる。サンプルまたは典型的な対象物とは、回路構成素子全体、または回路構成素子の一部、または検査対象ＰＣＢの一部からのものである場合がある。通例では、画像モデルは、単一の属性のみ、例えば、輝度を含む。輝度分布を固定空間構成（ｆｉｘｅｄ ｓｐａｔｉａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎ）内に配する。照合方法を用いて、検査対象物（例えば、検査対象回路の構成素子または一部）の画像を、モデルに含まれている属性のような、１組の属性に変換する。例えば、輝度属性を画像モデルに含ませる場合、照合方法は、検査対象物から１組の輝度属性を生成する。次に、単一の画像モデルを用いて、検査プロセスを実行する。しかしながら、画像モデル技法に伴って、真陽性の外観が検査対象物（複数の対象物）の個々の実例毎に変化する場合、画像モデルが表現する実際のデータはあてにならないことが多いという問題がある。即ち、単一の画像モデルが得られた回路構成素子またはＰＣＢの画像は、検査プロセスの間、検査対象である典型的な回路構成素子またはＰＣＢを高精度に表現することができない。また、典型的な回路構成素子が容認できる外観を有していても、これを正しく表現することができない場合もある。したがって、画像モデルは、検査対象である回路構成素子またはＰＣＢの画像の高精度な照合を行うことができず、したがって、この画像モデルを用いた検査システムも高精度な検査結果を得ることができない。
【００１２】
エッジ・モデルと呼ばれている別の種類のモデルは、多くの場合、検査対象回路の構成素子または回路部分の理想化した周縁（輪郭）の表現から得られる。照合方法を用いて、検査対象物（例えば、検査対象回路の構成素子または一部）の画像を、１組の周縁（縁端）属性に変換する。しかしながら、新たな検査対象画像が多くの周縁を含む場合があると、この手法には問題が生ずる。このような場合、検査対象物からの新しいデータを、モデル内の周縁または線分の集合と突き合わせるにはどの周縁集合を用いればよいか明確でない場合があり、したがって、新たな画像およびモデルにおいて対応する特徴を測定することが困難となる。また、悪い照明条件、カメラのノイズ、対象物および背景間の低コントラスト、または多数のその他の条件のために、照合方法が構成素子の周縁（縁端）を正しく識別できないという可能性もある。照合方法が画像回路構成素子を精度高く所望の属性に変換しなかった場合、検査システムから正確な検査結果が得られない。
【００１３】
モデルが精度高い検査結果を生成しない場合、検査システムは、かなりの数の「偽陽性」（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）およびかなりの数の「偽陰性」（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）を生ずる。印刷回路基板の検査の場合、「偽陽性」が意味するのは、回路構成素子が実際にはないのに、この回路構成素子がＰＣＢ上にあることを検査システムが示すことである。同様に、「偽陰性」が意味するのは、回路構成素子が実際にはあるのに、この回路構成素子がＰＣＢ上にないことを検査システムが示すことである。
【００１４】
ＰＣＢの自動光学測定は、種々の理由から比較的困難である。例えば、濃い色の回路構成素子が、濃い色のＰＣＢ上に配置されることがあり得る。つまり、この場合、カメラは、暗い背景（即ち、ＰＣＢ）上に黒っぽい部品（即ち、回路構成素子）が置かれるために、回路構成素子とＰＣＢとの間で有意なコントラストを全く検出できない。
【００１５】
また、ＰＣＢは、ＰＣＢ上で用いるシルク・スクリーン・プロセスに起因する「偽周縁」や、構成素子および印刷回路基板の外観にある多量の可変（不定）性に起因する偽陰性や偽陽性を含む可能性もある。このようなばらつきによっても、検査システムがＰＣＢ上の部品を一貫して認識することが困難となっている。
【００１６】
偽陰性が生ずるのが望ましくないのは、これらの不良条件を人が見つけて除外するのに時間がかかるからである。偽陽性が生ずるのが望ましくないのは、回路構成素子があるべきところになかったり、壊れていることを後から判定するには時間および費用がかかるからである。したがって、単一のモデルおよび照合方法による手法を利用する検査システムでは、ＰＣＢ製造コストの上昇、およびＰＣＢを製造可能な速度の低下を招くのが通例である。
【００１７】
したがって、偽陽性および偽陰性が比較的少ない検査システムおよび技法を提供することができれば、望ましいであろう。また、ＰＣＢを製造可能な容量／速度を高め、比較的迅速に印刷回路構成素子の画像を処理する技法を提供することができれば、望ましいであろう。更に、再生可能かつ反復可能な結果を生成するシステムを提供することができれば、望ましいであろう。
【００１８】
発明の概要
印刷回路基板検査システムを含む、前述した既存の検査システムの問題および限界を考慮し、更に本発明によれば、複数の異なる種類のモデルを用いることによって、必要な検査結果の高精度化を、有用で望ましい迅速な画像分析の実行と合わせて達成できることが認められた。更に、これから、回路構成素子またはＰＣＢを検査する速度を高めつつ、同時に偽陽性および偽陰性の数を減少させるには複数のモデル種別をどのように選択し利用するかという問題に至る。
【００１９】
また、単一の属性のみを含むモデルは、通例、検査プロセス中に生成するデータを正しく表現していないことも認められた。従来技術に伴う更に別の問題は、特定のモデル表現に用いられる属性が、カメラまたはセンサによって取り込んだ画像において容易に測定できない場合が多いことである。多くの場合、属性を測定するのは照合プロセスの間である。いずれの場合でも、（即ち、モデルが正しくデータを表現しない場合、または特定のモデル表現に用いられる属性が画像内において容易に測定できない場合）、モデル／照合手法では、誤りコール（ｆａｌｓｅ ｃａｌｌ）が生ずる。このため、モデルを利用する方法を制限すると、検査システムの偽陽性および偽陰性の数が減少することも認められている。
【００２０】
数種類のモデルの使用が有効なのは、一般的な問題を細分化し扱いが簡単な質問に分解できるときである。一方、各モデルには、問題全体を解くことを強制されていないので、モデル出力のロバスト性が向上する。
【００２１】
つまり、本発明の技法によれば、検査システムは、画像モデル、構造モデル、および幾何学モデルを利用して対象物の検査を行う。これら３つの種別のモデルを、各種別のモデルの長所を用いるように組み合わせる。最初に画像モデルを検査対象物に適用し、検査対象部品が、過去に見られた部品と「非常に似ているか」否か判定を行う。この使用は、例えば、検査対象物があるか否か判定を行うための画像モデルの使用とは区別する。本発明にしたがって画像モデルを使用すると、同様に見える対象物を識別するための比較的高速の技法が得られる。画像モデルに含まれる属性は、色彩、輝度、空間に固定して配されたその他の派生属性に対応することができる。画像モデルを適用した後、構造モデルを適用する。構造モデルは、領域および関係の集合をエンコードする。その作業は、当該モデル内にエンコードしたのと同じ構造を有する部品が、画像内に存在するか否か判定を行うことである。構造モデルを用いると、画像モデルが本当に画像内で部品を発見したのか否か判断を下すためにも用いることができる。したがって、ある場合には、検証のためにこれを用いる。別の場合には、画像モデルがうまく機能しない際に、視覚的特性は非常に異なるが構造がモデルと同様の部品が画像内に存在するか否か見るためにチェックすることができる。最後に、幾何学モデルを適用する。幾何学モデルを用いる場合、部品即ち対象物が既に所定位置にあることがわかっているが配置の詳細が必要であることを前提とする。前述の２つのモデルによって得られた大まかな位置および回転データから、検査対象部品即ち対象物の正確な位置を判定する。幾何学モデルは、勾配のパターンが形状全体の「最上位」の構成と一致するという制約の下で、実質的に同時に対象物の縁端（周縁）または勾配が大きな領域を全て探索する。幾何学モデルは、輝度、色彩等における強力な勾配を利用して、部品即ち検査対象物を正確に突き止める。
【００２２】
この特別な構成では、従来技術の技法よりも誤りが少なく、位置突き止めの精度が高い、モデル／照合手法が得られる。単一の検査システムにおいて複数のモデルを利用することによって、各モデル種別の利点を利用しつつ、各モデル種別の欠点を減少させ、場合によっては排除することさえも可能となる。
【００２３】
本発明の更に別の態様によれば、１つ以上の多数のモデルを用いて検出対象物の画像を照合する方法は、画像モデルを対象領域に適用し、モデルと外観が似ている対象物があるか否か判定するステップと、構造モデルを対象領域に適用し、対象物があることを確認し、更に正確に対象物の位置を突き止めて、モデルと構造は似ているが容認可能な異なる外観の対象物があるか否か判定を行うステップと、幾何学モデルを対象領域に適用し、対象物の正確な境界を突き止める（位置決めする）ステップとを含む。
【００２４】
本発明の更に別の態様によれば、対象物を検査する方法は、対象物の予想位置周囲の対象領域に第１モデルを適用して、対象出力領域を生成するステップと、第１モデルが出力した対象領域に第２モデルを適用するステップとを含む。第１モデルは、第２モデルによる照合プロセスの間に検討しなければならないパラメータの数または対象領域のサイズを低減する。例えば、印刷回路基板の用途では、構造モデルに先だって画像モデルを適用することによって、照合プロセスに間に構造モデルが検討しなければならない対象物の回転および平行移動の回数を減らすことができる。同様に、幾何学モデルに先だって構造モデルを適用することによって、幾何学モデルが検討しなければならない対象物の回転および平行移動の回数を減らすことができる。その結果、照合プロセスがかなり高速化することになる。
【００２５】
別の言い方をすれば、モデル適用連鎖（即ち、連続して次々にモデルを適用する）を用いれば、各モデルが検討する仮説（仮定）の数を減らすことができる。尚、この文脈で用いる場合、パラメータという用語は、モデルが検討する全ての仮定を含むことを意図していることは認められよう。前述の例では、仮定は、検査対象物の回転および平行移動の値の再生に向けられる。したがって、可能性があるとして検討すべき回転および平行移動の範囲は、各モデルを連続的に適用するに連れて、狭められていく。しかしながら、別の用途では、画像内にどのような対象物があるかということに、仮定が関係付けられている場合もある。例えば、サーベイランス（監視）の用途では、１組の仮定が、画像内にある自動車の種別を全てカバーできる場合もある。存在する可能性がある対象物は、タンク、トラック、バン、乗用車、オートバイ、または自転車を含む。実際の画像が与えられると、モデルの連鎖を用いて、画像内において可能な車両の数および種別を系統的に減らしていくことができる。更に別の例では、仮定は、対象物の輝度または色彩を再生することに向けられる。これは、一般に、医療画像処理において行われ、骨粗鬆症あるいは血液疾病または脳腫瘍のような疾病状態に関する診断を行う。多数のモデルを連続的に用いることによって、可能性のある（あり得る）色彩または輝度の値を消去するために用いることができる。
【００２６】
この特別な技法を用いると、検出対象物の画像をモデルと照合するための、ロバスト性の高い認識方法が得られる。最初に画像モデルを適用し、次いで構造モデルを適用し、更に幾何学モデルを適用することによって、高速で高精度の検査プロセスが得られる。各モデルを提示し、実行するタスクを明確に定義し、回答する質問を明確に定義することによって、各モデルの長所を用いて精度高い情報を素早く取得することができる。各モデルの適用によって取得した情報は、検査対象物に関する判定を行うために、検査システムによって用いられる。
【００２７】
本発明の更に別の態様によれば、検査システムは、パッケージ・ライブラリおよび検査プラン（計画）を内部に格納したデータベースと、データベースからの情報および検査対象基板に関する情報を受け取るように結合されている検査プラン生成部とを含む。このシステムは、更に、画像モデル・プロセッサと、構造モデル・プロセッサと、幾何学モデル・プロセッサとを含む画像処理システムを備えている。これらのモデル・プロセッサは、協働して、与えられた対象物の画像に多数のモデルを適用する。一実施形態では、モデル・プロセッサは協働して多数のモデルを順次対象物の画像に適用する。
【００２８】
この特別な構成では、検査プロセス（例えば、印刷回路基板の構成素子のような対象物の検査）の間多数のモデルを利用し、偽陽性および偽陰性の結果が比較的少ない検査システムが得られる。画像を分析する際に用いられるモデルの特定の数は、少なくとも部分的に、検査対象物の画像の各モデルに対する一致度、および検査対象物の分類に起こり得るばらつきの度合いによって異なる。構成素子があるか否か仮説を立てるために第１モデルを用い、検証のため、そしてこの構成素子に関する更に詳細な情報を判定するため、または別の対象物に関するこの構成素子の位置を判定するために別のモデルを用いることによって、システムは信頼性および精度が高い結果をもたらす。
【００２９】
本発明の更に別の態様によれば、対象物を検査するプロセスは、検査対象物を含む画像を取得するステップと、この対象物の種別に対応する画像モデル、構造モデル、および幾何学モデルを取得するステップと、画像モデルを対象物に適用するステップと、対象物があることを画像モデルが示しているか否か判定を行うステップとを含む。対象物があるという画像モデルの指示に応答して、画像モデルが部品を発見したＲＯＩ内の小領域を、構造モデルを用いて探索（サーチ）する。対象物があるか否か確実ではないという画像モデルの指示に応答して、構造モデルを用いてＲＯＩ全体をくまなく探索する。部品があることを構造モデルが示す場合、次に幾何学モデルを用いて、対象物の位置を正確に突き止め、対象物の配置に関する詳細情報を提供する。
【００３０】
この特別な構成では、対象物の位置を高速かつ高精度に突き止める多重モデル検査プロセスが得られる。画像モデル、構造モデル、および幾何学的モデルをある所定の順序で用いることにより、各モデル種別の利点を強調しつつ、各モデル種別の欠点を減少させることができる。
【００３１】
本発明の更に別の態様によれば、印刷回路基板を検査するプロセスは、パッケージ・ライブラリを用意するステップと、ビジュアル・クラス・タイプを含むことをライブラリに注釈するステップと、個々の印刷回路基板に検査プランを生成するステップと、多数のモデルを用いてＰＣＢを検査するステップと、任意に背景モデル学習処理を実行するステップとを含む。この特別な構成では、印刷回路基板を検査するプロセスが得られる。尚、このプロセスはＰＣＢを検査するために用いられるが、同じプロセスを用いて別の種類の対象物の検査も可能であることは理解すべきである。
【００３２】
一実施形態では、プロセスはデバッグ・モードを含むことができ、これを用いると、検査プランにおいていずれのモデルに伴う問題でも修正することができる。尚、本発明によれば、各部品には１組または１群のモデルが関連付けられていることは理解されよう。例えば、画像モデル、構造モデル、および幾何学モデルが、個々の部品に対してモデル・グループを形成することができる。デバッグ・プロセスに入ると判断した場合、処理はデバッグ学習プロセスに移る。背景モデル構築ステップにおいて構成素子に対して新たなモデルまたはモデル集合（例えば、画像モデル、構造モデルまたは幾何学モデル）を学習させた場合、これらのモデルを検査プラン内のモデルと交換することができる。それ以外の場合、個々のモデルまたはモデル集合に対する学習ステップは、異なる画像集合毎に繰り返される。デバッグ・プロセスを終了する際に、問題のある構成素子に対するモデルまたはモデル集合の新たな「デバッグ済み」モデルとの置換、またはモデル（例えば、第２画像モデル）の新たな実例の追加を伴う検査プランの更新を行う。デバッグおよび後続の学習プロセスによって、システムが問題部品であるとして識別した部品に対して、特定のモデルまたはモデル集合を改訂する。新たなモデルまたはモデル集合を生成した後、問題構成素子に対する検査プランを更新する。また、モデル・グループにおける１つまたは全てのモデルの更新または増強（ａｕｇｕｍｅｎｔ）も可能であることも認められよう。例えば、デバッグ／学習プロセスによれば、新たな画像モデルを学習しつつ、構造モデルおよび幾何学モデルをそのまま維持することが可能である。
【００３３】
本発明の更に別の態様によれば、印刷回路基板検査システムにおいて使用可能なモデルを開発または学習する技法は、スナップショットを用いてデフォルト画像および構造モデルを構築するステップと、部品に関する幾何学的情報を用いて対象物のデフォルト幾何学モデルを構築するステップとを含む。
【００３４】
一実施形態では、スナップショットを自動的にトリミングするプロセスを用いる。このプロセスは、検査対象物を含んでいるはずのＰＣＢ上の対象領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を特定するステップと、デフォルトの画像モデルおよび構造モデルをＲＯＩと照合し、対象物があるか否か判断を下すステップとを含む。尚、画像モデルはスナップショットを必要とするので、このプロセスを起動する際、合成スナップショット（即ち、多数の画像から集めたデータによって生成する合成画像、または自動的に生成または組み合わせることによって得られる合成画像）または類似部品のスナップショットを用いてもよい。対象物がないと判断した場合、別のＲＯＩを用意し、前述のステップを繰り返す。一方、対象物があると判断した場合、幾何学モデルを用いて構成素子の正確な境界を突き止め、対象物に関する回転情報を提供し、対象物の「トリミング（クロッピング）」画像を取得する。この特別な構成により、モデルを作成するために用いることができるトリミング画像を自動的に取得する技法が得られる。
【００３５】
一旦モデルの基本要素が全て揃ったなら、陽性見本（正しい部品を含む画像）を陰性見本（部品を含まない画像あるいは間違った部品または損傷した部品を含む画像）から区別するように、見本に対してこれらを訓練（トレーニング）する。見本の数は、少ない場合には２つ（陽性および陰性を１つずつ）、多い場合には以前に検査した印刷回路基板から生成したデータ全てとすることができる。
【００３６】
発明の詳細な説明
本発明自体だけでなく、前述した本発明の特徴は、以下の図面を参照した説明から一層よく理解できるであろう。
【００３７】
本発明の処理および装置について説明する前に、明確性を促進するという目的から、ここでは特定の対象物の分析、または特定の利用分野において実行する検査に言及する場合もあることは理解されるべきである。このような言及および例示は、本発明の理解を容易にすることのみを意図するのであり、ここに記載する概念の使用を、個々に記載する種類のシステムとの使用のみに限定するように解釈してはならない。逆に、前述のように、本発明は、広範囲に渡る異なる分野に適用でき、一般には対象物の認識および検出という問題に適用される。本発明は、顔のような対象物の認識や、ウエハの欠陥のような対象物の検出に用いることができる。それ以外の分野には、画像データベースのインデックス化、医療用画像分析、ならびに調査および監視の用途が含まれる。
【００３８】
また、以下の記載では、特定の撮像システム、または撮像システムの構成素子、または特定の照明システム、または照明システムの構成素子、または特定の周波数分布（プロフィル）または温度で動作する照明に言及することもある。勿論、個々に記載する概念は、あらゆる種類の撮像または照明システム（広範囲の周波数分布にわたって動作する照明システムを含む）あるいは構成素子を有する検査システムにでも、当該システムまたは構成素子が所望の動作的特性または機能的特性を有するのであれば、等しく適用されることを当業者は認めよう。また、ここでは、特定のトポロジ（ｔｏｐｏｌｏｇｙ）で配置した照明を有する照明システムに言及することもある。本発明の原理は、種々の照明トポロジを用いて実施可能であり、ここに提示するのは単なる一例に過ぎず、限定として解釈してはならないことを、当業者は認めよう。
【００３９】
また、ここでは、印刷回路基板や、印刷回路基板上に配置した回路構成素子というような、特定の対象物の検査に言及する。ここに記載するように、回路構成素子または更に簡略化して構成素子とは、印刷回路基板（ＰＣＢ）に実装するかまたはその他の方法で結合された、集積回路のような部品のことを言う。また、対象物は、印刷回路基板の欠陥である場合もある。ＰＣＢはいずれの種類でもよい。
【００４０】
本発明の原理は、印刷回路基板や構成素子の検査だけでなく、その他あらゆる種類の物体の検査を含み、しかもこれらには限定されない、種々の用途において使用可能であることを、当業者は認めよう。例えば、本発明は、ある物体を別の物体上に配置し、特にこれと接触または近接させた場合、あるいはある物体を別の物体内に埋め込んだ場合、あるいは画像において前景の物体を背景から識別することが望ましい場合などの用途に適用される。同様に、ここに記載する技法は、あらゆる種類の印刷回路基板または回路基板構成素子に用いることができ、その機能とは無関係である。
【００４１】
したがって、以下に「印刷回路基板」および「構成部品（素子）」について行われるものとして説明する記述および処理は、人の顔、または指紋、あるいは会社のロゴ、そしてその他のあらゆる画像上においても等しく行われることを、当業者は理解するであろう。同様に、以下に記載するプロセッサは、特定のタスクまたは機能を実行するように配線（ハードワイヤード）またはプログラムされた、あらゆる種類の集積回路を含むことができる。
【００４２】
これより図１を参照すると、印刷回路基板（ＰＣＢ）の検査を実行する処理システム１０は、パッケージ・ライブラリ１４を格納したデータベース部１２を含む。パッケージ・ライブラリ１４は、所定の対象物に関する詳細情報を収容している。例えば、ＰＣＢ検査システムの場合、パッケージ・ライブラリ１４は、集積回路の形状およびサイズに関する詳細情報を含み、ＰＣＢ上に部品をどのように配置するかに関する情報を全く含んでいない。また、データベース１２は、検査プラン（計画）ライブラリ１６を含み、検査プラン・ライブラリ１６は検査プラン生成部１８に結合され、個々のＰＣＢに対する検査プランを作成し、検査プランの結果を検査プラン・ライブラリ１６に格納する。
【００４３】
画像処理システム２０がデータベース１２に結合されており、捕捉システム２２、画像プロセッサ２４、および画像インターフェース・ユニット２５を含む。画像捕捉システム２２は、例えば、１つ以上のカメラまたはセンサとして設けることができ、検査対象物の画像（イメージ）を取り込む。好適な実施形態では、カメラはカラー・カメラに対応する。画像を取り込んだ後、バイヤー（Ｂａｙｅｒ）色彩再生、ホワイト・バランス、コントラスト強調などのような後続の処理がデータに対して行われる。画像インターフェース・ユニット２５は、グラフィカル・ユーザ・インターフェース（ＧＵＩ）として設けることができ、例えば、これを用いてユーザが画像処理システム２０とインターフェースすることができる。
【００４４】
画像捕捉システム２２によって取り込まれた画像は、ランタイム・システム２６に送られる。ランタイム・システム２６は、検査プラン１６から、個々の基板の種別毎に、１つのカメラ視野内において分析する部分を決定する。また、ランタイム・システム２６は、数個のカメラ視野にわたって分析が必要な部分も決定する（例えば、当該部分がカメラ・フレームの境界と交差する場合、またはある部品が１つのカメラ・フレームには大きすぎる場合）。
【００４５】
１つの特定の部品を検査する際、ランタイム・システム２６は、検査モジュール２８を呼び出す。検査モジュール２８は、掩蔽（オクルージョン：ｏｃｃｌｕｓｉｏｎ）検出部３０、シータ推定部３２、学習およびデバッグ・システム３４、画像モデル・プロセッサ３６、構造モデル・プロセッサ３８、幾何学モデル・プロセッサ４０、ならびに配向（方向）マーク検出部４２を含む。ランタイム・システム２６は、「検査モード」、「学習モード」、または「デバック・モード」で検査モジュール２８を呼び出すことができる。学習モードおよびデバッグ・モード双方では、システム１０は、部品の外観について学習し属性を保存し、対応する画像モデル、構造モデルおよび幾何学モデルを更新または追加する。ランタイム・システム２６は、ユーザ・インターフェース・モジュールを介してユーザから入力を受け入れることができる。例えば、デバッグ・プロセス中に、このユーザ・インターフェースを通じてシステムのユーザに質問を行うことができる。
【００４６】
ランタイム・システムが検査モードで検査モジュール２８を呼び出すと、検査プロセスが開始される。検査プロセスについては、図５に関連付けて以下で詳細に説明する。ここでは、検査システム１０が検査プロセスの間複数のモジュールを利用することを述べれば十分であろう。一実施形態では、検査モジュール２８は、画像モデル３６、構造モデル３８、および幾何学モデル４０を特定の順序で利用し、検査を実行する。このように、検査システム１０は、画像モデル、構造モデル、および幾何学モデルを利用して、対象物を検査する。
【００４７】
各モデル種類の長所を利用するように、３つの種類のモデルを組み合わせる。最初に、画像モデル３６をＰＣＢ上で広めの対象領域に適用し、この広めの対象領域内に、検査対象物の画像モデルに格納されている画像（ピクチャ）と非常に類似する対象物が存在するか否か判定を行い、検査対象部品が画像モデルに「類似」しているか否か判定を行う。このような使用は、例えば、画像モデルを用いて検査対象物が画像内にあるか否か判定を行う、従来の画像モデルの使用とは、区別されるべきである。本発明にしたがって画像モデルを使用する場合、非常に類似した対象物を識別するための比較的高速な技法が得られる。画像モデル内に含まれる属性は、色彩、輝度等に対応することができる。尚、画像モデルは大抵の場合固定した２進パターン、輝度、カラー画素であることは認められよう。大抵の場合、これらの画素は、対象物の撮像画像とは１対１の対応を有する。しかしながら、画像モデルが、勾配またはテクスチャの特徴のような、処理した画像の特徴の固定パターンであるという可能性もある。また、画像モデルは多くの異なる解像度で存在する場合もある。画像モデルの欠点は、ベア（裸）基板またはペースト塗布基板上の多くの特徴が、対象物上の特徴と非常に類似して見えることである。
【００４８】
画像モデル３６を検査対象物の画像に適用した後、構造モデル３８を適用する。即ち、構造モデル３８を適用して、対象物が正しく対象領域内にあるか否か判断を行う。画像モデルが、特定の場所に部品があると考えられることを示した場合、構造モデルは、指示された部品が、当該部品上にあるはずの構造的特徴の全てを有するか否か見るためにチェックを行う。構造モデルを用いると、対象物の場所に更に接近することができる。画像モデルが、その内部画像に類似した部品がＲＯＩ内にあるとは考えられないことを示した場合、構造モデルは領域全体を見渡し、画像モデルとは異なって見えるが、正しい構造的構成素子を有する部品を見つける（調査する）。
【００４９】
画像および構造照合ステップの出力は、１）部品がないこと、または２）部品が大まかに＜ｘ，ｙ＞の位置にあり、回転の推定値がｒ度であることのいずれかの指示である。部品がある場合、幾何学モデルを適応して、当該部品即ち検査対象物の場所を正確に判定する。
【００５０】
最後に、幾何学モデル４０を適用し、当該部品即ち検査対象物の場所を正確に決定する。幾何学モデルは、縁端（周縁）が「最上位（トップレベル）」のモデル記述と一致するという制約の下で、実質的に同時に対象物の縁端を全て探索する。幾何学モデルでは、部品即ち対象物が特定の場所にあることが既にわかっていることを想定しており、幾何学モデル４０は、部品または対象物の配置の正確な詳細を決定する。幾何学モデルは、輝度、色彩等の顕著な勾配を利用して、部品即ち検査対象物を正確に突き止める。尚、幾何学モデルは、顕著な勾配以外の特徴も使用可能であることは認められよう。例えば、画像を分析して、屈曲点を含む領域、その他の幾何学的特徴、そして正確に位置決めされた明確なマークのような、画像の特徴でさえも突き止めることができる。このように、検査システム１０において多数のモデルを用いることによって、システム１０は、従来技術のシステムよりも、速度が向上し、誤りが減少し、測定分解能が高くなる。
【００５１】
図２ないし図６Ｂは、処理装置によって実行する処理を示す一連のフロー図であり、例えば、検査システム１０（図１）の一部として設けて、印刷回路基板（ＰＣＢ）を検査することができる。あるいは、処理ステップは、画像処理システムによって実施し、ＰＣＢ検査以外のプロセスにおいて単に画像の照合を行うだけでもよい。矩形要素（図２において要素５４で代表する）をここでは「処理ブロック」と呼び、コンピュータ・ソフトウエアの命令または命令群を表す。菱形の要素（図２では要素５０で代表する）をここでは「判断ブロック」と呼び、処理ブロックによって表されたコンピュータ・ソフトウエア命令の実行に関与するコンピュータ・ソフトウエア命令または命令群を表す。
【００５２】
あるいは、処理ブロックおよび判断ブロックは、ディジタル信号プロセッサ（ＤＳＰ）回路または特定用途集積回路（ＡＳＩＣ）のような、機能的に等価な回路によって実行するステップを表す。フロー図は、いずれの特定のプログラミング言語のシンタックスを表すわけではない。どちらかと言えば、フロー図が示すのは、特定の装置に必要な処理を実行するための回路の製作またはコンピュータ・ソフトウエアの生成に当業者が必要とする機能情報である。尚、ループや変数の初期化や一時変数の使用というような多くの決まり切ったプログラム要素は図示していないことを注記しておく。当業者であれば、ここでは特に明記しない限り、個々の一連のステップの説明は例示のために過ぎず、本発明の精神から逸脱することなく、様々に変更可能であることを認めよう。
【００５３】
以下の図２ないし図６Ｂのフロー図におけるステップの一部は、当該ステップを実行するためにはいずれの特定的な印刷回路基板からの情報は不要であるという、非基板特定的（ｎｏｎ−ｂｏａｒｄ ｓｐｅｃｉｆｉｃ）な意味として説明する。フロー図におけるその他のステップは、当該ステップを実行するためには１つ以上の特定的な印刷回路基板（または特定的な種類の印刷回路基板）に関する少なくとも何らかの情報が必要であるという、基板特定的な意味として説明する。即ち、印刷回路基板を検査するプロセス中に実行する個々の要素またはステップが非基板特定的であると言うのは、これらの要素は、どのような基板を構築しているかに関わらず適用されることを示す。非基板特定的情報の例には、部品のサイズ、個々の部品のスナップショット、デフォルトの構造モデルおよび幾何学モデルが含まれる。基板特定的情報は、殆どの場合、モデルが対象領域内のペースト上にある部品の実例と、ペーストを塗布したパッドまたはベア・パッド（ｂａｒｅ ｐａｄ）を有する対象領域との間の差を学習する際に訓練ステップで用いられる。基板上の部品に関する文脈上の情報（ｃｏｎｔｅｘｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）を必要とするステップは、いずれもが基板特定的である。
【００５４】
これより図２を参照すると、ＰＣＢ検査プロセスが示される。検査プロセスでは、処理はステップ５０において開始し、パッケージ・ライブラリが用意（ｐｏｐｕｌａｔｅ）されているか否か判定を行う。パッケージ・ライブラリが用意されている場合、処理はステップ５２に進み、特定のＰＣＢに対して検査プランを作成する。パッケージ・ライブラリが用意されていない場合、処理はまずステップ５４に進んでパッケージ・ライブラリを用意し、次いでステップ５２に進んで特定のＰＣＢに対して検査プランを作成する。
【００５５】
パッケージ・ライブラリには、ビジュアル・クラス・タイプ（ｖｉｓｕａｌ ｃｌａｓｓ ｔｙｐｅ）を含むと注釈が付けられている（ａｎｎｏｔａｔｅ）。ある特定のＰＣＢ検査に適用する場合、１１個の異なるビジュアル・クラス・タイプが規定されている。尚、用途によっては、１１個よりも多いビジュアル・クラスが必要な場合もあり、あるいは１１個よりも少ないビジュアル・クラスで足りる場合もあることは認められよう。個々の用途のいずれにおいても、用いられるビジュアル・クラスの特定の数は、当該用用途の必要性に応じて選択される。特定のビジュアル・クラスとして分類された部品は、共通の構造を有する。例えば、金属性エンドキャップを有するディスクリート部品は全て、色づけされた本体の両側に２つの金属製エンドキャップを有する。したがって、サイズが６０×３０ミルのコンデンサ（パッケージ種別ＣＣ０６０３と呼ぶ）、およびサイズが１２０×６０ミルの抵抗器（パッケージ種別ＲＣ１２０６と呼ぶ）は、異なるサイズを有し異なる機能を実行する場合であっても、同じビジュアル・クラスを有する。
【００５６】
部品のライブラリが部品を記述する場合、通例では、わかっている寸法および機能的値と共に、特定のパッケージ種別を用いる。多くの場合、パッケージ種別には、個々の機能値と共に、部品番号が与えられている。これらのライブラリでは、部品がどのように見えるか、視覚的特性によってこれらをどのように類別するかについては留意されていない。一方、画像処理システム、例えば、画像処理システム２０（図１）は、部品の構造および外観に基づいて、これらの類別を行う。したがって、いずれの部品ライブラリにも、ビジュアル・クラスの定義を注釈として付けることは有用である。
【００５７】
尚、ライブラリが既に用意されている（即ち、検査対象物が既にデータベースに格納されている）場合、あるいはコンピュータのデータベースまたはその他の記憶装置から読み込むことができる場合、用意するステップは不要にしてもよく、その場合、処理を開始すると、ライブラリに注釈を付ける。実際には、ライブラリに部品が格納されていないというのは希であり、基板上の各部品毎にライブラリにエントリがあるか否かについて判定を行うためにチェックする。
【００５８】
パッケージ・ライブラリは、（１）部品の寸法、（２）部品名、（３）割り当てた部品番号、（４）販売業者、（５）本体サイズ、（６）部品のリードの有無、（７）リードのサイズ、（７Ａ）リードの種類、（８）リードのピッチ、（９）部品の配向マークの有無、（１０）部品上の配向マークの位置というような情報を含む。一実施態様では、クラス・タイプは、１１個のビジュアル・クラス・タイプ、（１）金属製エンドキャップを有するディスクリート、（２）ガル・ウィング（ｇｕｌｌ ｗｉｎｇ）集積回路（ＩＣ）、（３）Ｊ形リードを有するＩＣ、（４）タンタル・コンデンサ、（５）平面リード型（ｆｌａｔ ｌｅａｄｅｄ）、（６）ＣＡＰ、（７）ディスクリート・アレイ、（８）ＭＥＬＦ、（９）ＳＯＦ、（１０）ダイオード、および（１１）ボール・グリッド・アレイ（ＢＧＡ）の内の１つである。
【００５９】
尚、必要に応じて、他のビジュアル・クラス・タイプも追加可能であることは認められよう。また、用途によっては、部品のビジュアル・クラス・タイプではないクラス・タイプを含むことが望ましい場合もある。例えば、トゥームストーニング（ｔｏｍｂｓｔｏｎｉｎｇ）またはビルボーディング（ｂｉｌｌｂｏａｒｄｉｎｇ）（部品の一方の辺が基板に接触し、他方の辺が空中に浮いている状態）、損傷部品、および汚染部品のような具体的な欠陥に関して、１組のビジュアル・クラスを生成することが望ましい場合もある。好ましくは、パッケージ・ライブラリはデータベースとして設け、必要に応じて検査システムの種々の部分によってアクセスできるようにする。部品ライブラリ・ポピュレーション（準備）／注釈付けステップは、非基板特定的ステップである。
【００６０】
また、用途によっては、ライブラリにスナップショットを備えることが望ましい場合もある。スナップショットは基板とは無関係であると現在では考えられている。しかしながら、何回かの検査では、色が薄い基板上の部品は、色が濃い基板上の部品よりも明るく見えることが示されている。
【００６１】
ステップ５２に示すように、パッケージ・ライブラリを用意した後、検査プランを作成する。検査プランを作成するには、基板特定情報を取り込む。基板特定情報は、コンピュータ支援設計（ＣＡＤ）データ、ピック・アンド・プレース・データ（ｐｉｃｋ ＆ ｐｌａｃｅ ｄａｔａ）、および／またはＰＣＢレイアウト・データ（例えば、Ｇｅｒｂｅｒデータ）の形式にすることができる。検査プランは、ＰＣＢ上の各構成素子の位置を記述し、部品の種類、およびその配向を記述する。また、検査プランは、基板上のどこに基準点（ｆｉｄｕｃｉａｌ）およびバイア（ｖｉａ）があるかも記述する。更に、検査プランは各部品を検査するために用いるモデルも記述する。検査プランを初期化すると、各構成素子種別毎に、デフォルトのモデルが用いられる。
【００６２】
一旦基本検査プランを作成したなら、処理はステップ５６に進む。このステップは、基板特定学習ステップに対応し、ここで基本検査プラン内の情報を増強する。この基板特定学習プロセスは、幾何学的情報のような、プラン内にある既知の部品情報を、観察した視覚的特性と関係付ける。この学習プロセスについては、図３Ａ、図３Ｂ、図４および図１４と関連付けて以下で更に詳しく説明する。したがって、前述のステップ５０ないし５６は、検査ステップを実行する前に行われる設定および学習手順に対応する。
【００６３】
検査プランの作成および基板特定学習プロセスの完了後、処理はステップ５８に進み、検査ステップを実行する。検査ステップは、基板特定的ステップであり、図５、図６Ａ、および図６Ｂと関連付けて以下で詳しく説明する。ステップ５８において、テスト・データ・セット（検査データ集合）に対して検査を実行する。一般に、最初に設定または訓練を行う際、３つの訓練基板を取得することのみ予想していればよい。第１にベア基板であり、第２にペースト塗布基板であり、第３に部品配置基板（ｐｌａｃｅｄ ｂｏａｒｄ）である。基板上の各部品種別毎に、モデルを訓練し、当該部品があるときおよびそれがないときを検出できるようにすることが望ましい。大抵の場合、基板上の部品の実例は１よりも多い。それらの実例を２つのグループ、学習および検査グループに分割することができる。各グループには、陽性（部品有り）および陰性（部品なし）と示した見本（ｅｘａｍｐｌｅ）がなければならない。システムは、学習グループに対してモデルを訓練し、これらが検査集合に対して適正に動作することを検証する。（検査および学習集合が共通の要素を有することは可能である。）
ステップ５８における検査データ集合の検査を完了した後、処理はステップ６０に進み、デバッグ・モードを開始するか否か判断を下す。この判断は、実質的に、検査データ集合５８の検査結果に基づいて行う。即ち、ＰＣＢ全体の全ての構成素子に対してモデルが良い結果を出したことをステップ５８の結果が示す場合、ステップ６０において、直接ステップ６２に進むという判断を下す。ステップ６２において、検査すべき基板がまだあるか否かについて判定を行う。一方、１つ以上の構成素子またはＰＣＢ全体に対してモデルが良い結果を出していないことをステップ５８の結果が示す場合、ステップ６０において、ステップ６４に進むという判断を下し、別の学習ステップを実施する。この学習ステップは、他の訓練データと共に、新たな偽陽性および偽陰性を採用し、モデルを見直す。偽陽性および偽陰性に対する再訓練に加えて、ユーザまたはシステムは、画像モデル内のスナップショットを変更したり、部品の寸法を変更してデータの一致度を高めたり、特定の種類のモデルを更に追加したり、モデルをコールするシーケンスを変更したり、部品の有無を判定する判断機能を変更することも可能である。
【００６４】
尚、ユーザはいつでもシステムをデバッグ・モードにセットできることを注記しておく。また、デバッグ・モードを用いるのは、主に検査プランにおいてモデルのいずれかに伴う問題を修正するためであることも注記しておく。デバッグ・プロセスに入るという判断を下した場合、処理はステップ６４、６６のデバッグ学習プロセスに移る。背景モードで構成素子に対して新たなモデルの学習を行った場合、検査プラン内の１つと交換することができる。それ以外の場合、特定のモデルに対する学習ステップを、異なる画像集合に対して繰り返し実行する。次に、処理は検査プラン更新ステップに移り、問題の構成素子に対するモデルを、新たな「デバッグした」モデルと置換する。
【００６５】
デバッグ・プロセス・ステップを実行するか否かに対する判断は、２つの方法のいずれかで行うことができる。一方の手法では、検査システム自体が、特定の部品の検査における問題を特定する（別の言い方をすると、検査システム自体が、特定のモデルに伴う問題を特定する。例えば、ある部品の検査において良い結果が出ないモデル）。この場合、検査システム自体が、デバッグ学習プロセスの一部として、ユーザに、次のような一連の質問を行うことができる。（１）問題の部品は、この種の他の部品とは外観が非常に異なっている。これは正規の変種（ｖａｒｉａｔｉｏｎ）か。（２）システムは、この部品の検査が困難である。これは損傷していないか。
【００６６】
デバッグおよび後続の学習プロセスの結果、システムが問題部品として特定した、当該部品に対する特定のモデルまたはモデル集合の見直しが行われる。新たなモデルまたはモデル集合を生成した後、この問題構成素子に対する検査プランを更新する。
【００６７】
第２の手法では、システムは、部品を正しく検査する際に問題があったことを認識していない（即ち、システムには、あるモデルを用いたことによって、誤った検査結果が出たことがわかっていない）。例えば、システムは、偽陽性（即ち、不良部品であるのに合格部品と分類したり、または空いた場所であるのに部品があると分類する）や、偽陰性（即ち、合格部品であるのに不良部品と分類したり、または誤って部品無しと分類する）を出したことを認識していない。この場合、外部からの介入が必要となる（例えば、ユーザまたはシステム外部の何らかのものが、システムには部品の識別において問題があることを認識しなければならない）。一旦問題を特定したなら、システムに通知し、モデルを変更して偽陽性および偽陰性の数を減らすように命令する。マニュアル命令（ｍａｎｕａｌ ｉｎｓｔｒｕｃｔｉｏｎ）に応答して、そして偽陽性および偽陰性の数を減らすために、システムはデバッグ・モード・プロセス、学習、および検査プラン更新を実行する。デバッグおよび後続の学習プロセスの間、ユーザは、例えば、偽陽性や偽陰性の結果を招いた画像をシステムに供給することができる。
【００６８】
尚、デバッグ・プロセスはいつの時点でも（例えば、単一の構成素子または基板の検査後、または１００個の構成素子または基板の検査後）実施できることを注記しておく。
【００６９】
次に、処理は判断ステップに進み、未だ処理すべき基板が残っているか否かについて判断を下す。
学習ステップ６４を終了すると、問題がある構成素子またはＰＣＢのために検査プランを更新する。即ち、学習ステップ６４において生成した新たなモデルを、検査結果が悪かった部品またはＰＣＢと関連付ける。したがって、この特定の部品が次に検査されるときには、新たな１つまたは複数のモデルが検査プロセスにおいて用いられることになる。尚、全ての検査プランは基板特定的であることを注記しておく。
【００７０】
次に、処理は再度ステップ６２に進み、別のＰＣＢを検査するか判断を下す。未だ処理するＰＣＢが残っている場合、処理はステップ６８に進み、次の基板を検査する。
【００７１】
次の基板を検査した後、処理はステップ７０に進み、任意の背景モデル構築プロセス・ステップを実行する。したがって、通常の検査の間に背景モデル学習ステップを実行することができる。
【００７２】
背景モデル学習を実行するステップは、学習のステップと同一である。背景モデル学習は、多くの基板にわたってデータを処理することができ、したがって大量のデータを含み、ステップ５６の初期学習プロセスにおいて用いられるデータ量と比較すると、比較的多いデータ量を含む。
【００７３】
前述のように、デバッグしないと判断した場合、処理は直接判断ステップに進み、処理すべき基板が未だ残っているか否かについて判断を下す。
このように、ステップ６２において、処理すべき基板がもはや残っていないと判断した場合、処理は終了する。一方、未だ処理すべき基板が残っている場合、ループに入り、次に検査する基板を特定し、検査し、任意の背景モデル構築およびデバッグ・ステップを繰り返す。尚、実施形態によっては、背景モデル学習またはデバッグを必ずしも実行しない方が好ましい場合もあり得ることは認められよう。また、部品プランを保存しておき、後にこのプランと関連がある基板を再度構築する場合に使用できることを注記しておく。
【００７４】
図３Ａ、図３Ｂ、および図４は、学習プロセスの要素を記述する。モデルは、基板特定画像上で訓練する必要がある場合がある。ある部品種別に対して、モデルは、（１）正しい配向に周囲を回転させないで厳密にトリミングした部品の画像、（２）周囲を含み、ペースト上にある部品（「プレース」画像として知られている）、（３）部品がなく、ペーストを塗布したパッドおよび周囲の見本（「ペースト」画像として知られている）、（４）部品がない、ベア・パッドおよび周囲の見本（「ベア」画像として知られている）というような見本を視認する必要がある。したがって、特定の一実施形態では、１つの部品に対するモデルを訓練するために必要な例示画像の最少数は４つである。用途によっては、しかしながら、最少数の見本は４つよりも少ないこともあり得る。例えば、用途によっては、（例えば、印刷回路基板検査の用途）、ベア基板は重要でないことがわかっている。好ましくは、前述の画像（２）ないし（４）は同じ基準指標から（即ち、ＰＣＢ上の同じ場所にある同じ部品から）であり、画像（１）は異なる基準指標から（即ち、例（２）ないし（４）とは異なるＰＣＢ上の場所にある同じ部品から）である。また、画像（１）は、基板に特定的ではない技法によって独立して取り込んでもよい（例えば、基板を含めずに、それだけを撮像することができる）。
【００７５】
部品をどのように検査するか学習する際、いくつかのばらつき（変動性）が発生する。これらには、部品の色彩／輝度のばらつき、部品のサイズ変化、非均一な照明、金属の多少の酸化、異なる種類のペースト、および種々のベア基板の特徴が含まれる。ベア基板の特徴には、同じ基板上における色の相違、種々の厚さおよび仕上がり、バイア、トレース、およびシルクスクリーンが含まれる。ベア画像、ペースト画像、およびプレース画像を、同じ基準指標から得られるように制約を設けることによって、学習の間少なくとも基板のばらつきをなくすことができる。画像モデルが行う照合の相違に応じて、異なる基準指標または異なる基板からスナップショットを得ることは重要である。画像モデルは、保存してあるスナップショットと全く同様の部品が、対象領域内にあるか否か見るためにチェックを行う。スナップショットがプレース画像と同じ基準指標から得られた場合、このスナップショットは部品と完全に一致する（差は０となる）。部品には、実例毎にかなりばらつきがあるのが実際である。そこで、学習プロセスにおけるこのばらつきを定量化することが望ましい。スナップショットがそれ自体と一致した場合、部品の外観のばらつき量についてはシステムには何も情報が得られないことになる。
【００７６】
システムが、必要なときに、見本からスナップショットを自動的にトリミングできることが望ましい。あるいは、ユーザに、当該部品を含む基板の画像または背景上にある部品の画像を取り込ませ、この部品のラバーバンド処理（ｒｕｂｂｅｒ ｂａｎｄ）を行い、部品を新たな画像にコピーおよびペーストし、トリミングした画像を適切な配向に回転させ、それを保存する。このユーザの介入は、部品の種別が多い場合、非常に重荷となる。
【００７７】
図３Ａにおいて、デフォルト配向（方向）となるように回転させた構成素子のスナップショットを自動的に取得するプロセスを示し、図３Ａに記載する方法は、いかにして部品の画像を自動的にトリミングして得るかについて説明している。
【００７８】
ここで図３Ａを参照すると、処理はステップ７２から始まり、ここで検査対象物の「デフォルト・スナップショット」を取得する。部品の実際のスナップショットを得る最良の方法は、既に規定した検査プロセスを用いて、対象領域内にある所望の部品の位置を突き止めることである。部品の位置が正しく突き止められたなら、部品の画像をデフォルトの配向に回転させてトリミングを容易に行うことができる。現在、画像モデルおよび構造モデル双方共、検査を行うにはスナップショットを必要とする。問題の回路上の性質を解決するためには、所望の構成素子と同じ幾何学的形状および部品の主要視覚的特性の一部を有する合成スナップショットを用いて、システムをブートストラップ（ｂｏｏｔｓｔｒａｐ）することができる。また、同様に見える部品のスナップショットを用いることもできる。例えば、部品番号１２３−０００−０００のＣＣ０８０５のスナップショットが必要な場合、同じパッケージ種別ＣＣ０８０５を共有するが部品番号が１２３−０００−００１である部品のスナップショットを以前に取り込んであれば、これを用いることができる。これらのデフォルトのスナップショットは、データベース１２または検査プラン自体に格納してもよい。
【００７９】
デフォルトのスナップショットをどのように供給するかには関わらず、処理はステップ７４にすすみ、スナップショットを用いてデフォルト画像モデルおよびデフォルト構造モデルを構築する。ステップ７４において生成した画像モデルおよび構造モデルを「デフォルト」モデルと呼ぶのは、これらのモデルにはまだ基板に特定的な情報が全くないからである。
【００８０】
次に、処理はステップ７６にすすみ、ここで幾何学モデルを生成するか、あるいは純粋に幾何学的な情報のみ（例えば、パッケージ・ライブラリにおいて利用可能な幾何学的情報）を構築する。このように、パッケージ・ライブラリ内にある部品に関する情報から直接幾何学モデルを構築することができる。
【００８１】
次に、ステップ７８に示すように、検査対象ＰＣＢの対象領域（ＲＯＩ）を特定する。ＲＯＩは、検討対象物（例えば、検査対象の回路構成素子のような部品）を含んでいるはずである。処理ステップ８０において、デフォルト画像およびデフォルト構造モデルをＲＯＩに適用し、ＲＯＩ内に部品があるか否か判断を下す。次に、処理はステップ８２に進み、部品がＲＯＩ内にあるか否かについて判定を行う。このように、画像モデルおよび構造モデルを用いて、部品がＲＯＩ内にあるか否かについて判定を行う。
【００８２】
判断ブロック８２において、部品がないと判断した場合、処理はステップ７８に戻り、新たなＲＯＩを入力し、ステップ８０において画像モデルおよび構造モデルを適用する。このループは、画像モデルおよび構造モデルが部品の存在を示すまで、または全てのＲＯＩを調べ終えて部品がないと見なされるまで、繰り返される。
【００８３】
判断ブロック８２において、部品があると判断した場合、処理はステップ８４に進む。ステップ８４において、構造モデルは、ＰＣＢ上のＲＯＩ内において大まかに突き止めた部品の位置を幾何学モデルに知らせる。構造モデルからの出力は、ＲＯＩ内にある部品の中心＜ｄｘ， ｄｙ＞（予想した位置からのデルタ位置）および部品回転の大まかな（ラフな）推定値を含む。構造モデルは、更に別のステップに進み、＜ｄｘ，ｄｙ＞およびシータを、幾何学モデルと見なされる部品の各縁部の位置に変換することもできる。
【００８４】
幾何学モデルは、部品の境界およびあらゆる回転角度（θ）を、画素の大きさ未満（例えば、画素の数分の一）の精度で突き止める（求める）。
ステップ８６に示すように、一旦部品の正確な境界およびその回転がわかったなら、これをデフォルトの配向に回転させることができる。部品の回転は、回転角度の負数（−θ）だけ行って、部品ライブラリ内に規定されている「基準角度」を得るようにする（即ち、部品ライブラリは、０度の回転とは何かという定義を有し、これを、個々の印刷回路基板上で発見した回転に関係付けることができる）。例えば、システムが、反時計回り方向に１度回転した部品を発見し、この部品のデフォルト配向が時計回り方向に９０度である場合、システムはこの部品の画像を９１度時計回り方向に回転させ、画像を正しい配向に変換することができる。
【００８５】
一旦ステップ８８に示すようにスナップショットを求めトリミングを行ったなら、基準指標をランダムに選択し、プレース見本、ペースト見本、およびベア見本を得る。
【００８６】
図３Ａは、スナップショットおよび基板に特定的な見本に対してモデルを訓練する一方法を示す。これは図２におけるステップ５６に対応する。
これより図３Ｂを参照し、構造モデルにおける画像の学習プロセスについて説明する。処理はステップ９０において開始し、ここで構造モデルおよび画像モデルを取り込み、トリミング見本ＲＯＩ、ペースト見本ＲＯＩ、プレース見本ＲＯＩ、およびベア見本ＲＯＩに適用する。尚、図３Ｂのプロセス・フローでは、画像をランダムに選択することを注記しておく。しかしながら、用途によっては、最良の見本画像集合を選択し、学習プロセスにおいて用いることが望ましい場合もある。このような技法については、図４と関連付けて以下で説明する。
【００８７】
次に、処理はステップ９２に進み、ここで構造モデルのデフォルトの定性的および定量的特性を、構造モデルを画像に適用することによって学習した値と置換する。一実施形態では、４つの画像、即ち、トリミング画像、ペースト画像、プレース画像、およびベア画像を用いる。しかしながら、これは非常に汎用的な学習フローであるので、本発明は４つの画像に限定する必要がないことは認められよう。構造モデルの属性は、いくつかのレベルで修正することができる。トップレベルでは、構造モデルはペースト画像およびプレース画像上におけるその振る舞いの良否だけを記録すればよい。この振る舞いは、スコアの集合として格納することができ、少なくとも１つのスコアがペースト画像に、そして１つのスコアがプレース画像に関与する。
【００８８】
構造モデルの修正は、レベルを落として行ってもよい。その定量的および定性的関係を変化させ、プレース画像との一致度を最大限高め、更にそれ自体をペースト画像から最大限区別するように、構造モデルに命令することができる。
【００８９】
次に、処理はステップ９４に進み、ここで画像モデルのデフォルト属性を、画像モデルを４つの画像（トリミング画像、ペースト画像、プレース画像、およびベア画像）に適用することによって学習した値と置換する。
【００９０】
構造モデルと同様に、画像モデルも異なるいくつかのレベルで修正することができる。まず、スナップショットをモデルと関連付ける。次に、画像モデルのペースト画像およびプレース画像に対するスコアを格納するとよい。加えて、画像モデル内部の他の属性も修正し、プレース画像との一致度を最大限高め、それ自体をプレース画像から最大限区別することもできる。例えば、ペースト画像では、位置（ｘ１， ｙ１）および（ｘ２， ｙ２）において高い一致度が得られることを学習することもできる。これが意味するのは、ベア基板上に、当該部品と非常に良く似た特徴があるということである。画像モデルを新たな領域に適用したときに、（ｘ１， ｙ１）または（ｘ２， ｙ２）において最高の一致度が見いだされた場合に低い信頼性一致スコアを与えるようなスコア関数を生成することができる。
【００９１】
次に、処理はステップ９５に進み、ここで幾何学モデルのデフォルト属性を、幾何学モデルを４つの画像に適用することによって学習した値と置換する。例えば、幾何学モデルは、部品およびその構成部分（ｓｕｂｐａｒｔ）の真の寸法を、プレース画像およびスナップショットから測定することができる。デフォルトの幾何学モデルに格納されている寸法は、全ての販売業者に対する当該部品種別の予想寸法の平均である。また、幾何学モデルは、部品および基板境界、ならびに下位部品の境界間における勾配の強度も学習することができる。また、幾何学モデルは、画像がカラーで与えられている場合、最良のカラー・チャネル（ｃｏｌｏｒ ｃｈａｎｎｅｌ）を学習し、勾配を計算することもできる。
【００９２】
こうして、処理は終了する。
ベア画像、ペースト画像、プレース画像の集合をランダムに選択して訓練すること（図３Ｂに記載）は、最良の手順としなくてもよいことは認められよう。理想的には、システムは異なる種類の基板（例えば、ベア、ペースト、およびプレース）において全ての基準指標を検出し、最高の処理能力（ｐｅｒｆｏｒｍａｎｃｅ）が発揮できる見本画像を選択しなければならない。
【００９３】
ここで図４を参照し、最良のトリミング画像、ペースト画像、プレース画像、およびベア画像を選択し、図３Ｂと関連付けて先に説明した学習プロセスにおいて用いることが望ましい場合に実行することができるステップを示す。
【００９４】
処理はステップ９６において開始し、（１）基板種別（ベア、ペースト、プレース）、（２）検査プランをインポートする（取り込む）。見本のプレース基板は一般に「ブロンズ基板」（ｂｒｏｎｚｅ ｂｏａｒｄ）と呼ばれている。何故なら、基板上に部品配置の誤りまたは省略があり得るからである。
【００９５】
処理ステップ９８において、各部品種別に関連するデフォルト・モデルを生成し、ステップ１００において、個々の部品種別毎に、１つ以上の基準指標に対してデフォルト・モデルを訓練し、当該部品種別に関連する基準指標に１つ置きに適用する。尚、構成素子が配置されている印刷回路基板上の各場所（即ち基板位置）には一意の基準指標が割り当てられている。したがって、検査プランでは、各基準指標は、印刷回路基板上における特定の一意な場所、およびその基板位置に配される特定の部品を指定する。
【００９６】
ステップ１０２において、特定の基準指標に対して、個々の部品種別のデフォルト画像および構造モデルを用いて、最初に当該部品が「ブロンズ」基板内の基準指標の位置にあり、ペースト基板およびプレース基板内の基準指標の位置にはないか否かチェックする。
【００９７】
次に、処理はステップ１０４に進み、一旦ステップ１０２における各チェックに対する肯定（ａｓｓｅｒｔｉｏｎ）が検証されたなら、見本の基準指標から得た３つの画像に対してモデルを訓練する（尚、３つの画像全てに対して訓練する必要はないことを注記しておく。実施形態によっては、ベア基板は有用でないことがわかっている）。ステップ１０６に示すように、次に、学習したモデルを用いて、「ブロンズ」プレース基板ならびにペースト基板およびベア基板上の部品種別に関連する、残りの基準指標を検査する。
【００９８】
ステップ１０８に示すように、特定の基準指標に対して訓練したモデルには、これらが真陰性見本「部品無し」から真陽性見本「部品有り」を選別した度合いに関して格付けを与えることができる。訓練見本として用いた基準指標毎に、この選別の有効性に関して格付けを行うことができる。ステップ１１０に示すように、選別が最も良好な見本画像集合（セット）を、訓練見本として選択し、全生産基板検査に用いるとよい。
【００９９】
ステップ１１２に示すように、ある訓練画像集合が、ある部品種別のモデルに対して、真陽性および真陰性の選別を十分に遂行していないことが判明することがある。例えば、ある部品種別に対して、茶色および白色双方の実例が基板上にある場合がある。茶色見本または白色見本間で選択する代わりに、２つのモデル集合を茶色の部品および白色の部品に対して１つずつ訓練することができる。画像および構造モデルのスコアの出力に対して、単純なクラスタリング・アルゴリズムを用いれば、基準指標が１つよりも多く必要か否か判定することができる。このクラスタリング・アルゴリズムは、必要な基準指標見本の数を判定する。
【０１００】
ステップ１１４において、クラスタ毎に、画像の基準指標集合を選択する。クラスタ毎にデフォルト画像および構造モデルを生成する。次に、＜モデル、基準指標＞の各集合に対して学習を行う。
【０１０１】
次に、処理はステップ１１６に進み、学習したモデルを検査プランに再度保存する。ここで、処理は終了する。
尚、図４では、訓練のために３枚から成る画像１組（ベア画像、ペースト画像、およびプレース画像の見本）のみを用いるというシナリオにしたがって説明したことは理解されよう。他のＮ−１枚の画像を検査に用いて、モデルが十分機能するか否か判定即ち測定する。しかしながら、ステップ１０４における訓練において１つよりも多い基準指標を用いることができ、したがって検査集合（いずれが残っても）に対してモデルに最良の判別能力を与える、１つまたは複数の最良の基準指標集合を選択することが望ましい場合も、用途の中にはあることは認められよう。
【０１０２】
例えば、２つの基準指標が利用可能な場合、スナップショットを得るために一方を用い、ペースト画像およびプレース画像においてモデルを訓練するために一方を用いることができる。別の例として、３つの基準指標が与えられた場合、第１の基準指標をスナップショットに用い、残りの２つの基準指標を訓練に用いることもできる。これは、Ｎ個の基準指標が利用でき、Ｍ個（ＭはＮ未満）を訓練に用い、残りのＮ−Ｍ個の基準指標を検査に利用可能とする場合に拡張することができる。最後に注記しておくと、このプロセスは、最良のスナップショットおよび最良のＲＯＩ訓練集合を選択するために用いることができる。
【０１０３】
尚、これまでに行った説明において、スナップショットの選択とペースト、プレース、およびベア訓練画像の選択との間で区別をしなかったことは認められよう。最悪の場合、あらゆる基準指標をスナップショットの候補として試験しなければならない。しかしながら、実際にはこれは時間がかかり過ぎる。
【０１０４】
一旦部品種別毎にモデルを生成し、見本画像集合に対して訓練したなら、システムは基板検査の準備が整ったことになる。図５は、多数のモデルを利用した検査プロセスのステップを示す。
【０１０５】
ここで図５を参照すると、処理はステップ１１８にて開始し、特定の部品種別を含んでいるはずの基板上において対象領域の画像を取得する。次に、処理はステップ１２０に進み、この部品種別に関連するモデルを取得する。
【０１０６】
次に、ステップ１２２に示すように、取り込んだ画像に画像モデルを適用する。いずれのモデルであっても、可能な全ての中心位置に可能な全ての回転でモデルを適用し、部品の中心および回転を判定することが望ましい。これは、網羅的（しらみ潰し）探索手法として知られており、スナップショットと同様に見える部品がある場合、確実に画像モデルにそれを発見させる。速度の問題について、画像モデルは、ＲＯＩの探索時に中心および可能な回転の集合をサンプリングすることができる。サンプリングが多い程、動作は速くなる。しかしながら、サンプル・サイズが増大するに連れて、モデルが部品を発見する確率は低下する。速度および有効性双方の最大化を図るために、粗−精細方策を取り、最初に粗くサンプリングし、次いで実際の部品の中心および回転に対して最良の候補である領域周囲で精細にサンプリングする。この方策は、画像モデルだけではなく、いずれのモデルでも使用することができる。
【０１０７】
次に、処理は判断ブロック１２４に進み、部品があることを画像モデルが示しているか否か判断を下す。
部品があることを画像モデルが信頼性のある判断をした場合、処理はステップ１２６に進み、構造モデルを用いて、画像モデルが部品を発見した比較的小さなエリア周囲において探索を行う。部品があるか否かわからないと判断した場合、処理はステップ１２８に進み、構造モデルを用いて、ＲＯＩ全域の探索を行う。構造モデルがＲＯＩ全域を探索する際、粗−精細探索法を採用してもよい。
【０１０８】
次に、ステップ１３０において、構造モデルの結果に基づいて、部品があるか否かについて最終判断を下す（尚、部品があるか否か判断を下す際に、構造モデルは画像モデル・スコアを、その判断機能の一部として用いてもよい）。部品がないと見なされた場合、処理は終了する。
【０１０９】
一方、部品があると見なされた場合、処理は続いてステップ１３２に進み、幾何学モデルを用いて正確に部品の位置を突き止め、更にこの部品に関する更に詳細な回転情報を提供する。次いで、処理は終了する。
【０１１０】
図６Ａおよび図６Ｂは、個々の基準指標における個々の構成素子に対する検査プロセスのステップを更に詳細に示す。３つのモデルの適用以外のステップについて明確にする。画像および構造モデルが部品があることを示すか否か判定を行う判断手順についても説明する。
【０１１１】
ステップ１３４において、ある部品種別に対して、検査プランにモデルを入力する。次に、ステップ１３６に示すように、システムは、部品および特定の基準指標に対するその周囲の画像を取得する。この画像を「対象領域」即ちＲＯＩと呼ぶ。ＲＯＩは、既に取得してある、基板の大きな画像からトリミングしてもよいし、あるいは数個のカメラ・フレームからつなぎ合わせてもよい。ＲＯＩのサイズの決定は、部品種別、そのサイズ、ユーザが入力する位置許容度、およびモデルにおける周囲領域のいずれかのサイズによって左右される。
【０１１２】
最初のオプション・ステップ１３８では、ベア基板およびペースト基板上に現れるＲＯＩの特徴（外形）を検査するが、部品があるときその特徴は隠れていることになる。これらの特徴には、バイア、トレース、およびパッド（ペーストが塗布されているパッドおよびベア・パッド）が含まれるが、集積回路のような大きな部品、またはボール・グリッド・アレイのような、接続部が見えない部品の下に隠れているのが一般的である。このステップの一実施態様では、予想したサイズの円形、矩形、または直線状の特徴を探す。別の実施態様では、現在のＲＯＩを、学習したペースト基板上にある同じＲＯＩと比較する。ステップ１４０において、高い信頼度でオクルージョン特徴があると判断した場合、これは部品がないことを意味するので、処理は終了する。
【０１１３】
ステップ１４０において、オクルージョン特徴がないと判断した場合、何か（例えば、正しい部品またはその他の何か）が画像内にあると見なされる。すると、システムは第２のオプション・ステップ１４２を実行し、ＲＯＩを処理して支配的（顕著）な角度的特徴を探す。これを行う方法の１つは、勾配方向および大きさを画像内にある各点において計算することである。角度的特徴に基づいて、システムは、画像内にある対象物の支配的角度を計算する。部品がない場合、基板の背景、トレース、およびパッドが０、９０、１８０、または３６０度の支配的角度をなす。これは、これらの特徴（構造）が通常カメラのフレームに対して整列される（一直線にされている）か、または、これに対して直交しているからである。部品がある場合、その特徴が支配的角度の集合に関与する。０、９０、１８０、または３６０以外の最良の支配的角度θを、後の使用のために記録する。これは、部品の位置の推定値ではなく、部品の回転量の推定値をシステムに与える。
【０１１４】
次に、ステップ１４４に示すように、画像モデルをＲＯＩ画像に適用する。本質的に、画像モデルが調べるのは、トリミングしたスナップショットに非常に類似しているがベア画像やペースト画像とは非常に異なるパターンがＲＯＩに含まれているか否か確かめるためである。これは、学習したデータを用いて、正しい部品がある確率または確信度を計算する。画像モデルはＲＯＩ全体を探査（サーチ）する。画像モデルは、部品自体が予想位置から平行移動され、予想回転を超えて回転させられた場合、画像内にある多数の場所において、多数の回転でスナップショットを照合しなければならない。速度を高めるためには、画像モデルはＲＯＩ内にあるあらゆる場所において部品のチェックを行わなくてもよい。ここで、部品のサイズおよび部品の種別から、画像モデルが画像空間をサンプリングする粗さの程度を判定する。加えて、速度を高めるために、画像モデルは、２つの回転、即ち、予想回転およびθのみをチェックする。粗い探索の後、画像モデルは部品中心の最良の候補周囲で精細探索を行う。画像モデルは、最良の場所＜ｘ１， ｙ１＞および角度推定値θ２をＲＯＩ内の部品に対して出力する。また、部品がある確率ファイ（φ）も出力する。
【０１１５】
次に、ステップ１４６において、部品があることを画像モデルが示しているか否か判断を下す。これは、第１閾値に基づいて行われる。ここでは、第１閾値をφで示す。尚、ここでは比較的単純な閾値を用いるが、用途によっては、比較的複雑な関数を利用して閾値を与える方が有利であったり、あるいは望ましい場合もあることは認められよう。例えば、関数を更に複雑にすれば、確率の計算値φ、画像スナップショットと部品の候補位置との間の実際の一致スコア、候補位置、および画像がペーストでない確率を取り込んで、部品が実際にあるか否か判定を行うことができる。
【０１１６】
部品があり、画像モデルが学習したものとそっくりであることを画像モデルが確信する場合、処理はステップ１４８に移り、構造モデルを用いて部品があることを検証する。画像モデルが部品を発見した比較的小さなエリア周囲を探索することによって、位置突き止めの分解能を高めようとする。この場合、１または２画素というような小さい刻みサイズ、および角度θ２で、位置＜ｘ１， ｙ１＞周囲において部品のみをチェックする。
【０１１７】
画像モデルが部品のあることを示す信頼性がない場合、処理はステップ１５０に進み、構造モデルはＲＯＩ全体の探索を行う。この場合も、速度のために、構造モデルは、ＲＯＩ内におけるあらゆる位置および角度毎に部品のチェックを行うのではない。ここでは、部品のサイズから、構造モデルがＲＯＩをサンプリングする粗さの度合いを判定する。加えて、更に高速化するために、構造モデルは、２つの可能な部品回転、即ち、予想回転およびθについてのみチェックを行う。
【０１１８】
構造モデルは、最終的に、部品の有無について判断する。いずれの場合でも、ＲＯＩ内に部品があると判定した場合、ステップ１５２に示すように、最良の位置＜ｘ２， ｙ２＞および角度θ３を戻す。この情報は幾何学モデルに送られ、ステップ１５６に示すように、画素未満の精度で部品の位置を突き止め、θの推定値を高精度化する。ステップ１５８に示すように、幾何学モデルは、標識「有」、最終中心位置＜ｘ３， ｙｘ＞、および角度θ４を戻す。
【０１１９】
構造モデルが、部品がないと判定した場合、システムは停止し、標識「無」を戻す。
図６Ａおよび図６Ｂに記載したフローは、速度について最適化されている。ベア基板外見（特徴）を比較し、θの推定値を計算するオプションの前処理的ステップは、飛ばすことができる。最も綿密なモードでは、画像モデルおよび構造モデルはＲＯＩ内にあるあらゆる可能な位置を探索して部品を見つけようとすることができる。また、これらは種々の角度で部品を探す探索を実行することもできる。
【０１２０】
学習およびデバッグを通じて、代わりの画像または構造モデルを指定しておくことも可能である。その場合、適切な時点に双方を適用する。いずれかが一致した場合、プロセスは、図４に指定したように継続する。
【０１２１】
尚、ここで注記すべきこととして、図６Ａおよび図６Ｂにおける判断機能は、「確率＞φ」よりも複雑な他の係数または式に基づくことができる。これは、単なる一例である。また、モデル・スコアを混合した組み合わせを、構造モデル判断機能におけるような、判断機能において用いることもできる。
【０１２２】
また、図６Ａおよび図６Ｂは「有」および「無」という出力しか示さないことにも留意されたい。画像内に何かがあるが、それが正しい部品ではないという、中間の状況がある。この場合、構造モデル段階では、第２の判断機能を用い、部品がある確率が中位である場合、システムは別の分析手順に分岐して診断を行い、「損傷部品」、「不良部品」、「汚染部品」、「トゥームストーン状部品」等の結果を出す。
【０１２３】
最後に、この作業は、印刷回路基板の検査を目的とするが、この方法はあらゆる画像処理領域にも適用可能である。例えば、同じ方法を、外観の認識、人の認識、およびデータベース・サーチに用いることもできる。
【０１２４】
ここで図７Ａおよび図７Ｂを参照する。基準配向で示す画像モデル１６０、構造モデル１６２、および幾何学モデル１６４を、取り込んだ画像領域１６６、１６８に対して訓練する。画像領域１６６、１６８は、ＰＣＢの部分に対応する。画像領域１６６は、いわゆる「ペースト」画像であり、回路構成素子を実装するＰＣＢのエリア内にペースト（例えば、はんだペースト）が塗布されていることを意味する。したがって、画像１６６には回路構成素子が示されていない。画像領域１６８は、いわゆる「プレース」画像であり、領域１６８の特定の位置で回路構成素子１７０が発見されるはずである。
【０１２５】
３種類のモデルの各々に、所定のビジュアル・クラスを与える。印刷回路基板検査の位置実施形態において用いられる１１のクラス種別を、図２に関連付けて既に列挙している。先に注記したように、用いるクラス種別は１１よりも少なくても多くても可能であり、個々の用途の必要性に応じて、特定数のクラス種別およびクラス種別自体を選択する。
【０１２６】
ビジュアル・クラスの数を決定するために、表面実装印刷回路基板の典型的な構成素子種別を全て検討した。本質的に、部品に共通の視覚的特性に基づいて構成素子をクラスタ化した。その目標は、典型的な部品の全種別に跨る最小数のビジュアル・クラスを生成することであった。ＰＣＢ構成素子の場合、構成素子のリードの種別から構成素子の視覚的外観がわかることを発見した。例えば、エンドキャップを有する構成素子は、一般に抵抗器またはコンデンサであり、これらは全て２つの金属製エンドキャップおよび着色した本体を有する。ガル・ウィング・リードを有する構成素子は、大抵の場合、集積回路であり、黒い矩形の本体、本体から突出する金属製リードを有するのが常であり、リードはｚ軸方向に下方に屈曲し、次いで真っ直ぐに延びている。いずれの場合でもパッケージ全体のサイズおよびその構成部分のサイズが変化しても、構成素子全体の外形は同一のままである。これが、構造モデルがこれらのクラスを表すのに非常に適している理由である。
【０１２７】
視覚的刺激をビジュアル・クラスにクラスタ化するというこの技法は、唯一印刷回路基板の検査用途のためにあるのではない。これは、殆どのコンピュータ映像の用途に応用され、当該用途のために視覚的刺激のクラスをカバーするモデル集合を生成する。一例として、顔検出の分野をあげる。異なる照明条件の下で異なる表情を持つ人の顔は、性および年齢の違いによって、視覚的類似性に基づいたグループにクラスタ化することができる。例えば、顔の画像処理に関する従来技術の実績において、正面を向いた顔は６つのビジュアル・クラスにクラスタ化できることがわかった。ビジュアル・クラスは、名称や人に対する意味はないが、クラスタは顔検出問題に大いに役立った。新たな画像を処理して、ビジュアル・クラスタの１つに該当した場合、それを顔として識別した。クラスタに該当しなかった場合、顔でないと判断した。診断における信頼性の尺度は、新たな画像の顔クラスタに対する近接度とした。
【０１２８】
ビジュアル・クラス・クラスタ化は、医療撮像（例えば、センサによって腫瘍の外観を特徴化しクラスタ化する）、軍事用途（例えば、合成アパーチャ・レーダから対象物を検出するためにパターンを分類する）、更に交通流量監視（例えば、異なる交通流のパターンを分類する）に至るまで、他の用途においても共通である。
【０１２９】
この特定例では、モデル１６０−１６４は各々ＤＩＳＣＲＥＴＥＳと言うビジュアル・クラス種別に属している。１１個のビジュアル・クラス種別の各々は、全体の照合方法に対して、９個の要素（１）オクルージョン特徴、（２）θ推定領域、（３）画像モデル特性、（４）構造モデル特性、（５）幾何学モデル特性、（６）配向マーク種別、（７）代替モデル、（８）学習パラメータ、（９）判断機能を含む。
【０１３０】
オクルージョン属性は、ＲＯＩ内にあると予想されるオクルージョン特徴を特定する。θ推定属性は、θ推定部を使用すべき領域（複数の領域）を特定する。構造モデル属性は、領域、領域特性、およびモデルを構成した関係を記述する。幾何学モデル属性は、高い勾配または周縁属性の複合を記述する。配向マークは、部品本体上にあると予想されるマークの種別を特定する。
【０１３１】
代替モデル属性は、個々のクラス種別において各部品に用いることができる代替モデルを特定する。例えば、代替モデルは、上下逆に置いたときの部品の画像モデルを含むこともできる。学習特性は、各クラス種別においてモデル毎に学習し保存しておく方がよい特性に関する情報を含む。最後に、最終特性は、部品の有無についての判断機能について記述する。この判断機能は、１つ以上のモデル種別の出力を入力として取り込むことができる。
【０１３２】
印刷回路基板の用途において用いられるディスクリートのビジュアル・クラスに関するビジュアル・クラス情報の一例を、以下の表１に示す。
【０１３３】
【表１】
2004502250.tif 000003
【０１３４】
画像モデル１６０は、トリミングした画像に対応し、例えば、前述の技法にしたがって供給することができる。構造モデル１６２は印刷回路基板の異なる実例上の基準指標Ｒ２９を参照する。
【０１３５】
パッケージ種別ＲＣ１２０６に用いる構造モデルは、基準指標Ｒ２９において特定の部品を精度高く特定していないので、基板上のこの特定の位置におけるこの特定の部品に対して新たな構造モデルを生成する。図１１Ｂからわかるように、一旦パッケージ種別ＲＣ１２０６および基準指標Ｒ２９に対して新たなモデルを用いたなら、類別２１０の位置で示すように、プレース部品およびペースト部品間ではっきりした分離が達成される。グループ２１０は、基準指標Ｒ２９に配置した部品の画像に対する新たな構造モデルによって生成されたスコアを示す。このように、図１１Ｂは、Ｒ２９モデル（グループ２１０）およびＲ２９モデル以外（ペースト画像に対するグループ２０６およびプレース画像に対するグループ２０４）双方に対する識別スコアから、ペースト部品およびプレース部品間ではっきりした分離ができることを示す。
【０１３６】
図１１Ａおよび図１１Ｂは、見本画像のクラスタを試験することによって、検出および認識のためには、特殊化したモデルまたは特別に訓練したモデルを必要とする構成素子を識別できることを示す。例えば、図４と関連付けて先に説明したステップ１００ないし１０８は、ペースト画像およびプレース画像の集合に対して分離プロットを生成する技法を示す。分離プロットは、ペースト画像およびプレース画像の集合について、陽性見本および陰性見本間でモデルに可能な判別の尺度である。図４は、ペースト画像およびプレース画像間で明確な分離が得られる、最良のモデル集合を選択する方法を示す。
【０１３７】
尚、図１１Ｂにおける処理の終了時に、部品種別ＲＣ１２０６に新たな構造モデルを追加した。これは、２つの構造モデルをこの部品種別に関連付けたことを意味する。同じプロセスを用いて、新たな画像モデルまたは幾何学モデルを作成すべきか否か判定を行うこともできる。
【０１３８】
これより図１２を参照し、画像モデルのＲＣ０８０５と識別された構成素子との照合について示す。ここでも、この特定例では、ペーストおよびプレース部品類別２１４、２１６間には明確な分離があり、したがって画像モデルはペースト部品およびプレース部品間で正しく区別できることを示している。この分析が示すのは、この部品種別について、照合方法は図９Ａに記載したフローに従う可能性が非常に高く、その際部品検出および位置特定以外にも構造モデルを検証のために用いるということである。
【０１３９】
図１３は、種別ＲＣ１２０６のペースト画像およびプレース画像に対する画像モデルのスコアを示す。図１３では、ペーストのスコアをグループ２１８として示し、プレースのスコアを破線で示す。本発明の技法によって得られた結果とは対照的に、図１３を参照すると、従来技術の技法を用いた場合（即ち、画像モデルのみを用いて印刷回路基板のプレース領域およびペースト領域を識別し区別する場合）、図１３に示すように、ペースト画像およびプレース画像間の分離が殆どまたは全くなされていないことが認められよう。尚、本発明において記載するプロセスは、構造モデルを用いることによって、画像モデルの制約を補うことも可能である点を注記しておく。構造モデルは、図１１Ｂに既に示したように、ペースト画像およびプレース画像間において明確な分離を行うことができる。
【０１４０】
この分析が示すのは、この部品種別では、照合方法は図９Ｂおよび図９Ｃで説明したフローに従う可能性が非常に高く、その際構造モデルを部品検出および位置特定に用いるということである。
【０１４１】
これより図１４Ａないし図１４Ｃを参照して、ある部品種別に対して画像の分類を正確に行うモデルの訓練技法を示す。プロセスはステップ２３０から開始し、ある部品種別のモデルをモデル種別集合から選択する。このモデルは、画像モデル、構造モデル、または幾何学モデルとすることができる。これらのモデルの各々を独立して学習させることもできるが、ここでは画像モデルおよび構造モデルを一緒に学習させることとする。
【０１４２】
ステップ２３２に示すように、同じ部品種別の全「プレース画像」にモデルを適用する。「プレース画像」とは、当該画像内にある予想位置の範囲の中の１つに検査対象物がある画像のことを言う。次に、処理はステップ２３４に進み、選択したモデルおよび対象領域（ＲＯＩ）内にある各「プレース画像」間で「プレース画像スコア」を計算する。各「プレース画像スコア」は、モデルおよび個々のプレース画像間における一致度を表す、即ち、示す値である。
【０１４３】
次に、処理はステップ２３６および２３８に進み、同じ部品種別の全ペースト画像に同じモデルを適用し、選択したモデルと対象領域（ＲＯＩ）内にある各「ペースト画像」との間における「ペースト画像スコア」を計算する。
【０１４４】
一旦プレース画像スコアおよびペースト画像スコアを計算したなら、後の処理に用いるためにこれらを保存する。次に、ステップ２４２において、「アウトライヤー（異常）スコア」（または更に単純化して「異常値」）のチェックを行う。「異常値」という用語は、プレース画像スコアおよびペースト画像スコアの典型的な値の範囲から明らかに外れていると思われるプレース画像スコアおよびペースト画像スコアのことを指す。異常値が識別された場合、この異常値の理由を判定しなければならない。即ち、繰り返されるとは考えられない異常な状況または特性によって異常スコアが発生した場合、スコアの分布計算に異常点を含めなければよい。一方、繰り返されると考えられる状況または特性によって異常スコアが発生した場合、異常点をスコアの分布計算に含めるとよい。例えば、エンドキャップ上にペーストが塗布された単体構成素子は異常値であるスコアを与える。これは事実上欠陥であるので、正常なプレース・スコア集合からこのスコアを排除することが望ましい。また、プレース画像を誤って指定した場合、予想した対象物が画像内にないことを意味し、この画像に関連するスコアを、プレース・スコア集合から排除することが望ましい。一方、単体構成素子の本体は一般に黒く、本体が白い（または全く異なる外観）部品の有効な実例が現れた場合、この有効な実例を正常なプレース・スコアの分布に含ませることが望ましい。
【０１４５】
例えば、図１４Ｃを手短に参照すると、スコアの発生数のヒストグラムが２つ示されている。Ｘ軸上の各要素はスコアの範囲を示す。Ｙ軸は、当該スコアまたはスコア範囲の発生数を示す。曲線２５４は、プレース画像スコアのヒストグラムに対するガウス当てはめ（ｇａｕｓｓｉａｎ ｆｉｔ）に対応し、曲線２５６は、ペースト画像スコアのヒストグラムに対するガウス当てはめに対応する。点２５８は、プレース画像スコアに関する異常値を表す。即ち、点２５８は、曲線２５４を引くために用いた計算には含まれなかった点に対応する。同様に、点２６０はペースト画像スコアに関する異常値を示し、したがって、点２５８は、曲線２５６を引くために用いた計算には含まれなかった点に対応する。
【０１４６】
再度図１４Ａおよび図１４Ｂを参照する。処理はステップ２４４に進み、分離関数を計算する。分離関数の計算方法は、種々の要因によって異なり、ステップ２３０で選択したモデルの種別、プレース画像およびペースト画像の特性、ならびにモデルを用いている用途の特定の種別を含むが、これらに限定される訳ではない。例えば、モデルが画像モデルに対応する印刷回路基板の検査プロセスのような用途では、相関関数のスコアから分離関数を生成することができる。いずれのモデル照合方法からでもスコアを生成することができる。例えば、モデルは、複雑な照合関数を有する外観を有していてもよい。得られたスコアを同じプロセスに入力すれば、ステップ２４４で説明したような分離関数を生成することができる。
【０１４７】
この場合、分離関数は、ガウス曲線を陽性見本に当てはめ、別のガウス曲線を陰性見本に当てはめようとする。１つのガウス曲線では、十分な曲線当てはめを達成するには不十分な場合もあり得る。したがって、各クラスにおいてデータを近似するには、いくつかのガウス曲線が必要となる場合もある。例えば、ＰＣＢの背景に２つの非常に異なる色彩がある場合、ペースト見本から両モード分布（ｂｉ−ｍｏｄａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）が生ずる場合がある。Ｋ−平均のように、この目的に適したクラスタリング・アルゴリズムには何種類かあり、当業者には周知である。分離関数を計算する別の方法は、データと符合する最良の曲線を発見することである。これは、分布関数がわからないか、あるいは分布関数を強制しないことを想定している。
【０１４８】
新たなデータ点が与えられると、当該点における曲線の値を調べることができる。計算した値および分布の性質に基づいて、このデータ点が当該クラスに属する確率または尤度を計算することができる。場合によっては、この点が２つ以上の分布の交点に該当することもある。この場合、その点が各分布に属する可能性を計算することができる。最も単純な場合では、この点に、最も高い尤度で分布に属するという印を付ける。しかしながら、この診断を低い信頼度で報告する可能性がある。
【０１４９】
分離関数を計算した後、処理は判断ブロック２４６に移り、分離関数が許容可能か否か判断を下す。この場合も、この判断を下す方法および判断する際に考慮する要因は、種々の事項によって異なる。例えば、印刷回路基板の検査プロセスのような用途において、モデルが画像モデルに対応し、分離関数が相関関数を含む場合、分離関数が合格か否かについての判断は、最小および最大相関値間の差を計算し、この差の値を所定の閾値と比較することによって行うことができる。
【０１５０】
しかしながら、別の用途では、分離関数は、領域の相対関係および領域の特性が構造モデルと一致する度合い、または勾配パターンが縁端モデルと一致する度合いとすることもできる。
【０１５１】
尚、このプロセスは、陽性見本および陰性見本に対してスコアを生成するあらゆる用途に対して、本質的に同一であることは認められよう。しかしながら、多数のスコア出力を有することが可能である。この場合、データを近似するには、次元を高くしたガウス曲線が必要となる。
【０１５２】
判断ブロック２４６において、分離関数が許容可能であると判定した場合、処理はステップ２４８に進み、別の使用のためにモデルを格納する。一方、判断ブロック２４６において、分離関数が許容可能でないと判定した場合、処理はステップ２５０に進み、このモデルを、用いられないモデルとして識別する（または、このモデルに、廃棄するモデルという印を単に付けることもできる）。この「不良」モデルは、今後のモデルのベンチマーク検査を行う際に用いることができる。
【０１５３】
次に、処理はステップ２５２に進み、同じ種別で評価すべき別のモデルが存在するか否か判断を下す。このようなモデルが他にはない場合、処理は終了する。一方、判断ブロック２５２において、同じ種別で評価すべき別のモデルが存在すると判定した場合、処理はステップ２５３に移り、次のモデル種別を選択し、処理はステップ２３２に戻る。ステップ２３２において、前述の処理ステップを再度繰り返す。
【０１５４】
未だ他にモデルがあるか否かに関する質問は、いくつかの方法で解釈することができる。最も限定した範囲では、同じ種別で別のモデルがあるか否か質問を行う。例えば、モデル種別が画像モデルである場合、全てのデータに対して試す相関画像が他にあるか否か質問を行う。当該部品または部品種別に対して他のモデルがあるか否か質問を行う場合、次のモデル種別は、構造モデルまたは幾何学モデルとすることができる。
【０１５５】
図１４Ａないし図１４Ｃにおいて説明した学習方法または判断関数生成部は、利用可能な真陽性および真陰性を全て用いる方法である。この判断関数は、新たな見本を視認する毎に、時間が経つに連れて、洗練化することができる。例えば、図２におけるモジュール７０の背景学習ステップでは、モデルの洗練化が可能である。
【０１５６】
この学習方法は、図３Ｂおよび図４で説明したものとは異なる。この方法は、利用可能なデータ全てを用いてモデルを生成する。図３Ａおよび図４Ａは、最も代表的なデータを取得してモデルを訓練することを中心に置いている。
【０１５７】
尚、図１および図１４Ｂでは、２種類の診断、部品有りおよび部品なし、のみが利用可能であると想定していることを注記しておく。しかしながら、損傷部品、間違った部品、汚染ペーストというような、表示したいクラスが他にもある場合がある。新たに測定した画像が真のプレースおよび真のプレースの中間に該当した場合、これら表記した画像毎にスコアの分布を計算するか、あるいは更に複雑な関数を生成して新たな画像を分類することができる。
【０１５８】
以上、本発明の好適な実施形態について説明したが、その概念を組み込んだ他の実施形態も使用可能であることは、当業者には明白であろう。したがって、これらの実施形態は、開示した実施形態に限定されるのではなく、特許請求の範囲の精神および範囲によってのみ限定されるものである。
【０１５９】
ここで引用した全ての刊行物および引用物は、この中で言及したことにより、その全体が本願にも援用されるものとする。
【図面の簡単な説明】
【図１】図１は、検査システムのブロック図である。
【図２】図２は、個々の印刷回路基板のタイプを検査するステップを示す図である。
【図３】図３Ａはデフォルトの配向となるように回転させた構成素子のスナップショットを自動的に得るステップを示す図である。図３Ｂは１組の見本画像（ベア、ペースト、プレース、および部品スナップショット）が与えられた場合の学習プロセスを記述する図である。
【図４】図４Ａおよび図４Ｂは最良の見本画像集合を抽出し図３Ｂで用いる、学習プロセスを示す図である。
【図５】図５は、構成素子の検査プロセスのステップを示す図である。
【図６】図６Ａおよび図６Ｂは構成素子を検査するための図５の具体的な実施態様を示す図である。
【図７】図７Ａおよび図７Ｂは捕捉画像領域上で訓練した基準配向における、画像モデル、構造モデル、および幾何学モデルを示す図である。
【図８】予測角度から拡大した、図７Ａおよび図７Ｂの画像構造および幾何学モデルを示す図である。
【図９】図９Ａ〜図９Ｄは３種類の異なる検査の場合に適用する画像モデル、構造モデル、および幾何学モデルを示す図である。
【図１０】図１０Ａ〜図１０Ｅはパッケージ種別ＣＣ０８０５に対する、ペーストおよびプレース画像の実例に関する構造モデルのスコアをプロットした図である。
【図１１】図１１Ａおよび図１１Ｂは種別ＲＣ１２０６の一連のプレース部品およびペースト部品について示す、構造モデルのスコア対実例のプロットを示す。
【図１２】ＲＣ０８０５として識別した構成素子と照合した画像モデルを示す図である。
【図１３】種別ＲＣ１２０６のペーストおよびプレー図画像に対する画像モデルのスコアを示す図である。
【図１４】図１４Ａおよび図１４Ｂは部品の種類に対して画像分類に優れたモデルまたはモデル集合を学習させる技法を示す図である。図１４Ｃは全データ点に一致させた２つの曲線を有するスコア発生数ヒストグラムを示す図である。
【図１】
2004502250.tif 000004
【図２】
2004502250.tif 000005
【図３】
2004502250.tif 000006
2004502250.tif 000007
【図４】
2004502250.tif 000008
2004502250.tif 000009
【図５】
2004502250.tif 000010
【図６】
2004502250.tif 000011
2004502250.tif 000012
【図１０】
2004502250.tif 000013
2004502250.tif 000014
【図１１】
2004502250.tif 000015
2004502250.tif 000016
【図１２】
2004502250.tif 000017
【図１３】
2004502250.tif 000018
【図１４】
2004502250.tif 000019
2004502250.tif 000020
2004502250.tif 000021
【国際公開パンフレット】
2004502250.tif 000022
2004502250.tif 000023
2004502250.tif 000024
2004502250.tif 000025
2004502250.tif 000026
2004502250.tif 000027
2004502250.tif 000028
2004502250.tif 000029
2004502250.tif 000030
2004502250.tif 000031
2004502250.tif 000032
2004502250.tif 000033
2004502250.tif 000034
2004502250.tif 000035
2004502250.tif 000036
2004502250.tif 000037
2004502250.tif 000038
2004502250.tif 000039
2004502250.tif 000040
2004502250.tif 000041
2004502250.tif 000042
2004502250.tif 000043
2004502250.tif 000044
2004502250.tif 000045
2004502250.tif 000046
2004502250.tif 000047
2004502250.tif 000048
2004502250.tif 000049
2004502250.tif 000050
2004502250.tif 000051
2004502250.tif 000052
2004502250.tif 000053
2004502250.tif 000054
2004502250.tif 000055
2004502250.tif 000056
2004502250.tif 000057
2004502250.tif 000058
2004502250.tif 000059
2004502250.tif 000060
2004502250.tif 000061
2004502250.tif 000062
2004502250.tif 000063
2004502250.tif 000064
2004502250.tif 000065
2004502250.tif 000066
2004502250.tif 000067
2004502250.tif 000068
2004502250.tif 000069
2004502250.tif 000070
2004502250.tif 000071
2004502250.tif 000072
2004502250.tif 000073
2004502250.tif 000074
2004502250.tif 000075
2004502250.tif 000076
2004502250.tif 000077
2004502250.tif 000078
2004502250.tif 000079
2004502250.tif 000080
2004502250.tif 000081
2004502250.tif 000082
2004502250.tif 000083
2004502250.tif 000084
2004502250.tif 000085
2004502250.tif 000086
2004502250.tif 000087
2004502250.tif 000088
2004502250.tif 000089
2004502250.tif 000090
2004502250.tif 000091
2004502250.tif 000092
2004502250.tif 000093
2004502250.tif 000094
2004502250.tif 000095
2004502250.tif 000096
【国際公開パンフレット（コレクトバージョン）】
2004502250.tif 000097
2004502250.tif 000098
【国際調査報告】
2004502250.tif 000099
2004502250.tif 000100