(57)【要約】【課題】比較的大きな情報量の比較を迅速に行う。【解決手段】イメージの対称的計測を行う方法は、照会イメージを選択するステップと、照会イメージを使用するイメージ・データベースを検索するステップと、照会イメージを使用する前記イメージ・データベースにおける第１のイメージを識別するステップと、各前記照会イメージおよび前記第１のイメージを複数の領域へ分割するステップと、前記照会イメージの全領域を前記第１のイメージの全領域へマッチングするステップと、前記照会イメージと前記第１のイメージ間の一致のスコアに対応する第１の総スコアを計算するステップと、前記第１のイメージの全領域を前記照会イメージの全領域と一致させるステップと、前記第１のイメージと前記照会イメージ間の一致のスコアに対応する第２の総スコアを計算するステップと、複合スコアを与えるために前記第１の総スコアと前記第１の総スコアを組み合わせるステップと、を含む。【選択図】図５
2006202314.tif 000002
【特許請求の範囲】
【請求項１】
照会イメージを選択するステップと、
前記照会イメージを使用するイメージ・データベースを検索するステップと、
前記照会イメージを使用する前記イメージ・データベースにおける第１のイメージを識別するステップと、
各前記照会イメージおよび前記第１のイメージを複数の領域へ分割するステップと、
前記照会イメージの全領域を前記第１のイメージの全領域へマッチングするステップと、
前記照会イメージと前記第１のイメージ間の一致のスコアに対応する第１の総スコアを計算するステップと、
前記第１のイメージの全領域を前記照会イメージの全領域と一致させるステップと、
前記第１のイメージと前記照会イメージ間の一致のスコアに対応する第２の総スコアを計算するステップと、
複合スコアを与えるために前記第１の総スコアと前記第１の総スコアを組み合わせるステップと、
を含むイメージの対称的計測を行う方法。
【請求項２】
前記第１の総スコアと前記第１の総スコアを組み合わせるステップは、前記第１の総スコアと前記第１の総スコアの数学的平均を計算するステップを含む、請求項１に記載の方法。
【請求項３】
イメージ処理システムによりアクセスするモデルを記憶するメモリであって、前記モデルは、
複数のイメージ領域と、
１組のイメージ領域特徴とを含み、
主要イメージからの各前記イメージ領域は１組のアプリケーションの特定イメージ領域特徴を有し、
前記１組の領域特徴は、前記複数のイメージ領域の第１の領域における前記組のイメージ領域特徴と前記複数のイメージ領域の第２の領域との組み合わせから与えられ、コンパクトな主要イメージを表す複数の組み合わされたイメージ領域を与え、各前記組み合わされたイメージ領域は、前記主要イメージの少なくとも第１及び第２のイメージ領域のイメージ領域特徴の組み合わせである１組のイメージ領域を有して与えられる、
メモリ。
【請求項４】
前記組み合わされたイメージ領域の少なくともひとつは、前記モデル内において複数のイメージ領域の第１のイメージ領域と前記複数のイメージ領域の第２のイメージ領域の間の組み合わされた空間および組み合わされた測光の関係を含む、請求項３に記載のメモリ。
【請求項５】
前記組み合わされたイメージ領域の少なくともひとつは、前記複数のイメージ領域の第３のイメージ領域の特徴を含む、請求項４に記載のメモリ。
【請求項６】
各前記複数のイメージ領域は全体のイメージのサブセットに対応する、請求項４に記載のメモリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報検索および検索システムに関し、特にイメージ処理技術を全体的もしくは部分的に利用する検索および検索システムに関する。
【背景技術】
【０００２】
（関連出願の相互引照）
本願は、１９９７年１０月２７日出願の米国特許出願第６０／０６３，６２３号のＵＳＣ§１１９（ｅ）に基く優先権を主張するものである。
【０００３】
当技術において周知のように、ディジタル・イメージとは、各々がディジタル・ワードにより表わされるピクセルのアレイとして表わされるイメージである。しばしば、このアレイは、ピクセルの２次元アレイとして提供される。得られるディジタル画像数が増加すると、更に完全かつ有効な注釈（イメージに対する識別ラベルの添付）および指標（データベースからの特定イメージのアクセス）システムに対する必要が生じてきた。ディジタル・イメージ／ビデオ・データベース注釈および指標サービスは、広告、新しいエージェンシーおよび雑誌出版社などのユーザに、イメージ・サーチ・システムに対する照会を介して一覧し、イメージまたはビデオのセグメントをこのようなデータベースから検索する能力を提供する。
【０００４】
これもまた周知のように、内容ベースのイメージ検索システムは、イメージの内容を直接に用いることにより、ディジタル・ライブラリからのイメージを分類し検出し検索するイメージ検索システムである。内容ベース・イメージ処理システムは、イメージ内の主題を分類あるいは他の方法で識別することにより、イメージにおける情報を処理するシステムを指す。このようなシステムは、限定するものではないが美術館および博物館の管理、建築のイメージおよび設計、インテリア・デザイン、地球資源の遠隔探査および管理、地理的情報システム、科学技術データベース管理、天候の予報、小売、製造およびファッションのデザイン、商標および版権データベース管理、法律施行および犯罪の調査および写真の保管、回路検査システムを含む通信システムおよび検査システムを含む種々のアプリケーションにおいて用いられる。
【０００５】
従来の内容ベースのイメージ／ビデオ検索システムは、イメージと関連する説明記事あるいはキーワードに対応するテキストで補完されたイメージあるいはビデオ・フレームを用いる。ユーザは、例えば、これらキーワードの１つまたは組合わせを用いてシステムへ文字による照会を入れることによって、所望のイメージをイメージ・データベースから検索する。このようなシステムにおける１つの問題は、データベースにおける静止イメージまたはビデオ・イメージの内容ではなく、予め規定された限定された文章による注釈にこれらシステムが依存することである。
【０００６】
更に他のシステムは、特定の形状に基くイメージを検索しようとする。例えば、魚のイメージを見つけるため、このようなシステムは魚の形状の仕様が与えられることになる。このような仕様は、データベースにおける魚のイメージを見つけるために用いられることになる。しかし、このような手法における１つの問題は、魚が標準的な形状を持たず、このため、形状の仕様は、同じ形状かあるいは非常によく似た形状を有する魚の分類あるいは識別に限定される。
【０００７】
更に他のシステムは、色およびテクスチャを含むイメージ統計を用いることによりイメージあるいはビデオ・フレームを分類する。これらのシステムにおける問題点は、所与の照会イメージに対して、システムにより見出されたイメージがイメージ例と同じ色、テクスチャその他の統計的特性を持つものであっても、イメージは照会イメージと同じ種類の一部でないかも知れないことである。即ち、照会イメージが人間のフェースとして識別されたイメージの種類に属すならば、色およびテクスチャを含むイメージあるいはビデオ・フレームに基くイメージを分類するシステムは、所望の色およびテクスチャのイメージ統計例に該当するが人間のフェースではないイメージを返すことができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、全般的なイメージ検索および検索システムにおいて用いることができ、かつ人間または動物のフェースに限定されない、構造パターン、シンボル、ロゴ、美術館および博物館の管理、建築のイメージおよびデザイン、インテリア・デザイン、地球資源の遠隔探査および管理、地理的情報システム、科学技術データベース管理、天候の予報、小売、製造およびファッション・デザイン、商標および版権データベース管理、法律の施行および犯罪調査、画像記録、回路検査システムを含む通信システムおよび検査システム、を含む複数の異なる種類のイメージの検索を許容するシステムおよび技術を提供することが望ましい。特定のイメージあるいは特定の種類のイメージについての検索に最も重要な因子がどれであるか自動的に学習することが可能なシステムを備えることが特に望ましい。
【課題を解決するための手段】
【０００９】
本発明によれば、イメージ処理システムは、イメージ・アナライザに結合された検索エンジンを含んでいる。イメージ・アナライザと検索エンジンとは、特定のアプリケーションに対してイメージ・アナライザをどのように最適化するかの記述に必要な情報を提供する１つ以上の特徴モジュールに結合されている。このような特定の構成により、主要イメージを目標イメージに迅速にマッチさせることができるイメージ処理システムが提供される。各特徴モジュールは、所与のアプリケーションのために、イメージの特定の領域と、規定されたイメージ領域内のピクセルについて行う特定の計測、ならびに隣接するイメージ領域において隣接するピクセルについて行う特定の計測とを規定する。このように、この特徴モジュールは、特定のイメージの一致／検索ルーチンにおいて重要であるパラメータと特性とを規定する。プラグイン・モジュールは、このようなアプリケーションの特定情報をイメージ・アナライザへ送る。特定の特徴モジュールにより規定された情報は、特定のアプリケーションに従って著しく変動する。特徴モジュールを用いることにより、汎用検索エンジンおよびイメージ・アナライザを用いることができる。このため、当該システムは、印刷回路ボードあるいは集積回路の検査から商標イメージについての検索までのような広く変化するアプリケーションにおける動作に迅速に適合させることができる。各アプリケーションにおいて、重要である特定のパラメータおよび特性が特徴モジュールによって提供される。
【００１０】
このため、本発明の技術が広範囲の異なる種類のイメージ処理アプリケーションに対する適合性を備えることに注目すべきである。例えば、この技術は、特定の人間あるいは事物の同一性を識別しあるいは検証するために生物測定アプリケーションおよびシステム、完全に組立てられおよび／または完全に装填された種々の素材ボードからの全ての製造過程における（任意の形式の回路ボードまたはモジュールまたは集積回路を制約なく含む）印刷回路ボードおよび（ハイブリッドを含む）副組立体の検査およびテストを含み、ハンダ付けジョイント、ポスト・ペースト（ｐｏｓｔ  ｐａｓｔｅ）検査およびポスト実装検査、ウエーハから仕上げチップまでの全製造過程における半導体チップの検査およびテストを含む検査システム、特定種類のイメージあるいは特定種類のビデオ・チップのイメージまたはビデオ・アーカイブの検索に用いられるイメージまたはビデオ分類システム、および腫瘍のようなイメージにおける特定の特性を識別する医療用イメージ処理アプリケーションにおいて用いることができる。このように、本文に用いられる用語「イメージ処理アプリケーション」、更に簡単に「アプリケーション」とは、広範囲のアプリケーションを意味する。
【００１１】
本発明の更なる特質によれば、２つのイメージを比較するプロセスは、（ａ）目標イメージと選択されたイメージとを整合し、（ｂ）選択されたイメージを複数のイメージ領域へ分け、（ｃ）予め定めたイメージ領域内に特性を組込み、（ｄ）主要なイメージ領域を選択し、（ｅ）目標イメージ領域を選択し、（ｆ）選択された主要イメージ領域の１つ以上の特性を目標イメージ領域における１つ以上の対応する特性に比較するステップを含んでいる。このような特定の構成により、２つのイメージを迅速に比較する技術が提供される。２つのイメージ間を比較するため予め定めた特徴およびイメージ領域を選択することにより、イメージの処理に要する時間量が短縮される。簡明な表示となるようにイメージの選択領域に特徴を組合わせあるいは組込むことにより、比較的大きな情報量の比較を迅速に行うことができる。
【００１２】
本発明の更に他の特質によれば、印刷回路ボードを製造する方法は、（ａ）印刷回路ボードにおける製造オペレーションを実施し、（ｂ）行われている実際のオペレーションのイメージを製造オペレーションの目標イメージに比較することにより、製造オペレーションの結果を検査するステップを含んでいる。このような特定の構成により、印刷回路ボードの製造コストを低減しながら、印刷回路ボードの製造効率が増進される。製造は、印刷回路ボード（ＰＣＢ）の製造プロセスにおける任意の１つ以上の工程に対応し得る。例えば、製造プロセスがソルダー（ハンダ付け）製造プロセスに対応するとき、ポスト・ペースト、ポスト実装およびポスト・リフローの諸オペレーションの前および（または）後に、検査技術が用いられる。例えば、製造プロセスは、ソルダー実施の前後の検査、構成要素の実装、ソルダー・リフロー、ソルダー・ジョイント検査、あるいは他の製造工程を含み得る。製造プロセスにおける予め定めた工程後に検査することにより、製造プロセスを継続する前に補正が可能である製造プロセスにおける欠陥を早期に検出することが可能である。製造プロセスにおける欠陥を早期に検出することにより、最終的な検査テストを通ることができないＰＣＢの製造と関連する経費および時間が提供される。
【００１３】
実施の一形態において、カメラが、印刷回路ボードのイメージを捕捉し、このイメージを目標イメージに比較する。目標イメージは、製造プロセスの当該部分において適正に製造されたＰＣＢのイメージに対応する。例えば、問題の製造工程がソルダー・ペースト塗布工程であるならば、捕捉されたものは、ソルダー・ペーストが塗布された印刷回路ボード（あるいは、その一部）のイメージに対応する。目標イメージは、ソルダー・ペーストが適正に塗布されたＰＣＢ（またはその一部）のイメージに対応する。２つのイメージの予め定めた特徴が比較され、比較の結果に基いて、その時製造プロセスの過程にあるＰＣＢにソルダー・ペーストが適正に塗布されたか否かについて判定がなされる。
【発明を実施するための最良の形態】
【００１４】
本発明の上記の特徴ならびに発明自体については、以降の図面の詳細な記述から更によく理解されよう。
イメージの検索および検索システム、およびこれと関連する手法を説明する前に、幾つかの紹介概念および用語について説明する。
【００１５】
スチール写真のようなアナログ即ち連続的なパラメータ・イメージが、ディジタル値のマトリックスとして示され、コンピュータまたは他のディジタル処理装置の記憶装置に記憶される。このため、本文に述べるように、ディジタル・データ値のマトリックスは「ディジタル・イメージ」更に簡単に「イメージ」と一般的に呼ばれ、例えば１つの状景における異なる波長のエネルギの空間的な分散を示す数のアレイとしてメモリのようなディジタル・データ記憶装置に記憶される。
【００１６】
同様に、例えば移動するローラ・コースタの画像のようなイメージ・シーケンスが、公知のようにディジタル・ビデオ信号に変換される。ディジタル・ビデオ信号が、一連の離散的ディジタル・イメージあるいはフレームから与えられる。各フレームは、コンピュータまたは他のデータ処理装置の記憶装置に記憶されるディジタル・データ値のマトリックスとして表わされる。このため、ビデオ信号の場合は、本文に述べるように、ディジタル・データ値のマトリックスは、一般に「イメージ・フレーム」、あるいは更に簡単に「イメージ」または「フレーム」と呼ばれる。ディジタル・ビデオ信号におけるイメージは各々、例えば、スチール写真のイメージが記憶される方法と類似の方法である状景における異なる波長のエネルギの空間的分散を表わす数のアレイとしてメモリのようなディジタル・データ記憶装置に記憶される。
【００１７】
スチール写真またはビデオ・シーケンスのどちらから与えられるかに拘わらず、アレイにおける各数は、典型的に「画像要素」または「ピクセル」あるいは「イメージ・データ」と呼ばれるディジタル・ワード（例えば、８ビットの２進値）に対応する。イメージは、各々がディジタル・ワードにより表わされる２次元のピクセル・アレイへ分けられる。
【００１８】
本文においては、唯一つの輝度成分をもつカラー・イメージを参照されたい。このようなイメージは、グレースケール・イメージとして知られる。このため、１つのピクセルは、イメージにおける特定の空間座標におかれる１つのサンプルを表わす。本文に記載される手法はグレースケール・イメージあるいはカラー・イメージのいずれにも等しく適用されることに注目すべきである。
【００１９】
グレースケール・イメージの場合は、各ディジタル・ワードの値は、このピクセルの強さ、従ってこの特定のピクセル位置におけるイメージに対応する。
カラー・イメージの場合は、本文では時に、各ピクセルごとのカラーおよび輝度値がＲＧＢ値から計算することができるいわゆるＲＧＢカラー体系を用いて、カラー赤（Ｒビット）を表わす予め定めたビット数（例えば、８ビット）、カラー緑（Ｇビット）を表わす予め定めたビット数（例えば、８ビット）、およびカラー青（Ｂビット）を表わす予め定めたビット数（例えば、８ビット）により表わされる各ピクセルを指す。このため、８ビット・カラーのＲＧＢ表示においては、１つのピクセルは２４ビットのディジタル・ワードにより表わされる。
【００２０】
無論、ＲＧＢ値の各々に対して８ビット以上あるいは８ビット以下を用いることは可能である。また、色相、飽和、明るさ（ＨＳＢ）体系、あるいはシアン、マゼンタ、イエロー、ブラック（ＣＭＹＫ）体系のような他のカラー体系を用いてカラー・ピクセルを表わすことも可能である。このように、本文に述べる技術が先に述べたＲＧＢ、ＨＳＢ、ＣＭＹＫの諸体系、ならびに視感度−カラー軸ａ＆ｂ（Ｌａｂ）ＹＵＶカラー差カラー座標系、カルーネン―レーベ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）カラー座標系、網膜コーン・カラー座標系およびＸ，Ｙ，Ｚ体系に限定しないがこれを含む複数のカラー体系に適用し得ることに注意すべきである。
【００２１】
また、本文では、２次元ピクセル・アレイとしてのイメージとも呼ばれる。アレイ・サイズの一例は、５１２×５１２のサイズである。当業者は、無論、本文に述べる技術が不規則な形状のピクセル・アレイを含む種々のサイズおよび形状のピクセル・アレイに対して適用できることを認識されよう。
【００２２】
「状景」とは、イメージ、あるいは内容およびイメージ内で関連する関係が１つの語彙上の意味を割当て得るビデオの１つの典型的なフレームである。静止イメージは、例えば、５１２行および５１２列を持つピクセル・アレイとして表わされる。「オブジェクト」は、静止イメージにおける１つの状景における識別可能なエンティティ、あるいはビデオ・イメージにおける動きのあるか動きのないエンティティである。例えば、ボートは状景における１つのオブジェクトに対応し得るが、１つの状景は１つのイメージ全体に対応する。このため、状景は、オブジェクトは１つの状景内の１つのエンティティに対応するが、典型的に、多くのオブジェクトおよびイメージ領域を含む。
【００２３】
「イメージ領域」あるいは更に簡単に「領域」は、イメージの一部である。例えば、イメージが３２×３２ピクセル・アレイとして提供されるならば、領域は３２×３２ピクセル・アレイの４×４部分に対応する。
【００２４】
イメージにおいて実施される処理を記述する前に、明瞭度を改善する試みにおいて、本文ではイメージの「ブロック」または「領域」における１つ以上の「特徴」または「情報」を参照することを理解すべきである。特徴が同じかあるいは異なるイメージ内の他のブロックに対する関係を含むブロックの任意の特性に対応し得ることを理解すべきである。また、このようなイメージのブロックまたは領域がイメージの部分の任意の特定の種類、サイズあるいは形状に限定されない（即ち、ブロックは方形または矩形状の形状を持つ必要がない）ものと理解すべきである。また、イメージが何ら特定の種類のイメージである必要がないことを理解すべきである。
【００２５】
同様に、本文では、１つ以上のブロックにおける「特徴」または「情報」を１つ以上の他のブロックにおける「特徴」または「情報」に比較するため参照される。この他のブロックは、第１のブロックと同じかあるいは異なるイメージからのものである。また、ブロックの処理は、任意の特定種類のイメージ処理アプリケーションのものである必要がない。むしろ、ブロックの処理は広範囲のイメージ処理アプリケーションに適用する。
【００２６】
従って、当業者は、「ブロック」と「領域」に生じる記述および処理が任意のサイズの方形、矩形状、三角形状、円形状あるいは楕円形状を有するイメージの各部にも等しく生じ得ることを理解されよう。同様に、本発明のイメージ処理システムおよび手法が用いられる特定の分野は、限定するものではないが特定の人間または事物の同一性を識別し、かつまたは検証する生物計測アプリケーションおよびシステムを含み、完全に組立てられおよび（または）構成要素および（ハイブリッドを含む）副組立体が完全に装填された素材ボードからの全ての製造過程における印刷回路ボード（任意の種類の回路ボードまたはモジュールまたは集積回路を含む）の検査およびテストを含み、ソルダー・ジョイント検査、ポスト・ペースト検査およびポスト実装検査を含み、ウエーハから仕上げチップへの全ての製造過程における半導体チップの検査およびテストを含む検査システム、特定の種類のイメージまたは特定の種類のビデオ・チップに対するイメージまたはビデオ・アーカイブを検索するため使用されるイメージまたはビデオ分類システム、および腫瘍のようなイメージにおける特定の特性を識別する医療用のイメージ処理アプリケーションを含んでいる。
【００２７】
次に、図１および図１Ａを参照して、イメージ検索および検索システム１０が、結合された入力システム１４と出力システム１６とを有するイメージ処理システム１２を含んでいる。入力システム１４は、本例では、グラフィカル・ユーザ・インターフェース（ＧＵＩ）１４ａと、ファクシミリ・システム１４ｂと、例えばディジタル・カメラあるいはフレーム・グラバに接続されたカメラを含むカメラ・システム１４ｃと、スキャナ１４ｄと、ネットワーク結線１４ｅと、例えばビデオ・カメラを含むビデオ・システム１４Ｎと、当業者には公知であるイメージをキャプチャまたは他の方法で取得し、送信あるいは他の方法でイメージ・データをイメージ処理システムから利用可能にする他の任意の手段とを含むように示される。
【００２８】
例えば、ネットワーク結線１４ｅは、入力システム１４がグローバル情報ネットワーク（例えば、インターネット）、またはイントラネットまたは他の任意の種類のローカル・ネットワークあるいはグローバル・ネットワークからイメージ・データを受取ることを許容する。またイメージ処理システム１２に結合されるのは、例えば全体的に２０で示される複数のイメージ２０ａ〜２０Ｎが記憶された１つ以上のデータベースがイメージとして提供されるイメージ記憶装置１８である。イメージ２０は、静止イメージあるいは静止イメージとして取扱われるビデオ信号の選択されたフレームに対応するイメージとして提供される。
【００２９】
イメージ処理システム１２はまた、イメージ記憶装置１８からイメージを検索するイメージの検索をも含む。あるいはまた、イメージは、マイクロソフト・ペイントあるいは任意の類似のパッケージのような多数の市販ドローイング・パッケージの１つを用いて、グラフィカル・ユーザ・インターフェース１４を介してイメージ処理システム１２へ与えられる。あるいは更に、イメージを処理システム１２へ送るためにカメラ１４ｃのようなカメラまたは他のイメージ・キャプチャ装置を用いることもできる。このように、システム１２は、データベースその他の記憶装置からイメージを検索する代わりに、リアルタイム即ち「ライブ」のカメラ・イメージを検索することができる。あるいはまた更に、ファクシミリ・システム１４ｂ、スキャナ１４ｄなどを介して、イメージをイメージ処理システム１２へ送ることもできる。どのようにイメージがイメージ処理システム１２へ送られようとも、イメージ処理システム１２は、イメージを受取ってこれらイメージを図２ないし図８Ｂに関して以下に述べる手法に従って処理する。
【００３０】
概要において図１Ａに示されるように、照会イメージ２０は、入力システム１４を介してイメージ処理システム１２へ与えられる。イメージ処理システム１２は、照会イメージ２０を記憶装置１８におけるイメージの各々に比較して定量値即ち照会イメージに対する一致の近さを表わす「スコア」を計算する。記憶装置がイメージ・データベースとして提供される場合、処理システム１２はデータベース照会を介してデータベースにアクセスする。
【００３１】
イメージ処理システム１２は、照会の結果を複数のイメージ２２ａないし２２ｈとして図式フォーマットで出力システム１６へ与える。結果のイメージ２２ａないし２２ｈの各々は、これと関連する定量値２４ａないし２４ｈを有する。定量値２４ａないし２４ｈは、照会イメージと記憶装置１８に記憶されたイメージとの間の一致の近さを表示する。ゼロ以上の値は近くない一致を示すのに対し、ゼロに最も近い定量値２４は最も近い一致を表わす。この定量値は、イメージ処理システム１２が結果のイメージを配列することを可能にする。各イメージと関連する定量値間の相対差は、照会イメージとの一致が最も近いことに基いてイメージのグループをまとめるのに用いることができる。例えば、イメージ２２ｂおよび２２ｃと関連するソース間に比較的大きな相違が存在する。このことは、イメージ２２ａと２２ｂが視覚的な類似性に関してイメージ２２ｃ、２２ｄ以上よりも照会イメージ２０に近いということを示す。２２ｆと２２ｇ間のスコアの差は、２２ｂと２２ｃ間のスコアの差よりはるかに小さい。このことは、照会イメージ２０に対してイメージ２２ｆと２２ｇが非常に類似することを示す。このように、サーチの結果として見出されるイメージを順序付けるために絶対値のスコアよりもスコアの相対値を用いることができることを理解すべきである。
【００３２】
次に図２において、イメージ処理システム１２は、イメージ・プロセッサ２４と、検索エンジン３６と、イメージ・アナライザ３８と、記憶装置インターフェース３９とを含んでいる。イメージ・プロセッサ２４は、全体的に３０で示される複数のプラグイン・モジュール３０ａないし３０Ｎの１つとインターフェースする。
【００３３】
プラグイン・モジュール３０の機能は、特定のアプリケーションに対してイメージ・アナライザ３８をどのように最適化するかの記述に必要な情報を提供することである。プラグイン・モジュール３０はそれぞれ、１つのイメージの特定領域と、イメージ領域内のピクセルについて行う特定の測定ならびに所与のアプリケーションに対して隣接するイメージ領域における隣接するピクセルについて行う測定とを規定する。例えば、モジュール３０ａは、商標イメージ検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｂは、フェースのイメージについて検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｋは、状景（例えば、滝、野原などのイメージ）の検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｌは、構造について検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｊは、印刷回路ボードの検査を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０Ｎは、ビデオ・イメージのストリームについて検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。このように、プラグイン・モジュール３０は、特定のイメージの一致／検索ルーチンにおいて重要なパラメータおよび特性を規定する。プラグイン・モジュールは、このようなアプリケーション固有の情報をイメージ・アナライザ３８へ通信する。
【００３４】
プラグイン・モジュール３０は、色々な方法で実現される。モジュール３０自体は、２つ以上のイメージ領域を入力として用い、これらイメージ領域を相互に比較し、これら領域が相互にどのように類似するかのスコアを返す手法を実現する。プラグイン・モジュール３０は、色、輝度およびテクスチャのような特定のアプリケーションに対するイメージの類似性を計算するために重要なイメージ属性のリストを含む。プラグイン・モジュールはまた、イメージが記憶装置インターフェース３９からイメージ・アナライザ３８へ送られる前にイメージを予め処理する方法をも示唆する。
【００３５】
例えば、照会イメージが商標イメージであり、かつ商標イメージについて記憶装置１８（図１）を検索することが望ましいならば、商標プラグイン・モジュール３０ａは配向の情報が重要であることを記述する。このことは、イメージ・アナライザに対して、色の情報を無視するように、かつ白の背景における黒の図形と黒の背景における白の図形を同じように取扱うように指示する。商標プラグイン・モジュールはまた、配向情報を計算する方法と更に有効な処理のため当該情報をコンパクト化する方法とを記述する。これらの手法については、図６ないし図６Ｃにおいて更に詳細に記述する。
【００３６】
一方、アプリケーションがフェースの認識であり、照会イメージが人間のフェースを含むならば、フェースのオプティマイザに対応するプラグイン・モジュール３０ｂが用いられる。フェースのプラグイン・モジュール３０ｂは、グローバルな形態が重要であること、および相対輝度または相対色情報が照明の変化に対して強固な突合わせプロセスにおいて用いられるべきことを記載した情報を含んでいる。必須ではないが、プラグイン・モジュール３０ｂがイメージにおけるフェースの輪郭を描く手法を実現することもできる。この手法は、分析に先立って照会イメージと目標イメージを予め処理するために用いられる。このような手法は、（図３のステップに示されるように）照会イメージと目標イメージを整合させるために用いられる。
【００３７】
状景プラグイン・モジュール３０ｋは、２つの状景の比較において重要な属性として色と、ローカル構造およびグローバル構造とを強調する。ファブリックオプティマイザ３０ｉは、入力としてファブリックサンプルの２つ以上のイメージを用いる類似性メトリックにおいて色、テクスチャ、ローカル構造およびグローバル構造の重みづけされた組合わせを用いる。ビデオ・シーケンス・プラグイン・モジュールもまた用いることができる。ビデオ・オプティマイザ３０Ｎの場合、１つの静止イメージを別のイメージに突合わせる方法を記述しなければならず、またこれらのイメージが時間シーケンサの一部であることを考慮に入れる方法についても記述しなければならない。例えば、オブジェクトを時間的に追跡することが重要であり得る。相対的位置、色あるいは他の属性を時点ｔ１におけるフレームおよび時点ｔ２におけるフレームから計算することもまた重要である。これらの計算は、２つ以上のイメージ・シーケンスに対して独立的に行うことができる。次いで、処理されたイメージ・シーケンスが比較される。
【００３８】
イメージ・アナライザ３８が２つのイメージを比較するために予め規定された特殊なプラグイン・モジュールを備えることは必要でない。イメージ・アナライザは、未知の内容の２つ以上のイメージを比較する全体的な偏りを含むデフォルト・プラグイン・モジュール３０ｋを用いる。例えば、デフォルト・プラグイン・モジュール３０ｋは、色、輝度およびローカル相対的構造を用いる。フィードバックがイメージ・プロセッサ２４およびプラグイン・モジュールへ与えられるならば、デフォルトならば、プラグイン・モジュール３０ｘは重要なイメージ属性に対する相関のリストを生成することができる。従って、これらの属性を計測して比較することは、他の属性の計測および比較に優先する。学習ステップにおいて、デフォルト・プラグイン・モジュール３０ｋは、顕著な内部パラメータおよび範囲をそれらの値について識別することもできる。このような学習手順即ち洗練手順は、デフォルト・プラグイン・モジュール３０ｋあるいは任意のアプリケーション特化プラグイン・モジュール３０ａないし３０ｎに対して適用することができる。この学習手順は、新たなプラグイン・モジュールに対して１組のパラメータ、特性および拘束条件を生成するため、あるいは新たなアプリケーションに対する１組のパラメータ、特性および拘束条件を用いるように現在あるプラグイン・モジュールを鍛えるために用いることができる。
【００３９】
先に述べた多くのアプリケーションは、イメージ検索アプリケーションである。基本的な前提は、１つ以上のイメージが正または負の事例あるいはサンプルとしてイメージ・プロセッサ２４に対して提供されることである。これら事例が集まってイメージの意味的分類を定義する。イメージ・プロセッサ２４の仕事は、このような分類における他のイメージを見出すため（１つ以上のデータベースに格納される）１つ以上のイメージを検索することである。検索エンジン３６は、検索を迅速に行うように最適化することができる。その最も普遍的な形態では、検索エンジン３６は、記憶装置からイメージを検索しこれらイメージを順次あるいは回分単位でイメージ・アナライザに対して運ぶために用いられる。イメージ・アナライザ３８によりあるいはユーザにより識別される検索エンジン３６からのイメージは、検索を洗練するため、あるいは新たな検索を行うために用いられる。このことは、図１ないし図１２に関して以下において更に説明される。
【００４０】
図３ないし図３Ｂ、図５、図６Ｄ、図７Ｂ、図１０、図１１Ｄ、図１１Ｅ、図１２および図１４は、種々の異なるアプリケーションにおける色々な種類のイメージの処理を可能にするため、例えば、図１および図２に示されたもののようなイメージ処理システムの一部として提供される処理装置により行われる処理を示す一連のフロー図である。フロー図における矩形状のブロック（図３のブロック４０により典型的に示される）は、本文では「処理ブロック」と示され、コンピュータのソフトウエアの命令あるいは命令群を表わす。（図３Ａのブロック５４により典型的に示される）フロー図におけるひし形ブロックは、本文では「判断ブロック」と示され、処理ブロックの処理に影響を及ぼすコンピュータのソフトウエアの命令あるいは命令群を表わす。
【００４１】
あるいはまた、処理ブロックは、ディジタル信号プロセッサ回路あるいはアプリケーション特化集積回路（ＡＳＩＣ）のような機能的に相等の回路により行われるステップを表わす。フロー図は、特定のプログラミング言語の構文を示すものではない。むしろ、フロー図は、当業者の一人が回路を作るため、あるいは特定装置に要求される処理を行うコンピュータ・ソフトウエアを生成するため要求する機能的情報を示している。ループおよび変数の初期設定のような多くのルーチン・プログラム要素および一時的数値変数の使用は示されないことを知るべきである。
【００４２】
他の処理ブロックはコンピュータ・ソフトウエアの命令または命令群を表わすことができるが、ある処理ブロックは実験的手順または手動手順あるいはデータベース機能を表わすことができる。このように、他のステップが異なる方法、例えば手動で、あるいは実験的手順を介して、あるいは手動手順および実験的手順の組合わせを介して実現されるが、フロー図に述べるステップの一部はコンピュータ・ソフトウエアを介して実現される。
【００４３】
当業者は、本文において他の記述がなければ、本文に述べる特定のステップ・シーケンスは、例示に過ぎず、本発明の趣旨から逸脱することなく変更できることを理解されよう。
【００４４】
次に図３ないし図３Ｂにおいて、処理はステップ４０で開始し、ここで選択されたイメージあるいは主要イメージは目標イメージと位置合わせされる。この主要イメージは、目標イメージに突合わされるべきイメージである。他の実施の形態においては目標イメージはデータベースから検索されないが、ある実施の形態では、目標イメージはデータベース（図１におけるデータベースの如き）に前に記憶されており、このデータベースから検索される。
【００４５】
アライメント・ステップの後あるいは前に、主要イメージおよび目標イメージはそれぞれ、ステップ４２に示されるように、複数のサブ領域（更に簡単には、領域）またはブロックへ分割あるいはセグメントに分けられる。分割ステップ４２はいわゆるインテリジェントな分割として行われることを知るべきである。イメージのインテリジェント分割は、類似する属性を持つピクセルの領域がグループに形成される手順である。一例は、領域を色に従って分類することである。青空と緑の草原とがある野原の状景の場合、インテリジェント分割はイメージを青と緑の部分へ分ける。インテリジェント分割の別の例は、同じオブジェクトに属するピクセルを分類することである。例えば、印刷回路ボードのイメージにおいては、インテリジェント分割は，同じ構成要素に属するイメージ領域を分類することになる。代替的な実施の形態においては、インテリジェント分割は、主要イメージの代わりにあるいは主要イメージに加えて、目標イメージについて行うことができる。
【００４６】
ステップ４４において、主要イメージのサブ領域またはブロックの予め定めたものにおける特性は、主要イメージの比較的コンパクトな表示を得るため組合わされあるいは「縮小される：ｃｏｌｌａｐｓｅｄ」。データをサブ領域に縮小する特定の一方法は、サブ領域全体にわたり特定のパラメータの平均値を取得することである。例えば、このような縮小ステップは、サブ領域の平均輝度を見出すことであり得る。ブロック特性を組合わせる別の特定手法については、以下本文において図６ないし図６Ｄに関して記述される。ステップ４４が任意のステップであること、ある実施の形態においては、縮小ステップを行うことは不必要であるか望ましいことを知るべきである。しかし、他の実施の形態において、主要イメージおよび目標イメージの突合わせの速度を増すためには、縮小ステップを実施することが望ましいか必要であり得る。分割ステップ４２が縮小ステップ４４の前または後に行われることを知るべきである。
【００４７】
次に、処理はステップ４６へ進み、ここで主要イメージ内の領域またはブロック（本文では、主要イメージ領域と呼ぶ）が選定される。各主要イメージ領域は、１組のプロパティ即ち特性あるいは特徴を自らと関連させるている。ある実施の形態においては、主要イメージ領域の予め定めた距離内の主要イメージ領域（単数または複数：本文では、近傍領域と呼ぶ）が突合わせプロセスにおいて用いられる。
【００４８】
近傍領域が用いられる場合は、主要イメージと近傍領域の両者のプロパティは、突合わせプロセスにおいて用いられる。実施の一形態において、更なる処理のため主要イメージ領域の周囲のどの近傍領域を含むかを判定するために半径Ｒ１が選定される。例えば、ゼロの半径（即ち、Ｒ１＝０）は、近傍領域が含まれなかったことを示し、この場合ゼロより大きな半径（例えば、Ｒ１＝１）は少なくともある近傍領域が含まれるべきことを示す。含むべき特定数の近傍領域が、限定しないが特定のアプリケーション、処理速度および突合わせプロセスにおける特定構造の相対的重要性を含む種々の要因に従って選定されねばならない。このように、近傍領域を突合わせプロセスにおいて含める１つの理由は、近傍に含まれる構造が突合わせプロセスにおける重要な考察であるかどうかである。例えば、フェースのイメージを比較するとき、フェースの構造が非常に重要である。全ての場合において、目、鼻、口、頬、などに対応する領域があるはずである。これらは、正しい空間的構成において形作られねばならない（例えば、頬は鼻の両側になければならない。）半径Ｒ１の大きさは、構造が重要であるレベルを示す。比較的小さな値を持つ半径Ｒ１は、局部的な構造が重要であることを示す。半径Ｒ１の値がイメージの高さと幅の限度まで増加するに従って、グローバルな構造が強調される。
【００４９】
主要イメージ領域の周囲の全ての近傍領域が重要であるとは限らないことを知るべきである。例えば、ソルダー・ジョイントのイメージを比較するとき、ソルダー・ジョイントがイメージにおいて縦方向に配置されるものと仮定すると、主要イメージ領域の上下の領域のみが計算に含まれねばならないこともあろう。また、このことは近傍領域が主要イメージ領域に対する共通な境界を持つためには不必要である。例えば、近傍の１つの定義が主要イメージ領域から１領域だけ離れている領域であることもある。
【００５０】
次に、処理はステップ４８へ進み、ここで目標イメージ領域またはブロックが選定される。主要イメージ領域の選定に似た方法で、目標イメージ領域に対する近傍である領域を選定することもあり得る。この場合、近傍領域は目標イメージ領域と関連する。例えば、目標イメージ領域から予め定めた距離内にある近傍領域を決定するために半径Ｒ２が用いられる。大部分の場合において、主要イメージ領域および目標イメージ領域に対する近傍は同じ方法で計算されねばならない。そうでない場合、例えば、半径Ｒ１が２より大きいかこれと等しく（即ち、Ｒ１≧２）かつ半径Ｒ２が１に等しく（即ち、Ｒ２＝１）設定されるならば、主要イメージ領域および目標イメージ領域から１ステップ離れた近傍領域のみが計算において考察されねばならない。Ｒ２がゼロに設定されると、主要イメージ領域および目標イメージ領域の１つ以上のプロパティ間の比較が行われる。
【００５１】
次いで、処理はステップ５０へ進み、ここで選定された主要イメージ領域と任意の近傍領域との１つ以上のプロパティが目標イメージ領域と任意の近傍領域とにおいて対応するプロパティに比較される。ステップ５２において、主要イメージ領域とその近傍間、および目標イメージ領域とその近傍間の差異を示すスコアが計算されて目標イメージ領域と関連付けられる。スコアは、例えば、輝度と位置の特性に準拠され得る。半径Ｒ１とＲ２が０であるならば、スコアは、主要イメージ領域と主要目標イメージ領域の輝度における絶対差と位置における絶対差との一次的組合わせとして計算することができる。半径Ｒ１とＲ２がゼロより大きければ、スコアは、対応する主要イメージ領域と目標イメージ領域の近傍の輝度と位置における差異において加算することによって増補することができる。近傍の特性における差異は、しばしば領域自体における差異より小さく重みづけされる。例えば、近傍の重みづけは、主要イメージ領域の場所を中心とするガウス関数により計算することができる。他の重みづけ関数も無論用いられる。
【００５２】
半径Ｒ１とＲ２がゼロより大きければ、主要イメージ領域とその近傍間、あるいは近傍相互間に相対的な計測を行うことができる。例えば、近傍領域が主要イメージ領域に対して大きいか、小さいか、あるいは等しい輝度を持つかどうかを計算することができる。主要目標イメージ領域とその近傍間に同じ計算を行うことができる。主要イメージ領域と目標イメージ領域間の差異は、これらの相対的関係の順序が目標イメージ領域において乱されるならば、大きくなる。相対的計測値における差異は、重みづけされて合計スコアへ加算される。
【００５３】
次に、処理は判断ブロック５４へ進み、ここで主要イメージ領域のプロパティを次の主要な目標イメージ領域のプロパティに対して比較することが必要であるかどうかが判定される。主要イメージ領域を次の目標イメージ領域に比較することが必要であるならば、処理はステップ５６へ進み、ここで次の目標イメージ領域が選定され、次いでステップ５８へ進み、ここで比較の目的のため主要イメージ領域が次の主要目標イメージ領域と整合される。処理は次にステップ４８へ戻る。このように、ステップ５４、５６および５８は、主要イメージ領域が予め定めた数の主要目標イメージ領域にわたり移動されるループを実現する。ある場合、主要イメージ領域は目標イメージにおける全てのイメージ領域にわたって移動されあるいはその全てに比較される。他の場合は、主要イメージ領域は目標イメージにおける選択された数のイメージ領域にわたってのみ移動される。
【００５４】
判定ステップ５４において次の目標イメージへの主要イメージの移動を行わない判定がいったん行われると、処理はステップ５８へ進み、ここでステップ５２において計算されたスコアを比較することにより主要イメージ領域と目標イメージの主要領域間に最良の突合わせが見出される。
【００５５】
次いで、処理はステップ６２へ進み、ここで更に多くの主要イメージ領域を処理すべきかどうかについて判定が行われる。更に多くの主要イメージ領域の処理が残っているならば、処理はステップ６４へ進み、ここで次の主要イメージ領域が選定される。ある場合には、主要イメージの各サブ領域が処理される主要イメージのサブ領域として選定されることに注意すべきである。しかし、他の場合は、主要イメージにおける各イメージ領域を用いることが望ましいか、あるいは必要でない。主要イメージ領域における全てより少数のサブ領域を処理することにより、主要イメージと目標イメージとが一致させられる速度を増加することが可能である。ステップ６４の後、処理はステップ４８へ戻り、処理すべき主要イメージがなくなるまでステップ４８〜６２が反復される。
【００５６】
判断ブロック６２において、処理する主要イメージ領域がもうないという判定がなされると、処理はステップ６６へ進み、ここで主要イメージを目標イメージへマップするのにどれだけ多くの変形が必要であったかのスコアを提供するため、各主要イメージ領域と関連する最良のスコアが組合わされる。変形量を計算する１つの方法は、各主要イメージ領域と関連する最良のスコアを一緒に加算することである。
【００５７】
次いで、処理はステップ６８へ進み、ここで出力がユーザへ提供される。
次に、図３Ｃにおいて、照会イメージＱと候補即ち目標イメージＣとの間の変形距離を計算することによるスコアを計算する手法が示される。参照番号ｃ１−ｃ８は目標イメージのイメージ領域を表わし、参照番号ｑ１−ｑ８の各々は照会イメージのイメージ領域を表わす。このため、ｃｊは目標イメージＣのｊ番目のイメージ領域を示すが、ｑｉは照会イメージＱのｉ番目のイメージ領域を示す。
【００５８】
このような特定の事例において、デカルト座標系の３つの異なる軸が１つのイメージの３つの異なる属性、即ち、属性１、属性２および属性３を表わす。イメージ領域ｃ１−ｃ８およびｑ１−ｑ８は、前記軸に沿ってプロットされる。照会イメージにおける属性と候補イメージにおける属性との間の距離が計算される。点ｃ１−ｃ８とｑ１−ｑ８との間の距離の和が合計され、最小値が最良の一致に対応する距離として選定される。このように、最良の一致は照会イメージに関する最小量の変形を持つイメージとして定義される。この距離は、照会イメージのプロパティと候補イメージのプロパティとの関数として計算される。使用された関数は、例えば、重みづけ値で乗じられる、ｉ番目の照会イメージのプロパティ（ｐｒｏｐ（ｑｉ）として示される）とｊ番目の候補イメージのプロパティ（ｐｒｏｐ（ｃｊ）として示される）との間の絶対差であり得る。
【００５９】
次に図３Ｄないし図３Ｆにおいて、除算ステップとクラスプ（ｃｌａｓｐ）ステップが行われた後のイメージ２０′がイメージ２１として示される。主要イメージ領域と近傍領域とはイメージ領域２３として示される。このように、イメージ領域２３は、主要イメージ・ブロック２３ａと近傍ブロック２３ｂ〜２３ｐとから与えられる。線６９の各々は領域間の相対的関係を示す。本文では、主要イメージ・ブロック２３ａと近傍ブロック２３ｂ〜２３ｄ、２３ｅ、２３ｆ、２３ｉおよび２３ｍ間の関係が示されるが、２つの近傍ブロック（例えば、ブロック２３ｃと２３ｄ）間の関係を定義することもまた可能であることに注意すべきである。
【００６０】
図３Ｅおよび図３Ｆにおいて、主要イメージ領域２３′は、主要イメージと目標イメージ間の一致を見出すため、変形されるように示される１つのイメージに主要イメージ領域ブロック２３ａ′と近傍ブロック２３ｂ′、２３ｃ′とを含む。図３Ｅと図３Ｆにおける主要領域の形状が図３Ｄに示される主要イメージ領域と同じではないことに注意すべきである。図３Ｅおよび図３Ｆにおいて、主要イメージ領域２３′は、目標イメージ７１における２つの異なる場所間に移動されるように示される。イメージ領域２３′の変形は、ばね２５によって示される。このばね２５は、主要イメージ領域が主要イメージに存在するところで始まる。良好な一致を見出すため、イメージ領域は目標イメージ７１上の点から移動される。ばね２５は、主要イメージが目標イメージと一致するように変形される量の視覚的表示を与える。目標イメージにおける良好な一致を見出すためばね２５が伸ばされるほど、変形は大きくなる。ばねは、色々な方法で実現される。例えば、ばねは、それ自体が移動された距離の関数および他のプロパティを含む関数が与えられる。このばね手法は、距離の計測を行い、これに重みづけ値を割当てることによって実現される。この重みづけは、限定はしないが１つのパラメータ（例えば、距離のパラメータ）対別の異なるパラメータ（例えば、色のパラメータ）が割当てられるべき強調を含む種々の因子に従って選定される。このため、他のあるパラメータより大きな空間的距離に対する配慮を払うことが望ましければ、重みづけ値が然るべく選定される。
【００６１】
次に図４ないし図４Ｂにおいて、主要イメージ（ＰＩ）７０が複数の行７０ａ〜７０ｈと列７２ａ〜７２ｈへ分割されている。これにおいては８つの行および列が示されるが、当業者は、８つより大きな行および列が用いられることを理解されよう。当業者はまた、行の数が列の数と等しい必要がないことも理解されよう。むしろ、行の数は列の数より多いか少ない。
【００６２】
行および列の交差により形成される各ブロックは７６ＸＸとして表わされ、ここでＸＸは特定のブロックに対する指標識別子に対応する。例えば、参照番号７６ｈｈは主要イメージ７０の右下隅におけるブロックを表わすが、参照番号７６ａａはイメージ７０の左上隅におけるブロックを表わす。このブロック構造は格子と呼ぶことができる。
【００６３】
イメージ・ブロックを生成する任意の特定アプリケーションにおいて用いられる特定数の行および列が、限定しないが１つ以上のブロックにより仕切られたイメージにおける顕著な即ち重要な特徴を持つという要件を含む種々の因子に従って選択される。重要な領域が空と野原とに対応する領域である野原の状景について考察しよう。イメージの多くの重要な特徴が一緒にマージされる非常に粗い格子を持つことは望ましくない。このような粗さの最も極端な事例は、イメージ全体を１つのブロック（１つの行および１つの列）と見なすことである。この場合、空を野原から弁別することはできない。また、イメージにおいて重要でないディテールがブロックにより分けられる格子を持つことも望ましくない。同じ野原の状景と、草の各葉を描写する細かな格子とを考察しよう。最も極端な場合では、ブロックは個々のピクセルからなっている。
【００６４】
ここでは主要イメージ７０が四角い形状を持つように示されるが、当業者は、他の形状も用いられることを理解されよう。主要イメージ７０が同じ大きさの複数の四角の領域へ分けられているが、当業者は、あるアプリケーションでは他の大きさまたは形状の領域を用いることが望ましく、かつ異なる領域の参照方法を用いることもできることを理解されよう。例えば、あるアプリケーションでは、処理速度を改善することができ、あるいは特定の計算の複雑さを矩形、円形あるいは三角形の形状を持つブロックを選択することにより簡単にすることができる。
【００６５】
目標イメージ８０は、同様に予め定めた数の行および予め定めた数の列へ分けられている。主要イメージと同じように目標イメージを分けるのが最も一般的である。このような場合、目標イメージ８０は、主要イメージ７０と同数の行および列を有する。
【００６６】
主要イメージ７０は、目標イメージ８０と整合される。このようなステップは、イメージを領域またはブロックへ分ける前または後に行うことができる。
主要イメージ７０においては、第１の主要イメージ・ブロック７６ｂｇが選択される。次に、複数の近傍即ち近い主要イメージ・ブロック７６ｂｇが選択される。この場合、近傍ブロックは７６ａｆ、７６ａｇ、７６ｂｆ、７６ｃｆおよび７６ｃｇである。主要イメージ・ブロック７６ｂｇと近傍ブロック７６ａｆ、７６ａｇ、７６ｂｆ、７６ｃｆおよび７６ｃｇとは、選択されたイメージ領域７８を形成する。
【００６７】
第１の主要領域を選定した後、目標イメージ・ブロックが選定される。また、近傍領域が目標イメージ・ブロックの周囲に限定される。このような特定例においては、第１の目標主要ブロック８６ｇｂが識別され、近傍ブロック８６ｆａ、８６ｆｂ、８６ｇａ、８６ｈａ、８６ｈｂもまた選択される。このように、目標イメージ領域８８は、目標イメージ内に限定される。
【００６８】
当該特定例においては、主要イメージ領域７８および目標イメージ領域８８の大きさおよび形状が同じに選択されていることに注意すべきである。しかし、領域７８および８８の大きさが同じであることは必要でないことに注意すべきである。例えば、ある実施の形態においては、ブロック８６ｇｂに隣接する任意のブロックを識別しないことが望ましい。この場合、一致を判定するためには領域７６ｂｇのプロパティのみが領域８６ｇｂのプロパティと比較される。
【００６９】
しかし、図示のように、領域７８内の各ブロックの１つ以上の選択されたプロパティが、領域８８内のブロックの同じプロパティと比較される。
次に、領域７８は、目標イメージの次の部分へ移動される。主要イメージ領域に対する理想的な一致のためには、理想的な場所が目標イメージにおける領域８６ｂｇでなければならないことを知るべきである。
【００７０】
また、ある実施の形態においては、領域７８が置かれる目標イメージ８０内の位置に対して制限を付すことが望ましいか必要であることも注意すべきである。例えば、図４Ｂに仮想的に示されるように、近傍の１つが図４Ｂで８９により示される如く目標イメージの境界外にあるように領域７８を配置させないことが望ましい。
【００７１】
選択された領域が目標イメージの領域と比較されるときに近傍プロパティが突合わされるが、近傍に対する重みづけは主要イメージ領域より少ない重みづけが付される。例えば、実施の一形態において、ガウス重みづけ方式を用いることができる。
【００７２】
このように、ブロック７６ａｇのプロパティはブロック８６ｆｂのプロパティと比較されるが、主要イメージ領域７６ｂｇのプロパティは目標イメージ領域のブロック８６ｇｂのプロパティと比較される。ブロック７６ａｆのプロパティはブロック８６ｆａのプロパティと比較され、ブロック７６ｂｆのプロパティはブロック８６ｇａのプロパティと比較される。近傍ブロック７６ｃｆのプロパティはブロック８６ｈａのプロパティと比較され、近傍ブロック７６ｃｇのプロパティはブロック８６ｈｂのプロパティと比較される。
【００７３】
適切なプラグイン・モジュール（例えば、図１におけるモジュール３０）が、どんな特定の対比およびプロパティがなされるかを判定する。これはアプリケーションによって変化することを知るべきである。例えば、フェースの検出のようなアプリケーションにおいては、第２のおそらくは完全に異なる組のプロパティと比較が用いられるが、印刷回路ボードの検査に関するイメージ処理アプリケーションにおいては、１組の比較とプロパティが用いられる。プラグイン・モジュールは、異なる目標の近傍８６ｆｂのプロパティを第１の主要イメージ領域の近傍７６ａｇのプロパティと関係付けるよう規定する。プラグイン・モジュールはまた、ブロックの関連するプロパティを主要イメージおよび目標イメージの領域と比較するように規定する。例えば、プラグイン・モジュールは、領域７６ｂｇおよび７６ｂｆ間の関連するプロパティ（関連する輝度など）を比較するよう規定する。このような関連するプロパティは、対応する目標ブロック８６ｇｂおよび８６ｇａ間の関連するプロパティに比較することができる。
【００７４】
プロパティが一貫しなければ、特定の場所における一致について全スコアを計算するときこの因子が考慮に入れられる。
全スコアがある主要イメージ領域および目標イメージ領域を呈示すると、１組のプロパティが主要イメージ領域および目標イメージ領域におけるプロパティの実際値の各々間の差の関数として計算される。この関数の簡単な例は、主要イメージ領域および目標イメージ領域における差により線形に増加する関数である。
【００７５】
次に図５において、２つのイメージ間の対称的計測を行う処理ステップが示される。図３ないし図３Ｂに示される方法は、主要イメージが目標イメージにどれだけ似ているかを計算する。図４において、主要イメージ７０と目標イメージ８０との間で比較がなされる（即ち、主要イメージ７０が目標イメージ８０と比較された）。このような比較に基いて、類似性のスコアが計算された。
【００７６】
イメージ８０が主要イメージと見なされ、イメージ７０が目標イメージと見なされるならば、図３ないし図３Ｂに示された比較法を用いて、主要イメージ８０が目標イメージ７０と比較することができる。このような比較に基いて、第２の類似性スコアを計算することができる。第２の類似性スコア（主要イメージ８０を目標イメージ７０と比較することにより計算される）が第１の類似性スコア（主要イメージ７０を目標イメージ８０と比較することにより計算される）と異なることがあり得る。
【００７７】
このような点を示すため１つの事例を用いることができる。イメージ７０における領域が全て黒であるとしよう。イメージ８０の中心における１つの領域が黒であり、残りが白であるとしよう。輝度が考察されるべき唯一のプロパティであるとしよう。イメージ７０がイメージ８０と比較されるとき、イメージ７０における全ての領域がイメージ８０における中間領域と輝度が正確に一致することが判る。このため、この場合におけるイメージ７０とイメージ８０間の一致は、望み得る最良の一致である０である。ここで、この２つのイメージの役割を逆にしよう。イメージ７０がイメージ８０と比較されるとき、中心の黒の領域のみがイメージ７０における領域に対する良好な輝度の一致を呈することになる。残りは、イメージ７０における全ての領域に対して高い輝度差を呈する。イメージ７０に対するイメージ８０の一致は、低度の類似性（即ち、高い一致スコア）を呈する。このように、このような一致の比較は対称的にならない。
【００７８】
時に、対称的な計測を行うことが望ましい。例えば、このことは、類似する照会イメージにおけるデータベースのサーチ結果と同じイメージが返されることの保証に役立つ。例えば、図１Ａにおいて、イメージ２０が照会イメージとして用いられ、イメージ２２ａ〜２２ｈはサーチの結果として見出されたイメージである。２回目のサーチがイメージ２２ａ〜２２ｈの１つを照会イメージ（例えば、イメージ２２ｂ）として用いて行われたならば、ユーザは、多くの同じイメージ２２ａおよび２２ｃ〜２２ｈがサーチの結果に現われることを予期する。図５に示されるステップは、対称的計測を行い、従ってこのようなユーザの期待を満たすのに役立つ手法を示す。
【００７９】
処理はステップ９０で始まり、ここで第１のイメージ（イメージＡ）が第２のイメージ（例えば、イメージＢ）に突合わされ、全スコアが計算される。イメージＡをイメージＢに突合わせるため行われた処理は、図３ないし図４Ｂに関して先に述べた処理である。
【００８０】
次に、処理はステップ９２へ進み、ここで第２のイメージ（即ち、イメージＢ）が第１のイメージ（即ち、イメージＡ）に突合わされ、第２の全スコアが図３ないし図４Ｄに関して先に述べた処理ステップを用いて計算される。
【００８１】
次に、処理ステップ９４に示されるように、２つのサーチからのスコアが組合わされて複合スコアを生じる。このスコアは、例えば、数学的平均を単に計算することにより組合わされ、あるいはまた、スコアは重みづけ関数を含む別の数学的手法あるいはスコアの１つを強調する他の手法を用いて組合わされる。
【００８２】
また、図５のステップ９０および９２において各プロパティに対するスコアを保持することもできる。ステップ９４は、各プロパティに対するスコアを独立的に平均化することができ、次いで結果をイメージＢに対するイメージＡおよびイメージＡに対するイメージＢの全一致へ組合わせることができる。
【００８３】
次に図６ないし図６Ｃにおいて、イメージ１００は、イメージ領域１００ａ〜１００ｐを含んでいる。語彙では、イメージは、図示のように、部分即ち線１０２ａ〜１０２ｐを持つ四角形の絵を表わす。１つのイメージ領域に該当するイメージ部分１０２ａ〜１０２ｐの各々は組合わされ即ち縮小されて、当該イメージ領域内でコンパクトな方法で各イメージ領域内に含まれる全ての情報を表わす。例えば、イメージ領域１００ｂはイメージ部分１０２ａ、１０２ｂを含んでいる。このため、イメージ部分１０２ａ、１０２ｂは組合わされて、イメージ部分１０４ａ（図３Ａ）としてイメージ領域１００ｂ（図６Ａ）内に表わされる。
【００８４】
同様なイメージ部分１０２ｃ、１０２ｄが組合わされてイメージ領域１００ｈ内にイメージ部分１０４ｂとして表わされ、イメージ部分１０２ｅ、１０２ｆは組合わされて、イメージ領域１００ｊ内にイメージ部分１０４ｃとして表わされ、イメージ部分１０２ｇ、１０２ｈは組合わされて、イメージ領域１００ｅ内にイメージ部分１０４ｄとして表わされる。このように、イメージ１０２は、イメージ部分１０４ａ〜１０４ｄを含むイメージ１０４としてコンパクトかつ有効に表わされる。イメージ１０４は、データベース１８（図１）のようなイメージ・データベース内のサーチを行うため用いられる。以上のプロセスは、オプティマイザ３０の適切な１つにより行うことができる。
【００８５】
データベース１８内の各イメージは、２つのイメージが比較されるとき、比較的大きな量のイメージ情報が比較的コンパクトな表示内に含まれるように同様にコンパクトに表わされ、これにより迅速な比較を可能にする。また、「縮小イメージ」法を用いることにより、イメージを比較的小さな量の記憶スペース内に記憶することができる。
【００８６】
次に図６Ｂ、図６Ｃにおいて、イメージ部分１０６ａ〜１０６ｄを含む縮小された照会イメージは、イメージ部分１０８ａ〜１０８ｆを含む例示的に縮小されたデータベース・イメージ１０８と比較することができる。データベース・イメージ１０８に対する照会イメージ１０６の一致の近さは、データベース・イメージ１０８に割当てされた値即ちスコアを決定し、このスコアが照会イメージとデータベース・イメージとの間の一致の近さを表わす。スコアを計算するために、照会イメージ１０６をデータベース・イメージ１０８と一致させるには照会イメージの変形量がどれだけ生じなければならないかを決定するために評定が行われる。
【００８７】
例えば、照会イメージ部分１０６ａがデータベース・イメージと同じイメージ・セグメントに現われ、このため２つのイメージ部分の一致のための照会イメージの変形は要求されない。照会イメージ部分１０６ｂは、データベース・イメージ・セグメント１０８ｃと整合するように１つのイメージ・セグメントだけ下方向に変形あるいは移動されねばならない。照会イメージ部分１０６ａ〜１０６ｄの各部に対して、データベース・イメージ１０８の各セグメントおよび部分に関して同じ一致工程が行われる。照会イメージ部分１０６ａ〜１０６ｄの各々が一致についていったんテストされると、このプロセスは、例えばイメージ・データベースから検索される次の目標イメージに対して繰返される。
【００８８】
図７ないし図７Ｂは、商標検索システムの関連において図１ないし図６Ｄに関して先に述べたイメージ処理および突合わせ手法を示している。無論、図７ないし図７Ｂに関して述べた概念を、検査システム、フェース認識システム、状景分類およびイメージ検索システム、生物工学分析および検索システム、およびファブリック／織物管理および検索システムに限定はしないがこれを含む色々な他のアプリケーションにおいても用いることができることを理解すべきである。
【００８９】
次に、同じ参照番号表示を持つ類似の要素が設けられる図７ないし図７Ｂにおいて、出力表示スクリーン１３０が、ツール・バー１３２、照会イメージ選択領域１３４、選択された照会イメージ領域１３６および結果イメージ領域１３８を含んでいる。結果領域１３８において各イメージ１３８ａ〜１３８ｈの下方に表示されるのは、イメージ１３８ａ〜１３８ｈの各々の照会イメージ１３６に対する類似性（または一致）を示す測定値即ちスコアと対応する対応値１３９ａ〜１３９ｈである。図７において判るように、イメージ１３８ａは明らかに照会イメージ１３６と一致し、このため照会イメージ１３６と、例えばイメージ・データベース・システムのような記憶装置に格納される目標イメージとの間の可能なかぎり最良の一致を示すゼロ（０）のスコアを受取る。
【００９０】
選択された照会イメージ１３６部分がただ１つのイメージに限定されるものでないことを知るべきである。結果セクション１３８は、図示のように、必ずしも８つのイメージでなく１以上の結果を含み得る。結果セクション１３８におけるイメージは、選択され選択照会イメージ領域１３６へ入れられることも可能である。
【００９１】
このような特定の事例では、照会選択として３つのイメージ１３４ａ〜１３４ｃの表示が示される。最も右方のイメージ１３４ｃ（渦巻きを持つ三角形）が照会イメージとして選択され、照会ロケーション１３６に置かれた。図１ないし図６Ｄに関して先に述べた手法を用いる検索システムが、照会イメージ１３６をイメージ・データベースにおけるイメージに突合わせた。表示スクリーンの最下部のステータス・バーは、システムがデータベースにおいてどれだけ多くのイメージを調べたかの表示数のリアルタイムあるいは疑似リアルタイム定量表示を提供する。当例においては、ステータス・バー１４０は出発点からの距離の約１／３であり、システムが照会イメージをデータベースの３３％に対して突合わせたことを意味する。
【００９２】
当該システムは、各データベースのイメージが照会イメージに対してどれだけ類似しているかに照らしてデータベース全体を整列させる。これは、照会イメージに対するその計算された視覚的類似性の順に結果を表示する図７において、最下位のスコアを持つ８つの結果イメージが結果セクション１３８に示される。
【００９３】
図７の場合、図１ないし図６Ｃに関して述べたように、システムは、照会イメージ１３６とデータベースにおける全てのイメージとの間の類似性スコアを計算した。このスコアは、データベースにおけるその対応するイメージと関連させられた。このように、データベースにおけるイメージは、これらの類似性スコアに基いて分類され順序付けることができる。これらのスコアは、図７において１３９として示される。しかし、類似性の計算のため図１ないし図６Ｄに関して述べた方法を用いる必要はない。照会イメージとデータベースにおけるイメージとの間の類似性の計算のために、他のアルゴリズムを用いてもよい。このように、データベースにおけるイメージは、これらの異なる種類の計算に基いて順序付けることができる。
【００９４】
図７から判るように、照会イメージと最も近く一致すると検索システムにより判定されたこれらイメージの検索結果が表示される。この特定例においては、データベースからの最も近い８つの一致イメージが、類似性スコアと共にユーザに対して表示される。結果の各イメージ１３８に隣接する情報ボタン１４１が、イメージと関連する情報を検索する手段を提供する。例えば、この場合、イメージは商標イメージに対応する。このため、関連するイメージ情報は、商標を所有し出願した主体の名前、商標の出願日付、商標の登録日付（登録されたならば）および商標が使用される商品の種類を含む。
【００９５】
印刷回路ボード検査システムのような検査システムの場合は、イメージは回路構成要素あるいは印刷回路ボードに対応する。この場合、関連する情報は構成要素のタイプについての情報に対応し得、あるいは印刷回路ボードまたは回路構成要素に関する製造情報を含む。
【００９６】
検索中は表示が動的に更新されることを知るべきである。図７におけるイメージ１３８ａ〜１３８ｈの位置を図７Ａにおけるそれらの位置に比較することにより、検索システムのいわゆる「リップル特徴」が明らかにされる。先に述べたように、図７は、データベースにおけるイメージの３３％を処理した後のイメージ検索の状態を示している。ステータス・バー１４０から判るように、図７Ａは、データベースにおけるイメージの約６６％を処理した後のイメージ検索システムの状態を示している。イメージを動的に表示することにより、最上部の８つのイメージが周期的に（例えば、２秒ごとに）更新されて任意の１つの離散的瞬間における最良のイメージを示す。
【００９７】
例えば、図７のイメージ１３８からの結果のイメージの順序を図７Ａの結果イメージ１３８の順序に比較することにより、イメージ１３８ｂが、（データベースにおいて処理されるイメージの約３３％が処理された後の）次に優れたイメージとして図７におけるその位置から、（データベースにおけるイメージの約６６％が処理された後の）５番目に優れたイメージとして図７Ａにおける位置へ移動したことが判る。このことは、データベースの中間の３番目において処理されたこれら３つのイメージがデータベースの最初の３番目に見出されたイメージ１３８ｂより更に近い照会イメージと一致することを示す。
【００９８】
このようなイメージの更新は、リアルタイムまたは疑似リアルタイムにおいてユーザへ提示することができる。あるイメージが１つの場所から別の場所へ移動し、あるイメージがディスプレイから外れ、他の新たなイメージがディスプレイに現われるこのような動的な更新プロセスを見たユーザには、この効果が「リップル効果」として見える。
【００９９】
次に図７Ｂにおいて、上記の「リップル効果」を実現するため要求されるステップを説明するフロー図が示される。このような特定の事例（ならびに、図７および図７Ａに関して先に述べた記述）が１組のイメージがイメージ・データベースに格納されるものと仮定することに注意すべきである。しかし、本文において先に述べこれから述べる概念は、イメージがデータベースあるいは他の記憶装置のいずれに格納されるかに拘わらず適用することができる。また、図７および図７Ａにおける事例が唯一つの照会イメージを有することにも注意すべきである。先に述べたこの概念は、図１１ないし図１１Ｂに関して以下に述べるような多数の照会イメージにも適用することができる。
【０１００】
処理はブロック１６０で開始し、ここで照会イメージおよび１組の目標イメージが処理のため選択される。典型的には、予め定めた数の目標イメージ（Ｎ）が処理のため選択される。次いで、処理はブロック１６２へ進み、ここで照会イメージが目標イメージのサブセットと比較される。この比較は、図３ないし図３Ｄに関して先に述べた手法を用いて行われる。時間目標イメージのサブセットの大きさは「ｘ」として表わされ、ここでｘは予め定めた数の目標イメージＮより小さい。（「ｘ」がループ１６２〜１７２の全ての反復にわたって同じ値である必要はないことに注目されたい。）類似性スコアは、当該サブセットにおける各目標イメージと関連している。
【０１０１】
次いで、処理はブロック１６４へ進み、ここで処理された目標イメージおよびその各スコアが処理済みイメージに格納される。次にブロック１６６に示されるように、処理済みイメージのリストがそれらの類似性スコアにより分類される。
【０１０２】
ブロック１６８において、処理済み目標イメージのセットが目標イメージのデータベースから移動され、Ｎの値が減算される。当例においては、Ｎとして示される処理し残されたイメージ数は、ｘに対応する値だけ減じられる。次いで、処理はブロック１７０へ進み、ここで最良のＭ個のイメージがユーザに対して呈示される。次いで、処理は判断ブロック１７２へ進み、ここで処理すべき目標イメージがこれ以上あるかについて判定がなされる。処理されるべき目標イメージが更にあれば、処理はブロック１６２へ進み、処理すべき更なる目標イメージがなくなるまでブロック１６２〜１７０における処理が反復される。
【０１０３】
次に図８において、イメージ検索の結果として生じるイメージ１８２ａ〜１８２ｈの視覚的表示１８０が示される。完了前にイメージ検索が割込みされるか停止されることがあり、この時点における結果のイメージに対応するイメージが表示されることに注意すべきである。
【０１０４】
検索を停止して検索の完了に先立つ（例えば、データベースにおける全てのイメージの完了に先立つ）時点において結果のイメージを見ることができることが望ましいが、これは結果として得るイメージ１８２ａ〜１８２ｈのいずれかが選択され新たな検索の開始点として用いることができるからである。例えば、図８に示されるように、イメージ１８２ｃが選択され、イメージ処理システム（例えば、図１におけるシステム１０）がイメージ１８２ｃを検索の実施のため照会イメージとして用いることができる。
【０１０５】
また、ユーザにとって興味のある結果のイメージ１８２ａ〜１８２ｈを格納できるように、検索を停止することも望ましい。図７において、要素１３２ｆが処理の停止のため用いられる休止ボタンに対応する。アイコン１３２ｆをエンゲージング（例えば、ポインタによるアイコンの「クリック」または押すことまたは選択すること）により検索を再開する。
【０１０６】
更にまた、検索に割込みさせることにより、視覚的表示を注視するユーザは、イメージ処理システムがデータベース全体の検索を完了するのを待つことなく、これにより照会を満たすのに必要な時間量を減じて、一致が見出されるならば検索を停止することができ、この場合類似商標あるいは侵害商標を見出す。
【０１０７】
ここでは図８におけるイメージ１８２ａ〜１８２ｈが任意の形状として示されるが、例えば印刷回路ボードおよび集積回路の処理および検査に同じ原理が妥当することを理解すべきである。例えば、印刷回路ボードの処理システムにおいては、データベースに格納されたイメージは、良好なおよび（または）不良なソルダー・ジョイントまたは構成要素の実装のイメージに対応し得る。このような場合、製造中あるいは検査中の印刷回路ボード（または、その一部）のイメージがデータベースにおける前に格納されたイメージに対比される。問題のイメージをデータベースにおけるイメージに突合せることにより、良好な／不良なソルダー・ジョイントまたは構成要素の実装が存在するかどうかについての判定を行うことができる。
【０１０８】
次に図９ないし図９Ｆにおいて、照会イメージが得られる方法が示される。照会イメージは、図７および図７Ａに示されるように、データベースに存在するイメージであり得る。（図９は、検索の実施のため用いられる照会イメージを示す。）照会イメージは、ハード・コピーから走査され、あるいはカメラからキャプチャされる。このイメージは、図９Ａに示されるように手で描かれてもよい。照会イメージは、既知のイメージのオペレーションされたバージョンでもよい。例えば、図９Ｂは、イメージ面内で９０度時計方向に回転された図９を示す。図９Ｃは、垂直軸の周囲で裏返された図９を示す。図９Ｄは、コントラストが逆になった図９を示す。また、照会イメージは、最初の検索が行われた後に（図８に関して先に論じたように）結果として得るイメージの１つでもある。
【０１０９】
次に図９および図９Ｅないし図９Ｆにおいて、１つの照会イメージの１つ以上の部分が強調される方法が示される。図９は、照会イメージ１９０を示している。このイメージの各部は、その重要性に従って強調される。図９Ｅは、重要としてマークされた２つの領域１９２、１９４を示している。領域１９２は、イメージ１９０の渦巻き領域に対応する。これは、イメージの渦巻きパターンが突合せプロセスのためイメージの残部より更に重みづけされるべきことを示す。領域１９４は、イメージ１９０の三角形領域に対応する。このことは、イメージ１９０の領域１９４のスケールが突合せプロセスのためイメージの残部より更に重みづけされると見なされるべきことを示す。
【０１１０】
また、領域１９２と１９４間のような選択されたイメージ領域の各々の間に、相対的関係を規定することができる。領域間の相対的関係の一例は、空間的な関係である。図９Ｅの場合、１９２に類似する領域が１９４に似た領域より「下方」であるべきである。目標イメージにおける２つの領域が領域１９２および１９４と充分に一致することが見出され、かつ前に規定された相対的関係がこの目標イメージにおいて満たされるならば、この一致は、相対的関係が破られるものより更に重みづけされるべきである。
【０１１１】
また、イメージの各部が１つの特徴を完全に減殺するように除去あるいは消去されることにも注意すべきである。例えば、図９Ｆにおけるイメージは、三角形部分が完全に消去されたイメージ１９０に対応している。このため、イメージ１９０は、「渦巻き」部分のみを示すイメージ１９６を呈示するように改変することができる。従って、イメージ１９６は、照会イメージとして用いることができる。
【０１１２】
次に図１０および図１０Ａにおいて、イメージ全体の選択部分を用いてイメージを処理するために生じる処理が示される。処理はステップ２００で開始し、ここで主要イメージのサブ領域（「主要サブ領域」）が選択される。図１０Ａに示されるように、イメージ２２０全体が選択されたサブ領域２２２を有する。
【０１１３】
次に処理は判断ブロック２０２へ進み、ここで目標サブ領域即ち主要サブ領域がサイズ変更されるべきかについて判定がなされる。イメージの１つ（例えば、主要サブ領域）をサイズ変更すると判定されるならば、処理はブロック２０４へ進み、ここで１つ以上のサイズ変更されたイメージが生成される。あるアプリケーションにおいては、目標イメージと主要サブ領域を同じサイズとなるようにサイズ変更することが望ましいことを理解すべきであり、この場合処理はブロック２０６へ進み、図３ないし図３Ｄに関して実施されたステップが行われる。しかし、他のアプリケーションにおいては、いわゆるイメージ・ピラミッドを生成することが望ましいこともある。
【０１１４】
処理は次に判断ブロック２０７へ進み、ここで更に多くのサイズ変更されたイメージが処理されるべきかについて判定が行われる。更なるイメージが処理されるべきであるならば、処理はブロック２０５へ戻る。処理されるべきイメージがなければ、処理が終了する。
【０１１５】
イメージ・ピラミッドの場合、イメージ・ピラミッドにおける各イメージは異なるスケールにおける主要サブ領域に対応している。この場合は、スケールされた各主要サブ領域が目標イメージに比較され、イメージ・ピラミッドにおける各イメージの元のイメージが特定の場所において目標イメージと整合される。次いで、図３ないし図３Ｄに関して先に述べたステップに従ってイメージを比較する処理が、ブロック２０６に示されるように行われる。イメージ・ピラミッドにおける各イメージの元のイメージを目標イメージにおける多くの異なる場所に置くことができること、ピラミッド・イメージと目標イメージとの間の比較が図３ないし図３Ｄに関して先に述べた処理に従って行われることを理解すべきである。これは、各ピラミッド・イメージごとに図１０のステップ２０８〜２１２により処理することによって行われる。ブロック２０８〜２１２において行われる処理は、ブロック２１４〜２１８において行われた処理と同じものであり、以下においてブロック２１４〜２１８に従って説明する。
【０１１６】
判断ブロック２０２においてイメージをサイズ変更をしないように判定されるならば、処理はブロック２１４へ進み、ここで選択された領域の原点の領域が目標イメージが選択された基準点と整合される。
【０１１７】
次いで、処理はブロック２１５へ進み、ここである条件および拘束条件が規定される。例えば、境界の条件が規定される。境界の条件は、例えば、領域２２２が目標イメージに関して配置される位置に対して制限を課すことができる。例えば、１つの境界条件は、領域２２２のどの部分も目標イメージの任意の領域外にないことである。
【０１１８】
原点の領域を選択するとき、サブ領域（図１０Ａにおける領域２２２）を目標イメージの境界外へ移動させる基準点を選択しないように注意を払うべきである。このような拘束条件は、目標イメージにあり得る多くの基準点が無効となるゆえに、選択されたサブ領域を目標イメージに一致させるのに要する時間量を短縮する上で役立つ。通常は、これらの無効な基準点は目標イメージの最上部、左上部および右部分にあり、回転したＬ字形をなしている。
【０１１９】
ある実施の形態においては、基準点の選択に先立ち境界条件を指定することが望ましい。ステップ２１４および２１５が行われる順序に拘わらず、境界条件が選択される基準点と比較されて、選択された基準点が有効であるかどうかを判定する。
【０１２０】
このような特定例においては、サブ領域２２２はその左上の隅部に原点を持つものと仮定される。しかし、他の原点もまたサブ領域２２２に対して選択され得ることを理解すべきである。例えば、サブ領域２２２の右下隅部もまた原点として働き得る。このため、当例においては原点が左上隅部にあるものと仮定されるが、これがそうである必要はない。
【０１２１】
サブ領域２２２の原点と目標イメージ２２４におけるその基準点とがいったん識別されると、サブ領域２２２を目標イメージ２２４における前記基準点に置くこともあり得る。このような特定例では、サブ領域２２２はその原点が目標イメージ２２４の原点と同じ位置に置かれて示される。
【０１２２】
サブ領域と目標イメージとが同じサイズでなければ、サブ領域２２２の原点を目標イメージ２２４の原点に置く必要がないことを知るべきである。サブ領域２２２の原点は、他の全ての制約（境界条件を含む）が満たされる限り、目標イメージ２２４内部の任意の場所に置くことができる。
【０１２３】
あるアプリケーションにおいては、目標イメージに対する突合せを行うため主要イメージの１つ以上の領域を選択することが望ましいことを知るべきである。このことは、領域２２６、２２８が選択される図９Ｆに示される。２つのイメージ領域がステップ２１４および２１５において選択される場合は、各サブ領域に対する目標イメージの基準点が識別されねばならず、２つの選択されたイメージ領域のプロパティ間の制限が考慮に入れられるべきである。
【０１２４】
次いで、処理はブロック２１６へ進み、ここで図３ないし図３Ｄに関して先に述べたステップに従ってイメージを比較する処理が行われる。選択された基準点の処理からのデータは、記憶装置（例えば、プロセッサのメモリ）に格納され、処理は判断ブロック２１８へ進み、ここで別の基準点が選択されるべきかが判定される。
【０１２５】
判断ブロック２１８においてこれ以上の基準点が処理されるべきと判定されるならば、処理はブロック２１５へ戻る。これ以上の基準点が処理されるべきでなければ、処理は終了する。
【０１２６】
イメージ処理システム１２（図１）に対する照会は１つ以上のイメージを含む。図１１は、多数の照会イメージを１組の目標イメージに突合せる一般的手法を示す。図１１Ａおよび図１１Ｂは、各目標イメージに対する総スコアを計算してユーザへ出力を行う２つの方法を示している。
【０１２７】
次に図１１において、処理がステップ２３０で開始し、ここで最初の主要イメージが選択される。次いで、処理はステップ２３２へ進み、ここで最初の目標イメージが記憶装置から選定される。ステップ２３４において、主要イメージと目標イメージ間の類似性スコアが計算され、主要イメージ識別子、目標イメージ識別子、および目標イメージおよび主要イメージと関連するスコアからなるレコードが記憶装置に格納され、この記憶装置は一時記憶装置（例えば、ランダム・アクセス・メモリー：ＲＡＭ）あるいは磁気テープまたはコンパクト・ディスク読出し専用メモリー（ＣＤ  ＲＯＭ）のような恒久的記憶装置でよい。
【０１２８】
次いで、処理は判断ブロック２３６へ進み、ここで更なる目標イメージが同じ主要イメージで処理されるべきかについて判定が行われる。更なる目標イメージを処理する判定がなされると、処理はブロック２４０へ進み、ここで次の目標イメージが選択され、主要イメージと次の選択目標イメージとの間の類似性スコアが再び計算される。主要イメージおよび目標イメージの識別子と、関連するスコアとが記憶装置に再び格納される。このループは、更なる目標イメージを選択することが要求されなくなるまで反復される。
【０１２９】
次いで、処理は判断ブロック２３８へ進み、ここで更なる主要イメージが処理されるべきかについて判定が行われる。更なる主要イメージを処理する判定がなされると、処理はステップ２４２へ進み、ここで次の主要イメージが処理され、更なる主要イメージの処理が要求されなくなるまで、ブロック２３２ないし２４２が反復される。次いで、処理はブロック２４４へ進み、ここでスコアが計算され、出力がユーザに対して与えられる。これらのスコアを計算できる特定の方法については、図１１Ａおよび図１１Ｂに関して以下に述べる。
【０１３０】
図１１Ａは、全ての主要イメージあるいは照会イメージにわたる各目標イメージに対する平均スコアを計算する方法を示す。これは、図１１のステップ２４４において用いられる多くの手法の１つである。図１１Ａにおいて、処理が実施ブロック２４６で開始し、ここで最初の目標イメージが選択される。ブロック２４８において、目標イメージｉｄを持つ全てのレコードが記憶装置から検索される。このイメージと関連するスコアは、主要イメージの数により加算され除される。
【０１３１】
次いで、処理はブロック２５０へ進み、ここで総スコアが目標イメージと関連付けられる。次いで、処理は判断ブロック２５２へ進み、ここで更なる目標イメージが処理されるべきかについて判定が行われる。更なる目標イメージが処理されるべきであるならば、処理はブロック２５４へ進み、ブロック２４８と２５０とが反復される。このループは、処理する目標イメージがなくなるまで反復される。判断ブロック２５２においてこれ以上の目標イメージがないとの判定が行われると、処理はブロック２５６へ進み、ここで目標イメージがその総スコアに従って分類される。次いで、処理はブロック２５８へ進み、ここで分類されたイメージおよび関連するスコアがユーザへ呈示される。このような出力は、視覚的表示、音響的表示あるいは印刷された表示の形態で与えられる。
【０１３２】
図１１Ｂは、多くの照会イメージからのスコアを組合わせるという別の試みを示す。図１１Ｂにおいて、処理がブロック２６０で開始し、ここで最初の主要イメージが選択される。次いで、処理はブロック２６２へ進み、ここで主要イメージｉｄを持つ全てのレコードが検索される。このようなレコードのセットから、全ての目標イメージが主要イメージと関連するスコアに従って分類される。ブロック２６４において、分類された目標イメージと主要イメージと関連付けられるそのスコアのリストが記憶装置に格納される。判断ブロック２６６において、更なる主要イメージが処理されるべきかについて判定が行われる。更なる主要イメージを処理するという判定が行われると、処理はブロック２６８へ進み、ここで次の主要イメージが選択され、次いで処理はブロック２６２ないし２６４へ進む。
【０１３３】
判断ブロック２６６において主要イメージをこれ以上処理しないという判定が行われると、処理はブロック２７０へ進み、ここで閾値が選択される。ブロック２７２において、主要イメージと関連する全てのリストにおける最初のＮ個の位置にある目標イメージが識別される。ブロック２７４において、結果として得るサブセットの目標イメージが最良のスコアあるいは最良の平均スコアにより分類されてユーザへ呈示される。この情報は、視覚的表示、音響的表示あるいは印刷された表示の形態で呈示され、あるいは当業者には周知の他の任意の表示手法を用いて呈示される。
【０１３４】
多くの照会イメージまたは主要イメージのセットに基いて類似性スコアを計算する他の多くの手法がある。例えば、各主要イメージを各目標イメージに個々に突合せる。次いで、スコアは各目標イメージと関連付けられ、このレコードがリストに入れられる。このリストは、計算されたスコアに基いて分類することができる。システムは、少なくとも１つの主要イメージに対する最小の個々のスコアを持つイメージの重ならないセットを返さなければならない。
【０１３５】
多数の主要イメージから得る多数のスコアを組合わせるのではなく、これらの特性を具現する新たな「コンデンスされた」照会イメージを生じるため主要イメージにおける共通特性を計算することもできる。このような突合せは、この新たな照会イメージと図３ないし図３Ｂにおいて示された如き目標とを用いて行われる。出力は、コンデンスされた照会イメージと目標との間の類似性スコアである。目標イメージは、その各々のスコアに基いて分類される。
【０１３６】
あるいはまた、目標イメージの処理の前に多数の照会イメージを相互に突合せることもできる。目標は、照会イメージ間で計算される最も一貫した最良の類似性スコアを見出すシステムのパラメータを見出すことである。換言すれば、目標は、照会イメージ間の類似性を最もよく説明するシステム・パラメータを見出すことである。これらのシステム・パラメータおよび１つ以上の照会イメージは、目標イメージに対する類似性スコアを計算するために用いられる。
【０１３７】
また、照会が正の事例を用いて洗練されることを知るべきである。結果は、１つ以上の照会イメージにより計算することができる。システム・パラメータは、「正の事例」として結果のセットからイメージをユーザに選定させることにより洗練される。パラメータを洗練する１つの方法は、結果として得る類似性の測定値が正の事例に対する最低の（即ち、最良の）スコアを与えるようにこれらパラメータを変更することである。
【０１３８】
あるいはまた、負の事例を用いても照会が洗練されることを知るべきである。結果は１つ以上の照会イメージにより計算することができ、この場合ユーザが正の事例（特定の基準に適合しあるいは知覚概念を具現するイメージ）と負の事例（知覚概念を具現しないイメージ）の両方を指定することができる。正と負の事例を包含する１つの方法は、結果として得る類似性の測定値が正の事例と負の事例に対するスコア間に最大の相違を生じるようにシステム・パラメータを変更することである。別の方法は、正の事例間の共通属性を計算し、次いで負の事例に含まれる特徴を除去することである。正の事例の特性を具現し負の事例の特性は含まない新たな照会イメージを得て、突合せを行うために用いることもできる。
【０１３９】
次に図１２において、テキストにより次いで視覚の類似性によりイメージを最初に分類するステップが示される。処理は、主要イメージが検索されるブロック２７６において開始する。ブロック２７８において、イメージと関連するテキストもまた検索される。このテキストは、格納された情報からユーザにより入力されたデータにより検索される。ブロック２８０において、少なくとも１つの共通に関連単語を持つ他の全てのイメージが検索される。ブロック２８２においては、これらのイメージが目標イメージのリストへグループ化される。これが、テキスト・ステップによる検索を完了する。テキスト・ステップは、その視覚的な類似性による目標イメージのリストを照会イメージまたは主要イメージへ分類することである。ブロック２８４において、主要イメージがリストにおける各目標イメージに対比される。この比較は、図３ないし図３Ｄに関して先に述べた手法を用いて行われる。
【０１４０】
ブロック２８６において、リストの各目標イメージと共に類似性スコアが格納される。ブロック２８８において目標イメージのリストが類似性スコアにより分類され、ブロック２９０において分類されたリストの出力がユーザへ呈示される。
【０１４１】
次に図１２Ａにおいて、事例のデータ・フォーマット２９２が示される。当該事例では、データ・ストリング２９２がイメージ識別フィールド２９４と、イメージ・データ・フィールド２９６と、関連テキスト・フィールド２９８とを含んでいる。イメージ識別子フィールド２９４は、例えばイメージが格納される記憶装置におけるイメージの位置を示す英数字あるいは数字識別子として呈示される。例えば、イメージ・データは、磁気テープ、磁気ディスク、読出し専用メモリー、ＣＤ  ＲＯＭあるいは当業者には周知の他の任意の記憶装置に格納される。イメージＩＤは、イメージがディスクに格納される順序と関連しあるいは関連せず、ある実施の形態ではイメージＩＤフィールドは省略されることもある。イメージ・データ・フィールド２９６は、適正に解釈されるとイメージの表示を結果として生じる値（例えば、ディジタル値）に対応する。この値は、カラー・イメージまたはグレースケール・イメージ、あるいは当業者には公知の他の任意の種類のイメージ表示を示すように作られる。
【０１４２】
各イメージ・データ・フィールド２９６と関連するのはテキスト・フィールド２９８である。テキスト・フィールド２９８は、イメージ・データ２９６により与えられるイメージの文字による記述を含む。このため、当該事例では、イメージ２９６ａが三角形の渦巻きまたは幾何学的オブジェクトとしてテキスト２９８ａにより記述される。各イメージと関連するこの特定のテキストは、典型的には特定のイメージの主部および述部である。イメージ２９６ｂは、リンゴのイメージであり、このためイメージ２９６ｂと関連するテキスト２９８ｂはリンゴ、フルーツおよび食物である。他の関連するテキストもまた、例えば赤の色のようなリンゴと関連付けることができる。更に、テキスト情報は、有意の単語からならない。イメージを記述するため、商標イメージを記すため米国特許意匠庁により用いられる数値コーディング方式のようなコードが、しばしば用いられる。このようなコードの一例は、５つの尖端の星と関連するものであることが知られるテキスト・ストリング０１．０１．０３である。
【０１４３】
図１２Ａにおける事例では、データ・フォーマット２９２がフィールド２９４、２９６および１９８を連続的に示す。しかし、あるアプリケーションにおいては、情報は連続して格納されず、その代わり１つのフィールドから次のフィールドへリンクにより関連付けられる。このため、記憶装置においてイメージ・データがメモリの一部に格納され、イメージ・データと関連するテキスト・フィールドはメモリの別の部分に格納される。
【０１４４】
図１２Ｂは照会イメージ（リンゴ）を示すが、図１２Ｃは単語「リンゴ」と関連付けられたデータベースにおける最初の８つのイメージを示している。結果は、これらイメージがデータベースにおいて現われる順序（照会イメージに対してどれだけ視覚的に類似するかとは関係がない）で示される。図１２Ｄは、注釈「リンゴ」が照会イメージ（図１２Ｃ）に対する視覚的類似性により分類されたイメージのセットを示す。最良の８つのイメージが図１２Ｄに示される。図１２Ｃにおいて、照会イメージ３１０に非常によく似たイメージ３１５ｃおよび３１５ｄが３番目と４番目の位置にあることに注意すべきである。視覚的類似性による分類の後に、これらイメージが図１２Ｄの最初と２番目の位置に現われる。視覚的な類似性の突合わせ後の３１５ａおよび３１５ｂの記録もまた注目すべきである。これらは、照会イメージに対してそれほど視覚的に似ていない。図１２Ｄに示されるように、イメージ３１５ａは４番目の位置へ移動され、イメージ３１５ｂは３番目の位置へ移動される。照会イメージに視覚的に全く似ていないイメージ３１５ｇは最上位の８つのイメージから完全に外される。このイメージは、図１２Ｄには出てこない。
【０１４５】
視覚的な類似性の突合わせ（マッチング）によるテキスト・ベースの検索の使用は、幾つかの良好な属性を有する。このテキスト・ベースの検索は、返される目標イメージがなんらかの点で照会イメージと関連付けられることを保証する。不都合なことに、結果として得るイメージのセットは、非常に長くかつ未分類である。視覚的な類似性のマッチングを用いなければ、ユーザは最良の一致を見出すために各イメージを見なければならないことになる。視覚的な類似性のマッチングは、照会イメージに対する視覚的な相似に関して結果として得るイメージのセットを分類する。このため、視覚的に最も似た目標イメージがそれほど似ていないイメージのリストにおいて優先順位が与えられる。この最後のステップは、最初に最も目立つイメージをユーザの注意を向けさせる。ユーザは、イメージのリストを見ることを止めるときを判定するため類似性スコアを用いる。スコアが高くなるかあるいはスコアに大きな飛躍があるならば、この情報はユーザに対してこの点以降のイメージが照会イメージとの多くの視覚的な類似性を持たないことを知らせる。
【０１４６】
図１２ないし図１２Ｄは、照会イメージを１組の目標イメージに対比する２段階のプロセスとしてテキストと視覚的な類似性のマッチングの使用法を示している。しかし、この２つの検索は統合される。目標イメージは、テキストの一致と視覚的な類似性スコアの組合わせであるスコアが与えられる。
【０１４７】
次に図１３において、リード線３３２がソルダー・ジョイント３３６を介して回路線３３４に結合された回路要素３３０が示される。このような回路要素は、印刷回路ボードに載置され、典型的にはエッチング法またはデポジション法により印刷回路ボード部分に作り込まれる回路線に対して結合される。
【０１４８】
回路要素３３０、回路線３３４およびリード線３３２の特定の方法、ならびに回路線にリード線を結合するため用いられるソルダー法が、検査プロセスにおいて生じる特定の処理に対してインパクトを生じる。しかし、回路要素の検査の間、別の特徴あるいは特性が、回路要素を実装し回路要素を回路線へ結合して回路線を作るため用いられる方法および（または）技法に従って多少とも重要となり得る。
【０１４９】
このような特定例では、ガルウィング形のリード線３３２とソルダー・ジョイント３３６の検査について記述する。当該例においては、ソルダー・ジョイント３３６およびその付近における予め定めた領域間の相対的明るさを良好あるいは不良なソルダー・ジョイントとしてジョイントを検証するために使用可能であることが認められる。特に、回路要素３３０の頂面は、ある量の光を反射する。リード線３３２の角度を付した部分３３２ａはより少ない光を反射し、これにより領域３３０ａより暗く見える。同様に、平坦なリード線部分３３２ｂはリード線３３２ａより明るく見え、ソルダー・ジョイントの第１の部分３３６ａはリード線部分３３２ｂより暗く見える。ソルダー部が回路線と接する角度のため、ソルダー・ジョイントの部分３３６ｂは領域３３６ａより明るく見え、ソルダー・ジョイントの部分３３６ｃは領域３３６ｂより暗く見える。回路線部分３３４ａは回路線３３４の平坦部に対応し、このためソルダー・ジョイントの領域３３６ｃと異なる角度で光を反射し、またこれによりソルダー・ジョイントの領域３３６ｂより明るく見える。このように、ソルダー・ジョイント３３６を検査するとき、各領域の相対的輝度は検査プロセスにおいて用いることができ、プラグイン・モジュールにおいて指定することができ、これによりイメージ・マッチング・プロセスを速めるのは、これらの相対的輝度特性である。
【０１５０】
次に図１４において、回路要素の検査システムにおいてイメージを処理するステップが示される。処理はステップ３４０において開始し、ここでイメージがキャプチャされる。図１３および図１３Ａを簡単に参照して、イメージが図１３Ａに示されるように構成要素とこの構成要素からのリード線を含む印刷回路ボード全体の一部であり得る（図１３Ａでは、１本のリード線しか示されないことに注意）。このため、このイメージは、回路要素３３０の平面図と、リード線３３２の平面図と、ソルダー・ジョイント３３６の平面図と、回路線３３４の平面図とを含んでいる。次いで、処理はステップ３４２へ進み、ここでハンダ付けされた要素の存在が検証される。これは、図１３ａのイメージ部分の回路要素を回路要素の記憶されるイメージにマッチングするだけで行うことができる。次に、図示のようにステップ３４４において、回路接続点（即ち、回路のリード線３３２）が識別される。リード線は、回路要素のイメージをキャプチャされたイメージにマッチングし、とりわけリード線が回路要素に関してどこにあるかを知ることによって識別することができる。
【０１５１】
次に、処理はステップ３４６へ進み、ここで各リード線とソルダー・ジョイントが主要イメージとして示される。目標イメージは、良好なリード線とソルダー・ジョイントの別の記憶されたイメージ（単数または複数の）か、あるいはリード線とジョイントの合成イメージか複合イメージである。目標のリード線／ジョイントは、図３ないし図３Ｂに関して先に述べたリード・プラグイン・モジュール（図１３の説明ではこのように呼ぶ）を用いるステップに従って処理される。ステップ３４６の処理からの出力値（即ち、スコア）が閾値と対比される。処理ステップ３４６からのスコアが予め定めた閾値より大きければ、リード線／ソルダー・ジョイントは不良な接続として分類される。（低いスコアは良好な一致に対応するものとし、ここで０なるスコアは完全な一致である）。次いで、処理が終了する。
【０１５２】
閾値は異なる種類のリード線について調整されねばならないことに注意すべきである。リード線は、形状、サイズおよびピッチのような多くの特質において変動し得る。また、閾値は製造者の目標に準じて変化し得る。製造者は、生産ラインをセットアップする際、ある誤った正集団の犠牲において全ての不良リード線を見出したいと欲する。この場合、ステップ３４８における閾値は低い側へ偏るはずである。製造者は、どこでかつなぜ不良リード線が生じてこれらのエラーを補償するため生産プロセスを変更させるかを分析することができる。（このことについては、図１４に関して本文中に更に詳細に説明する）あるいはまた、生産プロセスがフル稼働状態にあるとき、製造者は少数の不良リード線を失う犠牲により全ての良好なリード線を受入れるため閾値を高い側へ偏らせたいと欲しよう。
【０１５３】
ステップ３４６において、目標イメージは不良リード線の図（実画像あるいは複合画像）であり得ることを知るべきである。目標イメージの当該セットが全種のリード線およびジョイントの欠陥にわたるならば、理想的である。また、目標イメージの各々がどんな欠陥を描くかに関する情報を持つならば、これもまた望ましい。この場合、図１３Ａにおけるイメージ部分３３２〜３３４のような新たなリード線が目標イメージに対比される。類似性が主要イメージと任意の目標イメージ間で高い（低いスコア）であるならば、主要イメージは欠陥があるものと分類されるべきである。システムは、最良の類似性スコアのみでなく、このスコアを生じた目標イメージをも記録すべきである。この情報は、リード線とジョイントが不良であることのみでなく、なぜこれらが不良であるかもシステムへ通告することになる。
【０１５４】
１つの構成要素が多くの側における多数のリード線を有することは非常に一般的である。構成要素からのリード線の１本（以上）のイメージが主要イメージとしてふるまうことに注意すべきである。構成要素からのリード線の残部のイメージは、目標イメージとして働く。例えば、ステップ３４６において、図３ないし図３Ｂに関して先に述べたように、イメージ３３７を主要イメージとして取扱うことができる。ここでの前提は、構成要素が相互によく似たように見えるリード線とジョイントを持つべきことである。１本以上の良好に見えるリード線とジョイントが主要イメージとして働くべきである。欠陥を有する構成要素からのリード線とジョイントは、主要イメージとは非常に異なって見える。主要イメージが欠陥を有するならば、このイメージは構成要素からの他のリード線とは異なるように見えねばならない。１つの要素からのリード線は、別のボードについても対比することができる。
【０１５５】
目標イメージは、リード線とジョイントの両者を含む必要はない。図１３Ａの領域３３９に示される如きソルダー・ジョイントを処理することができる。このため、スコア値は、イメージ３３９と良好なソルダー・ジョイントのイメージである目標イメージとの類似性を表わすことになる。このように、完全な一致は、イメージ領域３３９もまた良好なソルダー・ジョイントのイメージであることを示すことになる。目標イメージと主要イメージ３３９間の一致が良好でなければ、このことは目標イメージが良好なソルダー・ジョイントのイメージではないことを示す。また、回路要素の平面図が主要イメージと目標イメージの両方として用いられることにも注目すべきである。
【０１５６】
次に図１５のブロック３５０において、電気回路線がエッチングされ、デポジションされあるいは他の方法で載置された実装されない印刷回路ボードがブロック３５２で示される如きソルダー・ペースト・ステーションへ提供される。ソルダー・ペースト塗布ステーションは、印刷回路ボードへソルダー・ペーストを塗布する例えば網点プリンタまたは当業者には周知の他の装置として設けられる。一部の実施の形態においては、ソルダー・ペーストは手によって塗布される。ソルダー・ペーストを印刷回路ボードへ塗布するため用いられる特定の方法または技法の如何によらず、ソルダー・ペーストは印刷回路ボードの予め定めた領域へ塗布される。ソルダー・ペーストは、所与の範囲内の予め定めた量で塗布されねばならない。次いで、処理はブロック５４へ進み、ここでソルダー・ペースト検査システムが印刷回路ボードの予め定めた領域へ塗布されるソルダー・ペーストを検査する。ソルダー・ペースト検査システムは、ソルダー・ペーストが塗布されて検査が必要である印刷回路ボードの領域の１つ以上のイメージをキャプチャする。ペースト検査システムによりキャプチャされたイメージは、例えば、印刷回路ボード全体のイメージであり得、この場合印刷回路ボードのイメージの選択されたイメージ領域は識別され目標イメージに対比することができる。目標イメージは、ソルダー・ペーストが適正に塗布された類似する印刷回路ボードの領域のイメージに対応する。キャプチャされたイメージ領域を目標イメージに対比し、図３ないし図１４に関して先に述べたイメージ処理手法を実施することにより、ブロック３５２において塗布されたソルダー・ペーストが印刷回路ボードの適切な各領域に適正に塗布されたかどうかについて判定を行うことができる。ソルダー・ペーストが１つ以上の検査領域において適正に塗布されなかったことの判定がなされると、印刷回路ボードはブロック３５２へ戻され、ここで最初の時点で適正に塗布されなかった各領域においてソルダー・ペーストが再び塗布される。このように、ブロック３５２およびブロック３５４は、ペースト検査システムがソルダー・ペーストが適切な各領域において適正に塗布されたと判定するまで反復される。
【０１５７】
次いで処理はｂｌ３５６へ進み、ここでソルダー・ペーストが適正に塗布された印刷回路ボードが構成要素実装ステーションへ提供される。構成要素実装ステーションは、いわゆるピック／設置機械を含むことができ、あるいは実装ステーションは印刷回路ボードに対する回路要素の手動の設置を含む。自動化されあるいは手動による構成要素の設置手法を使用する決定は、回路要素の複雑さ、手動あるいは機械の取扱いに対する回路要素の感度、特定のサイズおよび形状の回路要素を取扱う自動化システムの技術的制限、および自動化システム対手動システムのコスト効率に限定しないがこれを含む種々の因子に従って行われる。
【０１５８】
回路要素がいったん印刷回路ボード上に置かれると、処理はブロック３５８へ進み、ここで設置検査ステーションが印刷回路要素の検査を行う。設置検査システムは、問題となる各回路要素のイメージをキャプチャするイメージ・キャプチャ装置を含む。回路要素のキャプチャされたイメージが、先に図３ないし図１４に関して本文に述べた手法を用いて、設置された回路要素の目標イメージに対比される。ブロック３５８において設置検査ステーションからの命令に応答して、処理は、ブロック３５８における設置検査ステーションの結果に従って、処理ブロック３５２あるいは処理ブロック３５６へ戻ることができる。
【０１５９】
ブロック３５８において、回路要素が適正に設置され他の欠陥が検出さないことの判定がいったんなされると、処理はブロック３６０へ進み、ここでソルダー・リフロー・ステーションがソルダーをリフローし、これにより回路要素を印刷回路ボードへ結合する。ソルダー・リフロー・ステーションは、自動化されたステーションとして、あるいは手動のステーションとして提供される。ブロック３６０におけるソルダー・リフローの後、処理はブロック３６２へ進み、ここで設置およびソルダー・ジョイント検査ステーションが問題となる各回路要素とソルダー・ジョイントを検査する。欠陥が検出されなければ、処理はブロック３６４へ進み、ここで実装された印刷回路ボードが提供される。
【０１６０】
以上の記述において、目標イメージが全てペースト塗布、構成要素の設置あるいはリフローされたソルダー・ジョイントの良好な事例であることに注意すべきである。目標イメージにおいて良好と不良の両方の事例の混成した実装を生じることもあり得る。入力イメージを良好および不良の事例にマッチングした結果は、システムに対し、イメージが不良の事例ではなく良好な事例により近く見える（あるいは、その逆）かを通知することになる。このような識別は、イメージの合否の判定において非常に重要であり得る。特定の不良の事例に対する主要イメージの類似性は、欠陥のタイプに関する情報を提供することができる。このような情報は、生産プロセスを同調させる目的のためには非常に望ましい。
【０１６１】
良好および不良の事例は、多数のボードが図１５におけるステップ３５０ないし３６２に送られる時間にわたって集めることができる。これらの事例は、３つの段階の各々に対する目標イメージの生成あるいは追補のため用いることができる。
【０１６２】
各検査段階（ステップ３５４、３５８および３６２）は、見出された欠陥の数および種類に関してデータを収集することができる。このデータは、プロセスの同調のため分析されシステムへフィードバックすることができる。例えばステップ３５４において、ペースト事後検査段階がボード全体における不充分なペーストを一貫してレポートすることができる。このことは、充分でないペーストがステップ３５２において塗布されつつあることを意味する。検査システムは、ボードの１つの領域における不充分なペーストについて一貫的なレポートを行い、ペーストのステンシルにおける開口の閉塞を示唆する。設置後およびリフロー後の欠陥について同様な分析が行われる。エラーに関するフィードバックは、この検査段階に先立ち検査ステーションからプロセスの任意の部分へ送られる。例えば、ステップ３６２（リフロー後）における不充分なソルダーの一貫した検出は、充分でないペーストがステップ３５２（リフロー前）において塗布されつつあることを意味する。
【０１６３】
本発明の望ましい実施の形態について記述したが、当業者には、他の概念を盛込んだ他の実施の形態を適用可能であることが明らかであろう。従って、これらの実施の形態は本文に開示した実施の形態に限定されるべきではなく、頭書の請求の範囲の趣旨によってのみ限定されるべきものである。本文に引用された全ての刊行物および引例は、その主体において参考のため本文に明示的に援用されるものである。
【図面の簡単な説明】
【０１６４】
【図１】イメージ検索および検索システムのブロック図である。  Ａは、照会イメージと照会イメージを図１のイメージ検索および検索システムへ提供した結果得られる複数のイメージとを示す図である。
【図２】複数のプラグイン・モジュールを含むイメージ処理システムのブロック図である。
【図３】２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。
【図３Ａ】２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。
【図３Ｂ】２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。
【図３Ｃ】照会イメージと目標イメージからの属性のプロットである。
【図３Ｄ】分割および組込みオペレーション後のイメージを示す一連のイメージである。
【図３Ｅ】目標イメージと整合する領域の変形を示す図である。
【図３Ｆ】目標イメージと整合する領域の変形を示す図である。
【図４】主要イメージと目標イメージの整合状態を示す概略図である。
【図４Ａ】主要イメージと目標イメージの整合状態を示す概略図である。
【図４Ｂ】主要イメージと目標イメージの整合状態を示す概略図である。
【図５】検索結果を生成するため行われた処理を示すフロー図である。
【図６】図６および図６Ａは、イメージ検索エンジンへ与えられる組込みイメージを生成するため入力イメージの領域の組込み時に含まれる工程を示す一連のイメージを示す図である。
【図６Ａ】イメージ検索エンジンへ与えられる組込みイメージを生成するため入力イメージの領域の組込み時に含まれる工程を示す一連のイメージを示す図である。
【図６Ｂ】組込まれたコア・イメージの組込まれたデータベース・イメージに対する比較を示す一連のイメージを示す図である。
【図６Ｃ】組込まれたコア・イメージの組込まれたデータベース・イメージに対する比較を示す一連のイメージを示す図である。
【図７】リプル特徴点を示す一連の概略図である。
【図７Ａ】リプル特徴点を示す一連の概略図である。
【図７Ｂ】リプル特徴点を実現する工程を説明するフロー図である。
【図８】イメージ検索の結果として生じた１つ以上のイメージの選択を示す図である。
【図９】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ａ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｂ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｃ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｄ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｅ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｆ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図１０】主要イメージの多数の部分を用いて目標を処理する工程を示すフロー図である。
【図１０Ａ】目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。
【図１０Ｂ】目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。
【図１０Ｃ】目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。
【図１１】スコアを計算して出力をユーザへ与える工程を示すフロー図である。
【図１１Ａ】集計スコアを計算する工程を示すフロー図である。
【図１１Ｂ】分割法を用いてスコアを計算する工程を示すフロー図である。
【図１２】テキストによりソートし次いで視覚的類似性によりソートする工程を示すフロー図である。
【図１２Ａ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１２Ｂ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１２Ｃ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１２Ｄ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１３】回路構成要素と回路線に接続された回路リード線を示す概略側面図である。
【図１４】回路検査システムにおけるイメージ処理を行う工程を示すフロー図である。
【図１５】印刷回路ボードを製造する工程を示す図である。
【図１】
2006202314.tif 000003
【図２】
2006202314.tif 000004
【図３】
2006202314.tif 000005
【図３Ａ】
2006202314.tif 000006
【図３Ｂ】
2006202314.tif 000007
【図３Ｃ】
2006202314.tif 000008
【図４】
2006202314.tif 000009
【図５】
2006202314.tif 000010
【図６Ａ】
2006202314.tif 000011
【図７Ｂ】
2006202314.tif 000012
【図１０】
2006202314.tif 000013
【図１１】
2006202314.tif 000014
【図１１Ａ】
2006202314.tif 000015
【図１１Ｂ】
2006202314.tif 000016
【図１２】
2006202314.tif 000017
【図１２Ａ】
2006202314.tif 000018
【図１３】
2006202314.tif 000019
【図１４】
2006202314.tif 000020
【図１５】
2006202314.tif 000021
【手続補正書】
【提出日】平成18年3月16日(2006.3.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１６４
【補正方法】変更
【補正の内容】
【０１６４】
【図１】イメージ検索および検索システムのブロック図である。
【図１Ａ】照会イメージと照会イメージを図１のイメージ検索および検索システムへ提供した結果得られる複数のイメージとを示す図である。
【図２】複数のプラグイン・モジュールを含むイメージ処理システムのブロック図である。
【図３】２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。
【図３Ａ】２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。
【図３Ｂ】２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。
【図３Ｃ】照会イメージと目標イメージからの属性のプロットである。
【図３Ｄ】分割および組込みオペレーション後のイメージを示す一連のイメージである。
【図３Ｅ】目標イメージと整合する領域の変形を示す図である。
【図３Ｆ】目標イメージと整合する領域の変形を示す図である。
【図４】主要イメージと目標イメージの整合状態を示す概略図である。
【図４Ａ】主要イメージと目標イメージの整合状態を示す概略図である。
【図４Ｂ】主要イメージと目標イメージの整合状態を示す概略図である。
【図５】検索結果を生成するため行われた処理を示すフロー図である。
【図６】イメージ検索エンジンへ与えられる組込みイメージを生成するため入力イメージの領域の組込み時に含まれる工程を示す一連のイメージを示す図である。
【図６Ａ】イメージ検索エンジンへ与えられる組込みイメージを生成するため入力イメージの領域の組込み時に含まれる工程を示す一連のイメージを示す図である。
【図６Ｂ】組込まれたコア・イメージの組込まれたデータベース・イメージに対する比較を示す一連のイメージを示す図である。
【図６Ｃ】組込まれたコア・イメージの組込まれたデータベース・イメージに対する比較を示す一連のイメージを示す図である。
【図７】リプル特徴点を示す一連の概略図である。
【図７Ａ】リプル特徴点を示す一連の概略図である。
【図７Ｂ】リプル特徴点を実現する工程を説明するフロー図である。
【図８】イメージ検索の結果として生じた１つ以上のイメージの選択を示す図である。
【図９】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ａ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｂ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｃ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｄ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｅ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図９Ｆ】照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。
【図１０】主要イメージの多数の部分を用いて目標を処理する工程を示すフロー図である。
【図１０Ａ】目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。
【図１０Ｂ】目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。
【図１０Ｃ】目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。
【図１１】スコアを計算して出力をユーザへ与える工程を示すフロー図である。
【図１１Ａ】集計スコアを計算する工程を示すフロー図である。
【図１１Ｂ】分割法を用いてスコアを計算する工程を示すフロー図である。
【図１２】テキストによりソートし次いで視覚的類似性によりソートする工程を示すフロー図である。
【図１２Ａ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１２Ｂ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１２Ｃ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１２Ｄ】イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。
【図１３】回路構成要素と回路線に接続された回路リード線を示す概略側面図である。
【図１３Ａ】回路構成要素と回路線に接続された回路リード線を示す概略側面図である。
【図１４】回路検査システムにおけるイメージ処理を行う工程を示すフロー図である。
【図１５】印刷回路ボードを製造する工程を示す図である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006202314.tif 000022
【図１Ａ】
2006202314.tif 000023
【図２】
2006202314.tif 000024
【図３】
2006202314.tif 000025
【図３Ａ】
2006202314.tif 000026
【図３Ｂ】
2006202314.tif 000027
【図３Ｃ】
2006202314.tif 000028
【図３Ｄ】
2006202314.tif 000029
【図３Ｅ】
2006202314.tif 000030
【図３Ｆ】
2006202314.tif 000031
【図４】
2006202314.tif 000032
【図４Ａ】
2006202314.tif 000033
【図４Ｂ】
2006202314.tif 000034
【図５】
2006202314.tif 000035
【図６】
2006202314.tif 000036
【図６Ａ】
2006202314.tif 000037
【図６Ｂ】
2006202314.tif 000038
【図６Ｃ】
2006202314.tif 000039
【図７】
2006202314.tif 000040
【図７Ａ】
2006202314.tif 000041
【図７Ｂ】
2006202314.tif 000042
【図８】
2006202314.tif 000043
【図９】
2006202314.tif 000044
【図９Ａ】
2006202314.tif 000045
【図９Ｂ】
2006202314.tif 000046
【図９Ｃ】
2006202314.tif 000047
【図９Ｄ】
2006202314.tif 000048
【図９Ｅ】
2006202314.tif 000049
【図９Ｆ】
2006202314.tif 000050
【図１０】
2006202314.tif 000051
【図１０Ａ】
2006202314.tif 000052
【図１０Ｂ】
2006202314.tif 000053
【図１０Ｃ】
2006202314.tif 000054
【図１１】
2006202314.tif 000055
【図１１Ａ】
2006202314.tif 000056
【図１１Ｂ】
2006202314.tif 000057
【図１２】
2006202314.tif 000058
【図１２Ａ】
2006202314.tif 000059
【図１２Ｂ】
2006202314.tif 000060
【図１２Ｃ】
2006202314.tif 000061
【図１２Ｄ】
2006202314.tif 000062
【図１３】
2006202314.tif 000063
【図１３Ａ】
2006202314.tif 000064
【図１４】
2006202314.tif 000065
【図１５】
2006202314.tif 000066