(57)【特許請求の範囲】
【請求項１】
映像内の目標パターンを入力する入力ユニット及び所定数の出力ユニットを有するニューラルネットワークを用意するステップと、
上記ニューラルネットに目標パターン及び該目標パターンの断片を認識させる訓練を施すステップであって、その際に上記ニューラルネトワークの所定数の出力ユニットの各々からの高出力が上記目標パターン及び該目標パターンの断片のほぼ中心を表すようにし、各上記目標パターンの各断片は、該目標パターンを基準映像空間の周りにシフトすることで得られるステップと、
上記映像を２進数化するステップと、
上記２進数化された映像を第１の複数の分割映像に分割するステップと、
上記各分割映像を上記ニューラルネットワークで第１処理して、各々が少なくとも候補パターンの一部を含む第２の複数の分割映像を識別するステップと、
上記第１処理ステップにおける最大の重みを持つ出力ユニットに基づき、各々がそのほぼ中心に候補パターンを有する第３の複数の分割映像を発生するステップと、
上記第３の複数の分割映像を上記ニューラルネットワークで第２処理して、各々が少なくとも候補パターンの一部を含む第４の複数の分割映像を発生するステップと、
上記第２処理ステップにおける最大の重みをもつ出力ユニットに基づき、各々がほぼ中心に候補パターンを有する第５の複数の分割映像を発生するステップと、
上記第５の複数の映像と上記目標パターンの基準モデルとの相関度を求め、上記第５の複数の分割映像の各々が実際に上記目標パターンを含むかどうかを決めるステップと
を含む、映像内の目標パターン探知方法。
【請求項２】
上記目標パターン及び該目標パターンの断片を上記訓練過程時に上記ニューラルネットワークの出力ユニットに対応させるステップを更に含む、請求項１記載の映像内の目標パターン探知方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、一般的にいえばパターン探索及び認識に関し、もっと詳しくいえば、複雑な計算を減らして迅速且つ正確にパターンを認識するためにニューラルネットワークを相関技法と組合せて使用する、映像内の目標パターン探知方法に関するものである。
【０００２】
【従来の技術】
パターン探索は、産業画像方式において最も広く使用されている機能の１つである。パターン探索の応用は、大体３つの種類に分けられる。即ち、位置決め、計測及び検査である。従来のパターン探索は、基本的に２段階の動作を含んでいる。最初に大きな画像内に１以上の関心範囲を決め、次に該関心範囲内におけるパターンを分離することである。例えば、回路基板の位置決めの場合、第２段階は、予め定めた基準マークの正確な位置を見付け、その位置に基いて回路基板を基準に合せることである。
【０００３】
過去２、３年の間に、多くのパターン認識及び視認問題にニューラルネットワーク（神経回路網）が成功裡に使用されてきた。このような応用例は、１９８８年Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  １の１１９〜１３０頁ＦｕｋｕｓｈｉｍａＫによる「Ｎｅｏｃｏｇｎｉｔｉｏｎ：Ａ  ｈｉｅｒａｒｃｈｉｃａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｃａｐａｂｌｅ  ｏｆ  ｖｉｓｕａｌ  ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ」、１９８９年Ｎａｔｕｒｅ  ３２３の５３３〜５３６頁Ｒｕｍｅｌｈａｒｔ  Ｄ．Ｅ．，Ｈｉｎｔｏｎ  Ｇ．Ｅ．及びＷｉｌｌｉａｍｓ  Ｒ．Ｊ．らによる「Ｌｅａｒｎｉｎｇ  ｉｎｔｅｒｎａｌ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｂｙ  ｂａｃｋ−ｐｒｏｐａｇａｔｉｎｇ  ｅｒｒｏｒｓ」、及び１９８９年Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ  １の５４１〜５５１頁ＬｅＣｕｎｎＹらによる「Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ  Ａｐｐｌｉｅｄ  ｔｏ  Ｈａｎｄｗｒｉｔｔｅｎ  Ｚｉｐ  Ｃｏｄｅ  Ｒｅｃｏｇｎｉｔｉｏｎ」に記載されている。しかし、これらの応用分野では殆ど２進映像、例えばキャラクタ認識を使用してきた。パターンの位置を正確に決めるには、一般にグレイレベルの映像が必要である。グレイレベル映像では輝度の変動のため、種々異なる照明条件の下でパターンの位置を正確に決めるようにニューラルネットワークを訓練するのは困難である。
【０００４】
他方、映像と基準モデルの間の幾何学的類似性を測定する相関法が、多くの産業画像方式に広く使用されている。相関における最も重要な特性の１つは、相関が、モデル及び映像の両方における輝度の一様な線形変化があっても影響されないことである。しかし、相関自体は、非常に計算を要する高くつく処理である。しかも、パターンを探索するために、パターンを含む可能性がある領域内の考えられる全位置に対して相関処理を施さなければならない。例えば、１６×１６の映像内に８×８のパターンを探索する場合、パターン及びモデル間の最良の相関を見出すのに８１の相関処理が必要である。したがって、通常、１９９０年Ｃｏｇｎｅｘ  Ｃｏｒｐｏｒａｔｉｏｎ発行の「Ｔｅｃｈｎｉｃａｌ  Ｄｅｓｃｒｉｐｔｉｏｎ：Ｖｉｓｉｏｎ  ｆｏｒ  Ｉｕｄｕｓｔｒｙ」に記載のように特殊なハードウェアを要する。
【０００５】
【発明が解決しようとする課題】
本発明は、相関技法の正確性及びグレイスケール処理能力に加えて、ニューラルネットワーク技法のスピードを使用することにより、これらの問題の幾つかを改善しようとするものである。
よって、本発明の課題は、処理が早くて信頼性がある改良された、映像内の目標パターン探知方法を提供することである。
【０００６】
【課題を解決するための手段及び作用】
本発明の特徴は、相関技法におけるスピードと簡単さの向上並びにニューラルネットワークにおける正確さと簡単さを向上させたことにある。
即ち、本発明による映像内の目標パターン探知方法としては、より上位概念的なものやその変形例等、各種考えられるが、具体的には、映像内の目標パターンを入力する入力ユニット及び所定数の出力ユニットを有するニューラルネットワークを用意するステップと、上記ニューラルネットに目標パターン及び該目標パターンの断片を認識させる訓練を施すステップであって、その際に上記ニューラルネトワークの所定数の出力ユニットの各々からの高出力が上記目標パターン及び該目標パターンの断片のほぼ中心を表すようにし、各上記目標パターンの各断片は、該目標パターンを基準映像空間の周りにシフトすることで得られるステップと、上記映像を２進数化するステップと、上記２進数化された映像を第１の複数の分割映像に分割するステップと、上記各分割映像を上記ニューラルネットワークで第１処理して、各々が少なくとも候補パターンの一部を含む第２の複数の分割映像を識別するステップと、上記第１処理ステップにおける最大の重みを持つ出力ユニットに基づき、各々がそのほぼ中心に候補パターンを有する第３の複数の分割映像を発生するステップと、上記第３の複数の分割映像を上記ニューラルネットワークで第２処理して、各々が少なくとも候補パターンの一部を含む第４の複数の分割映像を発生するステップと、上記第２処理ステップにおける最大の重みをもつ出力ユニットに基づき、各々がほぼ中心に候補パターンを有する第５の複数の分割映像を発生するステップと、上記第５の複数の映像と上記目標パターンの基準モデルとの相関度を求め、上記第５の複数の分割映像の各々が実際に上記目標パターンを含むかどうかを決めるステップとを含むようにして、構成されたものである。
【０００７】
本発明の方法は、ニューラルネットワーク方法の早さと適応性及び数学的相関法の正確性を組合せたものである。この方法はまず、映像を、目標パターンを表す基準モデルと同じ大きさの複数の小映像（以下「分割映像」という。）に分割する。この方法は、眼を速やかに関心がある視野の中央に動かせる動物の視覚組織と同様に、ニューラルネットワークを用いて各分割映像を速やかに処理するものである。ただし、所望のパターンを含むと考えられる領域（候補分割映像）を探索するため、ニューラルネットワークを基準モデル及び部分的基準モデルで予め訓練する。ニューラルネットワークは、上記候補の位置だけでなく、モデルのパターンのほぼ中心位置を見出すのに使用できる基準モデルの部分をも供与する。この情報を用いて新しくセンタリングされた分割映像を作り、同じニューラルネットワークに送って更に候補の数を減らす。実験では、ニューラルネットワークにより全分割映像の約２．５％のみを候補分割映像として選択した。これらの候補からパターンを見出すのに相関を使用する。ニューラルネットワークはまた、該候補における基準モデルのほぼ中心位置を与えるので、各候補（分割映像）内のパターンを探索するのに必要な相関処理の数は極めて少なくなる。よって、処理スピードが更に向上する。
【０００８】
本発明は、ニューラルネットワーク及び相関を用いるパターン探知方法を提供する。この方法は、ニューラルネットワークの迅速性と適応性を数学的な相関法の正確さと組合せたものである。映像を複数の小さい分割映像に分割して、訓練されたニューラルネットワークに与える。パターンやパターンの一部を含む可能性がある分割映像を、ニューラルネットワークにより選択する。ニューラルネットワークはまた、パターンの大体の位置を与えるので、選択した分割映像を調整して完全なパターンを含ませることができる。所望のパターンの位置は、小領域において新しい分割映像の基準モデルに対する相関値を測定することにより探知することができる。実験により、この方法は所望のパターンを見付ける優れた方法であることが分かった。しかも、この方法は、相関のみを用いる従来のパターン探知法より遙かに早い。
【０００９】
本発明は、一面において、映像を複数の分割映像に分割するステップと、各分割映像をニューラルネットワークで処理して候補パターンを含む候補分割映像の位置を決め、該候補分割映像を相関器で処理して該候補分割映像が実際に目標パターンを含むかどうかを決めるステップとを含む、映像内の目標パターンを探知する方法を提供する。
【００１０】
本発明は、他の面において、映像を第１の複数の分割映像に分割するステップと、各分割映像をニューラルネットワークで処理して、各々が少なくとも候補パターンの一部を含む第２の複数の分割映像を識別（特定）し、各々がほぼその中央に候補パターンを有する第３の複数の分割映像を発生するステップと、該第３の複数の分割映像をニューラルネットワークで処理して、第４の複数の分割映像を生成するステップと、該第４の複数の分割映像を相関器で処理して、該第４の複数の分割映像の各々が実際に目標パターンを含むかどうかを決めるステップとを含む、映像内の目標パターンを探知する方法を提供する。
【００１１】
本発明に係る映像内の目標パターンを認識するマシン視認装置は、映像を分割映像に分割する構成を有する。ニューラルネットワークは、分割映像の２進数化されたものを処理して、目標パターンに一致する可能性のある候補パターンを有する候補分割映像を選択する。コンピュータは、各候補分割映像内の目標パターンの中心位置を計算する。そして、候補分割映像を計算した中心位置にセンタリングする。相関器により、この候補分割映像と基準モデルとの間の相関を調べ、目標パターンと一致する候補パターンを選択する。
【００１２】
本発明に係るニューラルネットワークの訓練法は、ニューラルネットワークに適合（マッチ）するパターンを選択するステップと、ニューラルネットワークに適合する該パターンの部分を選択するステップと、該パターン及び該パターンの選択した部分を含む訓練パターンのレパートリ（一覧）を編集するステップと、パックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）訓練過程において訓練パターンの上記レパートリをニューラルネットワークに加えるステップとを含む。
【００１３】
本発明は、更に他の面において、映像をニューラルネットワークで処理して候補パターンの位置を決めるステップと、該候補パターンと基準モデルとの間の相関を調べ該候補パターンが目標パターンに一致するかどうかを決めるステップとを含む、映像内の目標パターンを探知する方法を提供する。
【００１４】
【実施例】
以下、図面により本発明を具体的に説明する。
本発明は、多くの異なる態様で具体化することができるが、図面及び明細書には特定の具体例についてのみ詳細に述べた。これらの説明は、本発明の原理の例として述べられており、本発明をこれら特定の具体例に限定するものではないことを理解されたい。
【００１５】
図１は、本発明に用いる基本的処理（プロセス）を示すフローチャートである。このフローチャートにおいて、プロセスはステップ１００で始まり、処理しようとする映像をステップ１０２で分割（小）映像に分割する。これは図２に更に示されており、同図では、１０４で示す全体の映像が１６個の小映像１１０〜１２５（４×４アレイ）に分割されている。主映像１０４が、例えば４００×４００アレイのピクセルより成る場合、各分割映像及びその基準映像を１６×１６ピクセルを含むものとしてもよい。
【００１６】
各分割映像はそれから、ステップ１３０でニューラルネットワークによって処理される。該ニューラルネットワークは、映像１０４内に見付けようとする所定の目標パターンを認識するように訓練される。あとの解析用に一定数の候補を得るために、ニューラルネットワークは、あとで詳述するように、目標パターンだけでなく該パターンの有意な断片をも認識する訓練を受ける。例えば、検出しようとするパターンが十字（プリント配線基板における位置決めマークのような）である場合、上記ネットワークは、十字パターンのみならず該パターンの有意の断片（実験では、目標パターンのサイズの２５％より大きい断片を用いた。）を認識する。これは、分割映像の中に完全には存在しない候補パターンを検出するために行うものである。図２に、分割映像１１８，１２２及び１２３の中に部分的に存在する候補パターンを１３８で示す。候補パターン１４０は、分割映像１２１内に完全に存在するものとして示す。当業者には、映像１０４が目標パターンをそれから弁別しなければならない他のパターン（図示せず）を含みうることは、自明であろう。例えば、分割映像１１０及び１２４内に在る断片は潜在的候補のように見えるが、パターン１４４及び１４８は、考えられる候補としては排除しなければならない。
【００１７】
ステップ１３０で分割映像を処理する際、ニューラルネットワークは、数個の分割映像の中に候補パターンが在ることを示す。例えば、分割映像１１０，１２１，１２２及び１２４は、目標パターン又は目標パターンの断片を含むように見える可能性がある。
【００１８】
ニューラルネットワークの出力に基づき（即ち、ニューラルネットワークのどの出力ユニットが最大出力を発生したかに応じて）、候補パターンのほぼ中心が推定できる。この情報から、ステップ１５６でこれを中心とするようセンタリングされた新しい分割映像の組を定める。これらのセンタリングされた分割映像を、１６０，１６２，１６４及び１６６として図３に示す。分割映像の中心と候補パターンの中心を合せる（センタリングする）ことにより、後続のステップの信頼性が増す。ステップ１７４で、候補分割映像１６０，１６２，１６４及び１６６の各々をニューラルネットワークにより処理する。これは、同じニューラルネットワークか又は完全なほぼ中心に合せた目標パターンのみを認識するように訓練された異なるニューラルネットワークでもよい。本例では、ステップ１７４で、ニューラルネットワークが、分割映像１６０における解析の結果パターン１４４は不良候補であると決定するものと仮定する。他の３つの候補パターン１６２，１６４及び１６６は、目標の十字パターンとして一致の可能性があるものとして残る。
【００１９】
ニューラルネットワークにより処理した後、残りの候補を中央にもつ分割映像１６２〜１６６は、ニューラルネットワークによる解析に基き、図４の再センタリングされた分割映像１６２′，１６４′及び１６６′を生成するようにその中心位置をより正確にするべく再センタリング処理を受ける。これらの映像はそれから、ステップ１８０において相関器でどの候補パターンが目標パターンに一致すると考えられる程十分に高い相関度を有するかを決定する処理を受ける。このとき映像は十分にセンタリングされているので、この相関処理は簡単で、残りの候補のうちどれが目標パターンとして適合するかを示す信頼度の高い出力を発生することができる。同様に、映像が十分にセンタリングされているので、該相関処理は小領域について行うだけでよい。本例では、分割映像１６６′のパターン１４８が排除され、分割映像１６４′のパターン１３８と分割映像１６２′のパターン１４０とが目標十字パターンに一致するものとして選択される。
【００２０】
以上、本発明の動作の概要を述べたが、これより好適な具体例の細部について考える。
【００２１】
パターン探索アルゴリズム
パターン探索アルゴリズムは、３段階に分けることができる。基準モデルのサイズをｍ×ｎと仮定する。まず第１に原映像を基準モデルのサイズと同じｍ×ｎの分割映像に分割する。各分割映像を局所的に２進数化した後、これを次の節で述べる訓練されたニューラルネットワークに与える。その出力ユニットのただ１つが閾値を越えると、この分割映像を候補とみなす。該分割映像の一番右上のピクセルの座標である原座標と、該候補に関連して最高スコアをもつニューラルネットワークの出力ユニット番号とを、次の段階のためにパターンの中心を表すものとして保持する。
【００２２】
分割映像を全部ニューラルネットワークに与えた後、前段階で選択した各候補に対し、原映像から新しいグレイレベルｍ×ｎ分割映像を作る。この新しい映像は、次のようにして作る。上記候補映像の原座標を（ｘ０  ，ｙ０  ）とし、候補として最高スコアをもつニューラルネットワーク出力ユニット番号をｋとする。該出力ユニット番号ｋは、該分割映像がニューラルネットワークにより決められるクラス（種類）ｋｃに対応する。クラスｋｃの中心位置を（ｃｘ  ，ｃｙ  ）と仮定すると、新しい分割映像の原座標は、図３に示すように、
【数１】
0003549569.tif 000002
に選ばれる。
【００２３】
新しい分割映像は、再び２進数化され、同じニューラルネットワークに（他の具体例では、第２のニューラルネットワークを用いることができる。）与えられる。新しい各分割映像に、同じ分類方式が適用される。各新候補に対する原座標と最高スコアのニューラルネットワーク出力ユニット番号とを再び記録する。これは、図４に示す如き分割映像の中心を更に正確に推定したものを与える。
【００２４】
前述と同じ方法を用いて、ニューラルネットワークにより前段階で選択された各候補に対し再び新しい分割映像を作る。ただし、この新しい分割映像は２進数化しない。各グレイレベル基準モデルに対し、前段階で得た最高スコアをもつニューラルネットワーク出力ユニット番号に対応する、クラスｋｃの中心位置に中心を合せた領域にて、正規化された相関処理を行う。その最高スコア及び該最高スコアをもつ位置を、その候補に対する相関値及び相関位置として用いる。最高の相関値をもつ候補をパターンとして選択する。該候補パターンの中心は、かなり高い正確度で分かっているので、分割映像の全部について相関処理を行う必要はない。
【００２５】
ニューラルネットワークの構成
この方法の効力を示すため、本方法を４００×４００ピクセル回路基板映像における多数の基準マークの位置探索に使用した。簡単のため、基準モデルを回路基板に見られる１６×１６の十字基準マークとした。実験に用いたニューラルネットワークは、入力層、隠層及び出力層に対し夫々２５６，１５及び２５ユニットをもつ３層フィードフォワード（ｆｅｅｄ−ｆｏｒｗａｒｄ）ネットワークである。各入力ピクセルに対し、１入力ユニットを選択した。隠ユニットの数は、ネットワークを簡単にするため極く少数のユニットとしたが、正確な分類を与え、収束のための十分な重みスペースを与えるには十分な大きさとなるよう、発見に役立つように選択した。後述のように、２５クラスの十字パターン及びその部分的パターンを表すように、２５の出力ユニットを選択した。４００×４００の回路基板グレイレベル映像から１６×１６の２進数化した映像は、このニューラルネットワークへの入力である。
【００２６】
上記映像は、ＳＯＮＹ  ＳＵＰＥＲイメージングシステムにより撮った。４つの人為的に２進数化した十字基準パターンを、ニューラルネットワークに対する訓練用パターンの発生に使用した。これらの４パターンを図１１に示す。これらのパターンを、訓練用に上述の同時係属出願のパターンのように変形して、形状、大きさ及び厚さを変える。これらのパターンを図１２〜１９に示す（後述参照）。実験の映像から撮った４つの２５６グレイレベル十字パターンを相関処理用の基準モデルとして使用した。これらの４パターンに対する数値（０〜２５５）を図２０〜２３に示し、グレイスケール映像を図２４に示す。
【００２７】
訓練
ニューラルネットワークに十字パターンの断片を認識させるために、ニューラルネットワーク訓練用の２進数化されたパターンは、図５に示すように完全な１６×１６の基準モデルを含む。その中心の座標は（８，８）である。十字パターンの中心を（１，１）から（１５，１５）へ座標毎にシフトすると、２２５の異なるパターンが作られる。これら２２５のパターンを図１２〜１９に図形で示す。シフトによりこの１６×１６正方形から出たピクセルは、無視される。これら２２５のパターンは、パターンの中心の位置に基づいて、各クラスが９つの異なる部分的パターンを含む２５のクラス（種類）に分けられる。これらのクラスは部分的パターンの左から右へ及び下から上への中心位置によって決まる。
【００２８】
ニューラルネットワークは、該ネットワークの２５の出力ユニットの各々が、図６に示す２５種類のパターンの１つを表すように訓練される。したがって、出力ユニット１５が最大出力を与えると、該パターンは図６の中心位置２００のどれかを中心とすると考えることができる。勿論、これは、或る領域内の中心の近似値を与えるだけであるが、同じプロセスを再度行うことにより、ニューラルネットワークの簡単さを維持しながら近似値がより正確になる。
【００２９】
他の具体構成では、ニューラルネットワークにパターンの中心の考えられる各位置に対して１つの出力を設けることもできる。しかし、これは、本発明の場合、２２５の出力ユニットを要し、ニューラルネットワークの複雑さがかなり増大する。この具体構成によれば、ニューラルネットワークのただ１段階の処理で済む。
【００３０】
上述の手順に従えば、図１１に示す４つの人為的２進数化十字パターンから、ニューラルネットワーク訓練（用）パターンとして９００の部分的パターンが作られる。それから、バックプロパゲーション訓練が行なわれる。原型システムでは、各ユニットに対する初期の重みは〔−０．５／ｓｑｒｔ（Ｆ），０．５／ｓｑｒｔ（Ｆ）〕における無作為値及び訓練レート０．５／ｓｑｒｔ（Ｆ）に設定された。ただし、Ｆは、ユニットにリンクされた入来接続部の数である。訓練プロセスは、各パターンが次の式により正確に分類されたとき、停止された。
【数２】
0003549569.tif 000003
ただし、Ｏｉ  及びｔｉ  は、出力及び所望状態（ステート）のｉ番目の要素である。
【００３１】
訓練用パターンに対する所望出力の定義
バックプロパゲーション訓練プロセスにおいて、各訓練パターンの出力は所望出力と比較される。実際の出力と所望出力との差は、通常のバックプロパゲーション学習規則に従って一層ずつ逆に伝えられ（ｐｒｏｐａｇａｔｅｄ  ｂａｃｋ）、各層に対する重みを更新する。訓練パターンＰに対する所望出力を（ｄ１  ，ｄ２  ，‥‥，ｄ２５）とし、（ｘ，ｙ）に中心をもつ該パターンＰの、（ｋｘ  ，ｋｙ  ）に中心をもつクラスＫまでのｘ及びｙの距離を
Ｄｘ  （Ｐ，Ｋ）＝｜ｋｘ  −ｘ｜及びＤｙ  （Ｐ，Ｋ）＝｜ｋｙ  −ｙ｜
と定めると、訓練パターンＰの所望出力のｉ番目の要素は、次のように定義される。
ＰがクラスＫに含まれる場合、
ｄｋ  ＝１−０．０５ｘ  〔Ｄｘ  （Ｋ，Ｐ）＋Ｄｙ  （Ｋ，Ｐ）〕
ＰがクラスＫに含まれず、Ｄｘ  〔Ｐ，Ｋ〕≦２及びＤｙ  〔Ｐ，Ｋ〕≦２の場合、
ｄｋ  ＝０．１
その他の場合は、
ｄｋ  ＝０
【００３２】
例えば、クラス１の第５パターンに対する所望出力は、（１，０，０，‥‥，０）のように定義され、クラス１３の第１パターンは、（０，０，０，０，０，０，０．１，０．１，０，０，０，０．１，０．９０，０，０，０，０，０，０，０，０，０，０，０，０）のように定義される。
【００３３】
分類方式
本方法の信頼度を高めるため、次のような分類方式を用いる。この分類方式では、２つの閾値Ｔ１及びＴ２（ただし、Ｔ１≦Ｔ２）を使用する。基準パターンにおける例では、Ｔ１を０．３に設定し、Ｔ２を０．５に設定した。Ｔ１より大きいスコアをもつ出力ユニットがあると、これを記録する。パターンが候補パターンと考えられる４つの場合がある。１番目は、Ｔ２より大きいスコアをもつ出力ユニットがただ１つの場合である。これに対応するクラスを、該パターンが属するクラスとして選択する。２番目は、２つの出力ユニットがＴ１より大きい出力をもつ場合である。この第２の場合を図８に示す。同図では、２つの出力ユニットが夫々隣りのクラスに属している。この場合は、最も高いスコアの出力ユニットを該パターンが属するクラスとして選択する。３番目は、Ｔ１より大きいスコアの出力ユニットが３つ存在する場合である。第３の場合には、図９に示す８つの場合が考えられる。第３の場合は、他の２つに隣接するクラスを入力パターンが属する正しいクラスとして選択する。図１０に示す第４の場合では、最高スコアの出力ユニットを該パターンが属するクラスに選択する。このパターン分類方式に多くの変形が可能である。
【００３４】
正規化相関処理
正規化相関処理は、映像とモデルの間の幾何学的類似性の測定である。本方法に用いる正規化相関度（ｃｏｒｒ）は、次式により与えられる。
【数３】
0003549569.tif 000004
【００３５】
ただし、Ｉｉ  及びＭｉ  は、夫々候補映像及び基準モデルのｉ番目のピクセル値である。正規化相関度が直線的輝度変化に無関係であることは、その最も重要な特性の１つである。
【００３６】
実験結果
本パターン探索法を回路基板における十字形基準マークの発見に実施した。基準マークを含むと考えられる領域に関する情報は、与えなかった。この実験では、故意に極めて悪い照明条件を用いたので、各基準マークは他と異なるものとした。
【００３７】
その結果、第１段階で１６×１６分割映像の約１０％がニューラルネットワークにより拾い上げられ、第２段階で０．８７％の候補がニューラルネットワークによって選択された。各映像が４００×４００の場合、約７４４個の１６×１６分割映像が３層ニューラルネットワークに与えられた。
【００３８】
前段階で得た各候補パターンの中心を中心とする５×５領域において、各基準モデルに対する２５個の正規化相関度を測定した。１００の正規化相関処理において、最高スコア及び最高スコアをもつ位置を、各候補に対する相関値及び位置として使用した。最高相関値をもつ候補を基準マークとして選択した。上記２つの回路基板映像の場合、６個の１６×１６分割映像が第２段階でニューラルネットワークによって拾い上げられると仮定すると、１つの４００×４００映像に対して３００回の正規化相関処理を必要とするにすぎない。
【００３９】
異なる照明条件での１２個の回路基板映像を評価した。表１は、各回路基板映像に対し、第１及び第２段階でニューラルネットワークにより選択された候補の数を示す。表中、段階３は相関処理段を表す。２グループの回路基板映像があることに注意されたい。第１グループは映像１〜８であり、第２グループは映像９〜１２である。ニューラルネットワークが選択した候補は、第１グループの方が第２グループより少ない。８ビットの精度加重値を用いて同じ実験を繰返した。実験において誤りは発生しなかった。更に重要なことは、この方法が正規化相関処理のみを用いる従来法より何千倍も早いことである。
【００４０】
【表１】
0003549569.tif 000005
【００４１】
ニューラルネットワーク及び正規化相関計算に８ビット加重値を使用し、この方法をソニーのＳＵＰＥＲマシン視認システムで実施すると仮定したときの、１つの２５６×２５６映像における種々のサイズ８×８，１６×１６及び３２×３２のパターン探索の予想処理時間を表２に示す。また、８×８，１６×１６及び３２×３２テンプレート（型板）に対するニューラルネットワークは、夫々６４×６×９，２５６×１２×２５及び１０２４×２４×１００と仮定した。本方法の第１及び第２段階を含むニューラルネットワーク処理時間の計算には、分割映像総数の１０％の候補を使用した。正規化相関処理時間の計算には、分割映像総数の２％の候補、４つのグレイレベル基準モデル及び５×５探索領域を想定した。また、パターンの方位が基準パターンと同じである限り、パターンは１映像のどんな位置をも占めることができる点に注意すべきである。
【００４２】
【表２】
0003549569.tif 000006
【００４３】
上述のパターン探索方法は、ニューラルネットワークの早さと適応性を正規化相関法の正確さと組合せたものである。回路基板の基準マーク探索実験は、本方法が処理時間及び正確さの点において従来法に優ることを示した。この一般的なアルゴリズムは、多くのパターン探索の問題、例えば地図における空港の発見に応用することができる。ソニーのＳＵＰＥＲマシン視認システムで２５６×２５６映像内の１６×１６パターンの位置を見出すに要する処理時間は、約８００ｍｓであると推定される。基準マーク探索のような多くの例では、パターンの全映像を探索する必要はないであろう。したがって、処理スピードは更に増す。
【００４４】
図７は、本発明によるマシン視認装置を示す機能ブロック図である。同図において、カメラ２００がビデオピクセル出力を発生する。カメラ２００の出力は、メモリ２０４に記憶される。これらのピクセルは、閾値より大きい輝度をもつピクセルを選択して１とし、残りのピクセルを０とする２進数化器２０６で２進数化される。この閾値は、予め定めてもよく、或いは閾値アルゴリズムによって局所的に決めてもよい。メモリ２０４に記憶された映像は、映像分割器２０８により分割（小）映像に分割される。第１パス（段階）では、各分割映像は一致するパターンを含む候補と考えられる。ニューラルネットワーク２１０はそれから、各２進数化された分割映像を前述のように処理して、もっと一致するパターンを含むと思われる分割映像のグループを選出する。
【００４５】
ニューラルネットワーク２１０の出力に基づいて、中心計算器２１２は、ニューラルネットワーク２１０が候補パターンとして選んだパターンを含む各分割映像のほぼ中心の位置を決める。この装置による第１パスの後、中心計算器２１２により計算された中心情報は映像分割器２０８にフィードバックされ、候補の分割映像がこれから第２パスのために２進数の形でニューラルネットワーク２１０に供給されるようにする。
【００４６】
第２パスでは、出力分割映像は再び中心計算器２１２により中心が決められる。中心が修正された分割映像の集団はそれから、相関器２１６によって処理される。相関器２１６は、メモリ２０４からのグレイレベルのデータに作用して一致すると認められる出力パターンを発生する。
【００４７】
当業者ならば、上述の装置の構成要素（カメラ２００を除く）がプログラムされたコンピュータを用いて実現できることを認めるであろう。他の具体構成で、ハードウェアのニューラルネットワークを用いてよい。同様に、所望により２つの（又はそれより多い）異なるニューラルネットワークを用いてもよく、或いは、１ニューラルネットワークによる単一パスが都合がよいのでこれを使用してもよい。また、環境によっては、ニューラルネットワークによるパスを追加する方がよいこともある。
【００４８】
よって、本発明による上述の装置は、十分に目的を果たし利点を有するものであることが明らかである。本発明を特定の具体例について説明したが、本発明は、特許請求の範囲内で種々の変形、変更をすることができるものである。
【００４９】
【発明の効果】
以上述べたとおり、本発明によれば、相関法のみを用いる従来技法より遙かに早く正確に映像内の目標パターンを探知することができる。
【図面の簡単な説明】
【図１】本発明の基本的プロセスを示すフローチャートである。
【図２】分割映像に分割された映像の例を示す説明図である。
【図３】図２のパターンの中心にセンタリングされた分割映像の例を示す説明図である。
【図４】図３の分割映像のうち、ニューラルネットワークの第二段階の処理のあと残った再センタリングされた分割映像を示す説明図である。
【図５】訓練用の基準モデルを示す説明図である。
【図６】２５種類の部分的パターンの中心を示す説明図である。
【図７】本発明をマシン視認装置に実施した例を示す機能的ブロック図である。
【図８】２出力ユニットが閾値を越える場合の分類の仕方を示す説明図である。
【図９】３出力ユニットが閾値を越える場合の分類の仕方を示す説明図である。
【図１０】４出力ユニットが閾値を越える場合の分類の仕方を示す説明図である。
【図１１】人為的２進数化十字基準パターンの例を示す図である。
【図１２】座標シフトによって得られる２２５の十字の部分的パターンの一部を示す図である。
【図１３】図１２の続きを示す図である。
【図１４】図１３の続きを示す図である。
【図１５】図１４の続きを示す図である。
【図１６】図１５の続きを示す図である。
【図１７】図１６の続きを示す図である。
【図１８】図１７の続きを示す図である。
【図１９】図１８の続きを示す図である。
【図２０】グレイレベル基準パターン１を示す図である。
【図２１】グレイレベル基準パターン２を示す図である。
【図２２】グレイレベル基準パターン３を示す図である。
【図２３】グレイレベル基準パターン４を示す図である。
【図２４】グレイスケール映像の例を示す図である。
【符号の説明】
２０８  映像分割器
２０６  ２進数化器
２１０  ニューラルネットワーク
２１２  中心計算器
２１６  相関器
【図１】
0003549569.tif 000007
【図２】
0003549569.tif 000008
【図３】
0003549569.tif 000009
【図４】
0003549569.tif 000010
【図５】
0003549569.tif 000011
【図６】
0003549569.tif 000012
【図７】
0003549569.tif 000013
【図８】
0003549569.tif 000014
【図９】
0003549569.tif 000015
【図１０】
0003549569.tif 000016
【図１１】
0003549569.tif 000017
【図１２】
0003549569.tif 000018
【図１３】
0003549569.tif 000019
【図１４】
0003549569.tif 000020
【図１５】
0003549569.tif 000021
【図１６】
0003549569.tif 000022
【図１７】
0003549569.tif 000023
【図１８】
0003549569.tif 000024
【図１９】
0003549569.tif 000025
【図２０】
0003549569.tif 000026
【図２１】
0003549569.tif 000027
【図２２】
0003549569.tif 000028
【図２３】
0003549569.tif 000029
【図２４】
0003549569.tif 000030