(57)【要約】【課題】複数のコーナ部を有する電子部品を撮像して得られる対象画像に基づいて、テンプレートデータと高速且つ高精度でパターンマッチングできるようにする。【解決手段】複数のコーナを有する電子部品を撮像して基準画像Ｇを取得し、取得された基準画像から各コーナＣを抽出し、抽出された各コーナを基準に設定された所定の抽出領域Ｂからエッジを抽出し、抽出されたエッジから、コーナ近傍Ａを除く直線状エッジＥのみを選択し、選択された直線状エッジをテンプレートデータとして保存すると共に、対象とする同種の電子部品を撮像して対象画像を取得し、取得された対象画像から各コーナを抽出し、抽出された各コーナを基準に設定された所定の抽出領域からエッジを抽出し、抽出されたエッジから、コーナ近傍を除く直線状エッジのみを選択し、選択された直線状エッジと、前記テンプレートデータとに基づいて、対象とする電子部品を照合する。【選択図】図３
2010091525.tif 000002
【特許請求の範囲】
【請求項１】
複数のコーナを有する電子部品を撮像して基準画像を取得し、
取得された基準画像から各コーナを抽出し、
抽出された各コーナを基準に設定された所定の抽出領域からエッジを抽出し、
抽出されたエッジから、コーナ近傍を除く直線状エッジのみを選択し、
選択された直線状エッジをテンプレートデータとして保存すると共に、
対象とする同種の電子部品を撮像して対象画像を取得し、
取得された対象画像から各コーナを抽出し、
抽出された各コーナを基準に設定された所定の抽出領域からエッジを抽出し、
抽出されたエッジから、コーナ近傍を除く直線状エッジのみを選択し、
選択された直線状エッジと、前記テンプレートデータとに基づいて、対象とする電子部品を照合するパターンマッチングを行なうことを特徴とする電子部品のパターンマッチング方法。
【請求項２】
前記直線状エッジの選択を、前記コーナを基準に設定された所定の抽出領域から抽出されたエッジの任意の点について、任意の距離離れた前後２点の接線角度の差に基づいて判定して行うことを特徴とする請求項１に記載の電子部品のパターンマッチング方法。
【請求項３】
前記対象画像から抽出された前記直線状エッジとテンプレートデータとの一致度を、各エッジ点における濃度勾配ベクトルに基づいて評価することを特徴とする請求項１に記載の電子部品のパターンマッチング方法。
【請求項４】
前記対象部品の粗い位置決めを、対象画像から抽出されるコーナ座標と基準画像から抽出されているコーナ座標とに基づいて行ない、
前記対象部品の高精度な位置決めを、前記直線状エッジについて算出される濃度勾配ベクトルに基づいて行なうことを特徴とする請求項３に記載の電子部品のパターンマッチング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子部品のパターンマッチング方法、特に矩形の電子部品等の複数のコーナを有する電子部品を画像認識により位置決めや方向判別を行なう際に適用して好適な電子部品のパターンマッチング方法に関する。
【背景技術】
【０００２】
一般に、電子部品を基板上に搭載する表面実装装置では、ＸＹ移動する搭載ヘッドに装着されている吸着ノズルにより吸着保持した対象の電子部品を、下方の部品認識カメラにより撮像し、得られた対象画像を画像処理してＸＹ方向及びノズルを中心とする回転方向の位置ずれを画像認識により補正する位置合わせを行ない、基板上の目標位置へ正確に搭載することが行なわれている。
【０００３】
このような画像認識（画像処理）による位置合わせ（位置認識）技術としては、テンプレートマッチングがある。このテンプレートマッチングにおいては、対象となる全画素のデータについて一致度を評価するためのマッチング演算を行なうと、演算量が膨大になるため、対象とする画素を何らかの条件で絞り込む等によって演算の高速化を図る手法が従来から採用されている。
【０００４】
例えば、特許文献１には、エッジ強度が強いものを選択する方法として、ソーベル等のエッジ検出フィルタを使用してエッジ強さを求めると共に、その値にしきい値を設定して間引くことにより、対象となる画素を絞り込む技術が開示されている。
【０００５】
又、特許文献２には、抽出されるエッジ点列の曲率の大きい部分は密に、曲率の小さい部分は粗にするという方法や、基準画像上での空間分布やエッジの方向性がある程度一様になるように間引く等の方法に関する技術が開示されている。
【０００６】
【特許文献１】特許第２６８９６８８号公報
【特許文献２】特許第２９８１３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記特許文献１に開示されているように、単純にエッジ強さによって間引き処理を行なう方法では、エッジを局所的に検出する場合に、特徴的な形状部分のエッジを取りこぼしてしまうことがある。
【０００８】
又、前記特許文献１は照度等の照明条件の変化を考慮していないので、同じ部品を対象としているにも拘わらず同一のエッジを検出できないことがあるため、エッジ検出精度の安定性に欠けることになる、等の理由からパターンマッチングの精度が低下するという問題があった。
【０００９】
これに対しては、エッジを等間隔に間引く方法で対応することも考えられるが、この場合には画像全体から満遍なくエッジ点を検出することになるため、間引く間隔が広いと、やはり特徴的な形状部分のエッジは欠落し、マッチング精度が上がらないことになる。かといって、特徴的な形状部分のエッジを抽出しようとして、間引く間隔を狭くしたのでは、間引き処理による高速化を十分に機能できないことになる。
【００１０】
又、前記特許文献２に開示されている、エッジ点列を曲率の大きい部分は密に、曲率の小さい部分は粗にするという方法で、特に類似度の評価に濃度勾配ベクトルを使う場合には、曲率の大きい部分のエッジ点列ではベクトル方向精度がよくないので、このような箇所での一致度の精度はむしろ不安定になるために適していない。
【００１１】
ここに、曲率の大きい部分と直線部分における濃度勾配ベクトルの違いについて、図８を参照して具体的に説明する。
【００１２】
図８（Ａ）は、矩形部品を撮像して得られたコーナ周辺の拡大図であり、同図（Ｂ）は同一部分を撮像した画像で、同図（Ａ）に比べコントラストが悪い場合の例である。この図８には、黒から白の領域に向かって画素濃度が変化している多値画像のイメージが示されている。
【００１３】
図８（Ａ）、（Ｂ）のどちらの場合も、矢印で示される濃度勾配ベクトルの方向は直線部分のエッジでは安定して同じ向きになっている。しかし、曲率の大きいコーナ部分のエッジでは、コントラストの違いによる周辺の濃度値の変化に伴って勾配ベクトルの方向が変化してしまい、不安定であることがわかる。
【００１４】
本発明は、前記従来の問題点を解決するべくなされたもので、矩形形状等の複数のコーナを有する電子部品を撮像して得られる対象画像に基づいて、電子部品の位置認識を行なうパターンマッチングを高速且つ高精度で行なうことができる電子部品のパターンマッチング方法を提供することを課題とする。
【課題を解決するための手段】
【００１５】
本発明は、複数のコーナを有する電子部品を撮像して基準画像を取得し、取得された基準画像から各コーナを抽出し、抽出された各コーナを基準に設定された所定の抽出領域からエッジを抽出し、抽出されたエッジから、コーナ近傍を除く直線状エッジのみを選択し、選択された直線状エッジをテンプレートデータとして保存すると共に、対象とする同種の電子部品を撮像して対象画像を取得し、取得された対象画像から各コーナを抽出し、抽出された各コーナを基準に設定された所定の抽出領域からエッジを抽出し、抽出されたエッジから、コーナ近傍を除く直線状エッジのみを選択し、選択された直線状エッジと、前記テンプレートデータとに基づいて、対象とする電子部品を照合するパターンマッチングを行なうことにより、前記課題を解決したものである。
【００１６】
本発明においては、前記直線状エッジの選択を、前記コーナを基準に設定された所定の抽出領域から抽出されたエッジの任意の点について、任意の距離を離れた前後２点の接線角度の差に基づいて判定して行なうようにしてもよい。
【００１７】
本発明においては、又、前記対象画像から抽出された前記直線状エッジとテンプレートデータとの一致度を、各エッジ点における濃度勾配ベクトルに基づいて評価するようにしてもよい。
【００１８】
本発明においては、又、前記対象部品の粗い位置決めを、対象画像から抽出されるコーナ座標と基準画像から抽出されているコーナ座標とに基づいて行ない、前記対象部品の高精度な位置決めを、前記直線状エッジについて算出される濃度勾配ベクトルに基づいて行なうようにしてもよい。
【発明の効果】
【００１９】
本発明によれば、矩形形状等の複数のコーナ部を有する電子部品を撮像して得られる対象画像から、コーナ近傍の直線状のエッジのみを抽出し、該エッジについてテンプレートデータと比較するようにしたので、高速且つ高精度でパターンマッチングを行なうことができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００２１】
図１は、本発明に係る一実施形態のパターンマッチング方法を実施する際に適用される画像認識システムの概要を示すブロック図である。
【００２２】
このシステムは、電子部品を吸着し保持するための吸着ノズル１と、該吸着ノズル１により保持した電子部品２を照明装置３による照明下で撮像するための標準カメラ４及び高解像度カメラ５と、撮像位置にセットされた電子部品を撮像して得られた画像を処理して画像内の任意位置に存在する対象物の位置検出や形状判別を行なう画像処理装置１３と、該画像処理装置１３と共に吸着ノズル１や照明装置３等の動作を制御するマシン制御装置１４とによって構成されている。
【００２３】
前記画像処理装置１３は、指定されたカメラ４もしくは５を制御し、電子部品２の画像を撮像し、その画像信号をＡ／Ｄコンバータ６でデジタル化し、画像メモリ７に多値画像データとして記憶させる。
【００２４】
又、前記画像処理装置１３は、画像メモリ７のデータに対して、演算部９で各種処理を行ない、電子部品２の位置決めや形状判別のためのテンプレートデータを作成すると共にテンプレートデータ格納メモリ１０に保存する。途中、生成される処理データは、作業用メモリ８に記憶される。これら演算部９や各メモリ８、１０に対する動作は制御部１１が制御する。
【００２５】
前記マシン制御装置１４は、インタフェース１２を介して、通常電子部品の電極サイズ等によって、撮像に使用するカメラ４もしくは５のいずれかを選択し、電子部品２を吸着ノズル１で吸着保持し、選択したカメラの撮像位置にセットする。更に、選択したカメラで撮像するように照明装置３を移動して点灯させ、画像処理装置１３にインタフェイス１２を介して、選択したカメラチャンネル情報と共に処理の実行を指示する。
【００２６】
次に、図２のフローチャートに従って、部品の位置認識をパターンマッチングで行なう際の基準とするテンプレートデータの作成について説明する。なお、各ステップの詳細については後述する。
【００２７】
まず、基準となる矩形形状の電子部品を所定のカメラ位置に設定して撮像することにより、基準画像を撮像（取得）し、画像メモリ７に記憶する（ステップ１）。次いで、該基準画像に対してコーナ抽出処理を行ない、コーナ抽出データを作業用メモリ８に格納する（ステップ２）。
【００２８】
次に、抽出された任意のコーナを中心とする一定領域にのみエッジ抽出処理を行ない、得られたエッジ抽出データを作業用メモリ８に格納する（ステップ３、４）。このステップ３、４のエッジ抽出処理を検出（抽出）されたコーナの数だけ繰り返し行なう。抽出されたコーナ周辺（近傍）を除くエッジを選択し、選択された各所定領域のエッジ点列からなる直線上エッジをテンプレートデータとして、テンプレートデータ格納メモリ１０に格納し（ステップ６）、データ作成を終了する。
【００２９】
次に、以上の図２のフローチャートに沿って行なうテンプレートデータの作成に際して、前記画像処理装置１３で実行する個々の処理内容について詳細に説明する。
【００３０】
ステップ１：基準画像撮像
画像処理装置１３は、指定された標準カメラ４もしくは高解像度カメラ５を制御し、電子部品２の画像を撮像、Ａ／Ｄコンバータ６でデジタル化し、画像メモリ７に多値画像データとして記憶させる。
【００３１】
ステップ２：コーナ抽出処理
全領域に対してコーナ抽出処理を行なう。
【００３２】
コーナ抽出はＨａｒｒｉｓやＳＵＳＡＮなどのコーナ検出オペレータを用いて行なうことができる。
【００３３】
コーナは不変の特徴であることから、同じ部品に対して同じオペレータを適用すれば、回転やスケール変動などによる影響を受けることなく、安定して検出できる。
【００３４】
コーナ抽出結果は、座標データとして作業用メモリ８に格納される。
【００３５】
ステップ３：エッジ抽出領域設定
検出（抽出）されたコーナ座標を中心とした所定半径の一定領域を、エッジ抽出領域として設定する。
【００３６】
このように所定半径のエッジ抽出領域を設定し、局所的にエッジ抽出処理を行なうことで、エッジ抽出にかかる時間を短縮することが出来る。
【００３７】
また、コーナを基準としてエッジ抽出領域を設定するため、照明条件の変化による影響を受けず、安定してエッジを抽出することが出来る。即ち、不変の特徴であるコーナを基準としてエッジを抽出することで、エッジ強さによる間引き処理が不要となるため、照明条件の変化による影響を受けず、安定してエッジを抽出することが出来る。
【００３８】
領域の大きさ（所定半径）はユーザが指定しても良いし、部品ごとに外形サイズやコーナの曲率などから算出して設定するようにしても良い。
【００３９】
ステップ４：エッジ抽出処理
ステップ３で指定（設定）した領域に対して、エッジ抽出処理を行なう。
【００４０】
エッジ抽出はソーベルなどのエッジ検出フィルタを用いて行なうことができる。
【００４１】
エッジ抽出結果は、２次元の２値データとして、作業用メモリ８に格納される。
【００４２】
以上の領域指定（ステップ３）とエッジ抽出処理（ステップ４）を検出されたコーナ数だけ繰り返し行なう。
【００４３】
ステップ５：エッジ選択処理
図３に、基準画像Ｇについてコーナ部のイメージを拡大して示す。
【００４４】
検出コーナＣを含む直近周辺（コーナ近傍）のエッジ（小円Ａ内）を除く、前記所定半径に相当する一定領域内（大円Ｂ内）のエッジＥを選択する。
【００４５】
コーナ直近周辺とそれより外側の安定した領域とを区別するには、例えば図４に示すように、輪郭線（エッジ点列）上の任意の点について、任意の距離離れた前後２点においてそれぞれ接線を求めたときの両接線の角度の差が、設定した閾値以内の場合は、直線上の点であると判断し、閾値を超えている場合は、曲線上の点であると判断して、輪郭線を直線部分とコーナのＲ部分とを明確に分離することにより、直線上の点を安定した領域内の直線状エッジと判定する方法を利用できる。因みに、図４（Ａ）は接線角度の差が閾値を超えている場合、同図（Ｂ）は閾値以内の場合のイメージをそれぞれ示す。
【００４６】
ステップ６：テンプレートデータ
図５にテンプレートデータの構成例を示す。
【００４７】
テンプレートデータを構成する濃度勾配ベクトルは、安定した領域から選択される直線部分のエッジ点列について算出される。なお、この濃度勾配ベクトルは、前記特許文献２と同様の方法で求めることができる。
【００４８】
このテンプレートデータは、テンプレートデータ格納メモリ１０に作成、格納しておく。
【００４９】
前記マシン制御装置１４は、インタフェース１２を介し、テンプレートデータの読み出し、書き込みを制御することが可能である。
【００５０】
以上の各ステップの処理により、基準画像からエッジ抽出する際に特徴的な形状部分の欠落を防ぐことができる。
【００５１】
基準画像に撮像された、４つのコーナを有する矩形部品について検出（抽出）されるエッジの一例のイメージを図６に示す。各コーナ毎に２本、計８本の太い線分が直線状エッジＥを表わしている。
【００５２】
以上のテンプレートデータ作成後、対象部品に対するパターンマッチングによる位置決めについて、図７のフローチャートに従って説明する。
【００５３】
対象とする同種の電子部品を同様に所定のカメラ位置にセットし、対象画像を撮像し、画像メモリに記憶し（ステップ１０１）、該対象画像に対して、前記基準画像の場合と同様にコーナ抽出処理を行ない、コーナ抽出データを作業用メモリ８に格納する（ステップ１０２）。
【００５４】
基準画像から抽出されたコーナと、対象画像から抽出されたコーナとを照合する、粗サーチを行ない、大まかな位置決めを行なう（ステップ１１１）。
【００５５】
次いで、前記ステップ３、４と同様に、コーナを中心とする一定領域内にのみエッジ抽出処理を行ない、エッジ抽出データを作業用メモリ８に格納する（ステップ１０３、１０４）。このステップ１０３、１０４のエッジ抽出処理を、検出されたコーナ数だけ繰り返し行なう。
【００５６】
次いで、各コーナについて抽出されたコーナ周辺を除くエッジを選択し（ステップ１０５）、前記格納メモリ１０から読み出したテンプレートデータと対象画像から選択されたエッジとの濃度勾配ベクトル方向の一致度の演算を行ない、一致度が最大となる位置をマッチング結果とする（ステップ１１２）。
【００５７】
次に、以上の図７のフローチャートに沿って行なう位置決めに際して、前記画像処理装置１３で実行する個々の処理内容について詳細に説明する。
【００５８】
ステップ１０１：基準画像撮像と、ステップ１０２：コーナ抽出処理は、撮像する対象が同種の電子部品に、基準画像が対象画像に代るだけで、処理内容は前記ステップ１、ステップ２と実質的に同一であるので説明は省略する。
【００５９】
ステップ１１１：粗サーチ
Ｇｅｏｍｅｔｒｉｃ  Ｈａｓｈｉｎｇなどの手法により、基準画像から抽出されたコーナ位置と、対象画像から抽出されたコーナ位置の相対的な位置関係から大まかな位置決めを行なう。このとき使用するのは、コーナの座標情報のみであり、勾配ベクトルは用いない。コーナは対応付けしやすいため、コーナの座標情報を用いることにより粗サーチを高速に行なうことが可能である。
【００６０】
ステップ１０３：エッジ抽出領域設定と、ステップ１０４：エッジ抽出処理と、ステップ１０５：エッジ選択処理も、前記ステップ３、ステップ４、ステップ５と実質的に同一なので、説明を省略する。
【００６１】
ステップ１１２：精サーチ
テンプレートデータをアフィン変換（スケール変動、回転、平行移動）させ、対象画像の濃度勾配ベクトルデータに重ね合わせる。
【００６２】
本実施形態においては、前記図８にイメージを示したような、濃度勾配ベクトルの安定している、コーナを除く直線状のエッジ点のみを抽出して特徴点とすることにより、高精度なマッチングを実現することが可能となる。さらに、コーナ付近のみの限られた範囲のエッジを特徴点とすることで、精サーチを高速に行なうことが可能となる。
【００６３】
以上詳述した本実施形態によれば、以下の効果が得られる。
【００６４】
（１）限られた範囲のエッジデータを利用するようにしたため、従来のように間引く必要がなくなり、従って間引きによる特徴的な形状部分の欠落を防ぐことができる。
【００６５】
（２）コーナを基準として所定領域のエッジを抽出するため、照明条件に関わらず安定して特徴点を得ることができる。
【００６６】
（３）コーナを基準としてエッジを抽出することから、回転やスケール変動等、対象画像が変化しても安定して特徴点を得ることができる。
【００６７】
（４）濃度勾配ベクトルの方向変化が少ない直線部分のエッジ点を特徴点とすることにより、安定した一致度を得ることができ、位置決め結果の繰り返し精度を向上することができる。
【００６８】
（５）特徴点を限られた範囲に絞り込むことにより、位置決め処理の高速化を図ることができる。
【００６９】
（６）エッジ抽出領域を絞り込むことにより、特徴点抽出処理の高速化を図ることができる。
【００７０】
（７）コーナ座標を用いることにより、大まかな位置合わせをする粗サーチの高速化を図ることができる。
【００７１】
なお、前記実施形態では、複数のコーナを有する部品として矩形形状の電子部品を採り上げたが、これに限定されず、コーナの位置関係が特定できればよいので、２以上のコーナを有する電子部品であればよい。
【図面の簡単な説明】
【００７２】
【図１】本発明のパターンマッチングに適用される画像認識システムの概要を示すブロック図
【図２】テンプレートデータの作成手順を示すフローチャート
【図３】抽出されたコーナ周辺のエッジを示すイメージ図
【図４】エッジの直線性を判定する方法を示す説明図
【図５】テンプレートデータのデータ構造の一例を示す図表
【図６】検出されたエッジデータを示すイメージ図
【図７】本実施形態による位置決めの処理手順を示すフローチャート
【図８】撮像された画像のコーナにおける濃度勾配ベクトルの特徴を示す説明図
【符号の説明】
【００７３】
１…吸着ノズル
２…電子部品
３…照明装置
４…標準カメラ
５…高解像度カメラ
６…Ａ／Ｄコンバータ
７…画像メモリ
８…作業用メモリ
９…演算部
１０…テンプレートデータ格納メモリ
１１…制御部
１２…インタフェース
１３…画像処理装置
１４…マシン制御装置
【図１】
2010091525.tif 000003
【図２】
2010091525.tif 000004
【図４】
2010091525.tif 000005
【図５】
2010091525.tif 000006
【図７】
2010091525.tif 000007
【図３】
2010091525.tif 000008
【図６】
2010091525.tif 000009
【図８】
2010091525.tif 000010