(57)【要約】【課題】低解像度カメラによる画像に対しても少ない画像計測処理量により高精度のマーク姿勢、マーク位置を求める装置を提供すること。【解決手段】上記課題を達成するため、本発明では、２組以上の方向の異なる平行な辺を有し、画面上での形状が既知であるマークについて、テレビカメラで撮影したマークの画像を画像処理して得られるマーク上の全平行辺上の計測点と全平行辺の既知の位置関係との誤差の２乗和が最小となるマークの姿勢を画素分解能以下の精度で求め、次にマークの位置を画素分解能以下の精度で求める。【選択図】なし。【特許請求の範囲】
【請求項１】
部品が載置される部品載置体に形成された、２組以上の方向の異なる平行な辺を有し、画面上での形状が既知であるマークを撮影するカメラと、
このカメラで撮影された画像が入力され、この入力データをアナログ・ ディジタル変換する画像入力手段と、
この画像入力手段から出力された画像データを処理する画像処理計算機を備えたマーク位置・姿勢検出装置において、
前記画像処理計算機には、
画像データを保持する記憶手段と、この記憶手段の保持する画像データに対してマークの概略位置を検出する検出手段と、マークのエッジを検出するエッジ計測手段と、下記のマーク姿勢θを演算する第１演算手段を具備したことを特徴とするマーク位置・ 姿勢検出装置。
【数１】
2006113931.tif 000021
Ｙ1gはマークの第１辺上のＹ座標値、Ｙ2eはマークの第２辺上のＹ座標値、
Ｙ3hはマークの第３辺上のＹ座標値、Ｙ4fはマークの第４辺上のＹ座標値を示し、
Ｘ1gは前記Ｙ1gのＸ座標値、Ｘ2eは前記Ｙ2eのＸ座標値、
Ｘ3hは前記Ｘ3hのＸ座標値、Ｘ4fは前記Ｙ4fのＸ座標値を示し、
φはマークにおける平行辺の組の間の角度を示し、
Ｗはマークの幅、Ｈはマークの高さを示す。
【請求項２】
請求項１におけるマーク位置・ 姿勢検出装置において、下記のマーク中心位置Ｘｍ、Ｙｍを演算する第２演算手段を具備したことを特徴とするマーク位置・ 姿勢検出装置。
【数２】
2006113931.tif 000022
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばプリント基板上に半導体の如き電子部品をロボットにより正確に載置したり、一つのＩＣパッケージに複数のＩＣチップをロボットで載置する場合の如く、部品の組み立て精度を向上するために部品にあらかじめ記入されたマークの位置・ 姿勢を正確に検出する高精度マーク位置・ 姿勢検出装置に関する。
【背景技術】
【０００２】
従来、プリント基板上に電子部品を正確に載置するための位置合わせつまり部品アライメントのためにカメラを使用してマークを撮影しその画像を解析する画像計測を行っている。この画像計測では、部品の位置・ 姿勢の計測精度の向上のために、１５０万画素程度の高解像度カメラを用いるため、画像計測装置のコストが増大していた。
【０００３】
画像計測装置のコストを低減するためには、３１万画素程度の低解像度のカメラの画像に対して、画素分解能以下（サブピクセル）の精度での画像処理技術が不可欠である。
【０００４】
入力画像中から特定のマーク（パターン）を検出する方式としては、画像相関によるテンプレートマッチングが一般的である。これは、例えばＩＣ部品を載置されるプリント基板つまりワーク側に設けられたマークの画像をあらかじめテンプレートとして保持しておき、カメラで撮影した画像を走査して抽出したマーク部分とを比較するものである。この場合テンプレートとしてマークを例えば一度毎に回転させたもの、また大きさも例えば１％毎に変えたもの等を用意する。そしてマークより抽出したマーク画像と比較する。
【０００５】
このときマーク画像とテンプレートの各マークを比較して、一画素ずつ動かし差の最小のものを検索してワークの位置・ 姿勢を求める。
【０００６】
このため正確に位置・ 姿勢を求めるため、テンプレートマッチングでは長時間を必要とするため、近年では、ハードウェアによる高速処理も実現されている（例えば特許文献１参照）。
【０００７】
またテンプレートマッチングで得られる類似度分布より推定する手法がある（例えば特許文献２参照）。
【特許文献１】特開平８−１４７４７７号公報
【特許文献２】特開平７−１２０９４０号公報  このような手法でマークの概略位置を特定した後に、サブピクセル精度でのマーク位置計測を行う。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
サブピクセル処理技術としては、従来では、テンプレートマッチングで得られる類似度つまり画像相関値の分布に対して曲面をあてはめ、ピーク位置をサブピクセルで推定する手法、ワークやマークの直線部分のエッジ上の点を、輝度変化の関数近似によりサブピクセルで計測し、それらの計測点に対して直線を当てはめることで推定するという方法が用いられている。
【０００９】
しかし画像相関値の分布のピーク位置を推定する方法では、画像のノイズの影響で、画像相関値の分布のピーク位置とマーク位置との間にずれが発生しやすいという問題点があり、十分な計測精度が得られないという課題がある。
【００１０】
またエッジ位置の計測・ 直線あてはめを行う方法でも、ワークやマークの既知形状を拘束条件として利用しない場合には、十分な計測精度が得られない点、ワークやマークの既知形状を拘束条件として利用する場合には、繰り返し計算等が必要となるために膨大な処理時間を要する点に課題があった。
【００１１】
精度のよい直線当てはめのためには、エッジ上の計測点を多く取ることが不可欠であるため、画像計測の処理量が多い点にも課題があった。
【課題を解決するための手段】
【００１２】
ワークの位置を決めるために必要な値は、パターンの２次元座標Ｘ−Ｙにおける中心の座標位置Ｘｍ、Ｙｍとそのパターンの傾き、つまり姿勢を示す回転角θである。
【００１３】
本発明では、例えば矩形の如き、４角形などの２組以上の方向の異なる平行な辺を有し、画面上での形状が既知であるマークをワークに設けこれについてカメラで撮影した画像を画像処理して得られるマーク上の全平行辺上の計測点と全平行辺の既知の位置関係との誤差の２乗和が最小となるようなマークの姿勢、つまり回転角θを求める。
【００１４】
次に、前記マークの各平行辺の組において、カメラで撮影マークの画像を画像処理して得られるマーク上の全平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となるような平行辺の位置Ｘｍ、Ｙｍを、前記回転角θを使用して求める。
【発明の効果】
【００１５】
本発明によれば下記の如き効果が得られる。
【００１６】
（１）測定すべき辺の上の計測点の数は何点でもよく、測定し易い。またその順序とか間隔にはこだわらない。解析的にとけるので計算はかんたんに解ける。各辺の計測点の組み合わせの数だけサンプルがあるので、計測点の数が少なくとも最適解を求めることができ、精度が上がる。また回転角θが求められると、テンプレートをそれだけ回転することによりテンプレートマッチングが簡単にでき、画像処理上処理が容易になる。
【００１７】
（２）回転角θが求められていると、平行であること、幅の値がいくらという条件をあてはめ、幅を含めて拘束条件を使用できるので、計測精度を向上することができる。
【発明を実施するための最良の形態】
【００１８】
本発明では、マークの形成されたワークをテレビカメラで撮影した画像を入力し、あらかじめ用意された、マークを複数の角度で回転及び拡大・縮小したテンプレートと、テンプレートマッチングにより、マークの概略位置を検出する。
【００１９】
これによりマークの略中心位置を検出して、所定の角度でマークのエッジ点を検出する。そして極座標変換によりエッジ点を計測する。
【００２０】
このようにして矩形の如き、４角形などの２組以上の異なる平行の辺をもつマークに対してマーク上の全平行辺上の計測点と全平行辺の既知の位置関係との誤差の２乗和が最小となるようなマークの姿勢θを画素分解能以下の精度で求める。
【００２１】
次に、前記２組以上の方向の異なる平行な辺をもつマークに対して、各平行辺の組において、平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となる平行辺の位置を求めることで、マークの位置を画素分解能以下の精度で求めることができる。
【実施例】
【００２２】
本発明の実施例を説明する前にマークの傾きと、マークの位置を求める手法について説明する。                            
【００２３】
図７に示す如く、ｘ軸とθの傾きを有する直線Ｌ0 の原点からの垂線の長さをＤとすると、直線Ｌ0 上の各点は直線の方程式を示す下記の数１により得られる。
【００２４】
【数１】
2006113931.tif 000002
本発明では、例えば矩形、平行四辺形の如き４角形、十字形等の２組以上の方向の異なる平行な辺をもつマークに対して、マーク上の全平行辺上の既知の位置関係との誤差の２乗和が最小となるマークの姿勢、つまり回転角θを画素分解能以下の精度で求める。
【００２５】
図１に示す如く、マークＭの各辺をＬ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 とし、Ｌ1 とＬ3 が平行であり、これと異なる方向にＬ2 とＬ4 が平行である。いまこれらの辺上の点の計測点をそれぞれＰ11〜Ｐ1i，Ｐ21〜Ｐ2j，Ｐ31〜Ｐ3k，Ｐ41〜Ｐ4lとする。なお各計測点Ｐ11〜Ｐ1i，Ｐ21〜Ｐ2j，Ｐ31〜Ｐ3k，Ｐ41〜Ｐ4lの座標をＰ11（Ｘ11、Ｙ11）〜Ｐ1i（Ｘ1 i ，Ｙ1i），Ｐ21（Ｘ21，Ｙ21）〜Ｐ2j（Ｘ1j，Ｙ2j），Ｐ31（Ｘ31，Ｙ31）〜Ｐ3k（Ｘ3  K ，Ｙ3k），Ｐ41（Ｘ41，Ｙ41）〜Ｐ4l（Ｘ4l，Ｙ4l）で示す。
【００２６】
また各辺Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 と原点０との距離をそれぞれＤ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 とする。そして平行辺の組のなす角をφ、マークＭの傾きをθとすると、各辺の計測点に対して以下の数２〜数５で示す拘束条件式が得られる。
【００２７】
マークＭの辺Ｌ1 について
【００２８】
【数２】
2006113931.tif 000003
マークＭの辺Ｌ2 については、Ｌ1 をφだけ傾けたものであるから、
【００２９】
【数３】
2006113931.tif 000004
マークＭの辺Ｌ3 については、Ｌ1 を１８０度回転したものであるから、
【００３０】
【数４】
2006113931.tif 000005
マークＭの辺Ｌ4 については、Ｌ3 とφだけ傾けたものであるから、
【００３１】
【数５】
2006113931.tif 000006
以上の関係式と、マークＭの幅つまり平行線Ｌ2 とＬ4 の幅Ｗと、マークＭの高さつまり平行線Ｌ1 とＬ3 の幅Ｈが既知であり、下記の数６に示す関係から、
【００３２】
【数６】
2006113931.tif 000007
以下の条件式が得られる。
【００３３】
マークＭの幅Ｗについて、数７に示す如き条件式が得られる。
【００３４】
【数７】
2006113931.tif 000008
マークＭの高さＨについて
【００３５】
【数８】
2006113931.tif 000009
以上の条件式から、以下の数９が得られる。
【００３６】
【数９】
2006113931.tif 000010
従ってマークＭの姿勢θの最適推定値は、数１０で示す、以下の評価関数Ｊを最小にするθとして得られる。
【００３７】
【数１０】
2006113931.tif 000011
このＪを最小にするθ* については解析解が存在し、以下の数１１のように容易に解を得ることができる。
【００３８】
【数１１】
2006113931.tif 000012
ただしＡ，Ｂは数１２に示す通りである。
【００３９】
【数１２】
2006113931.tif 000013
次に、前記の如く、例えば矩形、平行四辺形の如き４角形、十字形などの２組以上の方向の異なる平行な辺をもつマークに対して、マークの姿勢つまり回転角θが得られた場合に、各平行辺の組において、平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となる平行辺の位置を求めることで、マークの位置を画素分解能以下の精度で求める。      
【００４０】
図２に示す如く、マークＭの各辺をＬ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 とし、Ｌ1 とＬ3 が平行であり、これと異なる方向にＬ2 とＬ4 が平行である。いまこれらの辺上の点の計測点をそれぞれＰ11〜Ｐ1i，Ｐ21〜Ｐ2j，Ｐ31〜Ｐ3k，Ｐ41〜Ｐ4lとする。なお各計測点Ｐ11〜Ｐ1i，Ｐ21〜Ｐ2j，Ｐ31〜Ｐ3k，Ｐ41〜Ｐ4lの座標をＰ11（Ｘ11，Ｙ11）〜Ｐ1i（Ｘ1 i ，Ｙ1i），Ｐ21（Ｘ21，Ｙ21）〜Ｐ2j（Ｘ1j，Ｙ2j），Ｐ31（Ｘ31，Ｙ31）〜Ｐ3k（Ｘ3  K ，Ｙ3k），Ｐ41（Ｘ41，Ｙ41）〜Ｐ4l（Ｘ4l，Ｙ4l）で示す。
【００４１】
また各辺Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 と原点０との距離をそれぞれＤ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 とする。そして平行辺の組のなす角をφ、マークＭの傾きをθとすると、各辺の計測点に対して、前記数２〜数５で示す拘束条件式が得られる。
【００４２】
ここでマークＭの中心位置を（Ｘｍ、Ｙｍ）とすると、下記の数１３が得られる。
【００４３】
【数１３】
2006113931.tif 000014
ここで、前記Ｕ，ＶはマークＭの中心位置の各平行辺の組の幅方向のずれ量であり、それぞれ下記の数１４で示される。
【００４４】
【数１４】
2006113931.tif 000015
各平行辺の組において、平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となる平行辺の位置を数１５により求める。
【００４５】
【数１５】
2006113931.tif 000016
Ｕ，Ｖの最適推定値は以下の数１６、数１７に示すように得られる。
【００４６】
【数１６】
2006113931.tif 000017
【００４７】
【数１７】
2006113931.tif 000018
これにより、マークＭの中心位置の最適推定値（Ｘｍ* ，Ｙｍ* ）は以下の数１８により得られる。
【００４８】
【数１８】
2006113931.tif 000019
これにより明らかなように、本発明においてマークの姿勢θを算出するには、前記数１１、数１２より明らかなように既知の値である平行辺の組の間の角度φと計測点の値だけで得られ、Ｄ1 〜Ｄ4 を必要としない。
【００４９】
またマークの中心位置の最適推定値も、前記数１１、数１２によりθが得られると、これまたφと計測点の値だけで得ることができ、Ｄ1 〜Ｄ4 を必要としない。
【００５０】
本発明の実施例を図３〜図６に基づき、他図を参照して説明する。
【００５１】
図３は本発明の一実施例構成図、図４は本発明の動作説明図、図５はテンプレートマッチングによるマーク概略位置探索説明図、図６はマーク画像の極座標展開によるエッジ位置計測説明図である。
【００５２】
図において、１はテレビカメラ、２は画像入力装置、３は画像処理計算機である。
【００５３】
テレビカメラ１は、プリント基板の如き部品が載置される部品載置体に形成されたマークを撮影して、この撮影した画像を画像入力装置２に送出するものである。
【００５４】
画像入力装置２は、このテレビカメラ１から入力されたマーク画像をデジタル化して、これを画像処理計算機３に送出するものである。
【００５５】
画像処理計算機３は、画像入力装置２より入力された画像信号に対し、エッジ検出、マーク検出、マーク姿勢の演算、マーク位置の演算等の画像処理を行うものであって、液晶の如き表示部３−１、演算部、記憶部、キーボードの如き入力部等を有する本体部３- ２を具備する。
【００５６】
本発明の動作を図４に示す動作状態説明フローチャートに基づき説明する。
【００５７】
Ｓ１．テレビカメラにてワークを撮影して得られたマーク画像を含むワーク画像を画像入力装置２に送出して、これをデジタル画像にＡ／Ｄ変換する。このＡ／Ｄ変換した画像処理計算機３の本体部３−２に送出する。
【００５８】
Ｓ２．画像処理計算機３の本体部３−２では、従来技術と同様にテンプレートマッチングによりマークＭの概略位置を検出するため、この画像を、図５に示す如く、横方向に探索する。このようにして画面内を探索して、予め記録しておいた複数の姿勢のマークＭのテンプレート画像ＴＰ1 ，ＴＰ2 ，ＴＰ3 ・・・と、入力されたマークＭの画像との画像相関値、つまり類似度を計算し、もっとも相関値の高い位置のものを求めることで行う。この場合、テンプレート画像としてはあらかじめ記録していた複数の姿勢のもの、マークＭを例えば１度とか２度とか規定された角度回転した画像、１％とか、２％拡大縮小した画像を使用することができる。これによりマークＭの概略位置を検出し、次のエッジ点の計測を正確に行うことができる。
【００５９】
Ｓ３．次に、図６に示す如く、マークＭの概略位置を中心とする周辺のマークＭのエッジ部分の画像の極座標変換を行う。このためマークＭの概略画像の中心点０より、マークＭの各辺Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 を検出するため、一定の角度θ毎にエッジ方向に探索を行い、その濃淡の変化よりエッジの計測を行う。マークＭの中心点０の概略位置がわかっており、マークＭの形状も既知のため、中心点０よりエッジ探索を行うとき、θの大きさにより検出される辺がＬ1 〜Ｌ4 のうちいずれであるか判別できる。このようにして、図６に示す如く、エッジ計測が行われたとき、マークＭのエッジの位置と中心点０からの距離と角度θで極座標変換により表示することができる。そして本体部３−２では、更にこの極座標表示したものをＸ−Ｙ座標表示に変換する。このようにして、下記のエッジ位置が得られる。
【００６０】
【数１９】
2006113931.tif 000020
Ｓ４．次に、前記辺Ｌ1 〜Ｌ4 について得られた前記各計測点のデータにもとづき、本体部３−２は先ず前記数１２を演算してＡ，Ｂを得る。このとき、マークＭの幅Ｗ、高さＨ、平行辺の組の間の角度φは既知であるので、これらＡ，Ｂを演算することができる。それから本体部３−２は、これらＡ，Ｂを用いて、前記数１１を演算してマークＭの姿勢θの最適推定値を得ることができる。
【００６１】
Ｓ５．本体部３−２は、このようにマークＭの姿勢θを演算した後に、前記数１６、数１７、数１８によりマークＭの中心位置の最適推定値を演算することができる。
【００６２】
Ｓ６．それからこれらマークＭの姿勢θとマークＭの中心値（Ｘｍ，Ｙｍ）を出力する。
【００６３】
このように、本発明によれば、マークＭの姿勢を画像分解能以下の精度で求め、得られた姿勢情報をもとに、マークＭの位置を画像分解能以下の精度で求める。
【００６４】
本発明によれば、従来の輝度変化の関数近似を利用したサブピクセル計測よりも、マーク位置の計測精度が向上する。また収束計算などを用いないため、計算量が少なく、高速処理が可能である。特に従来の方式では直線当てはめを行うためにエッジ上の計測点を多く取ることが不可欠であり、画像計測の処理量が多い点にも課題があったが、本発明の場合には、各辺の計測点の組み合わせにより推定計算を行うために従来手法よりも少ない計測点でもよい推定値を得ることができる利点がある。
【図面の簡単な説明】
【００６５】
【図１】マークの傾き説明図である。
【図２】マークの位置説明図である。
【図３】本発明の一実施例構成図である。
【図４】本発明の動作説明図である。
【図５】テンプレートマッチングによるマーク概略位置探索説明図である。
【図６】マーク画像の極座標展開によるエッジ位置計測説明図である。
【図７】直線方程式の説明図である。
【符号の説明】
【００６６】
１  テレビカメラ
２  画像入力装置
３  画像処理計算機
３−１  表示部
３−２  本体部
【図１】
2006113931.tif 000023
【図２】
2006113931.tif 000024
【図３】
2006113931.tif 000025
【図４】
2006113931.tif 000026
【図５】
2006113931.tif 000027
【図６】
2006113931.tif 000028
【図７】
2006113931.tif 000029