(57)【要約】【課題】円形あるいは矩形状の対象物の形状を高精度で判別できる対象物の形状判別方法及び装置を提供する。【解決手段】対象物を撮像してその画像の輪郭点を抽出し、各輪郭点を結ぶことにより得られる輪郭線の周囲長並びに該輪郭線で囲まれた部分の面積を求め（Ｓ７）、この求めた周囲長並びに面積から円形度を示す第１の評価値を算出する（Ｓ８）。また、対象物のモデルを設定し、その対象物の輪郭点での勾配ベクトルと、該輪郭点に対応するモデルの輪郭点での勾配ベクトルとの一致度を示す第２の評価値を算出し（Ｓ９）、これら２つの評価値から、対象物が円形であるか否かを判別する（Ｓ１１、Ｓ１２、Ｓ１３）。このような構成では、２つの評価値を用いて円形か否かを判別しているので、形状判別精度が向上する。【選択図】図２
2006112930.tif 000002
【特許請求の範囲】
【請求項１】
基板上に搭載される電子部品に設けられた対象物の形状を判別する方法であって、
対象物を撮像してその画像の輪郭点を抽出し、各輪郭点を結ぶことにより得られる輪郭線の周囲長並びに該輪郭線で囲まれた部分の面積を求め、
前記求めた周囲長並びに面積から円形度を示す第１の評価値を算出し、
対象物のモデルを設定し、前記対象物の輪郭点での勾配ベクトルと、該輪郭点に対応するモデルの輪郭点での勾配ベクトルとの一致度を示す第２の評価値を算出し、
前記第１と第２の評価値から、対象物が円形であるか否かを判別することを特徴とする対象物の形状判別方法。
【請求項２】
対象物の形状判別条件に応じて、各評価値に対して重み係数を設定し、第１と第２の評価値をそれぞれ設定された重み係数で重み付けを行って対象物が円形であるか否かを判別することを特徴とする請求項１に記載の対象物の形状判別方法。
【請求項３】
対象物の形状に応じて、勾配ベクトルを求めるときの輪郭点を選択することを特徴とする請求項１又は２に記載の対象物の形状判別方法。
【請求項４】
基板上に搭載される電子部品に設けられた対象物の形状を判別する装置であって、
対象物を撮像する撮像手段と、
撮像された対象物の輪郭点を抽出し、各輪郭点を結ぶことにより得られる輪郭線の周囲長並びに該輪郭線で囲まれた部分の面積を算出する算出手段と、
前記求めた周囲長並びに面積から円形度を示す第１の評価値を算出する算出手段と、
対象物のモデルを設定し、前記対象物の輪郭点での勾配ベクトルと、該輪郭点に対応するモデルの輪郭点での勾配ベクトルとの一致度を示す第２の評価値を算出する算出手段とを有し、
前記第１と第２の評価値から、対象物が円形であるか否かを判別することを特徴とする対象物の形状判別装置。
【請求項５】
対象物の形状判別条件に応じて、各評価値に対して重み係数を設定し、第１と第２の評価値をそれぞれ設定された重み係数で重み付けを行って対象物が円形であるか否かを判別することを特徴とする請求項４に記載の対象物の形状判別装置。
【請求項６】
対象物の形状に応じて、勾配ベクトルを求めるときの輪郭点を選択することを特徴とする請求項４又は５に記載の対象物の形状判別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の形状判別方法及び装置、更に詳細には、基板上に搭載される電子部品に設けられた部品極性判別用のボール、ランドもしくはマークなどの対象物の形状を判別する方法及び装置に関する。
【背景技術】
【０００２】
従来より、電子部品（以下単に部品という）を基板上に実装する部品実装機では、吸着された電子チップ部品（以下単に部品という）の画像をＣＣＤカメラなどの撮像手段から取り込み、この部品の画像を認識することにより部品の位置を検出し、必要に応じて吸着ノズルによる部品の姿勢を補正することにより部品の位置決めを行ない、基板上の所定位置に部品の搭載を行なっている。
【０００３】
また、部品に極性がある場合には、部品の向きを考慮して部品搭載を行う必要があり、そのために部品の角部に部品の極性を示す切り欠きを形成し、部品認識のときに、その角部の切り欠きの位置検出して部品の極性を判別し、部品を正しい向きで、つまり切り欠けのある角部が所定の方向（基板上で右上方向など）に向くように基板上に搭載することが行われている（特許文献１）。
【０００４】
また、部品の極性を示すために、部品の角部に極性判別可能なボール、ランドもしくはマークを形成することが行われており、例えば、図８（Ａ）、（Ｂ）に示すように、マトリックス状に配置された多数のボール電極３０ｂ、３１ｂを有する部品３０、３１の角部に矩形あるいは円形のマーク３０ａ、３１ａを形成している。そして、予めその形状、サイズ、部品中心からの位置（相対座標）などを部品データとして記憶しておき、部品の位置検出時に、これらの部品データを元に、装置内でモデルテンプレート画像データを作成し、正規化相関マッチングを行い、算出される相関値により、部品角部のマークの検出及び形状の判定を行っていた。その場合、マークが円形である場合には、例えば、円であるか否かを判別するのに複数方向の径の長さを比較して行う判別方式が提案されている（特許文献２）。
【特許文献１】特開平８−２８８６９４号公報
【特許文献２】特許２９５９０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の基板上にマークを形成してそれにより部品の極性を判別する場合、正規化相関マッチングでは、例えば、マークが円形状あるいは矩形状であるとその形状の差は認識が困難で、どちらも高い相関値を返答する。両者の差は、サイズの誤差による変動に埋もれてしまうレベルであるので相関値の判定で位置検出の有無判定は行えるが、形状の判別までは困難であった。
【０００６】
また、位置決めのために撮像される画像データでは、極性判別に用いようとする対象物（ボール、ランド、もしくはマーク）は、５〜８画素程度で形状判別に十分なサイズではなく、例えば、図７（Ａ）に示したように、矩形状の各マーク３２（左側の６個）、円形状の各マーク３３（右側の４個）は、画像データとしてデジタル化されているので、その境界線が明瞭でなく、円であってもその境界線を曲線と見なすのは困難である。また、これらの画像を二値化画像に変換すると、図７（Ｂ）に示したように、輪郭が本来の輪郭と異なる画像のマーク３２’、３３’となって、認識がさらに困難になる。
【０００７】
このような画像データでは、径長、周囲長、面積などといった形状特徴値も精度よく求めることができず、これらを評価値として形状を判別するのも困難であった。
【０００８】
従って、本発明は、このような問題点を解決するためになされたもので、円形あるいは矩形（正方形又は長方形）状の対象物の形状を高精度で判別できる対象物の形状判別方法及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明（請求項１）は、
基板上に搭載される電子部品に設けられた対象物の形状を判別する方法であって、
対象物を撮像してその画像の輪郭点を抽出し、各輪郭点を結ぶことにより得られる輪郭線の周囲長並びに該輪郭線で囲まれた部分の面積を求め、
前記求めた周囲長並びに面積から円形度を示す第１の評価値を算出し、
対象物のモデルを設定し、前記対象物の輪郭点での勾配ベクトルと、該輪郭点に対応するモデルの輪郭点での勾配ベクトルとの一致度を示す第２の評価値を算出し、
前記第１と第２の評価値から、対象物が円形であるか否かを判別することを特徴とする。
【００１０】
また、本発明（請求項４）は、
基板上に搭載される電子部品に設けられた対象物の形状を判別する装置であって、
対象物を撮像する撮像手段と、
撮像された対象物の輪郭点を抽出し、各輪郭点を結ぶことにより得られる輪郭線の周囲長並びに該輪郭線で囲まれた部分の面積を算出する算出手段と、
前記求めた周囲長並びに面積から円形度を示す第１の評価値を算出する算出手段と、
対象物のモデルを設定し、前記対象物の輪郭点での勾配ベクトルと、該輪郭点に対応するモデルの輪郭点での勾配ベクトルとの一致度を示す第２の評価値を算出する算出手段とを有し、
前記第１と第２の評価値から、対象物が円形であるか否かを判別することを特徴とする。
【発明の効果】
【００１１】
本発明では、円形度を示す評価値のほかに、対象物の輪郭点での勾配ベクトルと、該輪郭点に対応するモデルの輪郭点での勾配ベクトルとの一致度を示す評価値の２つの評価値を用いて、対象物が円形であるか否かを判別しているので、判別精度が向上し、電子部品の極性判別に円形又は矩形のマークなどを部品の角部に設けている場合に、マークの誤認識がなくなり、誤搭載が防止できる。
【００１２】
また、円形と矩形の電極が混在する部品の場合、円形の電極と矩形の電極を判別して部品認識することができるので、認識精度が向上する。
【発明を実施するための最良の形態】
【００１３】
本発明は、部品の極性判別に用いられるボール、ランド、もしくはマークなどの対象物を高精度で認識でき、また円形の電極と矩形の電極を高精度で判別できるもので、以下に、図面に示す実施例に基づいて本発明を詳細に説明する。
【実施例】
【００１４】
図１は本発明の形状判別方法を実施するのに用いられるシステムの構成図である。このシステムは、部品２を吸着し、撮像位置へセットするための吸着ノズル１と、吸着ノズル１の移動や照明装置３の駆動など部品の基板（不図示）上への搭載動作を制御するマシン制御装置１３と、部品２を撮像するための標準カメラ４及び高解像度カメラ５と、撮像された画像を処理して部品認識し、画像内のある位置に存在する部品に設けられた対象物の形状を判別する画像処理装置１２とによって構成される。
【００１５】
画像処理装置１２は、カメラ４、５で撮像された部品の画像をデジタル画像に変換するＡ／Ｄコンバータ６、デジタル画像に変換された画像を格納する画像メモリ７、作業用メモリ８、画像メモリ８のデータを演算処理する演算装置９、部品データ格納メモリ１０、インターフェース１１並びに、各装置ないしメモリ間のデータの流れを制御するとともに、部品搭載に必要なデータを演算する制御装置４から構成され、演算装置９並びに制御装置４は、ＣＰＵなどで構成される。
【００１６】
マシン制御装置１３は、予め部品の電極の情報、極性判別用エレメント情報及び判別しきい値など（以降、部品データと呼ぶ）をインタフェース１１を介して画像処理装置１２へ送信する。画像処理装置１２は受信した部品データを部品データ格納メモリ１０に格納する。
【００１７】
マシン制御装置１３は、通常、部品の電極サイズによって、標準カメラ４あるいは高解像度カメラ５を選択し、部品２を吸着ノズル１で吸着し、選択したカメラの撮像位置にセットする。このとき、照明装置３を選択したカメラで撮像できるように移動、点灯させ、画像処理装置１２にインタフェース１１を介して、選択したカメラチャネル情報とともに処理実行を指示する。
【００１８】
画像処理装置１２は、指定されたカメラ４もしくは５を制御し、撮像された部品２の画像を、Ａ／Ｄコンバータ６でデジタル化し、画像メモリ７に多値画像データとして記憶させる。そして、演算装置９は、画像メモリ７のデータを処理し、部品２の位置検出を行い、部品中心と吸着中心間のずれ、並びに部品の吸着傾きを演算するとともに、部品の供給方向が間違っていないか極性判別のためのボール、ランド、もしくはマークなどの対象物を検出して、その形状判別検査を行う。検査結果がＯＫであれば、位置検出結果をインタフェース１１を介し、マシン制御装置１３に返答する。検査結果がＮＧであれば、極性判別がエラーであったことを返答する。
【００１９】
マシン制御装置１３は、正常に位置決め結果を受け取った場合、吸着ノズル１を搭載位置に移動させ、部品認識結果に従って部品の吸着ずれ（部品中心と吸着中心間のずれ並びに吸着角度ずれ）を補正し、また正しい極性で部品２を基板上に搭載する。一方、極性判別エラーを受け取った場合には、マシン制御装置１３は部品の向きを補正してリトライするか、あるいはその部品を廃棄する。
【００２０】
次に、図２を参照して、画像処理装置１２での処理の流れを詳細に説明する。ここで画像処理装置１２の演算装置９は、輪郭線の周囲長、その輪郭線で囲まれた部分の面積、形状判別のための評価値など形状判別に必要な各種データを算出する算出手段となっている。
【００２１】
ステップＳ１において、画像処理装置１２は、指定されたカメラ（撮像手段）４もしくは５を制御し、部品並びに部品に設けられている対象物を撮像し、撮像された画像を、Ａ／Ｄコンバータ６でデジタル化し、画像メモリ７に多値画像データとして記憶させる。
【００２２】
続いて、画像処理装置１２の演算装置９は、部品データ格納メモリ１０に記憶された電極情報をもとに画像メモリ７のデータを処理し、電極中心位置を検出し、部品の中心、傾きを算出し、部品の位置決めをする（ステップＳ２）。画像処理装置１２は、位置決めに失敗した場合（ステップＳ３のＮ）、マシン制御装置１３にその旨を通知し、以降の処理を中断し、次のコマンド待ち状態となる。一方、位置決めに成功した場合には（ステップＳ３のＹ）、ステップＳ４以降の極性判別処理に移る。
【００２３】
ステップＳ４では、部品データ格納メモリ１０に記憶された極性判別エレメント（ボール、ランド、もしくはマークなどの対象物）の部品中心からの相対座標と、ステップＳ２で求めた部品の位置決め結果から極性判別エレメントの位置を予測し、画像メモリ７のデータを処理し、エレメント中心と、その径の検出を行う。画像処理装置１２は、この検出に失敗した場合、マシン制御装置１３にその旨を通知し、以降の処理を中断し、次のコマンド待ち状態となる。検出に成功した場合、以下の形状判別処理に移る。
【００２４】
形状判別可能なエレメントのサイズは、最低８画素×８画素、できれば３２画素×３２画素のサイズがあればよいので、ステップＳ４で求めたエレメントの径が３２画素×３２画素未満であれば、画像メモリ７から部分画像を切出し、作業用メモリ８にデジタル補間処理によりエレメントの拡大画像を生成する。このとき、部品傾きが取得できているので、同時に傾き０°の姿勢への正規化を行えば、処理が行いやすくなる。以上の処理がステップＳ５の処理である（補正手段）。
【００２５】
続いて、ステップＳ６において、形状判定対象物（エレメント）の輪郭データ（輪郭点、勾配ベクトル）を抽出する。本発明では、撮像画像に対してやや高倍率のデジタル補間による拡大処理を行うため、エッジがボケた画像となる。このような画像に対して輪郭を抽出するために、特開２０００−２０５８３８に記載の手法を利用する。
【００２６】
例えば、図４（Ａ）、（Ｂ）において、符号４０は、部品の角部に形成されたボール、ランド、もしくはマークなどの極性判別用の円形の対象物（図８のマーク３１ａに相当）の画像、符号４１は、矩形（正方形または長方形）状の対象物（図８のマーク３０ａに相当）の画像とし、検出ウインドウＷを設定して、画像の中心４０ａ、４１ａから放射線上に走査線ｍ１を設定し、その走査線ｍ１の画像データをサンプリングする。サンプリング区間は単調増加もしくは、単調減少するものとする。この区間を２つに分離する点を始点から終点に向かって順次設定し、分離度が一番高くなる点を輪郭点ｐ１とする。そして、各方向について走査線ｍ２、ｍ３、．．．．．を設定し、同様な処理で輪郭点ｐ２、ｐ３、．．．．．を求め、これらをつなぎ合わせて輪郭線４０ｂ、４１ｂとする。この輪郭線の抽出は、エッジが明瞭であれば（コントラストがよければ）、エッジ検出フィルタを用いた輪郭抽出でも、二値化境界追跡による輪郭抽出でも構わない。
【００２７】
次に、各輪郭点ｐ１、ｐ２、．．．．．において３×３のＳｏｂｅｌフィルタを適用し、ｘ、ｙ方向のベクトル成分を求め、勾配ベクトルとする。そして、このようにして求めた輪郭点、勾配ベクトルの輪郭データを、作業用メモリ８に格納する。
【００２８】
次に、ステップＳ６で求めた輪郭データを作業用メモリ８から取り出し、輪郭点の点間距離の総和を求めて周囲長とし、輪郭線４０ｂ、４１ｂで囲まれる部分の画素数をカウントし、面積とする（ステップＳ７）。
【００２９】
なお、走査ラインに対して凹な部分がある場合には、影になる画素が発生するので、ｘｙの２方向の走査を行い、矩形内の対象物外部の画素をカウントし、矩形面積から差し引くことで対象物の面積を求める。その処理は以下のようにして行われる。
【００３０】
まず、ステップＳ６で求めた輪郭データ（輪郭点座標列）を作業用メモリ８から読み出し、輪郭点間をデジタル線分補間し、作業用メモリ８上に線画データを生成し、輪郭線を包み込む矩形を求める。続いて、Ｘ方向に矩形の左右の端からラスタ走査し、ワーク（対象物）の左右のエッジ画素を検出する。そのとき、ｘ方向走査時にカウントした画素には済みマークをつけ、次のｙ方向走査時にはカウントをスキップできるようにしておく。次に、多値画像データを用いて、サブピクセル演算を行い、実数値の座標を求め、続いて、ｙ方向に矩形の上下の端からラスタ走査し、ワークの上下のエッジ画素を検出し、矩形内の対象物外部のｘ方向走査で漏れた画素をカウントし、エンベロプ矩形面積から対象物外の画素カウンタを差し引き、面積とする。
【００３１】
このようにして、対象物の面積を求めた後、ステップＳ８において、その円形度を算出する。その場合、円形度の評価値ｅ（第１の評価値）として、
ｅ＝４πＳ／（Ｌ＊Ｌ）  （０＜ｅ≦１）
Ｓ：面積、Ｌ：周囲長
を用いる。真円の場合、ｅ＝１となり、正方形の場合、ｅ＝０．７８５となる。輪郭が複雑になるほどｅは小さくなる。
【００３２】
なお、図５に示したように、円か否かは、対象物４１の輪郭点ｐ１、ｐ２、．．．．．の勾配ベクトルｖ１、ｖ２、．．．．．の方向とモデル円４２の勾配ベクトルｖ１’、ｖ２’、．．．．．の方向の（輪郭点検出のための放射線）の一致度（ｃｏｓθ）でも判定できるので、ステップＳ９において、ベクトル相関演算を行う。このベクトル相関演算は、次のように行われる。まず、対象物４１に対してモデル４２（モデル円）を設定し、対象物４１の各輪郭点とそれに対応するモデル円４２での各輪郭点での勾配ベクトルｖ１、ｖ２、．．．．．（実線）；ｖ１’、ｖ２’、．．．．．（点線）を求める。例えば、対象物４１の輪郭点Ａ（＝ｐ２）と、それに対応するモデル円４２の輪郭点Ｂ上での勾配ベクトルｖ２、ｖ２’のベクトル成分を、
ｖ２（Ａ）  ＝（ｘ０，ｙ０）
ｖ２’（Ｂ）＝（ｘ１，ｙ１）
とすると、２つのベクトルの角度θは、２つのベクトルの内積をそれぞれのベクトルの長さの積で割ることにより求めることができる。
【００３３】
ｃｏｓθ＝（ｖ２・ｖ２’）／（｜ｖ２｜｜ｖ２’｜）
＝（ｘ０＊ｘ１＋ｙ０＊ｙ１）／（ｓｑｒｔ（ｘ０＊ｘ０＋ｙ０＊ｙ０）＊ｓｑｒｔ（ｘ１＊ｘ１＋ｙ１＊ｙ１））
（−１≦ｃｏｓθ≦１）
を演算することにより、その一致度ｃ（第２の評価値）、
ｃ＝｜ｃｏｓθ｜（０≦ｃ≦１）を求めることができる。なお上式で、ｓｑｒｔは２乗の平方根を意味する。この一致度を各輪郭点でそれぞれ取得し、その平均値ｄ＝Σｃｉ／ｎを評価値（これを第２の評価値としてもよい）とする。
【００３４】
また、対象物の形状が円形か、矩形かを判別する場合、差異が大きな箇所をサンプリング点にする、もしくは、ウエイト配分を変動させるなどの手法により感度を上げることができる。例えば、矩形の場合、図５に示したように、２２．５°≦θ１＜４５°、４５°＜θ２≦６７．５°にサンプリング点を設けると感度が向上する。
【００３５】
続いて、ステップＳ８とＳ９で求めた２つの評価値からそれぞれの評価値に対してワーク（対象物）の状態に応じて重み付けを変動させ、加重平均をとり、最終的な評価値を求める（ステップＳ１０）。例えば、対象物の状態に応じて、図６に示したような重み係数を、それぞれ円形度から求めた評価値と、ベクトル相関演算から求めた評価値に乗算し、その加重平均を求める。図６で、「ワークサイズ」は、対象物（ワーク）を撮像したときその大きさが画素単位でどのくらいの大きさかを示しており、例えば、３２＊３２は、３２画素＊３２画素の大きさであることを示している。また、「拡大」と「傾き」は、ステップＳ５でそれぞれ拡大処理、あるい回転補正が行われたかを示しており、「比較形状」は、単に円形か否かを判断するだけなのか、あるいは円形であるのか、矩形であるのかを判断するのかを示している。そして、これらの条件に従って、「円形度」に示したような重み係数、「ベクトル相関」に示したような重み係数で、それぞれ円形度を示す評価値（ｅ）と、ベクトル相関演算から求めた評価値に重み付けを行い、その加重平均を求めて最終的な評価値とする。
【００３６】
次に、ステップＳ１０で求めた評価値を、予め設定していたしきい値と比較し、形状判別を行う（ステップＳ１１）。そして、しきい値以上の場合には、円形であると判定、ＯＫを返答し（ステップＳ１１、Ｓ１２）、しきい値未満の場合、円形でない（矩形である）と判定、ＮＧを返答する（ステップＳ１１、Ｓ１３）。
【００３７】
ここで、上記評価値判別用のしきい値は、ティーチングにより予め実測し、設定すると判定精度が向上するので、図３に示した流れに沿ってしきい値を求める。この処理は、利用しようとしている形状が判別可能かどうか予め調べるための処理でもある。
【００３８】
まず、形状が良好な形状（ＯＫ）とするいくつかのワークの画像で評価値を算出し、その最小値（ａ）を取得する（ステップＳ２０、Ｓ２１）。続いて、形状が不良な形状（ＮＧ）とするいくつかのワークの画像で評価値を算出し、その最大値（ｂ）を取得する（ステップＳ２２、Ｓ２３）。次に、ａとｂを比較し（ステップＳ２４）、ａ＞ｂならば、ａとｂの平均値をしきい値に設定し、形状判別が可能であることを通知し（ステップＳ２５）、ａ≦ｂのときは、判別不可能な形状であることを通知する（ステップＳ２６）。
【図面の簡単な説明】
【００３９】
【図１】本発明に用いられる画像処理装置の構成を示したブロック図である。
【図２】形状判別の流れを示したフローチャートである。
【図３】形状判別用のしきい値を設定する流れを示したフローチャートである。
【図４】対象物の画像の輪郭点を求める状態を示した説明図である。
【図５】輪郭点での勾配ベクトルの相関演算を求める状態を示した説明図である。
【図６】判別条件に応じて設定された重み係数を示す表図である。
【図７】対象物の撮像状態を示す説明図である。
【図８】部品の極性を示すマークなどを示した説明図である。
【符号の説明】
【００４０】
２  電子部品
１２  画像処理装置
１３  マシン制御装置
４０、４１  対象物の画像
４２  モデル円
【図１】
2006112930.tif 000003
【図２】
2006112930.tif 000004
【図３】
2006112930.tif 000005
【図４】
2006112930.tif 000006
【図５】
2006112930.tif 000007
【図６】
2006112930.tif 000008
【図７】
2006112930.tif 000009
【図８】
2006112930.tif 000010