(57)【特許請求の範囲】
【請求項１】
認識対象物の像をカメラに取り込み、この像の輪郭線を抽出するステップと、前記輪郭線における曲率変化から輪郭線の屈曲部を示す特徴点群を抽出するステップと、前記認識対象物の形状を特定するための特定点と同じ個数の特徴点を前記特徴点群から選出する組合せを求めるステップと、前記組合せについて前記特徴点相互の位置関係を認識対象物の長さや幅や角度について予め設定された許容範囲を有する形状データと対比して、求められた長さや幅や角度がこの許容範囲内にあるか否かによって認識対象物の形状に適合するか否かを判定するステップと、適合すると判定された組合せについて前記認識対象物の形状との近似度合いを示す評価式によって近似度を順位付けするステップと、この順位付けにより１位と判定された特徴点の組合せを前記特定点と判定し、この特定点によって前記認識対象物の形状を特定するステップとを含むことを特徴とする画像認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子部品などの認識対象物を撮像して画像認識することにより認識対象物の形状を認識する画像認識方法に関するものである。
【０００２】
【従来の技術】
電子部品の基板への実装に際して、搭載ヘッドに保持された電子部品を画像認識して位置ずれを検出し、この位置ずれを補正した上で基板に搭載することが一般的に行われている。この位置ずれ検出においては、電子部品を撮像した画像データを画像処理することにより電子部品の輪郭線を抽出し、この輪郭線に基づいて電子部品の形状や水平面内での傾きの方向などを求める演算処理が行われる。このような画像認識による電子部品の形状や方向の検出方法として特開平６−１１３２６号公報に開示されている方法が知られている。
【０００３】
この方法においては、まず２値化処理した画像から得られた輪郭線上に設定されたベクトルの傾きの変化から輪郭線に沿った曲率の分布を求め、この曲率の分布により検出される輪郭線の屈曲点を電子部品の形状の特徴点とする。そしてこれらの特徴点の中から、認識対象物の形状を特定する特定点を選出することにより、電子部品の形状を特定するものである。この特定点の選出においては、特徴点の中から特定点の個数と同じ数の特徴点の組合せを全て求め、これらの全ての組合せについて、当該組合せの特徴点によって表される形状が電子部品の形状に適合しているか否かが判定され、適合していると判定された組合せの特徴点を電子部品の形状の特定点として採用する。
【０００４】
【発明が解決しようとする課題】
ところが、形状のばらつきが大きい電子部品、すなわち電子部品のサイズや角度などに設定される許容範囲の幅が大きい場合には、前記判定において適合していると判定される組合せは必ずしも１つとは限らず、本来正しい形状を示す特徴点ではない誤った組合せを含む複数の組合せが得られる場合がある。従来の画像認識方法においては、このような場合にはいずれの組合わせが正しい組み合わせであるかを特定できず、その結果認識エラーが発生し安定した画像認識を行うことができないという問題点があった。
【０００５】
そこで本発明は、形状のばらつきが大きい認識対象物であっても安定した画像認識を行うことができる画像認識方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像認識方法は、認識対象物の像をカメラに取り込み、この像の輪郭線を抽出するステップと、前記輪郭線における曲率変化から輪郭線の屈曲部を示す特徴点群を抽出するステップと、前記認識対象物の形状を特定するための特定点と同じ個数の特徴点を前記特徴点群から選出する組合せを求めるステップと、前記組合せについて前記特徴点相互の位置関係を認識対象物の長さや幅や角度について予め設定された許容範囲を有する形状データと対比して、求められた長さや幅や角度がこの許容範囲内にあるか否かによって認識対象物の形状に適合するか否かを判定するステップと、適合すると判定された組合せについて前記認識対象物の形状との近似度合いを示す評価式によって近似度を順位付けするステップと、この順位付けにより１位と判定された特徴点の組合せを前記特定点と判定し、この特定点によって前記認識対象物の形状を特定するステップとを含む。
【０００７】
本発明によれば、画像上の輪郭線の特徴点から認識対象物の形状を特定する特定点を選出するための特徴点の組合せの中で、認識対象物の形状に適合すると判定された複数の組合せについて、更に認識対象物の形状との近似度合いを示す評価式によって順位付けすることにより、形状のばらつきによって誤って特定点と判定された組合せを排除することができる。
【０００８】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態の電子部品の実装装置の斜視図、図２は同画像認識方法を示すフロー図、図３は同電子部品の輪郭線を示す画像図、図４は同輪郭線上の曲率の変化を示すグラフ、図５（ａ），（ｂ），（ｃ）は同電子部品の特徴点の形状チェックの説明図である。
【０００９】
まず図１を参照して、本発明の画像認識装置が組み込まれた電子部品の実装装置について説明する。図１において、移載ヘッド３は移載ヘッド移動制御手段１４によって水平方向及び垂直方向に移動するようになっている。移載ヘッド３の下端部には吸着ノズルＮが装着されており、図示しない吸引手段によって吸着ノズルＮから真空吸引することにより、認識対象物である多角形状（矩形）の電子部品４を吸着して保持する。吸着ノズルＮは移載ヘッド３に内蔵されたモータＭにより吸着ノズルＮの中心軸線を中心にθ方向に回転する。また吸着ノズルＮには円板状の反射板３ａが同軸的に設けられており、下方の光源２からの照明光を反射する。移載ヘッド３の下方にはカメラ１が配設されており、反射板３ａの下方に位置する電子部品４を透過照明光により撮像する。
【００１０】
カメラ１の側方にはパーツフィーダ１２が配設されている。パーツフィーダ１２は電子部品４を供給する。パーツフィーダ１２の反対側には基板保持テーブル１１が配設されており、基板保持テーブル１１上には表面に回路パターンＬが形成された基板１０が保持されている。電子部品４は、パーツフィーダ１２から移載ヘッド３によってピックアップされ、基板１０に実装される。
【００１１】
Ａ／Ｄ変換器５はカメラ１の画像信号をデジタル信号に変換する。フレームメモリ６は、変換されたデジタル画像信号を記憶する。ＲＯＭ８は、各種処理を行うためのプログラムを記憶する。ＣＰＵ７はＲＯＭ８に記憶されたプログラムに従って画像処理などの各種の演算や処理を行う。ＲＡＭ９にはこれらの演算結果が記憶される。
【００１２】
駆動回路１３は吸着ノズルＮを回転させるモータＭを駆動する。マシンコントローラ１５は駆動回路１３および移載ヘッド移動制御手段１４を制御し、ＣＰＵ７によって制御される。カメラ１によって電子部品４を撮像してその位置をＣＰＵ７によって認識し、この位置認識結果に基づいて、駆動回路１３および移載ヘッド移動制御手段１４を制御することにより、電子部品４の位置ずれを補正して基板１０に実装することができる。
【００１３】
次に図２のフローに沿って画像認識方法について説明する。まず、カメラ１により認識対象物である電子部品４の下面の画像を取り込み（ＳＴ１）、周知の画像処理技術を用いて画像から輪郭線を抽出する（ＳＴ２）。図３はここで得られた輪郭線を示しており、矩形状の外周部が部分的に円弧状に切り取られた形となっている。次にこの輪郭線に囲まれる領域内に、スタート地点ＳＰを設定する。そしてこのスタート地点ＳＰから例えばＹ軸方向に注目点を移動させ、輪郭線と交わる交点ＩＰを探す。交点ＩＰを見つけたならば、交点ＩＰから矢印方向に輪郭線に沿って一周するまで注目点を移動させながら輪郭線の曲率Ｒの変化を算出していく。この曲率Ｒは輪郭線上に設定されるベクトルの向きの変化を示すものであり、曲率Ｒ＝θｉ＋１−θｉで求めることができる。ここでθｉ＋１，θｉはそれぞれベクトルＳｉ＋１，Ｓｉの傾きを示している。
【００１４】
図４はこのようにして求めた曲率Ｒの変化を示すものであり、輪郭線に沿って曲率Ｒの極大点を示すピークｅ１〜ｅ１６が多数表れている。そしてこの曲率Ｒのピーク位置に基づいて電子部品４の形状の屈曲部を示す特徴点を抽出する（ＳＴ３）。図３において、ｅ１〜ｅ１６は特徴点を示しており、図４の曲率Ｒのピークｅ１〜ｅ１６にそれぞれ対応するものである。
【００１５】
次に求められた特徴点ｅ１〜ｅ１６に基づいて、特徴点の組合せ計算を行う（ＳＴ４）。ここでは、図５（ａ）に示すように、特徴点ｅ１〜ｅ１６の中から電子部品４の形状を特定する特定点としての４頂点Ｅ１，Ｅ２，Ｅ３、Ｅ４（図３の特徴点ｅ１６，ｅ５，ｅ８，ｅ１３がそれぞれ対応する）の個数と同じ個数、すなわち４個の特徴点を選出する組み合わせを求め、それらの各組合わせについて、当該特徴点相互の位置関係を電子部品４の形状データ、すなわち電子部品４のサイズおよび角度と対比して電子部品４の形状に適合するか否かを判定するものである。
【００１６】
図２のフローに戻り、まず全ての組合せについて形状チェックが完了しているかが判断され（ＳＴ５）、未チェックの組合せが存在していれば次ステップにてサイズのチェックが行われ、チェック結果が判定される（ＳＴ６）。ここでは、図５（ｂ）に示すように、特徴点の組合せによって得られる寸法ｄ１、ｄ２、ｄ３、ｄ４が、電子部品４の実際の長さＬ、幅Ｗと一致しているか否かが判断される。そしてサイズが一致しているならば、次に角度のチェックが行われ、チェック結果が判定される（ＳＴ７）。ここでは当該特徴点を結んで得られる４角形の内角θ１、θ２、θ３、θ４が電子部品４の本来の形状が示す角度、すなわち９０度と一致するか否かが判断される。
【００１７】
ＳＴ６、ＳＴ７での一致の判断は、求められた寸法や角度が、長さＬ、幅Ｗ、角度θについて予め設定された許容範囲内にあるか否かによってなされる。そしてＳＴ６，ＳＴ７にて一致しないと判断された場合にはＳＴ５に戻り、新たな特徴点の組合せについて、同様にサイズのチェック、角度のチェックが行われる。
【００１８】
以上のステップにおいてサイズ、角度とも一致していると判断された組合せについて、更に下記の評価式を計算し、近似度合いの順位付けを行う（ＳＴ８）。本来特徴点の組合せの中から実際の形状と一致しているとして選別される組合せは１通りしか存在しないはずであるが、形状のばらつきが比較的大きい電子部品、すなわちサイズや角度に対して設定される許容範囲の幅が大きい電子部品を対象とする場合、複数の組合せがＳＴ６，ＳＴ７において一致していると判断される場合があり得る。
【００１９】
例えば、図５（ｃ）に示すように、本来の正しい特定点である特徴点ｅ８の替わりに特徴点ｅ７が選定された組み合わせについて上記ＳＴ６，ＳＴ７のチェックを行うと、特徴点ｅ７、ｅ８は比較的近接していることから、寸法ｄ２，ｄ３は長さＬ、幅Ｗの許容範囲内にあり、さらに角度θ２，θ３，θ４も９０度についての許容範囲内にあるような場合が発生しうる。このような場合には、特徴点ｅ８を含む本来の正しい組合わせ以外に、特徴点ｅ７を含んだ組合わせも電子部品４の形状に適合していると判断される。
【００２０】
そこで、このように複数の組合せが得られた場合、これらの組合せの中から真に電子部品の形状を表す組合わせを選択するため、評価式による近似度評価が行われる。ここで用いられる評価式は、特徴点および輪郭線によって特定可能な寸法や角度を組み合わせて構成されるものである。この評価式は特に幾何学的な意味を有するものではなく、単に正しい組合わせの場合に最大（あるいは最小）の計算値を与えるような数式が評価式として選定される。
【００２１】
評価式の例について図５を参照して説明する。図５（ａ）に示す電子部品４の本来形状に対する近似度評価を行うための評価式ＥＦの例として、図５（ｂ）に示す数式を用いることができる。この評価式によれば、図５（ａ）に示す真の組合わせでは、ｄ１、ｄ３はＬに、ｄ２、ｄ４はＷにほぼ等しく、θ１，θ２，θ３，θ４は９０度にほぼ等しいことから、評価式ＥＦの計算値はほぼ１となる。
【００２２】
これに対し、上記の組合わせ以外、例えば図５（ｃ）に示す組合わせについて評価式ＥＦを適用すると、寸法ｄ３はＬよりも大きいものの、寸法ｄ２はＷよりも小さくなっていることから、ｄ３／Ｌ・ｄ２／Ｗの値は必ず１よりも小さくなる。さらに、θ２，θ３，θ４は９０度からずれているためｃｏｓθｉ（ｉ＝２、３、４）は１よりも小さくなっている。すなわち、評価式ＥＦの計算値は必ず１よりも小さい。このように、近似度合いを示す評価式を用いることにより、真の組合わせ以外のものを含む複数の組合わせが電子部品の形状に適合すると不適切に判定された場合においても、これらの複数の組み合わせの中から本来の電子部品の形状を特定する真の組合わせを選択することができる。
【００２３】
この後、この順位付けにより１位と判定された特徴点の組合わせを電子部品の形状を特定する特定点と判定する（ＳＴ９）。そしてこれらの特定点に基づいて電子部品４の形状が特定される。すなわち、図３においてＥ１〜Ｅ４が形状を示す点として出力され、これらの点に基づいて電子部品４の傾きや位置がＣＰＵ７によって算出される。そしてこれらの位置データに基づいて移載ヘッド制御手段１４、モータＭをマシンコントローラ１５で制御することにより、電子部品４は基板１０上に正しく実装される。
【００２４】
【発明の効果】
本発明によれば、画像上の輪郭線の特徴点から認識対象物の形状を特定する特定点を選出するための特徴点の組合せの中で、認識対象物の形状に適合すると判定された複数の組合せについて、更に認識対象物の形状との近似度合いを示す評価式によって順位付けするようにしたので、形状のばらつきによって誤って特定点と判定された組合せを排除することができ、形状のばらつきの許容範囲の幅が大きい電子部品に対しても安定した画像認識を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の電子部品の実装装置の斜視図
【図２】本発明の一実施の形態の画像認識方法を示すフロー図
【図３】本発明の一実施の形態の電子部品の輪郭線を示す画像図
【図４】本発明の一実施の形態の輪郭線上の曲率の変化を示すグラフ
【図５】（ａ）本発明の一実施の形態の電子部品の特徴点の形状チェックの説明図
（ｂ）本発明の一実施の形態の電子部品の特徴点の形状チェックの説明図
（ｃ）本発明の一実施の形態の電子部品の特徴点の形状チェックの説明図
【符号の説明】
１  カメラ
３  移載ヘッド
４  電子部品
７  ＣＰＵ
９  ＲＡＭ
ｅ１〜ｅ１６  特徴点
Ｅ１、Ｅ２、Ｅ３、Ｅ４  特定点
【図１】
0003577969.tif 000002
【図２】
0003577969.tif 000003
【図３】
0003577969.tif 000004
【図４】
0003577969.tif 000005
【図５】
0003577969.tif 000006