(57)【特許請求の範囲】
【請求項１】
対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択し、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うことを特徴とする三次元視覚位置決め方法。
【請求項２】
対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有することを特徴とする三次元視覚位置決め装置。
【請求項３】
〔請求項１〕に記載する三次元視覚位置決め方法において、
特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておき、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とすることを特徴とする三次元視覚位置決め方法。
【請求項４】
〔請求項２〕に記載する三次元視覚位置決め装置において、
前記モデル作成手段は、
更に、特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておくものであり、
前記対応付け手段は、
更に、記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とするものであることを特徴とする三次元視覚位置決め装置。
【請求項５】
〔請求項３〕に記載する三次元視覚位置決め方法において、
マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とすることを特徴とする三次元視覚位置決め方法。
【請求項６】
〔請求項４〕に記載する三次元視覚位置決め装置において、
前記対応付け手段は、
更に、マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とするものであることを特徴とする三次元視覚位置決め装置。
【請求項７】
対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択し、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うことを特徴とする三次元視覚位置決め方法。
【請求項８】
対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有することを特徴とする三次元視覚位置決め装置。
【請求項９】
対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択し、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うことを特徴とする三次元視覚位置決め方法。
【請求項１０】
対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有することを特徴とする三次元視覚位置決め装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は三次元視覚位置決め方法及び装置に関し、特にカメラを利用して取得する画像データを使用してカメラで撮像可能な範囲に存在する対象物を検知し、その位置と姿勢とを計測するもので対象物の形状を円弧と線分との集合で表現して検知するモデルマッチングに適用して有用なものである。
【０００２】
【従来の技術】
三次元的に視覚位置決めを行う方法については従来より多くの提案があり、本発明者等もこれまでに「三次元的物体認識方法及びその装置」（特願平８−１８６１３号）で、画像処理により抽出される特徴上の３点の三次元位置情報を利用して対象物の三次元的な位置と姿勢を計算する方法を提案した。
【０００３】
これは、まず取得した画像にエッジ検出処理と特徴抽出処理を施し抽出される円弧と線分について２台のカメラを使用したステレオ計測法などで三次元計測を行い、円弧が形成する円の中心点（以下、円弧中心点と呼ぶ）と線分の両端点の組み合わせ（グループ）で対象物の位置と姿勢を決定する３点を構成し、これをモデルとするモデルマッチングを行って対象物の位置決めを行う方法である。この方法によれば、特に入力画像のエッジ検出処理結果をベースにしているために、一般的な画像処理で使用する二値化処理や相関マッチングが照明の変動などの影響を受けやすいのに対して、計測条件の変化がある場合も安定な検出ができる点が大きな利点である。また、２線分が端点を共有するときこれを角と定義して、１点として円弧中心点の代わりに利用できるので、３点を構成する組み合わせの種類は円弧と線分、角と線分、２線分、３円弧など多くの組み合わせが利用でき、一般的な工業部品に広く適用可能である利点がある。図３はこれらの中で一つの円弧の円弧中心点と一つの線分の両端点の合計３点で三次元位置決めを行うことを示した説明図である。
【０００４】
また、上記特願平８−１８６１３号では実施例の一つとして、円弧中心点と線分の２端点の位置データを使用して対象物の位置と姿勢を決定する代わりに、円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法を提案した。これは視覚センサにより計測する線分の２端点の計測誤差を吸収することを目的として特定の３点の位置データを使用して対象物の三次元位置決めをする方法を使用する有効な方法である。図４はこの方法を示す説明図である。
【０００５】
さらに、本発明者等は「閉曲線の特徴データ抽出方法及びこれを用いるマッチング方法」（特願平８−１００９７４号）で、特徴抽出に閉曲線という概念を導入し、閉曲線の中心を一つの点として利用し三次元位置決めを行う方法を提案した。
【０００６】
これは、取得した画像のエッジ検出処理の結果得られるエッジ点列の中から連続していて閉じている点列を閉曲線として抽出し、小さい物はその中心を点として三次元位置決定の要素として利用するものである。この場合上述した組み合わせに加えて３点を構成するグループとして閉曲線と線分、３閉曲線などが利用できるためさらに多くの形状の部品の認識に適用可能であるというメリットがある。図５はこの方法を示す説明図である。
【０００７】
【発明が解決しようとする課題】
上述の「三次元物体認識方法及びその製造方法」（特願平８−１８６１３号）及び「閉曲線の特徴データ抽出方法及びこれを用いるマッチング方法」（特願平８−１００９７４号）のうち、図３と図５に示した一つの円弧または閉曲線の中心点と一つの線分の両端点の合計３点で三次元位置決めを行う方法には次の様な問題点が存在する。
【０００８】
第一に、線分の両端点の計測誤差の影響の問題がある。すなわち、対象物を決定するのに使用する線分の両端点の位置計測結果が、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い、の影響でズレることがあり、この場合このデータをもとにして決定する対象物の三次元位置と姿勢が結果的にズレてしまう。特に、特徴抽出において、図６に示すように、輪郭を線分と円弧に切り分けるときに、正確に再現性良く境界点を決定することは難しく、実用的にはこの境界点のデータに左右されない方法が望まれる。従来の方法では境界点の位置が線分の端点になるので境界点の検出のズレはそのまま対象物の位置検出のズレとなってあらわれる。
【０００９】
一方、「三次元物体認識方法及びその装置」（特願平８−１８６１３号）の実施例で提案した円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法（図４参照）によれば、正確な線分のモデルが存在し、特徴抽出時に図６の輪郭における線分を短めに抽出することで、ある程度の検出時と位置決め時の位置ズレを解消することができる。しかしながら、モデル作製時における特徴抽出時にも同様の計測誤差が含まれるため、モデルの線分自体に誤差が含まれ、結果的には三次元位置決めに誤差が含まれる。
【００１０】
第二に、線分抽出における線分の分断の問題がある。第一の場合と同様に線分抽出までの過程において、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い等の影響で本来１本として抽出されるべき線分が２本またはそれ以上に分断される場合があり、このときは従来法ではモデルとして設定した線分との照合ができず対象物体の検出ができない。また、線分両端点の位置が本来の端点から大きく違うためこのデータをもとにして決定する対象物の三次元位置と姿勢が結果的にズレてしまうという問題がある。例えば、本来１本の線分として抽出されるべき輪郭が、照明や対象物の表面状態の影響で図７に示すようなコブを持つ形状になった場合はここで線分が２本に分断されることになり、この場合は対象物の検出ができない。この点に関しては対象物の検出自体ができないので「三次元物体認識方法及びその装置」（特願平８−１８６１３号）の実施例で提案した円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法によっても対処することができない。
【００１１】
本発明は、上記従来技術に鑑み、画像データの入力時のノイズや量子化誤差等の各種の誤差の影響を受けることがなく、また本来１本であるべき線分が２本以上に分断された場合でも所定の検出を可能にする三次元視覚位置決め方法及び装置を提供することを目的とする。
【００１２】
上記目的を達成する本発明の構成は、次の点を特徴とする。
【００１３】
１） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択し、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００１４】
２） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００１５】
３） 上記１）に記載する三次元視覚位置決め方法において、
特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておき、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とすること。
【００１６】
４） 上記２）に記載する三次元視覚位置決め装置において、
前記モデル作成手段は、
更に、特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておくものであり、
前記対応付け手段は、
更に、記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とするものであること。
【００１７】
５） 上記３）に記載する三次元視覚位置決め方法において、
マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とすること。
【００１８】
６） 上記４）に記載する三次元視覚位置決め装置において、
前記対応付け手段は、
更に、マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とするものであること。
【００１９】
７） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択し、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００２０】
８） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００２１】
９） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択し、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００２２】
１０） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００２３】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づき詳細に説明する。
【００２４】
先ず、本発明の基本的な考え方について説明する。本発明は、対象物体の位置決めのためにカメラ等の視覚センサを使用して計測した円弧中心点と線分の情報を使用する三次元視覚位置決めに関するものであり、「三次元物体認識方法及びその装置」（特願平８−１８６１３号）で使用した線分の２端点の位置データの代わりに、線分の三次元的な傾きと円弧中心点と線分との三次元的な位置関係の情報を使用することを特徴とするものである。具体的には、位置決めに使用する円弧中心点Ａ（ｘ３，ｙ３，ｚ３）、位置決めに使用する線分の方向余弦（ｌ１，ｍ１，ｎ１）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ０，ｙ０，ｚ０）により対象物の三次元的な位置と姿勢を決定する。
【００２５】
線分の方向余弦と、点Ａから線分またはその延長上に下ろした垂線と線分との交点の座標の計算方法を図１に基づき説明しておく。
【００２６】
１）２点を通る線分Ｌの方程式と方向余弦（図１参照）
【数１】
0003867410.tif 000002
【００２７】
２）円弧中心点Ａから線分Ｌに下ろした垂線と線分Ｌとの交点Ｂの座標（図１参照）
【数２】
0003867410.tif 000003
【００２８】
【数３】
0003867410.tif 000004
【００２９】
上述の如く、本発明によれば、位置決めに使用する線分の長さ、端点の位置情報を使用しないので、画像前処理の段階で線分が正確に抽出されない場合、すなわちエッジ検出と特徴抽出処理の結果得られる線分の端点が正しくない場合や本来一本の線分が分断されて抽出された場合にも、本来のエッジ上に線分が抽出されていれば対象物の正確な位置決めが可能である。
【００３０】
図２は本願発明の実施の形態に係る三次元視覚位置決め装置の基本的な構成を示すブロック線図である。同図に示すように、カメラ１は認識する対象物体と同一形状のモデルとする対象物体（図示せず）を撮影し、モデル画像処理部２を介してその画像データを特徴抽出器３に供給する。特徴抽出器３は供給された画像データに基づき、これを構成する直線，円弧等を数値化した特徴要素を抽出する。したがって、特徴抽出器３が出力する特徴データは直線特徴，円弧特徴を表わすものであり、何れもステレオ計測等で得られた三次元位置データを有する。
【００３１】
モデル作製器４はオペレータの操作により、特徴抽出器３で抽出した特徴データの中からマッチングに使用する直線，円弧のそれぞれの特徴を選択するとともに、三次元位置姿勢計算に必要な３点を形成できる特徴データの組である特徴グループを選択し、これらをモデルメモリ５に記憶しておく。
【００３２】
カメラ６は対象物体を撮影し、画像処理部７を介してその画像データを特徴抽出器８に供給する。特徴抽出器８は供給された画像データに基づき、これを構成する直線，円，角を数値化した特徴要素を抽出する。すなわち、カメラ６、画像処理部７及び特徴抽出器８は、それぞれカメラ１、モデル画像処理部２及び特徴抽出器３に対応しており、同一機能を有する。したがって、特徴抽出器８が出力する特徴データも直線特徴，円特徴を表わすものであり、何れもステレオ計測等で得られた三次元位置データを有する。
【００３３】
対応付け器９はモデルメモリ５に記憶されている特徴グループのデータと特徴抽出器８の出力データとを比較し、両者のマッチングをとる。このマッチング操作によりマッチした特徴グループの対応点３点の組を基に三次元位置計算器（図示せず）で三次元位置姿勢を計算する。
【００３４】
次に、上記装置を用いるモデルマッチングの具体例、すなわち本発明を使用した対象物位置決めの手順の一つの実施の形態を説明しておく。この実施の形態は、位置決めに使用する円弧と線分の組を決定するのに、円弧中心点と線分との距離を評価関数として使用することを特徴とする。
【００３５】
先ず、本発明の考え方に基づく対象物体のモデルを作製する。このモデルは特徴的な一つの円弧と一つの線分の組み合わせで表現する。モデルの情報としては、▲１▼円弧中心点の三次元座標、▲２▼線分の三次元傾き（方向余弦）、▲３▼円弧中心点から線分に下ろした垂線と線分の交点の三次元座標の３つの三次元データを、対象物体を決定する情報として使用する。また、本形態ではこれらのデータから計算できる円弧中心点Ａと線分Ｌとの距離Ｌ１を計算して保存しておくものとする。ここで、円弧中心点Ａと線分Ｌとの距離Ｌ１の計算は、次のようにして行う（図１参照）。
【００３６】
【数４】
0003867410.tif 000005
【００３７】
三次元位置決めをするときは、カメラ画像のデータを入力し、エッジ検出処理をし、特徴抽出処理をして入力画像中の円弧成分と線分成分を抽出し、モデルとして使用した円弧と合致する円弧を照合し、マッチした円弧と線分特徴の三次元計測をし、対応する円弧の円弧中心点座標と線分の方程式を計算する。この時、線分については特徴抽出された全ての線分の三次元計測を行うものとする。ただし、モデルに使用した線分と比べて極端に長い線分と短い線分は三次元計測しないことも考えられる。これによりこれらの線分の三次元計測にかかる時間を節約する効果が生ずる。
【００３８】
本形態では次に、モデルの円弧に対応する円弧の一つ一つについて、全ての線分との距離を計算し、予め計算してあるモデルの円弧中心と線分との距離Ｌ１と照合し一致する組み合わせを検索する。こうして選択された組み合わせは対象物を構成する円弧と線分の組の候補である。
【００３９】
最後に、選択された円弧の円弧中心点座標（ｘ3 ，ｙ3 ，ｚ3 ）と線分傾き（方向余弦）と線分上の任意の一点の座標（ｘ1 ，ｙ1 ，ｚ1 ）から計算される。円弧中心点から線分またはその延長上に下ろした垂線と線分との交点の座標（ｘ0 ，ｙ0 ，ｚ0 ）とで対象物体の位置と姿勢を決定する。このように距離で円弧と線分の組み合わせの候補を選択することで、画像処理の結果得られる円弧と線分の数が増加しても組み合わせの候補を増加させることなく照合することができる利点がある。
【００４０】
一方、円弧中心と線分との距離の照合の際に予め一定の許容値を設定してこの許容値の範囲内で一致する円弧と線分の組み合わせを検索することも可能である。これにより、円弧と線分の照合の過程で、画像データの量子化誤差や画像前処理に含まれる計算誤差などを吸収する固有の効果を得ることができる。
【００４１】
また、次のようなモデルマッチングも本発明に含ませることができる。上記実施の形態では位置決めに使用する特徴として一つの線分と一つの円弧中心点を使用したが、他の実施の形態として、円弧中心点の代わりに（特願平８−１８６１３）で使用した２線分の交点で決定される角を使用して視覚位置決めを行うものを挙げることができる。つまり、位置決めに使用する角Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および角Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物の三次元的な位置と姿勢を決定する。この場合の作用・効果は上述の如き「基本的な考え方」と同一であるが、本形態の場合には、加えて、部品表面に加工穴などがなく円もしくは円弧を使用できない部品の位置決めにも線分のみの組み合わせで適用可能になるという固有の利点を有する。
【００４２】
さらに、もう一つの実施の形態として、円弧中心の代わりに（特願平８−１００９７４）で使用した閉曲線の中心を使用して視覚位置決めを行うものを挙げることができる。つまり、位置決めに使用する閉曲線の中心点Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物体の三次元的な位置と姿勢を決定する。この場合の作用・効果は上述の如き「基本的な考え方」と同一であるが、本形態の場合には、加えて、部品表面に円もしくは円弧を形状がない部品でも表面に凹凸部やキー溝などが存在し画像前処理の結果で閉曲線として抽出できる部品の位置決めに適用可能になるという固有の利点を有する。。
【００４３】
以上実施の形態とともに詳細に説明した通り、本発明は、対象物体の位置決めのためにカメラ等の視覚センサを使用して計測した円弧中心点と線分の情報を使用する三次元視覚位置決め方法に関するものであり、線分の三次元的な傾きと円弧中心点と線分との三次元的な位置関係の情報を使用することを特徴とするものである。具体的には、位置決めに使用する円弧中心点Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物体の三次元的な位置と姿勢を決定するものである。
【００４４】
【発明の効果】
以上実施の形態とともに詳細に説明した通り本発明によれば次の効果を得る。
▲１▼  情報の入力手段としてカメラ等の撮像手段のみを使用した視覚位置決め方法であるため、対象物に触れることなく（非接触で）その三次元位置決めが可能である。
▲２▼  入力画像のエッジ情報から抽出する線分と円弧を使用するので、二値化処理による方法やパターンマッチングによる方法など他の画像処理手法が照明の変動など計測条件の変化の影響を受けやすいのに対して、安定した三次元位置決めが可能になる。
▲３▼  対象物体の決定を一つの円弧または角または閉曲線と一つの線分で行うので、加工穴やキー溝などが部品表面に存在する一般的な工業部品に広く適用することが可能になる。
▲４▼  線分の両端点の位置情報を使用しないので、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い、に起因する端点の位置情報の計測誤差の影響を受けない三次元位置決めが可能になる。
▲５▼  線分の方向余弦の情報のみを使用するので、画像入力時や特徴抽出の過程で本来１本であるべき線分が２本以上に分断された場合にもそのいずれかまたは両方の線分の方向余弦を使用して対象物の検出と三次元位置決めが可能になる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための説明図である。
【図２】本発明の基本的な装置構成を示すブロック線図である。
【図３】従来技術を示す説明図である。
【図４】従来技術を示す説明図である。
【図５】従来技術を示す説明図である。
【図６】従来技術を示す説明図である。
【図７】従来技術を示す説明図である。
【符号の説明】
１      カメラ
３      特徴抽出器
４      モデル作製器
５      モデルメモリ
９      対応付け器
【図１】
0003867410.tif 000006
【図２】
0003867410.tif 000007
【図３】
0003867410.tif 000008
【図４】
0003867410.tif 000009
【図５】
0003867410.tif 000010
【図６】
0003867410.tif 000011
【図７】
0003867410.tif 000012