(57)【特許請求の範囲】
【請求項１】
画像処理による物体の位置検出方法であって、
視覚手段の画像認識により物体の２点の位置と、これら２点を結ぶ線の基準線に対する角度とを求め、
次に上記視覚手段を、求めた位置および角度が基準位置および基準角度となるように移動させ、この移動位置で２点の位置と角度とを再検出し、
次に上記視覚手段の物体との距離を変化させて２点の位置と角度とを再度検出することにより位置および角度を補正する
位置検出方法。
【請求項２】
上記視覚手段の物体との距離変化は、該視覚手段を物体に接近させる
請求項１記載の位置検出方法。
【請求項３】
ロボットに上記視覚手段が装着された
請求項２記載の位置検出方法。
【請求項４】
上記位置および角度の補正はロボット系の制御誤差を補正する
請求項３記載の位置検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば車両用ドアやその他の部品をロボットを用いて組付けもしくは取外しするような場合に用いられる画像処理による物体の位置検出方法に関する。
【０００２】
【従来の技術】
従来、被測定物の位置を画像処理により検出する方法（位置検出方法）としては、例えば、特開平２−２４３９１４号公報に記載の方法がある。
すなわち、図１２に示す如く被測定物９１を固定搭載するマスタテーブル９２と、このマスタテーブル９２に対して位置固定された視覚手段としてのＣＣＤカメラ９３と、このＣＣＤカメラ９３によって撮像されたデータを演算する画像処理装置９４とを備え、マスタテーブル９２上の基準点９５に対する測定点９６のマスタ位置データを画像処理装置９４内のメモリに格納し、この状態で被測定物９１をマスタテーブル９２上の所定位置にセットし、ＣＣＤカメラ９３により被測定物９１の測定点９６とマスタテーブル９２の基準点９５との位置関係を画像処理装置９４により演算する。
【０００３】
この際、測定点９６のマスタ位置データ（Ｘ０  ，Ｙ０  ）と、実際に測定された測定点（Ｘ１  ，Ｙ１  ）とのそれぞれの基準点を画像処理装置９４内の演算部で一致させ、これらマスタ基準位置および実測位置との誤差ΔＸ＝Ｘ１  −Ｘ０  ，ΔＹ＝Ｙ１  −Ｙ０  を演算し、これにより測定点の位置座標を算出して、位置を検出および補正する所謂座標位置検出方法である。
【０００４】
しかし、この従来方法にあっては１回のみの読込みにより補正を実行するうえ、ＣＣＤカメラ９３に関する角度情報の読込みを行なわない関係上、誤差が±２．５ｍｍ程度と大きく、例えば±０．５ｍｍ程度の高精度の補正が要求される位置検出には使用不可となる問題点があった。
【０００５】
一般に画像処理および視覚手段としてのＣＣＤカメラは被測定物に近付けば近づく程、解像精度が向上するが、ＣＣＤカメラからの位置補正信号に対してロボットを駆動する場合、Ｘ軸成分、Ｙ軸成分に加えて角度成分を考慮する必要があり、かつロボット側にはロボット駆動時に重力が作用するうえ、ロボットの製作誤差もあり、さらにはロボット側での計算能力にも限界がある関係上、動作ずれが発生して、充分な高精度が確保できず、指令位置と異なる位置、角度に動作してしまう問題点があった。
【０００６】
【発明が解決しようとする課題】
この発明の請求項１記載の発明は、視覚手段の画像認識により物体の２点の位置と、これら２点を結ぶ線の基準線に対する角度とを求め（１次計測）た後に、視覚手段を、求められた位置および角度が基準位置および基準角度となるように移動させ、この移動位置で２点の位置と角度とを再検出（２次計測）し、さらに上記視覚手段の物体との距離を変化させて２点の位置と角度とを再度検出（３次計測）することにより、位置および角度を補正する方法と成すことで、１次乃至３次の合計３回の検出によりロボット制御精度および解像精度に左右されることなく補正精度の大幅な向上を図ることができる位置検出方法の提供を目的とする。
【０００７】
この発明の請求項２記載の発明は、上記請求項１記載の発明の目的と併せて、視覚手段の物体との距離変化を、該視覚手段の物体への接近に設定することで、この視覚手段による解像度（解像精度）の向上を図ることができる位置検出方法の提供を目的とする。
【０００８】
この発明の請求項３記載の発明は、上記請求項２記載の発明の目的と併せて、ロボットに視覚手段を装着することで、ロボット側が本来有する制御系および位置検出機能を有効利用して上述の視覚手段を駆動することができる位置検出方法の提供を目的とする。
【０００９】
この発明の請求項４記載の発明は、上記請求項３記載の発明の目的と併せて、位置および角度の補正はロボット系の制御誤差を補正することで、この制御誤差の補正によりロボットアームを適切な位置、角度に高精度にコントロールすることができる位置検出方法の提供を目的とする。
【００１０】
【課題を解決するための手段】
この発明の請求項１記載の発明は、画像処理による物体の位置検出方法であって、視覚手段の画像認識により物体の２点の位置と、これら２点を結ぶ線の基準線に対する角度とを求め（１次計測）、次に上記視覚手段を、求めた位置および角度が基準位置および基準角度となるように移動させ、この移動位置で２点の位置と角度とを再検出し（２次計測）、次に上記視覚手段の物体との距離を変化させて２点の位置と角度とを再度検出（３次計測）することにより位置および角度を補正する位置検出方法であることを特徴とする。
【００１１】
この発明の請求項２記載の発明は、上記請求項１記載の発明の構成と併せて、上記視覚手段の物体との距離変化は、該視覚手段を物体に接近させる位置検出方法であることを特徴とする。
【００１２】
この発明の請求項３記載の発明は、上記請求項２記載の発明の構成と併せて、ロボットに上記視覚手段が装着された位置検出方法であることを特徴とする。
【００１３】
この発明の請求項４記載の発明は、上記請求項３記載の発明の構成と併せて、上記位置および角度の補正はロボット系の制御誤差を補正する位置検出方法であることを特徴とする。
【００１４】
【発明の作用及び効果】
この発明の請求項１記載の発明によれば、図１乃至図７にクレーム対応図で示すように、画像処理による物体１の位置検出方法において、視覚手段２の画像認識により物体１の２点ａ，ｂ（図２に示す画像上のポイント参照）の位置と、これら２点ａ，ｂ（ロボットのティーチングポイントにより予め定められた２点のこと）を結ぶ線ｃの基準線ｄ（詳しくは視覚手段がもっているＹ軸基準線）に対する角度θとを求め（１次計測）、次に上述の視覚手段２を図１に仮想線αで示すように、求めた位置ａ＝（ｘ．ｙ）および角度θが基準位置（０，０）および基準角度０度となるように移動させ、この移動位置（図１の仮想線α参照）で２点ｅ，ｆ（図３、図５に示す画像上のポイント参照）の位置と角度とを再検出（２次計測）する。
【００１５】
この時、１次計測が正しい時には図３に示すようにｅ＝（０，０）、θ２  ＝０となり、１次計測が正しくない時には図５、図７に示すようにｅ＝（ｘ２  ，ｙ２  ）、θ＝θ２  （但しθ２  ≠０）となる。
次に上述の視覚手段２の物体１との距離を図１に仮想線βで示すように近づく方向もしくは遠ざかる方向（図示せず）に変化させて２点ｇ，ｈの位置と角度とを再度検出（３次計測）する。
【００１６】
この３次計測の際、先の１次計測が正しい時には図４に示すようにｇ＝（０，０）、θ３  ＝０となり、１次計測が正しくない時には図６、図７に示すようにｇ＝（ｘ３  ，ｙ３  ）、θ＝θ３  （但しθ３  ≠０）となる。
さらに上述の２次計測、３次計測の位置データおよび角度データとしての（ｘ２  ，ｙ２  ）、θ２  、（ｘ３  ，ｙ３  ）、θ３  に基づいて位置および角度の補正を実行する。
【００１７】
このように上述の１次計測、２次計測、３次計測の合計３回の検出により、その検出データに基づいた補正（Ｘ軸上の位置、Ｙ軸上の位置、軸ずれ、角度ずれの補正）を実行するので、ロボット制御精度および解像精度に左右されることなく、補正精度の大幅な向上を図ることができる効果がある。
【００１８】
この発明の請求項２記載の発明によれば、上記請求項１記載の発明の効果と併せて、上述の視覚手段の物体との距離変化は、該視覚手段を物体に対して接近させるので、視覚手段による解像度（解像精度）の向上を図ることができる効果がある。
【００１９】
この発明の請求項３記載の発明によれば、上記請求項２記載の発明の効果と併せて、ロボットに視覚手段を装着したので、ロボット側が本来有する制御系および位置検出機能を有効利用して上述の視覚手段を駆動することができる効果がある。
【００２０】
この発明の請求項４記載の発明によれば、上記請求項３記載の発明の効果と併せて、上述の位置および角度の補正はロボット系の制御誤差を補正するので、このロボット系の制御誤差の補正によりロボットアームを適切な位置、角度を高精度にコントロールすることができる効果がある。
【００２１】
【実施例】
この発明の一実施例を以下図面に基づいて詳述する。
図８は本発明の位置検出方法に用いる位置検出装置を示し、この位置検出装置１１はロボット架台１２に搭載された６軸タイプのロボット１３と、このロボット１３のロボットアーム１４先端に締結部１５を介して取付けられたロボットハンド１６、このロボットハンド１６に備えられた複数のナットランナ１７とを有し、ナットランナ１７配設部にはブラケット（図示せず）を介して視覚手段としてのＣＣＤカメラ２を取付け、このＣＣＤカメラ２の画像認識により物体１（被測定物体）の２点の位置ａ，ｂ（図２参照）と、これら２点ａ，ｂを結ぶ線ｃの基準線ｄに対する角度θ（図２参照）とを求めるように構成している。
【００２２】
このように構成した位置検出装置１１を用いての位置検出方法について以下に詳述する。なお、以下の説明においては前述の１次計測、２次計測、３次計測（但し次の各計測については発明の作用及び効果の項で既述した内容と同一）後における補正値の計算方法（ロボットでの計算に置換して）示す。
【００２３】
図９において、ｐ１は１次計測時の指令位置、ｐ２は２次計測時の指令位置、ｐ３は３次計測時の指令位置（対象位置）をそれぞれ示し、ｒ１は１次計測時の取込位置、ｒ２は２次計測時の取込位置ｒ３は３次計測時の取込位置をそれぞれ示す。
ここに上記各指令位置ｐ１，ｐ２，ｐ３の成分は次の［数１］により表すことができる。
【００２４】
【数１】
0003562096.tif 000002
【００２５】
上述の［数１］においてｘ，ｙ，ｚは三次元のロボットベース座標のＸ軸、Ｙ軸、Ｚ軸を示し、「０１」「０２」「０３」は各指令位置ｐ１，ｐ２，ｐ３に対応する指令値を示し、ｔｘ，ｔｙ，ｔｚは各軸まわりの角度を示し、特にｔｙが請求項で示した角度θを意味する。
また上記各取込位置ｒ１，ｒ２，ｒ３の成分は次の［数２］により表すことができる。
【００２６】
【数２】
0003562096.tif 000003
【００２７】
上述の［数２］において、ｘ，ｙ，ｚは［数１］と同様に三次元のロボットベース座標のＸ軸、Ｙ軸、Ｚ軸を示し、ｔｘ，ｔｙ，ｔｚも同様に各軸まわりの角度を示し、「１」「２」「３」は各位置ｒ１，ｒ２，ｒ３に対応する実行値を示し、特にｔｙが請求項で示した角度θを意味する。
上述の各指令値ｐ１，ｐ２，ｐ３に対するロボット１３の動作ずれベクトルは次に［数３］で示すようになる。
【００２８】
【図３】
0003562096.tif 000004
【００２９】
最終的な動作補正値は、上述のずれの逆ベクトルとなり、本来、マイナス動作ずれ３となるはずであるが、ロボット１３はその補正指令値で動作させても重力や製作誤差等の要因により再びずれが発生する。そこで、得られた２つの動作ずれベクトル（精度の良い動作ずれ２，動作ずれ３）の相加平均ベクトル（２つずれ２，３の中央値）を求め、この値を近似的に補正値とする。この補正ベクトルは次の［数４］で示すことができる。
【００３０】
【数４】
0003562096.tif 000005
【００３１】
ここで図１０のずれ補正２に相当するｒ２ｐ２のベクトルを成分で表わすと次の［数５］の如くなる。
【００３２】
【数５】
0003562096.tif 000006
【００３３】
また図１０のずれ補正３に相当するｒ３ｐ３のベクトルを成分で表わすと次の［数６］の如くなる。
【００３４】
【数６】
0003562096.tif 000007
【００３５】
なお上述の［数５］［数６］において「ｐ」「ｒ」の前に付した「０」はロボットベース座標の原点としての零を示す。而して先の［数４］に［数５］［数６］を代入してベクトル式を整理することで補正ベクトルを求めると次に［数７］で示すようになる。
【００３６】
【数７】
0003562096.tif 000008
【００３７】
したがって、図１１に示す最終的なロボット１３への指令値（ｄｅｓｔ）はｏｒ３のベクトルに対して上述の補正ベクトルかを加算した値となるので、次の［数８］で表わすことができる。
【００３８】
【数８】
0003562096.tif 000009
【００３９】
すなわち、補正をしなかった場合には座標原点０からｒ３の方向に向って動くか、上述の補正により座標原点０から対象位置としてのｐ３の方向に向って動かすことができる。
【００４０】
以上要するに本発明の位置検出方法によれば、視覚手段（ＣＣＤカメラ２参照）の画像認識により物体１の２点の位置と、これら２点を結ぶ線の基準線に対する角度（数２中のｔｙ１参照）とを求め（１次計測）、次の視覚手段（ＣＣＤカメラ２参照）を、求めた位置および角度が基準位置および基準角度となるように移動して、この移動位置で２点の位置と角度（数２中のｔｙ２参照）とを再検出（２次計測）する。
【００４１】
次に上述の視覚手段（ＣＣＤカメラ２参照）の物体１との距離を変化させて２点の位置と角度（数２中のｔｙ３参照）とを再度検出（３次計測）する。
さらに上述の２次計測、３次計測の位置データおよび角度データに基づいて位置および角度の補正（数７で示す補正ベクトル、数８で示す最終指令値ｄｅｓｔのベクトル参照）を実行する。
【００４２】
このように従来の１次計測のみの方法に加えて２次計測、３次計測を追加実行し、合計３回の検出により、その検出データに基づいた補正（Ｘ軸上の位置、Ｙ軸上の位置、軸ずれ、角度ずれの補正）を実行するので、ロボット制御精度およびＣＣＤカメラ２の解像精度に左右されることなく、補正精度の大幅な向上を図ることができる効果がある。
【００４３】
また上述の視覚手段（ＣＣＤカメラ２参照）の物体１との距離変化は、この視覚手段を物体１に対して接近させるので、視覚手段による解像度（解像精度）の向上を図ることができる効果がある。
【００４４】
さらに、ロボット１３に視覚手段（ＣＣＤカメラ２参照）を装着したので、ロボット１３側が本来有する制御系および位置検出機能を有効利用して上述の視覚手段を駆動することができる効果がある。
加えて、上述の位置および角度の補正はロボット系の制御誤差を補正するので、このロボット系の制御誤差の補正によりボットアーム１４（実施例ではその先端のナットランナ１７も含む）を適切な位置、角度に高精度にコントロールすることができる効果がある。
【００４５】
この発明の構成と、上述の実施例との対応において、
この発明の視覚手段は、実施例のＣＣＤカメラ２に対応し、
以下同様に、
ロボットは、６軸タイプのロボット１３に対応するも、
この発明は、上述の実施例の構成のみに限定されるものではない。
【図面の簡単な説明】
【図１】本発明の位置検出方法を示すクレーム対応図。
【図２】１次計測を示すクレーム対応図。
【図３】１次計測が正しい場合の２次計測を示すクレーム対応図。
【図４】１次計測が正しい場合の３次計測を示すクレーム対応図。
【図５】１次計測が正しくない場合の２次計測を示すクレーム対応図。
【図６】１次計測が正しくない場合の３次計測を示すクレーム対応図。
【図７】１次計測が正しくない場合の説明図。
【図８】本発明の位置検出方法に用いる位置検出装置の説明図。
【図９】動作ずれを示す説明図。
【図１０】ずれ補正を示す説明図。
【図１１】最終指令値を示す説明図。
【図１２】従来の位置検出方法を示す説明図。
【符号の説明】
１…物体
２…ＣＣＤカメラ
１３…ロボット
ａ，ｂ…２点
ｃ…２点を結ぶ線
ｄ…基準線
ｅ，ｆ…２点
ｇ，ｈ…２点
θ，θ２  ，θ３  …角度
【図１】
0003562096.tif 000010
【図２】
0003562096.tif 000011
【図３】
0003562096.tif 000012
【図４】
0003562096.tif 000013
【図５】
0003562096.tif 000014
【図６】
0003562096.tif 000015
【図７】
0003562096.tif 000016
【図８】
0003562096.tif 000017
【図９】
0003562096.tif 000018
【図１０】
0003562096.tif 000019
【図１１】
0003562096.tif 000020
【図１２】
0003562096.tif 000021