(57)【特許請求の範囲】
【請求項１】
第１の色に着色されたベース及び該ベース上に配置され、少なくとも一つは第２の色に、他の少なくとも一つは第３の色にそれぞれ着色された３個以上のマークからなるターゲットマーカを位置決めの対象物に設置し、
前記ターゲットマーカを撮像してカラー画像を取得するステップと、
前記カラー画像中の前記第１の色の成分に基づいて前記対象物の粗位置計測を行うステップと、
前記カラー画像中の前記第１乃至第３の色の成分に基づいて前記対象物の姿勢を含めた精位置計測を行うステップとを含むことを特徴とする位置計測方法。
【請求項２】
対象物をロボットアームの先端で把持して所定の作業を行うロボットシステムにおいて、
前記対象物に設置された第１の色に着色されたベース及び該ベース上に配置され、少なくとも一つは第２の色に、他の少なくとも一つは第３の色にそれぞれ着色された３個以上のマークからなるターゲットマーカと、
前記ロボットアームの先端近傍に設置され、前記ターゲットマーカを撮像してカラー画像を取得するカラー視覚センサと、
前記カラー視覚センサにより取得されたカラー画像中の前記第１の色の成分に基づいて前記対象物の粗位置計測を行った後、前記カラー画像中の前記第１乃至第３の色の成分に基づいて前記対象物の姿勢を含めた精位置計測を行うための画像処理部と、
前記粗位置計測結果に基づいて前記ロボットアームの前記対象物を把持する把持部の粗位置決めを行った後、前記精位置計測結果に基づいて前記ロボットアームの精位置決めを行うように前記ロボットアームを駆動制御する駆動制御手段とを有することを特徴とするロボットシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ターゲットマーカを用いた対象物の位置計測方法及びロボットシステムに関する。
【０００２】
【従来の技術】
一般に、種々の組立作業などをロボットによって行う場合、ロボットアームの位置決めのために視覚センサで対象物の画像を取得し、その画像を２値化した後に輪郭（エッジ）抽出を行って輪郭の線画像を求め、予め与えられた対象物の情報とのマッチングを行って、ロボットアームに対する対象物の相対位置（姿勢も含む）を求める方法が用いられている。
【０００３】
この方法では、対象物の位置計測精度が対象物の形状に大きく左右されるという問題点がある。このため、対象物に位置検出用マークが形成されたターゲットマーカと呼ばれる部材を設置し、このターゲットマーカの画像を視覚センサで取得して、画像処理により対象物の相対位置を求める方法が提案されている。そのような例として、例えば特開平５−３１２５２１号公報には、ベース上に面積最大のリング状マーク及び一つだけ他と面積の異なる５個の円形マークを配置したターゲットマーカが記載されている。
【０００４】
この公知例のターゲットマーカでは、ターゲットマーカを構成する複数のマークの種別を形状と大きさで識別しているため、特に視覚センサでターゲットマーカを斜めから撮像した場合、大きさの違いを認識できないことがあり、マークの識別が困難となることがある。
【０００５】
また、この公知例では色については特に言及していないが、マークを形状・大きさで識別していることから、ベースとマークのいずれか一方が白、他方が黒であると考えられる。しかし、このような白黒のターゲットマーカでは、例えば宇宙空間で作業を行うロボットに適用することを考えた場合、マーカが太陽光線に反射してしまい、マーカ自体を周囲の物体と識別したり、各マークを識別する際の精度が著しく低下することが予想される。
【０００６】
【発明が解決しようとする課題】
上述したように、ベース上に形状や大きさの異なるマークを配置したターゲットマーカでは、マーカと視覚センサとの角度位置関係によってマークの識別が困難となったり、宇宙空間で使用するロボットに適用する場合に、太陽光線の反射によりターゲットマーカの他との識別及び各マークの識別が困難になるという問題があった。
【０００７】
本発明の目的は、視覚センサとの角度位置関係によらずマークの識別が容易であって、また太陽光線の反射の影響を受けることなく識別が可能なターゲットマーカを用いて対象物の相対位置を容易かつ確実に計測できる位置計測方法を提供することにある。
【０００９】
本発明のもう一つの目的は、ターゲットマーカによる対象物の相対位置計測結果に基づき対象物を確実に把持して所定の作業を行うことができるロボットシステムを提供することにある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係る位置計測方法は、第１の色に着色されたベースと、このベース上に配置され、少なくとも一つは第２の色に、他の少なくとも一つは第３の色にそれぞれ着色された３個以上のマークとを有するターゲットマーカを位置決めの対象物に設置し、このターゲットマーカを例えばステレオカラーＣＣＤカメラからなるカラー視覚センサにより撮像してカラー画像を取得し、このカラー画像中の第１乃至第３の成分に基づいて対象物の位置計測を行う。この位置計測においては、まず第１の色の成分に基づく粗位置計測を行い、次に第２及び第３の色の成分に基づいて対象物の姿勢を含めた精位置計測を行う。
【００１２】
さらに、本発明は対象物をロボットアームの先端で把持して所定の作業を行うロボットシステムにおいて、上記ターゲットマーカを対象物に設置し、ロボットアームの先端近傍に設置されたカラー視覚センサによりターゲットマーカを撮像してカラー画像を取得し、この取得されたカラー画像を画像処理部に入力して、カラー画像中の第１乃至第３の色の成分に基づく対象物の位置計測を行い、この画像処理部による対象物の位置計測結果に基づいてロボットアームを駆動制御するようにしたことを特徴とする。
【００１３】
ここで、画像処理部においてはカラー画像中の第１の色の成分に基づく対象物の粗位置計測と、カラー画像中の第２及び第３の色の成分に基づく対象物の姿勢を含めた精位置計測を行い、ロボットアームの駆動制御手段においては、粗位置計測結果に基づいてロボットアームの対象物を把持する把持部の粗位置決めを行った後、精位置計測結果に基づいてロボットアームの精位置決めを行うようにロボットアームを駆動制御するようにしてもよい。
【００１４】
より具体的に説明すると、まず粗位置計測においては、具体的にはターゲットマーカを撮像して取得したカラー画像を予め登録された基準カラーパターンと比較し、カラー画像の基準カラーパターンの範囲内に基準カラーパターンと同一色のみの領域が含まれるようにカラーパターンマッチングを行い、このカラーパターンマッチングでマッチングした位置においてカラー画像のカラーヒストグラムを作成して画像中のマーカのベースの色成分の明るさを調べ、この色成分の明るさと同じ明るさの範囲の領域をカラー画像から抜き出し、この抜き出した領域の画像とカラー画像との論理積を演算することにより、マーカのベースの部分の画像を抽出してその重心を求め、この重心とカラー視覚センサの重心からターゲットマーカの相対位置、すなわち対象物の位置をＸ−Ｙ−Ｚ座標からなる３次元位置として算出する。
【００１５】
一方、精位置計測においては、例えば粗位置計測時と同様にターゲットマーカを撮像して取得したカラー画像ついてカラーパターンマッチングを行い、このカラーパターンマッチングでマッチングした位置においてカラー画像のカラーヒストグラムを作成して画像中のマーカのベースの色成分の明るさを判定し、この赤色成分の明るさと同じ明るさの範囲の領域をカラー画像から抜き出し、この抜き出した領域とカラー画像全体との論理積を演算して、ターゲットマーカの第１の色の領域、つまりベースの領域の画像を抽出し、この領域の画像の輪郭を求めてベースの領域を識別して、このベースの領域内のカラー画像を例えばＲＧＢ−ＨＬＳ変換することにより第２の色及び第３の色にそれぞれ着色されたマークの部分の画像を抽出し二値化してその画像の重心、すなわち各マークの各々の中心の３次元座標を求め、マーク全体の３次元的な中心をターゲットマーカの中心として求める。
【００１６】
そして、各マークの各々の中心を通る平面を求め、この平面に垂直かつターゲットマーカの中心を通る法線ベクトルを求めた後、この法線ベクトルに対して垂直な２つのベクトルとして、第２の色に着色された二つのマークの中心からＹ方向のベクトル、また第２の色に着色されたマークの中心とこれに隣り合う第３の色に着色されたマークの中心からＸ方向のベクトルをそれぞれ求めることにより、対象物の位置をカラー視覚センサからのターゲットマーカの相対距離及び姿勢として計測する。
【００１７】
このように本発明では、第１の色に着色されたベースの上に、少なくとも一つは第２の色に、他の少なくとも一つは第３の色にそれぞれ着色された３個以上のマークを設けることにより、視覚センサとの角度位置関係によらずマークの識別が容易で、しかも白黒のターゲットマーカのように太陽光線の反射の影響を受けることなく識別が可能なターゲットマーカを構成でき、またこのターゲットマーカを用いて対象物の相対位置を容易かつ確実に計測することが可能であり、さらに、この相対位置計測結果に基づき対象物を確実に把持して所定の作業を行うロボットシステムを構築することができる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係るターゲットマーカの構成を示す平面図である。
このターゲットマーカ１は、図示しない対象物に設置されてその対象物の位置計測に用いられるものであり、矩形（この例では正方形）板状のマーカベース２と、このマーカベース２の表面上の４隅に配置されたマーク３ａ，３ｂ，３ｃ，３ｄからなる。ここで、マーカベース２は全表面またはマーク３ａ，３ｂ，３ｃ，３ｄの配置された表面が第１の色、例えば赤色（Ｒ）に着色されている。このようにマーカベース２の表面を赤色に着色する理由は、本実施形態ではマーカベース２の色は、これが設置される対象物の大まかな相対位置計測と位置決め（粗位置計測・位置決め）に使用する関係で、宇宙空間で最も視認性が高い色であることが望ましいと考えたからである。
【００１９】
一方、マーク３ａ，３ｂ，３ｃ，３ｄは、マーカベース２と異なる複数の色に着色されている、具体的には、図でマーカベース２の右側の辺に沿って隣り合うマーク３ａ，３ｂは第２の色、例えば黄色（Ｙ）に着色され、図でマーカベース２の左側の辺に沿って隣り合うマーク３ｃ，３ｄは第３の色、例えば緑色（Ｇ）に着色されている。
【００２０】
ターゲットマーカ１の各部の具体的な形状と寸法を例示すると、例えばマーカベース２は一辺の長さが３０ｍｍ程度の正方形、マーク３ａ，３ｂ，３ｃ，３ｄは直径が６ｍｍ程度の円形である。また、マーク３ａ，３ｂ，３ｃ，３ｄのマーカベース２の辺に沿う方向の間隔は２０ｍｍ程度である。
【００２１】
マーク３ａ，３ｂ，３ｃ，３ｄは、マーカベース２の表面から突出しないように、例えば薄いシート状に形成されてマーカベース２上に貼り付けられるか、あるいはマーカベース２の表面に直接プリントされることが望ましい。このようにマーク３ａ，３ｂ，３ｃ，３ｄをマーカベース２の表面から突出しないように形成することにより、後述するロボットアームで対象物を把持する際、マーク３ａ，３ｂ，３ｃ，３ｄがアームの移動に邪魔となるようなことがなくなる。また、マーク３ａ，３ｂ，３ｃ，３ｄは図の例では円形、すなわち等方的な形状であるが、四角形、三角形、楕円等のような非等方性の形状、つまり方向性を有する形状であってもよい。
【００２２】
図２は、図１のターゲットマーカ１を対象物１８に取り付け、ロボットアーム１１に対する対象物１８の相対位置計測と、それに基づくロボットアーム１１の対象物１８に対する位置決めを行い、対象物１８の取っ手１９を把持して運搬・組立等の所定の作業を行うロボットシステムの構成を示している。このロボットシステムは、地上で使用することももちろん可能であるが、特に宇宙空間での使用に適している。
【００２３】
図２において、ロボットアーム１１はロボットベース１２上に６自由度を持つように、６個の関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆと上腕１４及び下腕１５を有する構成となっている。また、ロボットアーム１１の先端には、対象物１８の取っ手１９を把持して所定の作業を行うためのエンド・エフェクタ１６が設けられている。
【００２４】
関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆについてさらに説明すると、関節部１３ａはロボットベース１２のロール軸の関節軸θ１（第１軸）、関節部１３ｂは下腕１５のピッチ軸の関節軸θ２（第２軸）、関節部１３ｃは上腕１４のピッチ軸の関節軸θ３（第３軸）、関節部１３ｄはエンドエフェクタ１６のピッチ軸の関節軸θ４（第４軸）、関節部１３ｅはエンドエフェクタ１６のヨー軸の関節軸θ５（第５軸）、関節部１３ｆはエンドエフェクタ１６のロール軸の関節軸θ６（第６軸）をそれぞれ有し、図中に一点鎖線で示すそれぞれの回転軸を中心に回転駆動されることにより、ロボットアーム１１の先端の位置・姿勢を変化させることができる。
また、各関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆには、図示しない位置センサ及び角度センサが取り付けられている。
【００２５】
エンドエフェクタ１６には、カラー視覚センサ１７が取り付けられている。このカラー視覚センサ１７は、例えばステレオカラーＣＣＤカメラによって構成され、対象物１８に取り付けられたターゲットマーカ１を含むカラー画像、すなわターゲットマーカ１とその周辺部のカラー画像（例えばＲＧＢ画像）を取得し、カラー画像信号を制御装置２１に出力する。
【００２６】
制御装置２１は、図３に示すようにカラー視覚センサ１７から入力されるカラー画像信号を処理する画像処理部２２、この画像処理部２２からの出力信号を入力とする駆動制御部２３、及び駆動制御部２３により制御されて関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆを回転駆動する駆動装置２４から構成されている。
【００２７】
次に、本実施形態に係るロボットシステムの動作について説明する。
まず、ロボットアーム１１の先端に取り付けられたカラー視覚センサ１７により、対象物１８上のターゲットマーカ１を撮像して、ターゲットマーカ１を含むＲＧＢ画像を取得する。このカラー視覚センサ１７によって得られたＲＧＢ画像の画像信号は、制御装置２１に入力される。制御装置２１に入力された画像信号は画像処理部２２により処理され、ロボットアーム１１に対するターゲットマーカ１の相対位置、つまり対象物１８の相対位置が計測される。
【００２８】
この相対位置の計測結果に基づき駆動制御部２３によって駆動装置２４が制御されることにより、関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆが回転駆動され、ロボットアーム１１の位置決めが行われる。この後、エンドエフェクタ１６によって対象物１８の取っ手１９が把持され、対象物１８の運搬や組立といった所定の作業が行われる。
【００２９】
対象物１８の相対位置の計測とロボットアーム１１の位置決めは、本実施形態では粗位置計測・位置決めモードと精位置計測・位置決めモードの順で行われる。以下、各モードの詳細な手順について説明する。
【００３０】
（粗位置計測・位置決めモード）
粗位置計測・位置決めモードは、例えばターゲットマーカ１の各部の寸法が前述の例の場合（特に、マーカベース２の一辺の長さが３０ｍｍの場合）、カラー視覚センサ１７からターゲットマーカ１までの距離が２００ｍｍ以上離れているときに用いられる。図４は、粗位置計測・位置決めモードでの処理手順を示している。
【００３１】
この粗位置計測・位置決めモードでは、まずステレオカラーＣＣＤカメラからなるカラー視覚センサ１７をターゲットマーカ１の方向に向けた状態で撮像して得られるカラー画像信号、すなわちＲＧＢ画像を取り込む（ステップＳ１１）。
【００３２】
次に、カラーパターンマッチング、すなわち、図５に示すように、取り込んだＲＧＢ画像４０を予め登録された基準カラーパターン（マーカベース２の色と同じ色でかつ所定形状のカラーパターン）４１と比較し、ＲＧＢ画像４０の基準カラーパターン４１の範囲内に基準カラーパターン４１と同一色のみの領域が含まれるように、ロボットアーム１１の位置決めを行う（ステップＳ１２）。この例では、基準カラーパターン４１の色は、マーカベース２が赤色であるため、赤色に設定されている。また、基準カラーパターン４１の形状は図５では矩形となっているが、円形その他の形状であってもよい。
【００３３】
次に、ステップＳ１２のカラーパターンマッチングでマッチングした位置、つまりＲＧＢ画像４０の基準カラーパターン４１の範囲内に基準カラーパターン４１と同一色のみの領域が含まれるようにロボットアーム１１を位置決めした状態で、図６に示すようにＲＧＢ画像４０のカラーヒストグラムを作成し、ＲＧＢ画像４０中のマーカベース２の色成分であるＲ（赤色）成分の明るさを調べる（ステップＳ１３）。図６のカラーヒストグラムは、横軸に明るさ（輝度）、縦軸に頻度をとっている。明るさ（輝度）は色の成分によって異なり、この例ではＲ（赤色）成分が最大輝度となっている。
【００３４】
次に、図７に示すようにＲＧＢ画像４０からステップＳ１３で求められた赤色成分の明るさと同じ明るさの範囲の領域を抜き出し、この抜き出した領域の画像とＲＧＢ画像との論理積を演算することにより、ターゲットマーカ１の赤色領域４２、すなわちマーカベース２の部分の画像を抽出する（ステップＳ１４）。
【００３５】
次に、ステップＳ１４で抽出されたターゲットマーカ１の赤色領域４２（マーカベース２の部分）の重心４３を算出する（ステップＳ１５）。重心４３の算出は、公知の種々の画像処理手法を用いることができ、例えば、赤色領域４２の画像について、Ｘ方向に関してはこれと垂直なＹ方向の画素数に応じたＸ座標値の加重平均をとりその平均値をＸ方向の重心（重心４３のＸ座標）とし、同様にＹ方向に関してもこれと垂直なＸ方向の画素数に応じたＹ座標値の加重平均をとりその平均値をＹ方向の重心（重心４３のＹ座標）とすればよい。
【００３６】
次に、カラー視覚センサ１７であるステレオカラーＣＣＤカメラの重心（左側のカメラの光軸と右側のカメラの光軸との中心）と、ステップＳ１５で算出されたマーカベース２の重心４３から、ロボットアーム１１に対するターゲットマーカ１の相対位置をＸ−Ｙ−Ｚ座標からなる３次元位置として算出する（ステップＳ１６）。ここで、ターゲットマーカ１の相対位置（３次元位置）を表すＸ−Ｙ−Ｚ座標のうち、Ｘ，ＹはＲＧＢ画像におけるマーカベース２の重心位置４３のＸ−Ｙ座標として求めることができ、またＺは三角測量の原理でカラー視覚センサ１７であるステレオカラーＣＣＤカメラの重心とマーカベース２の重心４３との距離として求めることができる。
【００３７】
以上のステップＳ１１〜Ｓ１６により、ロボットアーム１１に対するターゲットマーカ１の概略的な相対位置が求まる。すなわち、ロボットアーム１１に対する対象物１８の相対位置の粗位置計測が行われたことになる。
【００３８】
そこで、次にロボットアーム１１の現在位置（３次元位置）と、予めターゲットマーカ１の相対位置（３次元位置）を基準にして生成した指令位置により、ロボットアーム１１の先端（エンドエフェクタ１６）についてのみの位置決め（粗位置決め）を行う（ステップＳ１７）。
【００３９】
具体的には、制御装置２１内の駆動制御部２３において、ロボットアーム１１の各関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆの位置を検出する図示しない位置センサの出力より算出したベース座標系（ロボットベース１２を基準とする座標系）（Σｂａｓｅ）でのロボットアーム１１の先端位置ｂａｓｅＴｔｉｐと、ロボットアーム１１に対するカラー視覚センサ１７の取り付け状態で決まるアーム先端座標系（ロボットアーム１１の先端であるエンドエフェクタ１６の位置を基準とする座標系）（Σｔｉｐ）でのカラー視覚センサ１７の位置ｔｉｐＴｃａｍｅｒａを用いて、ロボットアーム１１の先端の目標位置を示すアーム先端位置指令ｂａｓｅＴｔｉｐ  ｄｅｍａｎｄが次式により算出される。
ｂａｓｅＴｔｉｐ  ｄｅｍａｎｄ＝ｔｉｐＴｃａｍｅｒａ・ｃａｍｅｒａＴｍａｒｋｅｒ・ｍａｒｋｅｒＴｔｉｐ  ｄｅｍａｎｄ さらに、こうして算出されたアーム先端位置指令ｂａｓｅＴｔｉｐ  ｄｅｍａｎｄに基づいてロボットアーム１１の先端の目標速度を示すアーム先端速度指令が生成される。
【００４０】
粗位置計測・位置決めモードでは、上述したように視覚センサ座標系（カラー視覚センサ１７の位置を基準とする座標系）（Σｃａｍｅｒａ）でのターゲットマーカ１の相対位置のみが計測され、ターゲットマーカ１の姿勢は計測されない。従って、カラー視覚センサ１７を用いて計測された視覚センサ座標系（Σｃａｍｅｒａ）でのターゲットマーカ１の位置ｃａｍｅｒａＴｍａｒｋｅｒ、及び予め指令されたマーカ座標系（ターゲットマーカ１の位置を基準とする座標系）（Σｍａｒｋｅｒ）でのアーム先端位置指令ｍａｒｋｅｒＴｔｉｐ  ｄｅｍａｎｄのうちの姿勢項については、ターゲットマーカ１がカラー視覚センサ１７に対して正対しているものとして、アーム先端速度指令を生成する。
【００４１】
すなわち、視覚センサ座標系（Σｃａｍｅｒａ）でのターゲットマーカ１の姿勢項、マーカ座標系（Σｍａｒｋｅｒ）でのアーム先端位置指令ｍａｒｋｅｒＴｔｉｐ  ｄｅｍａｎｄは、各々の座標系（Σｃａｍｅｒａ）、（Σｍａｒｋｅｒ）に対しそれぞれ正対しているものとして演算される。
【００４２】
こうして生成されたアーム先端速度指令が制御装置２１内の駆動制御部２２から駆動装置２３に入力されることによって、ロボットアーム１１の粗位置決めが行われる。
【００４３】
（精位置計測・位置決めモード）
精位置計測・位置決めモードは、例えばターゲットマーカ１の各部の寸法が前述の例の場合（特に、マーカベース２の一辺の長さが３０ｍｍの場合）、カラー視覚センサ１７からターゲットマーカ１までの距離が２００ｍｍ以内まで近づいたときに用いられる。従って、ロボットシステム１１の初期状態においてカラー視覚センサ１７からターゲットマーカ１までの距離が２００ｍｍ以内にあれば、前述した粗位置計測・位置決めモードは省略され、精位置計測・位置決めモードのみが用いられる。
【００４４】
図８は、精位置計測・位置決めモードでの処理手順を示している。この精位置計測・位置決めモードにおいて、ステップＳ２１〜Ｓ２３の処理は図４に示した粗位置計測・位置決めモードにおけるステップＳ１１〜Ｓ１３の処理と同様である。
【００４５】
すなわち、カラー視覚センサ１７によって取得されたＲＧＢ画像を取り込み（ステップＳ２１）、このＲＧＢ画像についてカラーパターンマッチングを行い（ステップＳ２２）、このマッチング位置でカラーヒストグラムを作成してマーカベース２の色である赤色成分の明るさを判定する（ステップＳ２３）
次に、本実施形態ではステップＳ２３で判定された赤色成分の明るさと同じ明るさの範囲の領域をＲＧＢ画像４０から抜き出し、この抜き出した領域とＲＧＢ画像４０との論理積を演算して、ターゲットマーカ１の赤色領域４２（マーカベース２の領域）の画像を抽出し、赤色領域４２の画像の輪郭を求めることにより赤色領域４２、すなわちマーカベース２の領域を識別する（ステップＳ２４）。
【００４６】
精位置計測・位置決めモードでは、次にステップＳ２４で識別されたマーカベース２の領域の内部の画像をＲＧＢ−ＨＬＳ（色相）変換することにより、図９に示すように黄色領域、すなわちマーク３ａ，３ｂの部分の画像を抽出し、それを二値化する（ステップＳ２５）。
【００４７】
次に、ステップＳ２５で求められた二値化された黄色領域の画像の重心、すなわちマーク３ａ，３ｂの各々の中心を求める（ステップＳ２６）。
【００４８】
次に、ステップＳ２５と同様に、ステップＳ２４で識別されたマーカベース２の領域の内部の画像をＲＧＢ−ＨＬＳ（色相）変換することにより、図１０に示すように緑色領域、すなわちマーク３ｃ，３ｄの部分の画像を抽出し、それを二値化する（ステップＳ２７）。
【００４９】
次に、ステップＳ２６と同様に、ステップＳ２７で求められた二値化された緑色領域の画像の重心、すなわちマーク３ｃ，３ｄの各々の中心を求める（ステップＳ２８）。
【００５０】
ステップＳ２５〜Ｓ２８の処理は、カラー視覚センサ１７を構成するステレオカラーＣＣＤカメラの左右両方のカメラで取得されたＲＧＢ画像に対して行われる。これにより、４個のマーク３ａ，３ｂ，３ｃ，３ｄの各々の中心が３次元座標として求められる。そこで、次に４個のマーク３ａ，３ｂ，３ｃ，３ｄの各々の中心の３次元座標から、マーク３ａ，３ｂ，３ｃ，３ｄ全体の３次元的な中心をターゲットマーカ１の中心として求める（ステップＳ２９）。
【００５１】
次に、４個のマーク３ａ，３ｂ，３ｃ，３ｄの各々の中心を通る平面を例えば最小二乗法で求め、この平面に垂直かつステップＳ２９で求められたターゲットマーカ１の中心を通る法線ベクトルを求める（ステップＳ３０）。
【００５２】
次に、この法線ベクトルに対して垂直な２つのベクトルを求める（ステップＳ３１）。すなわち、ステップＳ２６で求められた二つの黄色のマーク３ａ，３ｂの中心から、Ｙ方向（垂直方向）のベクトルを求め、また黄色の一つのマーク（例えばマーク３ａ）の中心と、このマーク３ａとマーカベース２の同一辺に沿って隣り合う緑色のマーク（例えばマーク３ｄ）の中心から、Ｘ方向（水平方向）のベクトルを求める。
【００５３】
以上のステップＳ２１〜Ｓ３１により、ターゲットマーカ１のカラー視覚センサ１７からの相対位置（相対距離及び姿勢）が求められたことになる。
そこで、次にロボットアーム１１の現在位置（３次元位置）とステップＳ２１〜Ｓ３３で求められたターゲットマーカ１の相対距離及び姿勢に基づいて、ロボットアーム１１の先端（エンドエフェクタ１６）のロボットベース１２を基準とした指令位置を生成し、この指令位置によりロボットアーム１１全体の位置決め、すなわち精位置決めを行う（ステップＳ３２）。
【００５４】
具体的には、制御装置２１内の駆動制御部２３において、ロボットアーム１１の各関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆの角度を検出する図示しない角度センサの出力より算出したベース座標系（ロボットベース１２を基準とする座標系）（Σｂａｓｅ）でのアーム先端位置ｂａｓｅＴｔｉｐと、ロボットアーム１１に対するカラー視覚センサ１７の取り付け状態で決まるアーム先端座標系（エンドエフェクタ１６の位置を基準とする座標系）（Σｔｉｐ）でのカラー視覚センサ１７の位置ｔｉｐＴｃａｍｅｒａと、カラー視覚センサ１７を用いて計測した視覚センサ座標系（カラー視覚センサ１７を基準とした座標系）（Σｃａｍｅｒａ）でのターゲットマーカ１の位置ｃａｍｅｒａＴｍａｒｋｅｒと、予め指令したマーカ座標系（ターゲットマーカ１の位置を基準とする座標系）（Σｍａｒｋｅｒ）でのアーム先端位置指令ｍａｒｋｅｒＴｔｉｐ  ｄｅｍａｎｄを用いて、アーム先端位置指令ｂａｓｅＴｔｉｐ  ｄｅｍａｎｄが次式により算出される。
ｂａｓｅＴｔｉｐ  ｄｅｍａｎｄ＝ｂａｓｅＴｔｉｐ・ｔｉｐＴｃａｍｅｒａ・ｃａｍｅｒａＴｍａｒｋｅｒ・ｍａｒｋｅｒＴｔｉｐ  ｄｅｍａｎｄ
さらに、このアーム先端位置指令ｂａｓｅＴｔｉｐ  ｄｅｍａｎｄに基づいてアーム先端速度指令が作成される。こうして生成されたアーム先端速度指令が制御装置２１内の駆動制御部２２から駆動装置２３に入力されることにより、ロボットアーム１１全体の精位置決めが行われる。
【００５５】
このように本実施形態によれば、ターゲットマーカ１が第１の色（例えば赤色）に着色されたマーカベース２と、このマーカベース２上に設置された複数のマーカ３ａ，３ｂ，３ｃ，３ｄとから構成され、マーカベース２の右側の辺に沿って隣り合うマーク３ａ，３ｂは第２の色（例えば黄色）に着色され、マーカベース２の左側の辺に沿って隣り合うマーク３ｃ，３ｄは第３の色（例えば緑色）に着色されている。
【００５６】
そして、このターゲットマーカ１のカラー画像（例えばＲＧＢ画像）をカラー視覚センサ１７により取得し、マーカベース２の色とマーク３ａ，３ｂ，３ｃ，３ｄの色の違い及び各マーク３ａ，３ｂ，３ｃ，３ｄの色の違いを利用して対象物１８の粗位置及び精位置計測を行う。
【００５７】
従って、例えば視覚センサ１７から見てターゲットマーカ１が斜めの位置関係にあってマーカベース２及びマーク３ａ，３ｂ，３ｃ，３ｄが例えば円形が変形して楕円に見えたり、マーク相互の大小関係が異なって見えたような場合でも、これらの影響を受けることなく、マーカベース２及びマーク３ａ，３ｂ，３ｃ，３ｄの識別を行うことができる。
【００５８】
また、マーカベース２及びマーク３ａ，３ｂ，３ｃ，３ｄはそれぞれ固有の色（有彩色）に着色されているため、例えば宇宙空間で衛星に搭載されて使用されるロボットシステムに適用する場合でも、太陽光線の反射の影響を受けることなく、これらを確実に識別することができる。
【００５９】
従って、カラー視覚センサ１７で取得したターゲットマーカ１のカラー画像に基づく対象物１８の位置計測を高い信頼性をもって行うことが可能となり、ロボットシステムのロボットアーム１１による対象物の把持操作を確実に行うことができる。
【００６０】
本発明は、上記実施形態に限られるものではなく、種々変形して実施することが可能である。例えば、ターゲットマーカについては、図１に示した構成以外に図１１に示すような種々の変形が可能である。
【００６１】
図１１（ａ）は、図１に示したターゲットマーカ１における緑色の二つのマーク３ｃ，３ｄのうちの一方３ｄを省略した例、図１１（ｂ）は図１に示したターゲットマーカ１における黄色の二つのマーク３ａ，３ｂのうちの一方３ｂを省略した例である。このようにターゲットマーカにおけるマークの数は３個であってもよく、その少なくとも一つが第２の色、他の少なくとも一つが第３の色であればよい。
【００６２】
図１１（ｃ）は、図１１（ａ）のターゲットマーカ１を変形し、３個のマーク３ａ，３ｂ，３ｃを正三角形の３つの頂点にそれぞれ配置した例である。この場合、前述した精位置計測・位置決めモードにおいてステップＳ３１で法線ベクトルに対して垂直な２つのベクトルを求める際、例えばＹ方向（垂直方向）のベクトルについては、ステップＳ２６で求められた二つの黄色のマーク３ａ，３ｂの中心間のベクトルをＹ方向（垂直方向）のベクトルに換算して求めればよい。
【００６３】
図１１（ｄ）は、マーカベース２の形状を円形とした例である。この場合、例えば前述した粗位置計測・位置決めモード及び精位置計測・位置決めモードにおいて、ターゲットマーカ１の赤色領域４２（マーカベース２の領域）の重心４３を算出するステップＳ１５は、赤色領域４２の画像の重心を公知の画像処理で求めることにより実現できる。また、マーカベース２の形状は、他に長方形、菱形、楕円形等であっても構わない。
【００６４】
さらに、以上説明したターゲットマーカでは、マーカベースの色である第１の色を赤、マークの色である第２、第３の色を黄色、緑色としたが、これらの一路の組み合わせは任意に変更できることはいうまでもない。
【００６５】
【発明の効果】
以上説明したように、本発明によれば視覚センサとの角度位置関係によらずマークの識別が容易で、しかも太陽光線の反射の影響を受けることなく識別が可能なターゲットマーカを提供でき、またこのターゲットマーカを用いて対象物の相対位置を容易かつ確実に計測することが可能となり、さらにこの相対位置計測結果に基づき対象物を確実に把持して所定の作業を行うロボットシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るターゲットマーカの構成を示す平面図
【図２】同実施形態に係るロボットシステムの概略構成を示す図
【図３】図２中に示した制御装置の構成を示すブロック図
【図４】同実施形態における粗位置計測・位置決めモードの処理手順を示すフローチャート
【図５】図４におけるステップＳ１２のカラーパターンマッチング処理を説明するための図
【図６】図４におけるステップＳ１３で作成されるカラーヒストグラムの例を示す図
【図７】図４におけるステップＳ１４〜Ｓ１５の処理を説明するための図
【図８】同実施形態における精位置計測・位置決めモードの処理手順を示すフローチャート
【図９】図８におけるステップＳ２５〜Ｓ２６の処理を説明するための図
【図１０】図８におけるステップＳ２７〜Ｓ２８の処理を説明するための図
【図１１】本発明の他の実施形態に係るターゲットマーカの構成を示す平面図
【符号の説明】
１…ターゲットマーカ
２…マーカベース（赤色）
３ａ，３ｂ…マーク（黄色）
３ｃ，３ｄ…マーク（緑色）
１１…ロボットアーム
１２…ロボットベース
１３ａ〜１３ｆ…関節部
１４…上腕
１５…下腕
１６…エンドエフェクタ（アーム先端）
１７…カラー視覚センサ
１８…対象物
１９…取っ手
２１…制御装置
２２…画像処理部
２３…駆動制御部
２４…駆動装置
４０…ＲＧＢ画像
４１…基準カラーパターン
４２…赤色領域（マーカベース部分）
４３…赤色領域の重心
【図１】
0003626400.tif 000002
【図２】
0003626400.tif 000003
【図３】
0003626400.tif 000004
【図４】
0003626400.tif 000005
【図５】
0003626400.tif 000006
【図６】
0003626400.tif 000007
【図７】
0003626400.tif 000008
【図８】
0003626400.tif 000009
【図９】
0003626400.tif 000010
【図１０】
0003626400.tif 000011
【図１１】
0003626400.tif 000012