(57)【要約】  実施が容易で、レンズ歪等の影響を受けない多関節ロボットシステム・制御装置・制御方法を提供する。  ロボットシステム（１０）は、多関節ロボット（２０）と、前記ロボットの作業空間を撮像する１台以上のカメラ（３０、３１）と、制御装置（４０）とを有する。そして、制御装置は、キャリブレーション時において、ロボットの姿勢パラメータを取得し、カメラから画像を取得し、画像中にロボットに固定された標識（５０）を認識して標識の位置情報を算出し、標識の位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、制御装置は、作業時において、カメラから画像を取得し、画像中に対象物を認識して対象物の位置情報を算出し、対象物の位置情報から、参照表を参照して、ハンド（２４）を対象物まで移動させるための姿勢パラメータを取得し、取得した姿勢パラメータをロボットに送信する。。
2018043524.tif 000002
【特許請求の範囲】
【請求項１】
多関節ロボットと、  前記ロボットの作業空間を撮像する１台以上のカメラと、  制御装置とを有し、  前記制御装置は、キャリブレーション時において、    前記ロボットの姿勢パラメータを取得し、    前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、    前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶し、  前記制御装置は、作業時において、    前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、    前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、    取得した前記姿勢パラメータを前記ロボットに送信する、ロボットシステム。
【請求項２】
前記ロボットシステムは第１カメラおよび第２カメラを有し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、請求項１に記載のロボットシステム。
【請求項３】
前記ロボットシステムは第１カメラおよび第２カメラを有し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、請求項１に記載のロボットシステム。
【請求項４】
前記ロボットシステムは第１カメラおよび第２カメラを有し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、請求項１に記載のロボットシステム。
【請求項５】
前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、請求項１に記載のロボットシステム。
【請求項６】
前記カメラが距離画像カメラであって、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、請求項１に記載のロボットシステム。
【請求項７】
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、請求項１に記載のロボットシステム。
【請求項８】
前記姿勢パラメータが、前記ロボットの関節変数の組である、請求項１〜７のいずれか一項に記載のロボットシステム。
【請求項９】
前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、請求項１〜７のいずれか一項に記載のロボットシステム。
【請求項１０】
多関節ロボットのキャリブレーション時において、  前記ロボットの姿勢パラメータを取得し、  前記ロボットの作業空間を撮像する１台以上のカメラから該ロボットに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、  前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する、ロボットシステム制御装置。
【請求項１１】
前記ロボットの作業時において、  前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、  前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、  取得した前記姿勢パラメータを前記ロボットに送信する、請求項１０に記載のロボットシステム制御装置。
【請求項１２】
前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と第２カメラによる画像中の画素位置との組である、請求項１１に記載のロボットシステム制御装置。
【請求項１３】
前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、請求項１１に記載のロボットシステム制御装置。
【請求項１４】
前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、請求項１１に記載のロボットシステム制御装置。
【請求項１５】
前記カメラは、前記作業空間の直接像および鏡による反射像を１枚の画像に撮像し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、請求項１１に記載のロボットシステム制御装置。
【請求項１６】
前記カメラが距離画像カメラであって、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる画像中の画素位置と距離情報との組である、請求項１１に記載のロボットシステム制御装置。
【請求項１７】
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、請求項１１に記載のロボットシステム制御装置。
【請求項１８】
前記姿勢パラメータが、前記ロボットの関節変数の組である、請求項１１〜１７のいずれか一項に記載のロボットシステム制御装置。
【請求項１９】
前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、請求項１１〜１７のいずれか一項に記載のロボットシステム制御装置。
【請求項２０】
標識が固定された多関節ロボットを動作させて前記標識を移動させながら、  前記ロボットの作業空間を１台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録するキャリブレーション工程と、  対象物が存在する作業空間を前記カメラで撮像し、  前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、  取得した前記姿勢パラメータを該ロボットに送信する作業工程と、を有するロボットシステム制御方法。
【請求項２１】
前記１台以上のカメラは第１カメラおよび第２カメラであり、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と第２カメラによる画像中の画素位置との組である、請求項２０に記載のロボットシステム制御方法。
【請求項２２】
前記１台以上のカメラは第１カメラおよび第２カメラであり、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、請求項２０に記載のロボットシステム制御方法。
【請求項２３】
前記１台以上のカメラは第１カメラおよび第２カメラであり、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、請求項２０に記載のロボットシステム制御方法。
【請求項２４】
前記カメラは、前記作業空間と該作業空間が映り込むように配置された鏡とを１枚の画像内に撮像し、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、請求項２０に記載のロボットシステム制御方法。
【請求項２５】
前記カメラが距離画像カメラであって、  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、請求項２０に記載のロボットシステム制御方法。
【請求項２６】
前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、請求項２０に記載のロボットシステム制御方法。
【請求項２７】
前記姿勢パラメータが、前記ロボットの関節変数の組である、請求項２０〜２６のいずれか一項に記載のロボットシステム制御方法。
【請求項２８】
前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、請求項２０〜２６のいずれか一項に記載のロボットシステム制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、多関節ロボットのハンドを目標となる対象物まで移動させるためのロボットシステムに関する。また、本発明は、かかるロボットシステムの制御装置および制御方法に関する。
【背景技術】
【０００２】  多関節ロボットを用いて、カメラ等の視覚センサから得た情報を基に、ロボット自身が周辺環境を認識して作業を行うシステムが研究されている。例えば、バラ積みされた対象物をカメラで認識し、ロボットのアームの先端にあるハンドを作業対象物まで移動させて掴む、といった作業である。【０００３】  一般的なロボットシステムでは、ロボットのハンドを目標となる対象物まで移動させるために、カメラ等で対象物の位置情報を得た後、この位置情報をカメラ座標系からロボット座標系に変換してロボットに伝える。ここで、カメラ座標系からロボット座標系への変換には、カメラとロボットの相対位置関係を予め求めておく必要がある。そのため、キャリブレーションによって、カメラ座標系−世界座標系間、およびロボット座標系−世界座標系間の座標変換を行なうための変換行列を求める。これにより、対象物のカメラ座標系における位置座標を、世界座標系を介して、ロボット座標系における位置座標に変換することができる。【０００４】  しかし、カメラ座標系−世界座標系間の変換行列を決定するには、カメラの焦点距離、画像中心、画像サイズ（画素サイズ）、歪曲収差係数等の内部パラメータと、カメラの位置姿勢を表す外部パラメータを知る必要がある。そのために、例えば、チェッカーボード等の平面パターンとカメラの位置を高精度の三次元測定器を用いて求めることになり、極めて手間とコストのかかる作業を要した。【０００５】  ロボット座標系−世界座標系間の座標変換を決定するにも、世界座標系での位置座標が正確に分かっている教示点に、人手によりハンド移動させて姿勢パラメータを計測するなど、やはり極めて手間とコストのかかる作業が必要であった。【０００６】  これに対して、特許文献１には、ロボットアーム装置の先端部に把持させた指し棒の先端が長方形を描くようにロボットアーム装置を動作させ、長方形の各頂点の位置をステレオ画像計測し、そのデータを基に座標変換データを計算して、長方形を基準とする中間座標系を介してロボットアーム装置とステレオ計測装置との相対位置姿勢関係を求める方法が記載されている。特許文献１によれば、設計データでなく、実際にロボットシステムにより計測したデータを用いるので、システム製作時に生じる加工・取り付けによる誤差の影響を受けず、ロボットアーム装置とステレオ画像計測装置の正確な相対位置姿勢関係を求めることができ、また、キャリブレーション作業に要する時間を短縮できるとされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−１２８５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】  しかし、特許文献１に記載された方法では、長方形の４頂点の計測に基づいて変換行列を算出するので、レンズの歪曲収差等を正確には再現できない。仮に歪曲収差がない場合でも、カメラ座標系−中間座標系間、および中間座標系−ロボット座標系間の座標変換に変換行列を用いるので、不規則なレンズ歪などによる誤差があると、それを完全には排除できない。【０００９】  本発明は、上記を考慮してなされたものであり、設置したカメラやロボットの位置計測が不要で、かつ、レンズ歪等の影響を受けずに、カメラ画像に基づいて多関節ロボットのハンドを目標位置まで移動可能なロボットシステム、ロボットシステム制御装置およびロボットシステム制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】  上記目的のために、本発明では、カメラの画像から得られる位置情報と、多関節ロボットの姿勢パラメータとを直接関連付けた参照表を利用して、ロボットを制御する。【００１１】  具体的には、本発明のロボットシステムは、多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有する。そして、前記制御装置は、キャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、前記制御装置は、作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。【００１２】  ここで、ロボットの姿勢パラメータとは、ロボットの姿勢に関連するパラメータであって、少なくともハンドの位置を決定できるものをいう。また、ロボットに固定された標識とは、ハンドが保持する標識などの、ロボットのハンドまたはアームとの位置関係が固定された標識をいう。【００１３】  好ましくは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である。【００１４】  あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組であってもよい。【００１５】  あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。【００１６】  あるいは、前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有しており、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組であってもよい。【００１７】  あるいは、前記カメラが距離画像カメラであって、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組であってもよい。【００１８】  あるいは、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組であってもよい。【００１９】  上記いずれかのロボットシステムにおいて、好ましくは、前記姿勢パラメータが、前記ロボットの関節変数の組である。【００２０】  あるいは、上記いずれかのロボットシステムにおいて、前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標であってもよい。【００２１】  本発明のロボットシステム制御装置は、多関節ロボットのキャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記ロボットの作業空間を撮像する１台以上のカメラから該ロボットのハンドに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。【００２２】  好ましくは、本発明のロボットシステム制御装置は、前記ロボットの作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。【００２３】  本発明の他のロボットシステム制御装置は、多関節ロボットの姿勢パラメータを該ロボットに送信および／または該ロボットから受信する第１通信部と、前記ロボットに固定された標識が写った画像をカメラから受信する第２通信部と、前記画像から前記標識を認識して該標識の位置情報を算出し、該ハンドの位置情報と前記姿勢パラメータとを関連付けた参照表を作成する演算部と、前記参照表を記憶する記憶部とを有する。【００２４】  好ましくは、本発明の他のロボットシステム制御装置は、前記第２通信部が対象物が写った画像を前記カメラから受信し、前記演算部が前記画像から前記対象物を認識して、該対象物の位置情報を算出し、前記参照表を参照して、前記対象物の位置情報から前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、前記第１通信部が前記姿勢パラメータを前記ロボットに送信する。【００２５】  本発明のロボットシステム制御方法は、キャリブレーション工程と作業工程とを有する。キャリブレーション工程では、標識が固定された多関節ロボットを動作させて前記標識を移動させながら、前記ロボットの作業空間を１台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録する。作業工程では、対象物が存在する作業空間を前記カメラで撮像し、前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを該ロボットに送信する。
【発明の効果】
【００２６】  本発明のロボットシステム、ロボットシステム制御装置、またはロボットシステム制御方法によれば、実際のカメラおよびロボットを用いて、カメラによる位置情報とロボットの姿勢パラメータを直接関連付けた参照表を作成し、その参照表に基づいてロボットを動作させる。参照表は実際のカメラおよびロボットを用いて作成されるので、システム製作時の誤差や不規則なレンズ歪等の影響を受けずに、ハンドを目標位置まで移動させることができる。また、世界座標など他の座標系を介しないので、カメラの内部・外部パラメータや、ロボットの設置位置・向き等を計測する必要がなく、キャリブレーション作業の省力化を図ることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態のロボットシステムの全体構成図である。
【図２】本発明の第１実施形態のロボットシステム制御装置の機能ブロック図である。
【図３】本発明の第１実施形態のロボット制御方法のフロー図である。
【図４】本発明の第１実施形態のロボット制御方法のキャリブレーション工程のフロー図である。
【図５】本発明の第１実施形態のロボット制御方法の作業工程におけるハンド移動のフロー図である。
【図６】本発明の第１実施形態によるキャリブレーション時の画像である。
【図７】本発明の第１実施形態の参照表の例を示す図である。
【図８】本発明の第１実施形態の参照表の他の例を示す図である。
【図９】本発明の第１実施形態の参照表の他の例を示す図である。
【図１０】本発明の第２実施形態のロボットシステムの全体構成図である。
【図１１】本発明の第２実施形態によるキャリブレーション時の画像である。
【図１２】本発明の第２実施形態の参照表の例を示す図である。
【図１３】本発明の第３実施形態のロボットシステムの全体構成図である。
【図１４】本発明の第３実施形態の参照表の例を示す図である。
【図１５】本発明の第４実施形態のロボットシステムの全体構成図である。
【図１６】本発明の第４実施形態によるキャリブレーション時の画像である。
【図１７】本発明の第４実施形態の参照表の例を示す図である。
【図１８】本発明の第５実施形態のロボットシステムの全体構成図である。
【発明を実施するための形態】
【００２８】  本発明の第１実施形態を図１〜図９に基づいて説明する。
【００２９】  図１において、本実施形態のロボットシステム１０は、多関節ロボット２０と、ロボットの作業空間を撮像する第１カメラ３０および第２カメラ３１と、ロボットシステム制御装置４０を有する。以下において「ロボットシステム制御装置」を単に「制御装置」という。
【００３０】  ロボット２０は作業場に固定される。ロボット２０は、ロボットを作業場に固定するためのベース２５と、複数のリンク２２が関節２３で接続されたアーム２１と、アームの先端に接続されたハンド２４と、駆動部２６を有する。ロボットの各関節はサーボモータ等のアクチュエータ（図示せず）と、その関節の関節変数を検知するセンサー（図示せず）を備える。ここで、関節変数とはその関節の変位をいい、具体的には回転関節の関節角度（リンク間角度）や直動関節のリンク間距離のことをいう。ハンド２４は手先、エンドエフェクタとも呼ばれる。図１はキャリブレーション時の様子を示しており、ロボットはハンドに標識５０を把持している。
【００３１】  ロボット２０の駆動部２６は、アームおよびハンドを駆動する。最も単純な構成の駆動部は、サーボアンプ等の駆動装置からなり、外部から受信する関節変数に基づいて各関節のアクチュエータを駆動する。あるいは、駆動部は、各種の演算処理を行うＣＰＵやプログラム等を格納するメモリをさらに有していて、ロボット座標系におけるハンドの三次元位置座標を外部から受信して、関節変数を算出可能であってもよい。ここで、ロボット座標系は、ロボットの不動点を基準とする座標系であって、好ましくは、ベース２５を基準とする座標系である。ロボット座標系は、直交座標系であっても各種極座標系であってもよい。以下、単に「三次元位置座標」というときは、ロボット座標系における三次元位置座標を意味する。
【００３２】  ロボット２０は、ベース２５が作業場に固定され、キャリブレーション時および作業時を通して移動することがない。したがって、ハンド２４の位置は、関節変数の組み合わせや三次元位置座標によって表すことができる。例えば、アーム２１の自由度が３である場合、アームの３つの関節変数によって、ハンドの位置とアームの姿勢が定まる。あるいは、アーム２１の自由度が３でハンド２４の自由度が３である場合、アームおよびハンドの６つの関節変数によって、ハンドの位置および姿勢とアームの姿勢が定まる。また、ハンドの三次元位置座標はハンドの位置を表している。このように、ロボットの姿勢に関連し、少なくともハンドの位置を決定できるパラメータを、本明細書中で「ロボットの姿勢パラメータ」という。
【００３３】  ロボットの形式は特に限定されず、図１に例示したシリアルリンク形の垂直多関節ロボットの他、水平多関節形やパラレルリンク形など各種の多関節ロボットを用いることができる。
【００３４】  第１カメラ３０および第２カメラ３１は作業場に固定される。２台のカメラは、ロボット２０の作業空間を撮像するように設置されている。ここでロボットの作業空間とは、ロボットのハンド２４が到達可能な空間領域のうち、作業時にハンドが移動する可能性のある領域をいう。２台のカメラ３０、３１は二次元画像を撮像可能なカメラである。
【００３５】  図２を参照して、制御装置４０は、第１通信部４１と、第２通信部４２と、演算部４３と、記憶部４４と第３通信部４５とを有する。
【００３６】  第１通信部４１はロボット２０の駆動部２６と信号線で接続され、ロボットとの通信を行う。第１通信部は、目標位置に対応する姿勢パラメータをロボットに送信して、ハンド２４を目標位置まで移動させるよう指示する。また、第１通信部は、ロボットから関節変数等の姿勢パラメータを受信する。第２通信部４２は第１カメラ３０および第２カメラ３１と信号線で接続され、カメラとの通信を行う。第２通信部は、カメラに撮像指示を送信し、カメラから画像を受信する。
【００３７】  演算部４３は、第２通信部４２がカメラ３０、３１から受信した画像を処理する。演算部は、キャリブレーション時には、標識５０を画像中に認識してその位置情報を算出し、当該位置情報と第１通信部４１がロボットに送信した姿勢パラメータまたは第１通信部がロボットから受信した姿勢パラメータとを関連付けた参照表を作成する。より正確には、演算部は、標識の位置情報とロボットの姿勢パラメータとを関連付けた１つのレコードを作成して、既存の参照表に追加登録する。演算部は、作業時には、対象物を画像中に認識してその位置情報を算出する。演算部は、参照表を参照して、対象物の位置情報から、ロボットのハンドを対象物まで移動させるための姿勢パラメータを取得する。
【００３８】  記憶部４４は、参照表を記憶する。記憶部としては、ハードディスク装置などの書き換え可能でランダムアクセス可能な補助記憶装置を好適に用いることができる。第３通信部４５は入力装置４６および出力装置４７と信号線で接続され、操作者との通信を行う。第３通信部は、入力装置４６から操作者からの指示を受信し、出力装置４７に操作者にロボットシステムの状況等を送信する。
【００３９】  制御装置４０は、必ずしも物理的に１台の装置である必要はなく、複数台で処理を分担してもよい。また、制御装置は、ロボットの駆動部２６と一体に形成されていてもよい。
【００４０】  次に、本実施形態のロボットシステム制御方法を説明する。各部の参照符号は、図１および図２に示した符号である。
【００４１】  図３において、本実施形態のロボットシステム制御方法は、作業場へのロボットおよびカメラの設置、キャリブレーション工程、ロボットを用いた作業工程からなる。
【００４２】  まず、作業場にロボット２０、第１カメラ３０および第２カメラ３１を設置する。このとき、２台のカメラは、ロボットの作業空間を撮像可能な位置および向きに設置する。２台のカメラの光軸がなす角は、好ましくは３０〜１５０度、より好ましくは６０〜１２０度、特に好ましくは７０〜１１０度である。２台のカメラの向きが平行または逆向きに近いほど、カメラの光軸方向の空間解像度が低くなるからである。ただし、２台のカメラの向きが異なるほど、標識の一部が死角となるオクルージョンが発生する可能性が高まる。２台のカメラの向きはオクルージョンが発生しにくく、かつ、必要な空間解像度が確保できるよう、標識の形状や作業空間に合わせて適宜決定すればよい。ロボットおよびカメラは、以下のキャリブレーション工程および作業工程を通して作業場に固定される。
【００４３】  図４にキャリブレーション工程のフローを示す。キャリブレーション工程では、カメラから得られる位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成する。
【００４４】  まず、ハンド２４に標識５０を固定する。標識をハンドに固定することには、標識をハンドで把持すること、標識を吸着その他の方法によってハンドで保持すること、標識となる物体をハンドに固着させること、ハンドの一部に標識となるマークを描くこと、ハンドの一部であって特徴的な部分を標識とすることが含まれる。標識の数は複数であってもよい。標識をハンドで把持する場合、標識としては、対象物自体または対象物に似た形状の物体、球状の物体、指し棒などを用いることができる。なお、標識はロボットの可動部分であるアームに固定してもよい。
【００４５】  標識は、好ましくは、標識の位置がハンドの把持位置に一致するように固定される。参照表に登録される標識位置と作業時のハンド移動の目標位置が一致するからである。図１では、球形の標識５０がハンドで把持されることによって固定されており、標識の位置がハンドの把持位置に一致している。本実施形態では、以下、標識位置とハンドの把持位置が一致しているとして説明を続ける。
【００４６】  次いで、制御装置４０の第１通信部４１からの指示によりロボットを動作させて、作業空間内でハンド２４および標識５０を移動させる。このとき、標識の移動経路や停止位置を予め正確に決定しておく必要はなく、作業空間内をおおよそ一巡するように決定しておけばよい。標識を移動させる範囲は、操作者が入力装置４６から入力して制御装置に伝えることができる。その際、移動経路上の点に対応する関節変数を操作者が直接入力してもよいし、移動経路上の点の三次元位置座標を操作者が入力して、演算部４３またはロボットの駆動部２６が関節変数を計算してもよい。
【００４７】  次いで、標識を上記範囲内で移動させながら、標識が停止した状態および／または動いている状態で参照表を作成する。
【００４８】  標識の停止時に参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第１通信部４１からロボット２０に送信した姿勢パラメータでもよいし、第１通信部がロボットから受信した姿勢パラメータでもよい。例えば、標識が制御装置から指示した位置で停止したときは、制御装置４０は第１通信部４１からロボットに送信した姿勢パラメータを既に知っているので、この姿勢パラメータを参照表に登録してもよい。また、例えば、第１通信部からロボットに停止位置の三次元位置座標を送信した場合でも、標識停止時に第１通信部がロボットから関節変数を受信して、この関節変数を参照表に登録してもよい。
【００４９】  姿勢パラメータの取得と並行して、第２通信部４２がカメラ３０、３１に撮像指示を送信し、標識が停止したときの画像をカメラ３０、３１から受信する。図６に、制御装置４０がカメラ３０、３１から受信した画像を示す。２枚の画像には標識５０が記録されている。制御装置の演算部４３はカメラから受信した画像を処理して、画像中に標識を認識する。標識を認識する方法には、特徴点の抽出やテンプレートマッチングなど、公知の方法を用いることができる。演算部は、標識の、２つの画像中の画素位置の組（ｕ１ｉ，ｖ１ｉ，ｕ２ｉ，ｖ２ｉ）を、標識の位置情報として算出する。
【００５０】  標識が動いている状態で参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第１通信部４１がロボットから受信する。カメラの撮像タイミングとロボットの姿勢パラメータの取得タイミングが同期可能な場合は、第１通信部４１および第２通信部４２からロボットおよびカメラ３０、３１に同時刻を指定して、それぞれ姿勢パラメータまたは画像を送信するよう要求できる。また、１つの同期信号に基づいて、第１通信部４１および第２通信部４２がロボットまたはカメラから、それぞれ姿勢パラメータまたは画像を受信してもよい。同期信号は制御装置４０内の同期信号生成部（図示せず）が生成してもよいし、第１または第２通信部のいずれかが生成してもよい。また、カメラ３０、３１が撮像時刻付の画像を生成可能なときは、第２通信部が２台のカメラから時々刻々と画像を受信して、第１通信部がロボットから取得した姿勢パラメータと同時刻の画像を選択することができる。演算部４３は標識５０を画像中に認識して、その位置情報を算出する。
【００５１】  以上のようにして、一つの標識位置に対して、カメラによる位置情報と、当該位置に対応するロボットの姿勢パラメータが得られる。制御装置の演算部４３は、位置情報と姿勢パラメータを関連付けて１つのレコードを作成し、記憶部４４に記憶された参照表に追加登録する。
【００５２】  標識５０を作業空間内で巡回させて、標識が予定された終了位置に達すると、キャリブレーションを終了する。なお、好ましくは、キャリブレーション終了時に参照表のレコードを、位置情報をキーとしてソートしておく。作業時の検索を効率化するためである。
【００５３】  図７に参照表の例を示す。この参照表の各レコードは、位置情報として第１カメラ画像中の画素位置としての座標（ｕ１ｉ，ｖ１ｉ）と第２カメラ画像中の画素位置としての座標（ｕ２ｉ，ｖ２ｉ）、および姿勢パラメータとして６自由度のロボットにおける６つの関節角度（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）からなる。
【００５４】  図５に作業工程におけるハンド移動のフローを示す。作業工程では、カメラ画像から算出した位置情報に基づいて、ロボットのハンドを作業対象物まで移動させる。
【００５５】  まず、制御装置４０が第２通信部４２からカメラ３０、３１に撮像指示を送信し、カメラが作業空間を撮像する。作業空間には対象物が存在する。第２通信部がカメラから画像を受信する。演算部４３は２つの画像を処理して、画像中に対象物を認識する。対象物を認識する方法は、標識を認識する方法と同様に行うことができる。演算部は、ハンド移動の目標となる対象物の位置情報として、各カメラ座標系における対象物の位置座標を算出する。
【００５６】  演算部４３は対象物の位置情報から記憶部４４に記憶されている参照表を検索する。参照表に対象物の位置情報を含むレコードが見つかれば、演算部は、当該位置情報に対応する姿勢パラメータを取得する。参照表に対象物の位置情報を含むレコードが見つからない場合は、演算部は対象物の位置情報に対応する姿勢パラメータを推定して取得してもよい。例えば、位置情報が近い複数点のレコードにおける姿勢パラメータ間を補間することにより、姿勢パラメータが推定できる。第１通信部４１がロボットに姿勢パラメータを送信して、ハンドを対象物まで移動させるよう指示する。
【００５７】  姿勢パラメータが推定されたものである場合、ロボットがその姿勢パラメータに従って動作したのち、ハンドの位置を微調整してもよい。ハンド位置を微調整するには、国際公開第２０１３／１７６２１２号に記載された方法など、公知の方法を用いることができる。
【００５８】  また、ハンド位置の微調整を行った場合は、その結果を参照表にフィードバックしておくのが好ましい。具体的には、ハンドが微調整を経て対象物に到達した後に、制御装置の第１通信部４１がロボットに姿勢パラメータ要求を送信して、ロボットから姿勢パラメータを受信し、演算部４３が対象物の位置情報と姿勢パラメータとを関連付けて、記憶部４４の参照表に追加登録してもよい。
【００５９】  ここで、参照表について、さらに詳細に説明する。
【００６０】  参照表には、ロボットの作業空間内の点について、その点のカメラ画像から得られる位置情報と、その点に対応したロボットの姿勢パラメータとが、関連付けて登録される。
【００６１】  参照表に登録する位置情報は、図７に示したような２つ画素座標の組には限定されない。位置情報は、例えば図８に示すように、第１カメラによる画像中の画素位置（ｕ１ｉ，ｖ１ｉ）と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報（ｄｉ）との組であってもよい。あるいは、位置情報は、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。これらの場合、第１カメラと第２カメラの中心間距離（基線長）と画像中のエピポーラ線を知る必要があるが、例えば第１カメラと第２カメラが一体となった市販のステレオカメラなどを利用する場合には、このようなカメラの幾何学的パラメータが予め調整されており、内部校正作業は不要である。
【００６２】  参照表に登録する姿勢パラメータの一例はロボットの関節変数である。関節変数は、図７に示したような関節角度の組には限定されない。姿勢パラメータとして関節変数を用いる場合は、回転関節では関節角度（リンク間角度）、直動関節ではリンク間距離を関節変数として、ロボットを構成する関節の種類に応じた関節変数を組み合わせる。
【００６３】  関節変数を参照表に登録する場合は、図１のように、キャリブレーション時の標識の位置とハンドの把持位置が一致していることが好ましい。標識の位置情報と、その標識を実際に把持した状態での関節変数を関連付けて、参照表に登録できるからである。この場合、作業時に、対象物の位置情報から参照表を検索して得られる関節変数をロボットに指示すれば、対象物を把持するための目標位置にハンドを移動できる。さらに、重力によるアームの撓み等がある場合でも、参照表に登録された位置情報と関節変数には撓み等の影響がすでに織り込まれており、作業時に特段の考慮は不要である。
【００６４】  これに対して、キャリブレーション時の標識の位置とハンドの把持位置が一致していない場合、例えば標識をハンドの側面等の把持位置と異なる部分に固定した場合は、標識の位置情報を求めたときの関節変数をそのまま参照表に登録することができない。その関節変数はその標識の位置に対応していないからである。言い換えると、標識の位置情報を求めたときの関節変数をロボットに指示しても、ハンドはその標識の位置にある対象物を把持できない。この場合は、標識の位置情報を求めたときの関節変数から一旦標識の三次元位置座標を求め、ロボットの設計データを基に標識位置に対応する関節変数へ変換して、参照表に登録することができる。その際、作業場にある障害物を回避するための幾何学的な拘束条件等を考慮して関節変数を求めることができる。
【００６５】  参照表に登録する姿勢パラメータの他の例は、標識のロボット座標系における三次元位置座標である。ロボット座標系は、キャリブレーションと作業工程を通して変動しない座標系であればよい。好適には、ロボットのベース２５を基準とする座標系を用いることができる。ロボット座標系は直交座標系であっても極座標系であってもよい。一例として、図９に、ロボット座標系における標識位置の直交座標（Ｒｘｉ，Ｒｙｉ，Ｒｚｉ）を姿勢パラメータとする参照表を示す。姿勢パラメータを標識の三次元位置座標で表すことには、パラメータの数が少なくてすむというメリットがある。
【００６６】  標識の三次元位置座標は、標識位置がハンドの把持位置と一致していても一致していなくても、標識がロボットに固定されている限り、そのときの関節変数から算出することができる。標識の三次元位置座標は、例えば、制御装置の第１通信部がロボットから受信した関節変数と標識の固定位置情報とを基に演算部が算出できる。標識の固定位置情報は、例えば、標識を固定したアームのローカル座標系で表した標識の相対座標であればよい。作業時には、対象物の位置情報から参照表を検索して、当該位置の三次元位置座標を取得し、制御装置の演算部または演算機能を有するロボットの駆動部が当該三次元座標位置にハンドを移動させるための関節変数を算出することができる。
【００６７】  参照表には、作業空間内のできるだけ多くの点が登録されていることが好ましい。作業工程において参照表に対象物を含むレコードを発見する確率が上がり、時間短縮になるからである。例えば、作業空間の大きさが１ｍ立方で、カメラ画像の作業空間内の空間解像度が１ｍｍの場合、１０９個のレコードで、作業空間に含まれる１ｍｍ間隔の格子点を網羅することができる。参照表に登録する点の密度は、画像の空間解像度と同じピッチの立方格子の格子点の密度の、好ましくは５１２分の１以上、さらに好ましくは６４分の１以上であり、特に好ましくは８分の１以上である。参照表に登録する点は、最も好ましくは、画像の空間解像度と同じピッチの立方格子の格子点をすべて含む。
【００６８】  また、参照表に登録する点の分布は、作業空間のうちハンドの移動頻度が高い領域は密に、低い領域は疎にしてもよい。これにより、キャリブレーション工程の所要時間を短縮しながら、作業工程において参照表に対象物の位置情報を発見する確率を過度に低下させないからである。
【００６９】  また、参照表に登録する点の分布は、カメラレンズの画角が広いことなどにより画像上の作業空間が歪む場合には、歪の大きい領域は密に、そうでない領域は疎にしてもよい。具体的には、参照表に登録する点は、参照表にない点の姿勢パラメータを推定する際に、近接する２点から直線補間できる程度に高密度に登録されていることが好ましい。画像上の作業空間が歪んでいても、簡易な計算で姿勢パラメータを推定できるからである。
【００７０】  本実施形態では、実際のカメラおよびロボットを用いてキャリブレーションを行うので、システム製作時の加工・取り付け等による誤差の影響を受けない。また、世界座標など他の座標系を介することがなく、カメラの内部および外部パラメータやロボットの設置位置・向き等を計測する必要がないので、キャリブレーション作業の省力化を図ることができるし、装置の選択や設置の自由度が大きい。例えば、画角の大きいカメラを用いて、より広い範囲をカバーすることができる。
【００７１】  本実施形態では、参照表を利用してハンドを移動させるので、ハンドが一度訪れた点には、二度目以降も確実に到達することができる。また、レンズ歪等による不規則な誤差要因があっても、その影響を受けない。例えばレンズ歪について、変換行列等を利用して座標変換を行う場合は、歪曲収差係数等を用いたとしても、モデル化された樽形歪、糸巻形歪等に対して補正できるだけで、不規則な歪の影響を完全には排除できない。参照表を利用することにより、より安価なレンズ系を備えたカメラを採用することができる。
【００７２】  次に、本発明の第２実施形態を図１０〜図１２に基づいて説明する。本実施形態は、鏡を利用し、１台のカメラで、ロボットの作業空間の直接像および鏡による反射像を撮像する。
【００７３】  図１０において、本実施形態のロボットシステム１１は、多関節ロボット２０と、鏡３８と、ロボットの作業空間の直接像および鏡による反射像を撮像する１台のカメラ３２と、制御装置４０とを有する。
【００７４】  ロボット２０は第１実施形態と同じである。カメラ３２は、第１実施形態の第１カメラ３０または第２カメラ３１と同じものを用いることができる。カメラ３２および鏡３８は、ロボットの作業空間の直接像および鏡による反射像を撮像可能に設置される。図１０はキャリブレーション時の様子を示しており、ロボットはハンド２４に標識５０を把持している。
【００７５】  制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。図１１に示すように、キャリブレーション時に第２通信部４２がカメラ３２から受信する画像には、標識５０の直接像と鏡３８による反射像が写り込んでいる。演算部４３は、１枚の画像を処理して、キャリブレーション時には標識５０を、作業時には対象物の直接像および反射像を画像中に認識して、標識または対象物の位置情報を算出する。その他は第１実施形態と同様である。
【００７６】  図１２に参照表の例を示す。この参照表の各レコードには、標識の直接像の画像中の画素位置としての座標（ｕｄｉ，ｖｄｉ）、反射像の画像中の画素位置としての座標（ｕｍｉ，ｖｍｉ）、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）が含まれている。
【００７７】  次に、本発明の第３実施形態を図１３および図１４に基づいて説明する。本実施形態は、１台のＴＯＦカメラで、ロボットの作業空間を撮像する。
【００７８】  図１３において、本実施形態のロボットシステム１２は、多関節ロボット２０と、ロボットの作業空間を撮像する１台のＴＯＦカメラ３３と、制御装置４０とを有する。図１３はキャリブレーション時の様子を示しており、ロボットはハンド２４に標識５０を把持している。
【００７９】  ロボット２０は第１実施形態と同じである。ＴＯＦカメラ３３は、光飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）方式による距離画像生成カメラで、二次元画像とともにカメラから各画素に写った点までの距離が記録された距離画像を撮像する。
【００８０】  制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。演算部４３は、第２通信部４２がＴＯＦカメラ３３から受信した二次元画像および距離画像を処理して、キャリブレーション時には標識５０を、作業時には対象物を画像中に認識して、標識または対象物の位置情報を取得する。その他は第１実施形態と同様である。
【００８１】  図１４に参照表の例を示す。この参照表の各レコードは、標識の二次元画像および距離画像中の座標（Ｃｘｉ，Ｃｙｉ，Ｃｄｉ）、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）を含む。
【００８２】  次に、本発明の第４実施形態を図１５〜図１７に基づいて説明する。本実施形態は、１台のカメラで、ロボットの作業空間を撮像し、画像中の標識の座標と、カメラから標識までの距離によって変化する特徴量との組を位置情報とする。具体的には、画像中の標識の面積を特徴量とする。
【００８３】  図１５において、本実施形態のロボットシステム１３は、多関節ロボット２０と、ロボットの作業空間を撮像する１台のカメラ３４と、制御装置４０とを有する。ロボット２０は第１実施形態と同じである。カメラ３４は、第１実施形態の第１カメラ３０または第２カメラ３１と同じものを用いることができる。
【００８４】  制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。演算部４３はキャリブレーション時には、カメラ３４から第２通信部で受信した１枚の画像（図１６）を処理して、キャリブレーション時には標識５０を画像中に認識して、画像中の標識の面積（Ｓｍｉ）を算出する。また、少なくとも１つの位置で、画像中の対象物の面積（Ｓｗｉ）と標識の面積（Ｓｍｉ）との比を別途算出しておく。演算部４３は作業時には、対象物を画像中に認識して、画像中の対象物の面積（Ｓｗｉ）を算出し、さらに標識５０の面積（Ｓｍｉ）に換算する。そして演算部は、対象物の画像中の画素位置と、当該位置に標識があったと仮定したときの画像中の標識の面積との組を対象物の位置情報として、参照表を検索する。
【００８５】  図１７に参照表の例を示す。この参照表の各レコードは、画像中の画素位置としての座標（ｕｉ，ｖｉ）、画像中の標識の面積（Ｓｍｉ）、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）からなる。
【００８６】  次に、本発明の第５実施形態を図１８に基づいて説明する。本実施形態では、２台の多関節ロボットと６台のカメラを用いる。本実施形態は、第１実施形態のロボットシステムを複数組み合わせたものと考えることができる。
【００８７】  図１８に示すロボットシステム１４では、１台の制御装置４０に、２台の多関節ロボット６０、６１と６台のカメラ７０〜７５が接続されている。カメラ７０およびカメラ７１は画角の広いレンズを備え、ロボット６０およびロボット６１の両方の作業空間を撮像可能である。カメラ７２およびカメラ７３は画角の狭いレンズを備え、一方のロボット６０の作業空間を高い空間解像度で撮像可能である。カメラ７４およびカメラ７５は画角の狭いレンズを備え、他方のロボット６１の作業空間を高い空間解像度で撮像可能である。
【００８８】  制御装置４０は、次の組み合わせからなるレコードで構成された４つの参照表を作成、記憶する。・参照表Ａ：カメラ７０、７１による位置情報−ロボット６０の姿勢パラメータ・参照表Ｂ：カメラ７０、７１による位置情報−ロボット６１の姿勢パラメータ・参照表Ｃ：カメラ７２、７３による位置情報−ロボット６０の姿勢パラメータ・参照表Ｄ：カメラ７４、７５による位置情報−ロボット６１の姿勢パラメータ
【００８９】  これにより、ロボット６０のハンド移動は、大まかな移動は参照表Ａを利用して、精密な位置制御が必要な領域では参照表Ｃを利用して行うことができる。同様に、ロボット６１のハンド移動は、大まかな移動は参照表Ｂを利用して、精密な位置制御が必要な領域では参照表Ｄを利用して行うことができる。
【００９０】  本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。
【００９１】  例えば、上記第５実施形態は第１実施形態のロボットシステムを複数組み合わせたが、これには限られず、第１〜第４実施形態を自由に組み合わせることができる。
【符号の説明】
【００９２】  １０〜１４  ロボットシステム  ２０  多関節ロボット  ２１  アーム  ２２  リンク  ２３  関節  ２４  ハンド  ２５  ベース  ２６  駆動部  ３０  第１カメラ  ３１  第２カメラ  ３２、３４  カメラ  ３３  ＴＯＦカメラ  ３８  鏡  ４０  ロボットシステム制御装置（制御装置）  ４１  第１通信部（ロボットとのインターフェイス）  ４２  第２通信部（カメラとのインターフェイス）  ４３  演算部  ４４  記憶部  ４５  第３通信部（入出力装置とのインターフェイス）  ４６  入力装置  ４７  出力装置  ５０  標識  ６０、６１  多関節ロボット  ７０〜７５  カメラ
【図１】
2018043524.tif 000003
【図２】
2018043524.tif 000004
【図３】
2018043524.tif 000005
【図４】
2018043524.tif 000006
【図５】
2018043524.tif 000007
【図６】
2018043524.tif 000008
【図７】
2018043524.tif 000009
【図８】
2018043524.tif 000010
【図９】
2018043524.tif 000011
【図１０】
2018043524.tif 000012
【図１１】
2018043524.tif 000013
【図１２】
2018043524.tif 000014
【図１３】
2018043524.tif 000015
【図１４】
2018043524.tif 000016
【図１５】
2018043524.tif 000017
【図１６】
2018043524.tif 000018
【図１７】
2018043524.tif 000019
【図１８】
2018043524.tif 000020
【国際調査報告】
2018043524.tif 000021
2018043524.tif 000022
2018043524.tif 000023
2018043524.tif 000024