(57)【要約】  キャリブレーション作業の負荷が軽く、かつハンドの目標までの移動時間を短縮できる多関節ロボットシステムを提供する。  ロボットシステム（１０）は、自律的にハンド（２４）を対象物（５２）まで移動可能な多関節ロボット（２０）と、ロボットの作業空間を撮像する１台以上のカメラ（３０、３１）と、制御装置（４０）とを有する。制御装置は、カメラの画像に基づく位置情報とロボットの姿勢パラメータとを関連付けた参照表を記憶し、ハンドを対象物まで移動させようとするときに、カメラから画像を取得し、画像中に対象物を認識してその位置情報を算出し、その位置情報を参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータをロボットに送信して、ハンドを対象物まで移動させ、対象物の位置情報を参照表に発見しない場合は、ハンドを対象物に向かって自律的に移動させ、ハンドの対象物への到達前及び／又は到達後に参照表を補充、更新する。
2018043525.tif 000002
【特許請求の範囲】
【請求項１】
自律的にハンドを目標まで移動可能な多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有し、  前記制御装置は、前記カメラの画像に基づく位置情報と当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶し、  前記制御装置は、前記ハンドを対象物まで移動させようとするときに、    前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出し、    前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、    前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する、ロボットシステム。
【請求項２】
前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達後であって該ハンドが該対象物を保持した状態で、該対象物の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する、請求項１に記載のロボットシステム。
【請求項３】
前記ロボットが前記ハンドまたはアームに固定された標識を備え、  前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に、前記標識の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する、請求項１に記載のロボットシステム。
【請求項４】
前記ロボットが、前記ハンドと前記対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記対象物まで移動させる、請求項１〜３のいずれか一項に記載のロボットシステム。
【請求項５】
前記偏差検出手段が、前記ロボットに固定された三次元視覚センサからなる、請求項４に記載のロボットシステム。
【請求項６】
前記偏差検出手段が、前記１台以上のカメラからなる、請求項４に記載のロボットシステム。
【請求項７】
前記ロボットシステムは第１カメラおよび第２カメラを有し、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、請求項１〜６のいずれか一項に記載のロボットシステム。
【請求項８】
前記ロボットシステムは第１カメラおよび第２カメラを有し、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、請求項１〜６のいずれか一項に記載のロボットシステム。
【請求項９】
前記ロボットシステムは第１カメラおよび第２カメラを有し、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、請求項１〜６のいずれか一項に記載のロボットシステム。
【請求項１０】
前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、  前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、請求項１〜６のいずれか一項に記載のロボットシステム。
【請求項１１】
前記カメラが距離画像カメラであって、  前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、請求項１〜６のいずれか一項に記載のロボットシステム。
【請求項１２】
前記姿勢パラメータが、前記ロボットの関節変数の組である、請求項１〜１１のいずれか一項に記載のロボットシステム。
【請求項１３】
前記姿勢パラメータが、ロボット座標系における三次元位置座標である、請求項１〜１１のいずれか一項に記載のロボットシステム。
【請求項１４】
自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御装置であって、  前記ロボットの作業空間を撮像する１台以上のカメラによる画像に基づく位置情報と、当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶し、  前記ハンドを前記対象物まで移動させようとするときに、    前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出し、    前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、    前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する、ロボットシステム制御装置。
【請求項１５】
前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、請求項１４に記載のロボットシステム制御装置。
【請求項１６】
前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、請求項１４に記載のロボットシステム制御装置。
【請求項１７】
前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、請求項１４に記載のロボットシステム制御装置。
【請求項１８】
前記カメラは、前記作業空間と該作業空間が映り込んだ鏡とを１枚の画像に撮像し、  前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、請求項１４に記載のロボットシステム制御装置。
【請求項１９】
前記カメラが距離画像カメラであって、  前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、請求項１４に記載のロボットシステム制御装置。
【請求項２０】
前記姿勢パラメータが、前記ロボットの関節変数の組である、請求項１４〜１９のいずれか一項に記載のロボットシステム制御装置。
【請求項２１】
前記姿勢パラメータが、ロボット座標系における三次元位置座標である、請求項１４〜１９のいずれか一項に記載のロボットシステム制御装置。
【請求項２２】
自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御方法であって、  前記ロボットのハンドを第１対象物に向かって自律的に移動させる工程と、  前記ハンドが前記第１対象物に到達して該第１対象物を保持した状態で停止中および／または移動中に、１台以上のカメラで前記ロボットの作業空間を撮像し、当該撮像により得られた画像中に前記第１対象物を認識して該第１対象物の位置情報を算出し、前記ロボットから姿勢パラメータを取得し、前記位置情報と前記姿勢パラメータとを関連付けた参照表を作成して記憶する工程と、  前記カメラで第２対象物が存在する前記作業空間を撮像し、当該撮像により得られた画像中に前記第２対象物を認識して該第２対象物の位置情報を算出し、前記第２対象物の位置情報を前記参照表から検索する工程と、  前記第２対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記第２対象物まで移動させ、前記第２対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記第２対象物に向かって自律的に移動させ、前記ハンドが前記第２対象物に到達して該第２対象物を保持した状態で停止中および／または移動中に、前記参照表を補充、更新する工程と、を有するロボットシステム制御方法。
【請求項２３】
前記ロボットが、前記ハンドと前記第１対象物または第２対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記第１対象物または第２対象物まで移動させる、請求項２２に記載のロボットシステム制御方法。
【請求項２４】
前記偏差検出手段が、前記ロボットに固定された三次元視覚センサからなる、請求項２３に記載のロボットシステム制御方法。
【請求項２５】
前記偏差検出手段が、前記１台以上のカメラからなる、請求項２３に記載のロボットシステム制御方法。
【請求項２６】
前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。
【請求項２７】
前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。
【請求項２８】
前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、  前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。
【請求項２９】
前記カメラは、前記作業空間と該作業空間が映り込むように配置された鏡とを１枚の画像内に撮像し、  前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。
【請求項３０】
前記カメラが距離画像カメラであって、  前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。
【請求項３１】
前記姿勢パラメータが、前記ロボットの関節変数の組である、請求項２２〜３０のいずれか一項に記載のロボットシステム制御方法。
【請求項３２】
前記姿勢パラメータが、ロボット座標系における三次元位置座標である、請求項２２〜３０のいずれか一項に記載のロボットシステム制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、自律的にハンドを目標まで移動可能な多関節ロボットを有するロボットシステムに関する。また、本発明は、かかるロボットシステムの制御装置および制御方法に関する。
【背景技術】
【０００２】  多関節ロボットを用いて、カメラ等の視覚センサから得た情報を基に、ロボット自身が周辺環境を認識して作業を行うシステムが研究されている。例えば、バラ積みされた対象物をカメラで認識し、ロボットのアームの先端にあるハンドを作業対象物まで移動させて掴む、といった作業である。【０００３】  一般的なロボットシステムでは、ロボットのハンドを目標となる対象物まで移動させるために、カメラ等で対象物の位置情報を得た後、この位置情報をカメラ座標系からロボット座標系に変換してロボットに伝える。ここで、カメラ座標系からロボット座標系への変換には、カメラとロボットの相対位置関係を予め求めておく必要がある。そのため、キャリブレーションによって、カメラ座標系−世界座標系間、およびロボット座標系−世界座標系間の座標変換を行なうための変換行列を求める。これにより、対象物のカメラ座標系における位置座標を、世界座標系を介して、ロボット座標系における位置座標に変換することができる。【０００４】  しかし、カメラ座標系−世界座標系間の変換行列を決定するには、カメラの焦点距離、画像中心、画像サイズ（画素サイズ）、歪曲収差係数等の内部パラメータと、カメラの位置姿勢を表す外部パラメータを知る必要がある。そのために、例えば、チェッカーボード等の平面パターンとカメラの位置を高精度の三次元測定器を用いて求めることになり、極めて手間とコストのかかる作業を要した。【０００５】  ロボット座標系−世界座標系間の座標変換を決定するにも、世界座標系での位置座標が正確に分かっている教示点に、人手によりハンド移動させて姿勢パラメータを計測するなど、やはり極めて手間とコストのかかる作業が必要であった。【０００６】  これに対して、特許文献１および２には、ロボットに設けられた基準箇所とその移動先を撮像して両者の位置偏差を求め、その位置偏差に基づいてロボットの関節の変位を制御することにより、運動学的な演算に誤差があっても、エンドエフェクタ（ハンド）を目標位置にまで移動させることが可能な多関節ロボットが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２０１３／１７６２１２号
【特許文献２】特開２０１５−２２１４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】  特許文献１および２に記載された方法によれば、ロボットシステムの正確なキャリブレーションを行わなくても、ロボットのハンドを目標にまで自律的に移動させることができる。しかしながら、移動中に位置偏差を何度も確認しながらハンドを目標に近づけていくため、ハンドを目標に到達させるのに時間がかかるという問題があった。【０００９】  本発明は、上記を考慮してなされたものであり、自律的にハンドを目標まで移動可能な多関節ロボットを利用し、煩雑なキャリブレーション作業の負担を軽減しつつ、ハンドの目標までの移動時間を短縮できるロボットシステム、ロボットシステム制御装置およびロボットシステム制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】  上記目的のために、本発明では、ハンドを自律的に移動可能な多関節ロボットによる作業と並行して、カメラの画像から得られる位置情報とロボットの姿勢パラメータとを直接関連付けた参照表を作成し、その参照表を利用してロボットを制御する。【００１１】  具体的には、本発明のロボットシステムは、自律的にハンドを目標まで移動可能な多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有する。そして、前記制御装置は、前記カメラの画像に基づく位置情報と当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶する。そして、前記制御装置は、前記ハンドを対象物まで移動させようとするときに、前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出する。そして、前記制御装置は、前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させる。一方、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する。【００１２】  ここで、ロボットの姿勢パラメータとは、ロボットの姿勢に関連するパラメータであって、少なくともハンドの位置を決定できるものをいう。【００１３】  好ましくは、前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達後であって該ハンドが該対象物を保持した状態で、該対象物の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する。【００１４】  あるいは、前記ロボットが前記ハンドまたはアームに固定された標識を備えていて、前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に、前記標識の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新してもよい。【００１５】  好ましくは、前記ロボットが、前記ハンドと前記対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記対象物まで移動させる。前記偏差検出手段は、前記ロボットに固定された三次元視覚センサからなるものでもよいし、前記１台以上のカメラからなるものでもよい。【００１６】  好ましくは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である。【００１７】  あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、第１カメラによる画像中の画素位置と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組であってもよい。【００１��】  あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。【００１９】  あるいは、前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組であってもよい。【００２０】  あるいは、前記カメラが距離画像カメラであって、前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組であってもよい。【００２１】  上記いずれかのロボットシステムにおいて、好ましくは、前記姿勢パラメータが、前記ロボットの関節変数の組である。【００２２】  あるいは、上記いずれかのロボットシステムにおいて、前記姿勢パラメータが、ロボット座標系における三次元位置座標であってもよい。【００２３】  本発明のロボットシステム制御装置は、自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御装置である。そして、ロボットシステム制御装置は、前記ロボットの作業空間を撮像する１台以上のカメラの画像に基づく位置情報と、当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶する。そして、ロボットシステム制御装置は、前記ハンドを前記対象物まで移動させようとするときに、前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出する。そして、ロボットシステム制御装置は、前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する。【００２４】  本発明のロボットシステム制御方法は、自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御方法である。そして、ロボットシステム制御方法は、前記ロボットのハンドを第１対象物に向かって自律的に移動させる工程と、前記ハンドが前記第１対象物に到達して該第１対象物を保持した状態で停止中および／または移動中に、１台以上のカメラで前記ロボットの作業空間を撮像し、当該撮像により得られた画像中に前記第１対象物を認識して該第１対象物の位置情報を算出し、前記ロボットから姿勢パラメータを取得し、前記位置情報と前記姿勢パラメータとを関連付けた参照表を作成して記憶する工程とを有する。そして、ロボットシステム制御方法はさらに、前記カメラで第２対象物が存在する前記作業空間を撮像し、当該撮像により得られた画像中に前記第２対象物を認識して該第２対象物の位置情報を算出し、前記第２対象物の位置情報を前記参照表から検索する工程と、前記第２対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記第２対象物まで移動させ、前記第２対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記第２対象物に向かって自律的に移動させ、前記ハンドが前記第２対象物に到達して該第２対象物を保持した状態で停止中および／または移動中に、前記参照表を補充、更新する工程とを有する。
【発明の効果】
【００２５】  本発明のロボットシステム、ロボットシステム制御装置またはロボットシステム制御方法によれば、多関節ロボットは自律的にハンドを目標位置まで移動可能なので、精密なキャリブレーションが不要になる。そして、ハンドが過去に到達した点または移動中に通過した点であって、その位置情報とロボットの姿勢パラメータを関連付けたレコードが参照表に記録された点については、参照表に記録された姿勢パラメータをロボットに指示することにより、ハンドを迅速に作業対象物に到達させることができる。また、参照表は実際のカメラおよびロボットを用いて作成されるので、システム製作時の誤差や不規則なレンズ歪等の影響を受けずに、ハンドを作業対象物まで移動させることができる。以上により、煩雑なキャリブレーション作業の負担を軽減しつつ、作業を続けるにつれて参照表に登録される位置情報の数が増えるので、ハンド移動に要する時間を短縮できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施形態のロボットシステムの全体構成図である。
【図２】本発明の第１実施形態のロボットシステム制御装置の機能ブロック図である。
【図３】本発明の第１実施形態のロボット制御方法のフロー図である。
【図４】本発明の第１実施形態の第１カメラおよび第２カメラによる画像である。
【図５】本発明の第１実施形態の参照表の例を示す図である。
【図６】本発明の第１実施形態の参照表の他の例を示す図である。
【図７】本発明の第１実施形態の参照表の他の例を示す図である。
【図８】本発明の第２実施形態のロボットシステムの全体構成図である。
【図９】本発明の第３実施形態のロボットシステムの全体構成図である。
【図１０】本発明の第４実施形態のロボットシステムの全体構成図である。
【図１１】本発明の第４実施形態のカメラによる画像である。
【図１２】本発明の第４実施形態の参照表の例を示す図である。
【図１３】本発明の第５実施形態のロボットシステムの全体構成図である。
【図１４】本発明の第５実施形態の参照表の例を示す図である。
【発明を実施するための形態】
【００２７】  本発明の第１実施形態を図１〜図７に基づいて説明する。
【００２８】  図１において、本実施形態のロボットシステム１０は、多関節ロボット２０と、ロボットの作業空間を撮像する第１カメラ３０および第２カメラ３１と、ロボットシステム制御装置４０を有する。以下において「ロボットシステム制御装置」を単に「制御装置」という。ロボットの作業空間には、作業の対象となる対象物５２がある。
【００２９】  ロボット２０は作業場に固定される。ロボット２０は、ロボットを作業場に固定するためのベース２５と、複数のリンク２２が関節２３で接続されたアーム２１と、アームの先端に接続されたハンド２４と、駆動部２６を有する。ロボットの各関節はサーボモータ等のアクチュエータ（図示せず）と、その関節の関節変数を検知するセンサー（図示せず）を備える。ここで、関節変数とはその関節の変位をいい、具体的には回転関節の関節角度（リンク間角度）や直動関節のリンク間距離のことをいう。ハンド２４は手先、エンドエフェクタとも呼ばれる。
【００３０】  ロボット２０は、ハンド２４と対象物５２との位置偏差を検出する手段として、ハンドに固定された三次元視覚センサ２７を備える。視覚センサとしては、三角測量の原理を利用して注目点の方向および距離を計測するものを好適に用いることができる。例えば、２台のカメラからなるステレオカメラや、１台のカメラと１台のシート光源からなり光切断法を利用するものを好適に用いることができる。ロボットの駆動部２６はサーボアンプ等により各関節のアクチュエータを駆動する。駆動部は、視覚センサが検出した位置偏差が縮小するように、ロボットの関節を駆動する。これにより、ロボットが自律的にハンドを対象物まで移動させることができる。このようなロボットとして、特許文献１または２に記載されたロボットを好適に用いることができる。なお、駆動部はその一部または全部が、ロボット本体と物理的に離れて設けられ、例えば制御装置と一体に形成されていてもよい。
【００３１】  また、駆動部２６は、外部から、関節変数を受信して、あるいは、ロボット座標系におけるハンドの三次元位置座標を外部から受信して関節変数を算出して、ロボットを駆動することができる。ここで、ロボット座標系は、ロボットの不動点を基準とする座標系であって、好ましくは、ベース２５を基準とする座標系である。ロボット座標系は、直交座標系であっても各種極座標系であってもよい。以下、単に「三次元位置座標」というときは、ロボット座標系における三次元位置座標を意味する。
【００３２】  ロボット２０は、ベース２５が作業場に固定され、作業時を通して移動することがない。したがって、ハンド２４の位置は、関節変数の組み合わせやハンドの三次元位置座標によって表すことができる。例えば、アーム２１の自由度が３である場合、アームの３つの関節変数によって、ハンドの位置とアームの姿勢が定まる。あるいは、アーム２１の自由度が３でハンド２４の自由度が３である場合、アームおよびハンドの６つの関節変数によって、ハンドの位置および姿勢とアームの姿勢が定まる。また、ハンドの三次元位置座標はハンドの位置を表している。このように、ロボットの姿勢に関連し、少なくともハンドの位置を決定できるパラメータを、本明細書中で「ロボットの姿勢パラメータ」という。
【００３３】  ロボットの形式は特に限定されず、図１に例示したシリアルリンク形の垂直多関節ロボットの他、水平多関節形やパラレルリンク形など各種の多関節ロボットを用いることができる。
【００３４】  第１カメラ３０および第２カメラ３１は作業場に固定される。２台のカメラは、ロボット２０の作業空間を撮像するように設置されている。ここでロボットの作業空間とは、ロボットのハンド２４が到達可能な空間領域のうち、作業時にハンドが移動する可能性のある領域をいう。２台のカメラ３０、３１は二次元画像を撮像可能なカメラである。
【００３５】  図２を参照して、制御装置４０は、第１通信部４１と、第２通信部４２と、演算部４３と、記憶部４４と第３通信部４５とを有する。
【００３６】  第１通信部４１はロボット２０の駆動部２６と信号線で接続され、ロボットとの通信を行う。第１通信部は、目標位置に対応する姿勢パラメータをロボットに送信して、ハンド２４を目標位置まで移動させるよう指示する。また、第１通信部は、自律的にハンドを目標まで移動させるようロボットに指示する。また、第１通信部は、ロボットから関節変数等の姿勢パラメータを受信する。第２通信部４２は第１カメラ３０および第２カメラ３１と信号線で接続され、カメラとの通信を行う。第２通信部は、カメラに撮像指示を送信し、カメラから画像を受信する。
【００３７】  演算部４３は、第２通信部４２がカメラ３０、３１から受信した画像を処理する。演算部は、対象物５２を画像中に認識して、対象物の位置情報を算出する。演算部は、参照表を参照して、対象物の位置情報から、ロボットのハンドを対象物まで移動させるための姿勢パラメータを取得する。演算部はさらに、対象物の位置情報と、ロボットから受信した姿勢パラメータとを関連付けて、参照表を補充、更新する。より正確には、演算部は、１つの位置情報とその位置情報に対応するロボットの姿勢パラメータとを関連付けた１つのレコードを作成して、既存の参照表に追加登録する。
【００３８】  記憶部４４は、参照表を記憶する。記憶部としては、ハードディスク装置などの書き換え可能でランダムアクセス可能な補助記憶装置を好適に用いることができる。第３通信部４５は入力装置４６および出力装置４７と信号線で接続され、操作者との通信を行う。第３通信部は、入力装置４６から操作者からの指示を受信し、出力装置４７に操作者にロボットシステムの状況等を送信する。
【００３９】  制御装置４０は、必ずしも物理的に１台の装置である必要はなく、複数台で処理を分担してもよい。また、制御装置は、ロボットの駆動部２６と一体に形成されていてもよい。
【００４０】  次に、本実施形態のロボットシステム制御方法を説明する。各部の参照符号は、図１および図２に示した符号である。
【００４１】    まず、作業場にロボット２０、第１カメラ３０および第２カメラ３１を設置する。このとき、２台のカメラは、ロボットの作業空間を撮像可能な位置および向きに設置する。２台のカメラの光軸がなす角は、好ましくは３０〜１５０度、より好ましくは６０〜１２０度、特に好ましくは７０〜１１０度である。２台のカメラの向きが平行または逆向きに近いほど、カメラの光軸方向の空間解像度が低くなるからである。ただし、２台のカメラの向きが異なるほど、対象物の一部が死角となるオクルージョンが発生する可能性が高まる。２台のカメラの向きはオクルージョンが発生しにくく、かつ、必要な空間解像度が確保できるよう、対象物の形状や作業空間に合わせて適宜決定すればよい。ロボットおよびカメラは、以下のキャリブレーション工程および作業工程を通して作業場に固定される。
【００４２】  図３において、まず、制御装置４０が第２通信部４２からカメラ３０、３１に撮像指示を送信し、カメラが作業空間を撮像する。作業空間には対象物５２が存在する。第２通信部がカメラから画像を受信する。図４に第２通信部が受信する画像を示す。２枚の画像には対象物が記録されている。
【００４３】  演算部４３は２つの画像を処理して、画像中に対象物を認識する。対象物を認識する方法としては、特徴点の抽出やテンプレートマッチングなど、公知の方法を用いることができる。演算部は、認識した対象物から、ハンド移動の目標となる対象物の位置情報を算出する。対象物の位置情報は、対象物の、２つの画像中の画素位置の組（ｕ１ｉ，ｖ１ｉ，ｕ２ｉ，ｖ２ｉ）とすることができる。
【００４４】  演算部４３は対象物の位置情報から記憶部４４に記憶されている参照表を参照して、姿勢パラメータを検索する。ロボットとカメラ設置後の最初の作業では、参照表は空である。そうでない場合、参照表は、過去にハンドが到達または通過したいくつかの点について、位置情報とロボットの姿勢パラメータとを関連付けたレコードを有する。演算部は、参照表から、対象物の位置情報と対応する姿勢パラメータからなるレコードを検索する。
【００４５】  算出された対象物の位置情報を参照表に発見した場合は、その位置情報に関連付けられた姿勢パラメータを取得して、第１通信部からロボットに送信し、ロボットがハンドを対象物まで移動させるよう、ロボットに指示する。
【００４６】  算出された対象物の位置情報を参照表に発見しない場合は、第１通信部４１は、ロボットに、自律的に対象物に向かってハンドを移動させるよう指示する。さらに、ハンド２４が対象物に到達して対象物を把持したときに、制御装置の第１通信部４１がロボットから姿勢パラメータを受信し、演算部４３が、先に算出した対象物の位置情報と、ロボットから受信した姿勢パラメータとを関連付けたレコードを作成して、記憶部４４の参照表に追加登録する。
【００４７】  図５に参照表の例を示す。この参照表の各レコードは、位置情報として第１カメラ画像中の画素位置としての座標（ｕ１ｉ，ｖ１ｉ）と第２カメラ画像中の画素位置としての座標（ｕ２ｉ，ｖ２ｉ）、および姿勢パラメータとして６自由度のロボットにおける６つの関節角度（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）からなる。
【００４８】  また、制御装置４０は、ハンド２４が対象物５２に到達した後であって、対象物を把持した状態で移動している間に、参照表をさらに補充、更新してもよい。カメラの撮像タイミングとロボットの姿勢パラメータの取得タイミングが同期可能な場合は、制御装置の第１通信部４１および第２通信部４２からロボットおよびカメラ３０、３１に同時刻を指定して、それぞれ姿勢パラメータまたは画像を送信するよう要求できる。また、１つの同期信号に基づいて、第１通信部４１および第２通信部４２がロボットまたはカメラから、それぞれ姿勢パラメータまたは画像を受信してもよい。同期信号は制御装置４０内の同期信号生成部（図示せず）が生成してもよいし、第１または第２通信部のいずれかが生成してもよい。また、カメラ３０、３１が撮像時刻付の画像を生成可能なときは、第２通信部がカメラから時々刻々と画像を受信して、第１通信部がロボットから受信した姿勢パラメータと同時刻の画像を選択することができる。演算部４３は、カメラ３０、３１から受信した画像中に対象物を認識して、その位置情報を算出する。演算部は、対象物の位置情報とロボットから受信した姿勢パラメータとを関連付けたレコードを作成し、記憶部４４に記憶された参照表に追加登録する。
【００４９】  ここで、参照表について、さらに詳細に説明する。
【００５０】  参照表には、ロボットの作業空間内の点について、その点のカメラ画像から得られる位置情報と、その点に対応したロボットの姿勢パラメータとが、関連付けて登録される。
【００５１】  参照表に登録する位置情報は、図５に示したような２つ画素座標の組には限られない。位置情報は、例えば図６に示すように、第１カメラによる画像中の画素位置（ｕ１ｉ，ｖ１ｉ）と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報（ｄｉ）との組であってもよい。あるいは、位置情報は、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。これらの場合、第１カメラと第２カメラの中心間距離（基線長）と画像中のエピポーラ線を知る必要があるが、例えば第１カメラと第２カメラが一体となった市販のステレオカメラなどを利用する場合には、このようなカメラの幾何学的パラメータが予め調整されており、内部校正作業は不要である。
【００５２】  参照表に登録する姿勢パラメータの一例はロボットの関節変数である。関節変数は、図５に示したような関節角度の組には限定されない。姿勢パラメータとして関節変数を用いる場合は、回転関節では関節角度（リンク間角度）、直動関節ではリンク間距離を関節変数として、ロボットを構成する関節の種類に応じた関節変数を組み合わせる。
【００５３】  本実施形態では、対象物の位置情報と、その対象物を実際に把持した状態での関節変数を関連付けて、参照表に登録できる。したがって、後続する作業時に、新たな対象物の位置情報から参照表を検索して関節変数が取得できた場合は、その関節変数をロボットに指示することによって、新たな対象物を把持することができる。さらに、重力によるアームの撓み等があっても、カメラによる画像から求めた位置情報にはアームの撓み等がすでに織り込まれており、撓みの影響を受けずにハンドを新たな対象物まで移動できる。
【００５４】  参照表に登録する姿勢パラメータの他の例は、対象物のロボット座標系における三次元位置座標である。ロボット座標系は、作業時を通して変動しない座標系であればよい。好適には、ロボットのベース２５を基準とする座標系を用いることができる。ロボット座標系は直交座標系であっても極座標系であってもよい。一例として、図９に、ロボット座標系における直交座標（Ｒｘｉ，Ｒｙｉ，Ｒｚｉ）を姿勢パラメータとする参照表を示す。姿勢パラメータを三次元位置座標で表すことには、パラメータの数が少なくてすむというメリットがある。
【００５５】  対象物の三次元位置座標は、そのときの関節変数から算出することができる。対象物の三次元位置座標は、例えば、制御装置の第１通信部がロボットから受信した関節変数を基に演算部が算出できる。また、後続する作業時に、新たな対象物の位置情報から参照表を検索して三次元位置座標が取得できた場合は、制御装置の演算部または演算機能を有するロボットの駆動部が当該三次元座標位置にハンドを移動させるための関節変数を算出することができる。
【００５６】  なお、本実施形態は、ロボットとカメラ設置後であって最初の作業の前に、簡単な参照表を作成しておくことを排除するものではない。その際に精密なキャリブレーションを行うことは本実施形態の目的に反するし、必要でもない。例えば、ハンドに対象物を保持させて作業空間の角等に手動または自動で移動させ、そのときのハンドの位置情報とロボットの姿勢パラメータとを関連付けたレコードを作成し、予め参照表に登録しておいてもよい。参照表に予め登録しておくレコード数は、好ましくは６４以下、さらに好ましくは２７以下、特に好ましくは８以下であり、最も好ましくは０である。
【００５７】  本実施形態では、自律的にハンドを目標位置まで移動可能なロボットを用いるので、キャリブレーション作業の負担が軽減される。また、作業を続けるにつれて参照表に登録される位置情報の数が増えるので、参照表に対象物の位置情報を発見する確率が上がり、結果として、ハンド移動に要する時間を短縮できる。
【００５８】  本実施形態では、実際のカメラおよびロボットを用いて参照表を作成するので、システム製作時の加工・取り付け等による誤差の影響を受けない。また、カメラの内部および外部パラメータやロボットの設置位置・向き等を計測する必要がないので、装置の選択や設置の自由度が大きい。例えば、画角の大きいカメラを用いて、より広い範囲をカバーすることができる。
【００５９】  本実施形態では、参照表を利用してハンドを移動させるので、ハンドが一度訪れた点には、二度目以降も確実に到達することができる。また、レンズ歪等による不規則な誤差要因があっても、その影響を受けない。例えば、レンズ歪について、変換行列等を利用して座標変換を行う場合は、歪曲収差係数等を用いたとしても、モデル化された樽形歪、糸巻形歪等に対して補正できるだけで、不規則な歪の影響を完全には排除できない。参照表を利用することにより、より安価なレンズ系を備えたカメラを採用することができる。
【００６０】  次に、本発明の第２実施形態を図８に基づいて説明する。
【００６１】  図８において、本実施形態のロボットシステム１１は、第１実施形態のそれとほぼ同じである。ただし、ロボット２０のハンド２４に標識５１が固定されており、この標識を利用して参照表の補充、更新を行う。
【００６２】  本実施形態では、第１実施形態と同じく、ロボットのハンドを対象物５２まで移動させようとするときに、カメラ３０、３１から画像を取得し、画像中に対象物を認識して対象物の位置情報を算出し、その位置情報を参照表に発見した場合は、位置情報に関連付けられた姿勢パラメータをロボットに送信して、ハンドを対象物まで移動させる。しかし、対象物５２の位置情報を参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、ハンドが対象物に到達する前および／または後であって、ハンドが停止中および／または移動中に、標識５１のカメラ画像に基づく位置情報と、当該位置情報に対応する姿勢パラメータとを関連付けて、参照表を補充、更新する。
【００６３】  ここで、標識の位置情報を求めたときの関節変数を、そのまま参照表に登録することはできない。標識の位置はハンドが対象物を把持するときの位置（ハンドの把持位置）と一致していないので、その関節変数はその標識の位置に対応していないからである。そこで、標識の位置情報を求めたときの関節変数から、標識の三次元位置座標を算出して参照表に登録する。あるいは、標識の位置情報を求めたときの関節変数から一旦標識の三次元位置座標を求め、ロボットの設計データを基に標識位置に対応する関節変数へ変換して、参照表に登録することも可能である。その際、作業場にある障害物を回避するための幾何学的な拘束条件等を考慮して関節変数を求めることができる。
【００６４】  なお、標識の固定先はハンドに限られず、ロボットの可動部分であれば、アーム２１に固定されていてもよい。また、標識をハンドに固定することには、標識となる物体をハンドに固着させること、ハンドの一部に標識となるマークを描くこと、ハンドの一部であって特徴的な部分を標識とすることが含まれる。
【００６５】  本実施形態によれば、ロボット２０のハンド２４に固定された標識を利用して参照表の補充、更新を行うので、ハンドが対象物を把持しているか否かに関わらず、ハンドが対象物に到達する前後に関わらず、参照表の補充、更新が可能となる。
【００６６】  次に、本発明の第３実施形態を図９に基づいて説明する。
【００６７】  図９において、本実施形態のロボットシステム１２は、第１実施形態のそれとほぼ同じである。ただし、ロボット２０がハンド２４と対象物５２との位置偏差を検出する偏差検出手段が、第１カメラ３０および第２カメラ３１からなる。
【００６８】  次に、本発明の第４実施形態を図１０〜図１２に基づいて説明する。本実施形態は、鏡を利用し、１台のカメラで、ロボットの作業空間の直接像および鏡による反射像を撮像する。
【００６９】  図１０において、本実施形態のロボットシステム１３は、多関節ロボット２０と、鏡３８と、ロボットの作業空間の直接像および鏡による反射像を撮像する１台のカメラ３２と、制御装置４０とを有する。
【００７０】  ロボット２０は第１実施形態と同じである。カメラ３２は、第１実施形態の第１カメラ３０または第２カメラ３１と同じものを用いることができる。カメラ３２および鏡３８は、ロボットの作業空間の直接像および鏡による反射像を撮像可能に設置される。
【００７１】  制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。図１１に示すように、第２通信部４２がカメラ３２から受信する画像には、対象物５２の直接像と鏡３８による反射像が写り込んでいる。演算部４３は、１枚の画像を処理して、対象物を認識して、その位置情報を算出する。その他は第１実施形態と同様である。
【００７２】  図１２に参照表の例を示す。この参照表の各レコードには、対象物の直接像の画像中の画素位置としての座標（ｕｄｉ，ｖｄｉ）、反射像の画像中の画素位置としての座標（ｕｍｉ，ｖｍｉ）と、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）が含まれている。
【００７３】  次に、本発明の第５実施形態を図１３および図１４に基づいて説明する。本実施形態は、１台のＴＯＦカメラで、ロボットの作業空間を撮像する。
【００７４】  図１３において、本実施形態のロボットシステム１４は、多関節ロボット２０と、ロボットの作業空間を撮像する１台のＴＯＦカメラ３３と、制御装置４０とを有する。
【００７５】  ロボット２０は第１実施形態と同じである。ＴＯＦカメラ３３は、光飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）方式による距離画像生成カメラで、二次元画像とともにカメラから各画素に写った点までの距離が記録された距離画像を撮像する。
【００７６】  制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。演算部４３は、ＴＯＦカメラ３３から第２通信部で受信した二次元画像および距離画像を処理して、対象物５２を画像中に認識して、その対象物の位置情報を取得する。その他は第１実施形態と同様である。
【００７７】  図１４に参照表の例を示す。この参照表の各レコードは、対象物の距離画像中の座標（Ｃｘｉ，Ｃｙｉ，Ｃｄｉ）と、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）を含む。
【００７８】  本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。
【００７９】  例えば、上記各実施形態では、１台のロボットに対して１台以上のカメラと１台の制御装置を組み合わせてロボットシステムを構築したが、これには限られず、複数のロボットシステムを１台の制御装置で制御してもよい。
【符号の説明】
【００８０】  １０〜１４  ロボットシステム  ２０  多関節ロボット  ２１  アーム  ２２  リンク  ２３  関節  ２４  ハンド  ２５  ベース  ２６  駆動部  ２７  三次元視覚センサ（偏差検出手段）  ３０  第１カメラ  ３１  第２カメラ  ３２  カメラ  ３３  ＴＯＦカメラ  ３８  鏡  ４０  ロボットシステム制御装置（制御装置）  ４１  第１通信部（ロボットとのインターフェイス）  ４２  第２通信部（カメラとのインターフェイス）  ４３  演算部  ４４  記憶部  ４５  第３通信部（入出力装置とのインターフェイス）  ４６  入力装置  ４７  出力装置  ５１  標識  ５２  対象物
【図１】
2018043525.tif 000003
【図２】
2018043525.tif 000004
【図３】
2018043525.tif 000005
【図４】
2018043525.tif 000006
【図５】
2018043525.tif 000007
【図６】
2018043525.tif 000008
【図７】
2018043525.tif 000009
【図８】
2018043525.tif 000010
【図９】
2018043525.tif 000011
【図１０】
2018043525.tif 000012
【図１１】
2018043525.tif 000013
【図１２】
2018043525.tif 000014
【図１３】
2018043525.tif 000015
【図１４】
2018043525.tif 000016
【国際調査報告】
2018043525.tif 000017
2018043525.tif 000018
2018043525.tif 000019
2018043525.tif 000020