(57)【要約】【課題】ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを、正確、短時間かつ容易に確認できるロボットシステムを提供する。【解決手段】ロボットシステム１は、処理対象物Ｗに所定の処理を行うロボット１０と、処理対象物Ｗを撮影する撮影装置２０と、予め設定されたロボット１０、撮影装置２０及び処理対象物Ｗの位置に関する情報、及び、撮影装置２０で撮影された処理対象物Ｗの画像に基づいて、処理対象物Ｗに追従するようにロボット１０の移動先の位置補正を行うロボット制御装置４０と、ＡＲ空間を提供する表示装置６０とを備え、ロボット制御装置４０は、ロボット１０及び撮影装置２０の位置に関する情報に基づいて、撮影装置２０の位置を計算し、表示装置６０は、計算された撮影装置２０の位置に基づいて、ＡＲ空間の対応位置に、撮影装置を模した画像を表示する。【選択図】図１
2019038075.tif 000002
【特許請求の範囲】
【請求項１】
処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
ＡＲ空間を提供する表示装置と、
を備え、
前記ロボット制御装置は、前記ロボット及び前記撮影装置の位置に関する情報に基づいて、前記撮影装置の位置を計算し、
前記表示装置は、計算された前記撮影装置の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置を模した画像を表示する、
ロボットシステム。
【請求項２】
前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、
前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係である、
請求項１に記載のロボットシステム。
【請求項３】
処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
ＡＲ空間を提供する表示装置と、
を備え、
前記ロボット制御装置は、前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物の位置を計算し、
前記表示装置は、計算された前記処理対象物の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置で撮影された前記処理対象物の画像を表示する、
ロボットシステム。
【請求項４】
前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、
前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係であり、
前記処理対象物の位置に関する情報は、（４）前記撮影装置と前記処理対象物との距離である、
請求項３に記載のロボットシステム。
【請求項５】
前記処理対象物は、コンベア上を移動しており、
前記ロボット制御装置は、更に前記処理対象物の移動速度に基づいて、前記処理対象物の位置を計算する、
請求項３又は４に記載のロボットシステム。
【請求項６】
処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
ＡＲ空間を提供する表示装置と、
を備え、
前記ロボットの位置に関する情報は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を含み、
前記表示装置は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を模した画像を表示する、
ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置で撮影された処理対象物の画像に基づいて、処理対象物に追従するようにロボットの移動先の位置補正を行うロボットシステムに関する。
【背景技術】
【０００２】
特許文献１及び２には、撮影装置で撮影された画像に基づいて、ロボットの移動先の位置補正を行うロボットシステムが記載されている。
特許文献１に記載のロボットシステムは、撮影装置で撮影されたロボットの画像に基づいてロボットのＣＧ映像を生成し、ＣＧ映像をタッチスクリーン上に表示する。ロボットシステムは、ユーザのタッチ操作に応じてタッチスクリーン上でのＣＧ映像のロボットを仮想的に動作させ、仮想的なロボットの動作に追従して実際のロボットを動作させる。
特許文献２に記載のロボットシステムは、撮影装置で撮影された処理対象物の画像を表示装置に表示する。これにより、作業者は、表示装置に表示された処理対象物の画像に基づいて、ロボットの動作を遠隔操作する。
【０００３】
また、例えば産業用ロボットシステムにおいて、撮影装置で撮影された処理対象物の画像に基づいて、処理対象物に追従するようにロボットの移動先の位置補正を行うロボットシステムがある。このようなロボットシステムでは、ロボット、撮影装置及び処理対象物の位置に関する情報が予め設定されている。
ロボット、撮影装置及び処理対象物の位置に関する情報は、例えば、
（１）ロボットの位置補正の基準となる座標系の原点及び各軸の方向、
（２）ロボットの位置補正の基準となるロボットの位置（例えば、後述するロボットの各関節の回転角度又は並進量）、
（３）ロボットと撮影装置との相対位置関係、及び、
（４）撮影装置と処理対象物との距離、
である。
【０００４】
ここで、典型的なロボットでは、ベース部が地面又はレール上等に固定されている。これより、本出願において、「移動」とは、ロボットそのものの運搬を意味するものではなく、ロボットの各関節の回転量又は並進量を変更し、ロボットの位置制御の対象部位（例えば、アーム先端部）の一点の位置を移動することを意味する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１７１０２４号公報
【特許文献２】特開２００４−２１３６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、ロボットの移動先の位置補正を行うためには、ロボット、撮影装置及び処理対象物の位置に関する情報を予め設定しておく必要がある。この際、誤った情報を設定してしまうと、撮影画像内に映っている処理対象物の位置に追従してロボットを移動させたいのに、ロボットが処理対象物の位置に追従しない不適切な挙動を行うことがある。そこで、ロボット、撮影装置及び処理対象物の位置に関する設定情報が適切か否かを確認する必要がある。
【０００７】
ロボットシステムでは、処理対象物の撮影画像に基づいてロボットの位置補正量を計算する。作業者はこの計算されたロボットの位置補正量を知ることが可能である。しかし、上述したようにロボットの位置の情報は例えば複数の関節の回転角度又は並進量であるため、実際にロボットがどの位置に移動するかを正確に予測するには、熟練と注意力を要する。そのため、作業者の認識とロボットの移動とに乖離が生じやすく、ロボット、撮影装置及び処理対象物の位置に関する設定情報の設定を適切に施す難易度は高い。
【０００８】
上述したように、ロボットシステムの動作前に設定情報の設定が適切に施されているか否かを確認することが難しいため、ロボットシステムを実際に動作させて確認することが考えられる。しかし、設定情報の設定が誤っている場合、ロボットが不適切な位置に移動してしまい、ロボットが作業者又は周辺装置と衝突して傷害又は破損が生じてしまうという問題がある。
【０００９】
また、コンベア等によって処理対象物が移動する場合（トラッキングの場合）、より確認が難しくなる。例えば、ロボットシステムを実際に動作させて確認する場合、処理対象物の位置が変化して撮影画像の視野内に処理対象物が残存しないことがある。
また、上述したロボットと作業者又は周辺装置との衝突を回避するために、ロボットをゆっくりと移動させることが考えられるが、コンベア等の速度も遅くする必要がある。このように、ロボット以外の設定調整に関する作業量が増えるので、ロボットの位置補正後の移動先の把握がより難しくなる。更には、設定情報の確認の時間が長くなる。
【００１０】
本発明は、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを、正確、短時間かつ容易に確認できるロボットシステムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記問題点を解決するために、本願発明者らは、ＡＲ空間を用いて、ロボット、撮影装置又は処理対象物の位置に関する設定情報を視覚化することを見出した。
この点に関し、特許文献１及び２にはＡＲ空間を利用してロボットの位置制御を行うことが記載されているが、特許文献１及び２に記載のロボットシステムは、ロボット、撮影装置及び処理対象物を含むＡＲ空間を利用して、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを確認するものではない。
【００１２】
（１）  本発明に係るロボットシステム（例えば、後述のロボットシステム１）は、処理対象物（例えば、後述のワークＷ）に所定の処理を行うロボット（例えば、後述のロボット１０）と、前記処理対象物を撮影する撮影装置（例えば、後述のカメラ２０）と、予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置（例えば、後述のロボット制御装置４０）と、ＡＲ空間を提供する表示装置（例えば、後述の表示装置６０）とを備え、前記ロボット制御装置は、前記ロボット及び前記撮影装置の位置に関する情報に基づいて、前記撮影装置の位置を計算し、前記表示装置は、計算された前記撮影装置の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置を模した画像を表示する。
【００１３】
（２）  （１）に記載のロボットシステムにおいて、前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係であってもよい。
【００１４】
（３）  本発明に係る別のロボットシステム（例えば、後述のロボットシステム１）は、処理対象物（例えば、後述のワークＷ）に所定の処理を行うロボット（例えば、後述のロボット１０）と、前記処理対象物を撮影する撮影装置（例えば、後述のカメラ２０）と、予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置（例えば、後述のロボット制御装置４０）と、ＡＲ空間を提供する表示装置（例えば、後述の表示装置６０）とを備え、前記ロボット制御装置は、前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物の位置を計算し、前記表示装置は、計算された前記処理対象物の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置で撮影された前記処理対象物の画像を表示する。
【００１５】
（４）  （３）に記載のロボットシステムにおいて、前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係であり、前記処理対象物の位置に関する情報は、（４）前記撮影装置と前記処理対象物との距離であってもよい。
【００１６】
（５）  （３）又は（４）に記載のロボットシステムにおいて、前記処理対象物は、コンベア上を移動しており、前記ロボット制御装置は、更に前記処理対象物の移動速度に基づいて、前記処理対象物の位置を計算してもよい。
【００１７】
（６）  本発明に係る更に別のロボットシステム（例えば、後述のロボットシステム１）は、処理対象物（例えば、後述のワークＷ）に所定の処理を行うロボット（例えば、後述のロボット１０）と、前記処理対象物を撮影する撮影装置（例えば、後述のカメラ２０）と、予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置（例えば、後述のロボット制御装置４０）と、ＡＲ空間を提供する表示装置（例えば、後述の表示装置６０）とを備え、前記ロボットの位置に関する情報は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を含み、前記表示装置は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を模した画像を表示する。
【発明の効果】
【００１８】
本発明によれば、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを、正確、短時間かつ容易に確認できるロボットシステムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係るロボットシステムの構成を示す図である。
【図２】図１に示すロボットシステムであって、第１実施形態に係るロボットシステムにおける表示装置に表示されるＡＲ空間の一例を示す図である。
【図３】第１実施形態に係るロボットシステムによる設定情報の確認動作を示すフローチャートである。
【図４】図１に示すロボットシステムであって、第２実施形態に係るロボットシステムにおける表示装置に表示されるＡＲ空間の一例を示す図である。
【図５】第２実施形態に係るロボットシステムによる設定情報の確認動作を示すフローチャートである。
【図６】図１に示すロボットシステムであって、第３実施形態に係るロボットシステムにおける表示装置に表示されるＡＲ空間の一例を示す図である。
【図７】第３実施形態に係るロボットシステムによる設定情報の確認動作を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
【００２１】
（第１実施形態）
図１は、第１実施形態に係るロボットシステムの構成を示す図である。図１に示すロボットシステム１は、カメラ（撮影装置）２０で撮影されたワーク（処理対象物）Ｗの画像に基づいて、ワークＷに追従するようにロボット１０のアーム１２の先端部（位置制御の対象部位）の移動先の位置補正を行う。
ロボットシステム１は、ロボット１０と、カメラ２０と、コンベア３０と、ロボット制御装置４０と、画像処理装置５０と、ＡＲ表示装置６０とを備える。
【００２２】
ロボット１０は、ワークＷの検査、ワークＷの加工等の所定の処理を行うためのロボットである。このようなロボット１０としては、公知のロボットマニピュレータを用いることができる。図１には、ロボット１０として、６つの関節軸を有するマニピュレータが例示されている。このロボット１０では、アーム１２の先端部が位置制御の対象部位である。
【００２３】
カメラ２０は、ロボット１０のアーム１２の先端部に設けられている。カメラ２０は、ワークＷを撮影し、撮影したワークＷの画像をロボット制御装置４０に提供する。
【００２４】
ワークＷは、コンベア３０上に設けられている。コンベア３０は、ワークＷを所定の搬送方向に所定速度で移動する。
【００２５】
ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する情報を予め設定されている。ロボット制御装置４０は、カメラ２０で撮影されたワークＷの画像を、カメラ２０から取得する。ロボット制御装置４０は、例えば数値制御装置（図示せず）から動作指令（動作プログラム）を取得する。ロボット制御装置４０は、動作指令、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報、及びワークＷの画像に基づいて、ワークＷに追従するように、ロボット１０のアーム１２の先端部（位置制御の対象部位）の位置制御、及び移動先の位置補正を行う。
【００２６】
ロボット１０の位置に関する設定情報は、例えば、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、及び、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、である。
カメラ２０の位置に関する設定情報は、例えば、
（３）ロボット１０とカメラ２０との相対位置関係、である。
ワークＷの位置に関する設定情報は、例えば、
（４）カメラ２０とワークＷとの距離、である。
【００２７】
また、ロボット制御装置４０は、設定情報におけるロボット１０及びカメラ２０の位置に関する設定情報の設定が適切であるか否かを確認するために、ロボット１０及びカメラ２０の位置に関する設定情報（１）、（２）、（３）に基づいて、カメラ２０の位置を計算する。
【００２８】
画像処理装置５０は、計算されたカメラ２０の位置に基づいて、表示装置６０のＡＲ空間の対応位置に、カメラ２０を模したカメラの画像を描画するための画像データを生成する。
画像処理装置５０は、ロボット制御装置４０に含まれていてもよい。
【００２９】
表示装置６０は、現実空間に仮想の情報を重ね合わせて表示するＡＲ（Augmented Reality：拡張現実）空間を提供する。表示装置６０の一例としては、ヘッドマウントディスプレイが挙げられる。
図２に、表示装置６０に表示されるＡＲ空間の一例を示す。図２に示すように、表示装置６０は、画像処理装置５０で生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、カメラの画像２１を表示する。
【００３０】
上述したロボット制御装置４０及び画像処理装置５０は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の演算プロセッサで構成される。ロボット制御装置４０及び画像処理装置５０の各種機能は、例えば記憶部に格納された所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。ロボット制御装置４０及び画像処理装置５０の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。
【００３１】
また、ロボット制御装置４０は、ロボット１０、カメラ２０及び画像処理装置５０と有線または無線で接続されており、情報の送受信が可能である。また、画像処理装置５０は、表示装置６０と有線または無線で接続されており、情報の送受信が可能である。
【００３２】
次に、図３を参照して、第１実施形態のロボットシステム１による設定情報の確認動作について説明する。図３は、第１実施形態のロボットシステム１による設定情報の確認動作を示すフローチャートである。
【００３３】
まず、作業者がロボット１０のアーム１２の先端部（位置制御の対象部位）にカメラ２０を設置する。
【００３４】
次に、作業者がロボット１０、カメラ２０及びワークＷの位置に関する設定情報をロボット制御装置４０に登録する。このようにして、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を予め設定する（Ｓ１１）。
ロボット１０、カメラ２０及びワークＷの位置に関する設定情報は、上述したように、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、
（３）ロボット１０とカメラ２０との相対位置関係、及び、
（４）カメラ２０とワークＷとの距離、
である。
【００３５】
本実施形態では、作業者が設定情報をロボット制御装置４０に直接登録する一例を示したが、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置を計算で求めてもよい。例えば、ロボット制御装置４０は、予め位置が分かっているカメラで、ロボット１０、カメラ２０及びワークＷに付されたマークを撮影し、撮影した画像からロボット１０、カメラ２０及びワークＷの位置を計算してもよい。
【００３６】
次に、ロボット制御装置４０は、ロボット１０及びカメラ２０の位置に関する設定情報（１）、（２）、（３）に基づいて、カメラ２０の位置を計算する（Ｓ１２）。
【００３７】
次に、画像処理装置５０は、計算されたカメラ２０の位置を、ロボット１０の座標系から表示装置６０のＡＲ空間の座標系に変換する（Ｓ１３）。
次に、画像処理装置５０は、変換されたカメラ２０の位置に基づいて、表示装置６０のＡＲ空間の対応位置に、カメラ２０を模したカメラの画像２１を描画するための画像データを生成する（Ｓ１４）。
次に、図２に示すように、表示装置６０は、生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、カメラの画像２１を表示する（Ｓ１４）。
【００３８】
これにより、表示装置６０を装着した作業者は、ＡＲ空間において、実物のカメラ２０の位置に対するカメラの画像２１の位置によって、設定情報が適切に設定されているか否かを確認することができる。
例えば、実物のカメラ２０とカメラの画像２１とが重なる場合、設定情報は適切に設定されている。
一方、実物のカメラ２０に対してカメラの画像２１がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット１０及びカメラ２０の位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のカメラ２０に対してカメラの画像２１がずれている場合、カメラ２０の不適切な設置、例えばカメラ２０がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ２０を適切に設置し直して、上述した設定情報の確認動作を再度行う。
【００３９】
以上説明したように、第１実施形態のロボットシステム１によれば、ロボット制御装置４０は、ロボット１０及びカメラ２０の位置に関する設定情報に基づいて、カメラ２０の位置を計算し、表示装置６０は、計算されたカメラ２０の位置に基づいて、ＡＲ空間の対応位置に、カメラ２０を模したカメラの画像２１を表示する。これにより、ロボット１０及びカメラ２０の位置に関する設定情報を視覚化し、これらの設定情報の設定が適切か否かを、正確、短時間かつ容易に確認することができる。
【００４０】
（第２実施形態）
第１実施形態では、図２に示すように、ＡＲ空間に、設定情報に基づくカメラの画像２１を表示することにより、ロボット１０及びカメラ２０の位置に関する設定情報の設定が適切であるか否かの確認を行った。第２実施形態では、図４に示すように、ＡＲ空間に、設定情報に基づくワークの画像Ｗ１を表示することにより、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報の設定が適切であるか否かの確認を行う。
【００４１】
第２実施形態に係るロボットシステム１の構成は、図１に示す第１実施形態のロボットシステム１の構成と同一である。なお、第２実施形態に係るロボットシステム１では、ロボット制御装置４０、画像処理装置５０及び表示装置６０の機能及び動作が第１実施形態のロボットシステム１と異なる。
【００４２】
ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報の設定が適切であるかを確認するために、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報（１）、（２）、（３）、（４）、及びカメラ２０で撮影されたワークＷの画像に基づいて、ワークＷの位置を計算する。
【００４３】
画像処理装置５０は、計算されたワークＷの位置に基づいて、表示装置６０のＡＲ空間の対応位置に、カメラ２０で撮影されたワークＷの画像を描画するための画像データを生成する。
【００４４】
図４に、表示装置６０に表示されるＡＲ空間の一例を示す。図４に示すように、表示装置６０は、画像処理装置５０で生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、ワークの画像Ｗ１を表示する。
【００４５】
次に、図５を参照して、第２実施形態のロボットシステム１による設定情報の確認動作について説明する。図５は、第２実施形態のロボットシステム１による設定情報の確認動作を示すフローチャートである。
【００４６】
まず、作業者がロボット１０のアーム１２の先端部（位置制御の対象部位）にカメラ２０を設置する。
【００４７】
次に、作業者がロボット１０、カメラ２０及びワークＷの位置に関する設定情報をロボット制御装置４０に登録する。このようにして、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を予め設定する（Ｓ２１）。
ロボット１０、カメラ２０及びワークＷの位置に関する設定情報は、上述したように、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、
（３）ロボット１０とカメラ２０との相対位置関係、及び、
（４）カメラ２０とワークＷとの距離、
である。
【００４８】
次に、ロボット制御装置４０は、カメラ２０で撮影されたワークＷの画像を取得する（Ｓ２２）。
【００４９】
次に、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報（１）、（２）、（３）、（４）、及び、取得したワークＷの画像に基づいて、ワークＷの位置を計算する（Ｓ２３）。
【００５０】
次に、画像処理装置５０は、計算されたワークＷの位置を、ロボット１０の座標系から表示装置６０のＡＲ空間の座標系に変換する（Ｓ２４）。
次に、画像処理装置５０は、変換されたワークＷの位置に基づいて、表示装置６０のＡＲ空間の対応位置に、取得したワークの画像Ｗ１を描画するための画像データを生成する（Ｓ２５）。
次に、図４に示すように、表示装置６０は、生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、ワークの画像Ｗ１を表示する（Ｓ２６）。
【００５１】
ここで、トラッキングの場合、ワークＷはコンベア３０により移動する。そのため、ステップＳ２３では、ロボット制御装置４０は、コンベア３０によるワークＷの移動速度に応じて、ワークＷの位置を計算する。コンベア３０によるワークＷの移動速度は、予め設定されていてもよいし、速度センサ等を用いて検出してもよい。
これにより、ステップＳ２６では、表示装置６０は、図４に示すように、カメラ２０の撮影範囲Ｒから移動したワークＷに追従してワークの画像Ｗ１を表示することができる。
【００５２】
これにより、表示装置６０を装着した作業者は、ＡＲ空間において、実物のワークＷの位置に対するワークの画像Ｗ１の位置によって、設定情報が適切に設定されているか否かを確認することができる。
例えば、実物のワークＷとワークの画像Ｗ１とが重なる場合、設定情報は適切に設定されている。
一方、実物のワークＷに対してワークの画像Ｗ１がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のワークＷに対してワークの画像Ｗ１がずれている場合、カメラ２０の不適切な設置、例えばカメラ２０がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ２０を適切に設置し直して、上述した設定情報の確認動作を再度行う。
【００５３】
以上説明したように、第２実施形態のロボットシステム１によれば、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する情報、及び、カメラ２０で撮影されたワークＷの画像に基づいて、ワークＷの位置を計算し、表示装置６０は、計算されたワークＷの位置に基づいて、ＡＲ空間の対応位置に、カメラ２０で撮影されたワークの画像Ｗ１を表示する。これにより、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を視覚化し、これらの設定情報の設定が適切か否かを、正確、短時間かつ容易に確認することができる。
【００５４】
また、第２実施形態のロボットシステム１によれば、コンベア３０によりワークＷが移動するトラッキングにおいても、ロボット制御装置４０は、コンベア３０によるワークＷの移動速度に応じて、ワークＷの位置を計算する。これにより、表示装置６０は、図４に示すように、カメラ２０の撮影範囲Ｒから移動したワークＷに追従してワークの画像Ｗ１を表示することができる。
【００５５】
（第３実施形態）
第３実施形態では、図６に示すように、ＡＲ空間に、設定情報に基づく座標系の画像ＸＹＺを表示することにより、（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向に関する設定情報の確認を行う。
【００５６】
第３実施形態に係るロボットシステム１の構成は、図１に示す第１実施形態のロボットシステム１の構成と同一である。なお、第３実施形態に係るロボットシステム１では、ロボット制御装置４０、画像処理装置５０及び表示装置６０の機能及び動作が第１実施形態のロボットシステム１と異なる。
【００５７】
ロボット制御装置４０は、設定情報における（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向に関する設定情報の設定が適切であるかを確認するために、この設定情報（１）を画像処理装置５０に送信する。
【００５８】
画像処理装置５０は、受信した設定情報（１）に基づいて、表示装置６０のＡＲ空間の対応位置に、座標系の画像を描画するための画像データを生成する。
【００５９】
図６に、表示装置６０に表示されるＡＲ空間の一例を示す。図６に示すように、表示装置６０は、画像処理装置５０で生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、座標系の画像ＸＹＺを表示する。
【００６０】
次に、図７を参照して、第３実施形態のロボットシステム１による設定情報の確認動作について説明する。図７は、第３実施形態のロボットシステム１による設定情報の確認動作を示すフローチャートである。
【００６１】
まず、作業者がロボット１０のアーム１２の先端部（位置制御の対象部位）にカメラ２０を設置する。
【００６２】
次に、作業者がロボット１０、カメラ２０及びワークＷの位置に関する設定情報をロボット制御装置４０に登録する。このようにして、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を予め設定する（Ｓ３１）。
ロボット１０、カメラ２０及びワークＷの位置に関する設定情報は、上述したように、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、
（３）ロボット１０とカメラ２０との相対位置関係、及び、
（４）カメラ２０とワークＷとの距離、
である。
【００６３】
次に、ロボット制御装置４０は、設定情報（１）を画像処理装置５０に送信する（Ｓ３２）。
次に、画像処理装置５０は、ロボット１０の位置補正の基準となる３次元座標系の原点及び各３座標軸の方向を、ロボット１０の座標系から表示装置６０のＡＲ空間の座標系に変換する（Ｓ３３）。
次に、画像処理装置５０は、変換された座標系に基づいて、表示装置６０のＡＲ空間の対応位置に、座標系の画像ＸＹＺを描画するための画像データを生成する（Ｓ３４）。
次に、図６に示すように、表示装置６０は、生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、座標系の画像ＸＹＺを表示する（Ｓ３５）。
【００６４】
以上説明したように、第３実施形態のロボットシステム１によれば、表示装置６０は、（１）ロボット１０の位置補正の基準となる座標系の原点及び各軸の方向を模した座標系の画像ＸＹＺを、ＡＲ空間の対応位置に表示する。これにより、（１）ロボット１０の位置補正の基準となる座標系の原点及び各軸の方向に関する設定情報を視覚化し、この設定情報（１）の設定が適切か否かを、正確、短時間かつ容易に確認することができる。
また、座標系に関する設定が作業者の認識と一致しているかを一目で確認できる。
【００６５】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【００６６】
例えば、上述した実施形態では、カメラ２０がロボット１０のアーム１２の先端部に設けられた形態を例示したが、これに限定されない。本発明の特徴は、カメラ２０が、ロボット１０と独立して配置されたスタンド等に固定設置される形態にも適用可能である。
【００６７】
また、上述した実施形態では、撮影装置２０としてカメラを例示したが、これに限定されない。撮影装置２０としては、視覚センサ等の、ワークの画像を撮影可能な種々の撮影装置が用いられてもよい。
【００６８】
また、上述した実施形態では、表示装置６０としてヘッドマウントディスプレイを例示したが、これに限定されない。表示装置６０としては、ＡＲ空間を提供可能な種々の表示装置が用いられてもよい。
【００６９】
また、上述した実施形態では、ロボットシステム１として産業用ロボットシステムを例示したが、これに限定されない。本発明の特徴は、設定情報が適切であるか否かの確認が難しい種々のロボットシステムの設定情報の確認に適用可能である。
【符号の説明】
【００７０】
１  ロボットシステム
１０  ロボット
１２  アーム
２０  カメラ（撮影装置）
２１  カメラの画像（撮影装置を模した画像）
３０  コンベア
４０  ロボット制御装置
５０  画像処理装置
６０  表示装置
Ｗ  ワーク（処理対象物）
Ｗ１  ワークの画像（処理対象物の画像）
ＸＹＺ  座標系の画像（座標系を模した画像）
【図１】
2019038075.tif 000003
【図２】
2019038075.tif 000004
【図３】
2019038075.tif 000005
【図４】
2019038075.tif 000006
【図５】
2019038075.tif 000007
【図６】
2019038075.tif 000008
【図７】
2019038075.tif 000009