(57)【要約】【課題】仮想治具の支援によりマスターロボットを操作して対象物に対する作業をスレーブロボットに実行させる際に、仮想治具の設置に関する操作者の負担を軽減できること。【解決手段】対象物を含む周囲環境を計測する環境計測部２２と、環境計測部の計測データから３次元位置データを作成する環境計測処理部２３と、３次元位置データに基づき仮想空間を作成し、スレーブロボット１２の位置及び動作データに基づき仮想ロボットを生成するロボット制御部２７と、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具を生成等する仮想治具生成・取得部２６とを有し、ロボット制御部は、３次元位置データ、対象物データベース２４から選択された対象物及び工具に関するデータ、作業データベース２５から選択された作業に関するデータ、並びにスレーブロボットの位置及び動作データに基づいて、仮想治具の種類、形状、寸法、設置位置を決定する。【選択図】図１
2020163511.tif 000002
【特許請求の範囲】
【請求項１】
対象物を含む周囲環境を計測する環境計測部と、
前記環境計測部の環境計測データから、前記対象物を検出すると共に、前記対象物を含む３次元位置データを作成する環境計測処理部と、
前記対象物及び工具に関するデータを格納する対象物データベースと、
前記対象物に対する作業に関するデータを格納する作業データベースと、
前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するロボット制御部と、
前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得する仮想治具生成・取得部と、
前記対象物に対応する仮想対象物を含む前記仮想空間、前記仮想ロボット、及び前記仮想治具を表示する表示装置とを有し、
マスターロボットが操作されることで、前記対象物に対する前記作業を前記スレーブロボットに実行させる遠隔操作ロボットの作業支援システムであって、
前記ロボット制御部は、前記３次元位置データ、前記対象物データベースから選択された前記対象物及び工具に関するデータ、前記作業データベースから選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とする遠隔操作ロボットの作業支援システム。
【請求項２】
前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、並びに前記ロボット制御部が保有するスレーブロボットの位置及び動作データに基づいて、環境計測処理部にて検出された複数の前記対象物に対して、前記スレーブロボットに最も近傍の前記対象物に対応する仮想対象物に設置された仮想治具を優先して有効に設定し、前記仮想治具の絞り込みを行うよう構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。
【請求項３】
前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、対象物データベースから選択された対象物及び工具に関するデータ、作業データベースから選択された作業に関するデータ、前記ロボット制御部が保有するスレーブロボットの位置及び動作データ、並びに前記スレーブロボットの作業動作により取得されたデータに基づいて、仮想治具生成・取得部にて作成または取得された仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。
【請求項４】
前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、対象物データベースから選択された対象物及び工具に関するデータ、作業データベースから選択された作業に関するデータ、前記ロボット制御部が保有するスレーブロボットの位置及び動作データ、並びに前記スレーブロボットの寸法に関するデータに基づいて、前記スレーブロボットの移動禁止領域を表す仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。
【請求項５】
前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、対象物データベースから選択された対象物及び工具に関するデータ、作業データベースから選択された作業に関するデータ、並びに前記ロボット制御部が保有するスレーブロボットの位置及び動作データに基づいて、仮想治具を生成または取得し且つこの仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するための一連の作業データを学習させることで、前記仮想治具の生成または取得処理と、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つの決定処理とが自律的に実行可能に構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。
【請求項６】
環境計測部の環境計測データから、対象物を検出すると共に、前記対象物を含む３次元位置データを作成するステップと、
前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するステップと、
前記対象物及び工具に関するデータを対象物データベースから、前記対象物に対する作業に関するデータを作業データベースから、それぞれ選択して取り込むステップと、
前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得するステップと、
前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを、前記３次元位置データ、選択された前記対象物及び工具に関するデータ、選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて決定するステップと、
前記仮想ロボット及び前記仮想治具の支援によりマスターロボットを操作することで、前記対象物に対する前記作業を前記スレーブロボットに実行させるステップと、を有することを特徴とする遠隔操作ロボットの作業支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具を用いてロボットの作業を支援する遠隔操作ロボットの作業支援システム及び作業支援方法に関する。
【背景技術】
【０００２】
遠隔操作ロボットの一つとして、放射線環境など人が立ち入ることができない場所での作業に用いられるマスタースレーブロボットがある。このマスタースレーブロボットは、オペレータ（操作者）がマスターロボットを操作することで、対象物に対する作業をスレーブロボットに実行させるものである。マスターロボットとスレーブロボットの双方の情報は通信により伝送されるため、オペレータが操作したマスターロボットの動作が、スレーブロボットでリアルタイムに再現される特色がある。マスターロボットとスレーブロボットの駆動軸数や軸配置が同じ同構造タイプのほか、マスターロボットは人が操作しやすいようにスレーブロボットとは構造が異なる異構造タイプもある。
【０００３】
マスタースレーブロボットを用いての遠隔作業は、スレーブロボット側に取り付けられたカメラ映像などを基に、オペレータがマスターロボットを操作するのであるが、作業性が悪いことが課題である。例えばピンを穴に挿入するような作業は、遠隔操作では距離感の把握が難しく、更に反力や触覚等の力覚情報が十分得られない場合には、作業自体はおろか対象物への位置決めさえも困難になることがある。
【０００４】
一方、マスターロボットの操作により生成したロボット動作データを用いて、実際の作業空間には存在しない仮想物体モデルにより干渉を検出し、検出結果を反力としてオペレータへ提示する第１の従来システムが提案されている。このシステムにより、目標位置の穴の周囲をコーン形状の仮想ガイドで覆うことで、スレーブロボットの手先で把持しているピンを、仮想ガイドに沿って穴の位置へ誘導することができる。
【０００５】
また、遠隔操作における自律機能とマニュアル操作機能を組み合わせる手法として、予め登録された作業モデルと物体モデルをオペレータが選択することで、ロボットに搭載されたステレオカメラによって距離画像を計測し、この計測により得られた作業空間内の物体モデルに対して作業を自律的に行う第２の従来システムが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２５２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、第１の従来システムでは、位置情報を示すマーカーを操作開始前に対象物に配置し、カメラによりマーカーを撮像して位置を計測することで、仮想ガイドの位置を修正する処理を行っている。このため、事前の準備が必要になり、放射線環境下などのように対象物に事前準備を行えない環境下では成立し得ない。
【０００８】
また、第２の従来システムでは、事前の準備をすることなしに対象となる物体に作業を行うことが可能である。ところが、この第２の従来システムでは、遠隔操作と自律作業をある程度明確に区別する必要があり、事前に準備した対象となる物体モデルに対する作業データだけが自律作業の対象になり、試行錯誤しながらの遠隔作業には適さない。また、例え作業を細かく分解して登録したとしても、物体モデルに対する作業データの指示をオペレータが選択することになり、作業効率が低下してしまうと考えられる。
【０００９】
本発明の実施形態は、上述の事情を考慮してなされたものであり、仮想治具及び仮想ロボットの支援によりマスターロボットを操作して対象物に対する作業をスレーブロボットに実行させる際に、仮想治具の設置に関する操作者の負担を軽減して作業効率を向上できる遠隔操作ロボットの作業支援システム及び作業支援方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の実施形態における遠隔操作ロボットの作業支援システムは、対象物を含む周囲環境を計測する環境計測部と、前記環境計測部の環境計測データから、前記対象物を検出すると共に、前記対象物を含む３次元位置データを作成する環境計測処理部と、前記対象物及び工具に関するデータを格納する対象物データベースと、前記対象物に対する作業に関するデータを格納する作業データベースと、前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するロボット制御部と、前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得する仮想治具生成・取得部と、前記対象物に対応する仮想対象物を含む前記仮想空間、前記仮想ロボット、及び前記仮想治具を表示する表示装置とを有し、マスターロボットが操作されることで、前記対象物に対する前記作業を前記スレーブロボットに実行させる遠隔操作ロボットの作業支援システムであって、前記ロボット制御部は、前記３次元位置データ、前記対象物データベースから選択された前記対象物及び工具に関するデータ、前記作業データベースから選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とするものである。
【００１１】
本発明の実施形態における遠隔操作ロボットの作業支援方法は、環境計測部の環境計測データから、対象物を検出すると共に、前記対象物を含む３次元位置データを作成するステップと、前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するステップと、前記対象物及び工具に関するデータを対象物データベースから、前記対象物に対する作業に関するデータを作業データベースから、それぞれ選択して取り込むステップと、前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得するステップと、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを、前記３次元位置データ、選択された前記対象物及び工具に関するデータ、選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて決定するステップと、前記仮想ロボット及び前記仮想治具の支援によりマスターロボットを操作することで、前記対象物に対する前記作業を前記スレーブロボットに実行させるステップと、を有することを特徴とするものである。
【発明の効果】
【００１２】
本発明の実施形態によれば、仮想治具及び仮想ロボットの支援によりマスターロボットを操作して対象物に対する作業をスレーブロボットに実行させる際に、仮想治具の設置に関する操作者の負担を軽減して作業効率を向上できる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る遠隔操作ロボットの作業支援システムを示すブロック図。
【図２】図１の遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムの構成を示す構成図。
【図３】図２のマスタースレーブロボットシステムによる配管フランジのボルト着脱作業を説明する説明図。
【図４】図３のボルトに対応する仮想ボルトに設置された仮想治具を示す説明図。
【図５】図４の仮想治具の絞込作業を説明する説明図。
【図６】図１における遠隔操作ロボットの作業支援システムが仮想治具を用いた遠隔操作を行なう場合の作用を示すフローチャート。
【図７】第２実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる丸鋸を用いた配管切断作業を説明する説明図。
【図８】図７の配管切断作業時に仮想配管に設置された仮想治具を示す説明図。
【図９】第３実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる通過禁止領域を表す仮想治具を示す説明図。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態を、図面に基づき説明する。
【００１５】
［Ａ］第１実施形態（図１〜図６）
図１は、第１実施形態に係る遠隔操作ロボットの作業支援システムを示すブロック図である。また、図２は、図１の遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムの構成を示す構成図である。マスタースレーブロボットシステム１０に適用される遠隔操作ロボットの作業支援システム２０は、マスターロボット１１が操作者（オペレータ）１により操作されることで、対象物（例えば図３に示す配管フランジ２のボルト３）に対する遠隔操作をスレーブロボット１２に実行させるシステムである。遠隔操作ロボットの作業支援システム２０は、環境計測部２２、環境計測処理部２３、対象物データベース２４、作業データベース２５、仮想治具生成・取得部２６、ロボット制御部２７、及び表示装置としてのディスプレイ２８を有して構成される。
【００１６】
このうちのロボット制御部２７は、マスターロボット制御部３１、スレーブロボット制御部３２、仮想空間作成部３３、仮想ロボット生成部３４、仮想治具決定部３５、仮想治具絞込部３６及び接触力演算部３７を備えてなる。このロボット制御部２７は、１台のコンピュータで構成されてもよいが、マスターロボット制御部３１とスレーブロボット制御部３２とを別々のコンピュータで構成し、これらのいずれかのコンピュータにより仮想空間作成部３３、仮想ロボット生成部３４、仮想治具決定部３５、仮想治具絞込部３６、接触力演算部３７がそれぞれ機能するように構成されてもよい。
【００１７】
ここで、マスタースレーブロボットシステム１０では、図２に示すように、操作者１がマスターロボット１１を操作したときの操作データは、マスターロボット１１に接続されたマスターロボット制御部３１に送信され、このマスターロボット制御部３１から通信回線１３を経てスレーブロボット制御部３２に送信される。なお、通信回線１３は、データを双方向に送信可能な通信回線である。スレーブロボット制御部３２は、スレーブロボット１２に接続されており、上述の操作データに基づいてスレーブロボット１２を制御する。
【００１８】
マスターロボット１１及びスレーブロボット１２は本第１実施形態ではマニピュレータであり、スレーブロボット１２の先端部にエンドエフェクタ1４が設けられている。このエンドエフェクタ１４に、作業に応じて多指ハンドやグリッパ、インパクトレンチ、丸鋸などの工具（作業ツール）が装着される。対象物が例えば図３に示す配管フランジ２のボルト３である場合には、エンドエフェクタ１４にインパクトレンチ１５が装着される。スレーブロボット１２は、インパクトレンチ１５をボルト３に位置決めし回転させることで、ボルト３の着脱作業を行なう。
【００１９】
また、スレーブロボット１２には、対象物（例えばボルト３）を含む周囲環境を計測する環境計測部２２が設置されている。この環境計測部２２は、スレーブロボット１２の周囲環境を撮像するためのカメラ、スレーブロボット１２のエンドエフェクタ１４部分を撮像するためのカメラ、またはスレーブロボット１２の周囲環境を、点群データとして計測するための距離画像計測装置などである。この環境計測部２２は、図１及び図２に示すように、環境計測処理部２３を介してロボット制御部２７の例えばスレーブロボット制御部３２に接続される。環境計測部２２がカメラの場合には、このカメラからの画像データが環境計測処理部２３にて圧縮されて、例えばスレーブロボット制御部３２へ送信される。
【００２０】
一方、マスターロボット１１付近にはディスプレイ２８が設置される。このディスプレイ２８は、ロボット制御部２７の例えばマスターロボット制御部３１に接続される。ディスプレイ２８には、環境計測部２２のカメラからの画像データが直接、または環境計測処理部２３、スレーブロボット制御部３２及びマスターロボット制御部３１を経て送信されて表示される。
【００２１】
カメラ画像による遠隔操作の場合には、操作者１は、ディスプレイ２８の画像を視認しながらマスターロボット１１を操作して、スレーブロボット１２に対象物に対する作業を実行させる。ところが、このカメラ画像による遠隔操作の場合には、特に、スレーブロボット１２のエンドエフェクタ１４に装着されたインパクトレンチ１５等の工具とボルト３などの対象物との位置決めが、奥行き情報やカメラの死角の影響で不十分になる恐れがある。
【００２２】
そこで、本第１実施形態では、カメラ画像による遠隔操作と併用してまたは単独で、仮想治具を用いた遠隔操作を実施可能とする。この仮想治具を用いた遠隔操作は、仮想空間上の仮想ロボット及び仮想治具２１（図４）の支援によりマスターロボット１１が操作者１により操作されることで、対象物(例えばボルト３)に対する遠隔作業をスレーブロボット１２に実行させる操作である。以下、この仮想治具を用いた遠隔操作について述べる。
【００２３】
図１に示す環境計測処理部２３は、環境計測部２２の距離画像計測装置からの環境計測データである点群データから、対象物（例えば配管フランジ２のボルト３）を検出すると共に、点群データをノイズフィルタリング処理して３次元位置データに変換する。この３次元位置データは、環境計測部２２の距離画像計測装置にて計測した点群データによるものに限らず、図面などから事前に作成したものであってもよい。環境計測処理部２３にて作成された３次元位置データは、ロボット制御部２７を経てまたは直接ディスプレイ２８へ送信される。なお、環境計測処理部２３は、ロボット制御部２７に組み込まれて構成されてもよい。
【００２４】
ロボット制御部２７の仮想空間作成部３３は、環境計測処理部２３にて作成された３次元位置データに基づき、仮想空間（不図示）を作成する。この仮想空間には、対象物に対応した仮想対象物（例えば図４及び図５の仮想ボルト３０Ａ）が含まれる。また、図１に示すロボット制御部２７の仮想ロボット生成部３４は、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、スレーブロボット１２に対応する仮想ロボット（不図示）を生成し更新する。ロボット制御部２７は、仮想ロボット生成部３４にて生成された仮想ロボットを、仮想空間作成部３３により作成された仮想空間に統合する。
【００２５】
対象物データベース２４は、図３に示すボルト３や図７に示す配管４、図９に示す構造物５などの対象物に関するデータ、及びこの対象物に対する作業を実施するためにスレーブロボット１２のエンドエフェクタ１４に装着される工具（例えば図３に示すインパクトレンチ１５、図７に示す丸鋸１６、図９に示すグリッパ１７など）に関するデータを格納するデータベースである。また、作業データベース２５は、対象物に対して行なう作業、例えば位置決め作業、ボルト回転作業、配管切断作業などに関するデータを格納したデータベースである。
【００２６】
対象物データベース２４の対象物及び工具に関するデータ、並びに作業データベース２５の作業に対するデータは、ディスプレイ２８に表示される。操作者１がディスプレイ２８に表示された対象物、工具及び作業を表す表示部分を、タッチパネル入力、キーボード入力、マウス入力、音声入力などにより選択すると、この選択された対象物、工具、作業がロボット制御部２７へ送信される。
【００２７】
仮想治具生成・取得部２６は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具２１(図４)を、１種類もしくは複数種類生成する。または、仮想治具生成・取得部２６は、予め生成された仮想冶具群を格納した仮想治具データベースを備え、仮想治具群から仮想冶具を取得する。この仮想治具２１の生成または取得は、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、並びに作業データベース２５から操作者１により選択された作業に関するデータに基づいて実施される。例えば、図３に示す配管フランジ２のボルト３（対象物）を着脱作業する場合には、スレーブロボット１２に装着されたインパクトレンチ１５（工具）のボルト３への位置決め作業をガイドするための仮想治具２１と、インパクトレンチ１５の回転作業をガイドするための仮想治具(不図示)とが生成または取得される。
【００２８】
仮想治具生成・取得部２６により生成または取得された仮想治具２１と、仮想ロボット生成部３４にて生成された仮想ロボットとの接触力は、ロボット制御部２７の接触力演算部３７にて演算される。この接触力は、マスターロボット制御部３１を介してマスターロボット１１へ出力され、操作者１に対し力覚や触覚などの情報として提示される。これにより、操作者１は、仮想治具２１に接触する感覚を得ることが可能になる。
【００２９】
ディスプレイ２８は、前述の如く、環境計測部２２であるカメラからの画像を表示すると共に、仮想空間作成部３３にて作成された仮想空間（仮想対象物を含む）に、仮想ロボット生成部３４にて生成された仮想ロボットと、仮想治具生成・取得部２６にて生成または取得され且つ仮想治具決定部３５にて後述のように決定された仮想治具２１とが統合された画像を表示する。
【００３０】
ロボット制御部２７の仮想治具決定部３５は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つを選択する。
【００３１】
例えば、仮想治具決定部３５は、３次元位置データ、作業に関するデータ、並びにスレーブロボット１２の位置及び動作データから、図３及び図４に示すように、スレーブロボット１２に装着された工具（インパクトレンチ１５）が対象物（ボルト３）に接近していると判断した場合には、位置決め用のコーン形状の仮想治具２１を決定し、また、対象物及び工具に関するデータからの工具の寸法データから仮想治具２１の形状及び寸法を決定し、更に、３次元位置データから仮想治具２１の設置位置を決定する。この仮想治具２１は、対象物に対応して仮想空間に設けられる仮想対象物（仮想ボルト３０Ａ）の全てに設置される。
【００３２】
図１に示すロボット制御部２７の仮想治具絞込部３６は、環境計測処理部２３にて作成された３次元位置データ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、図３及び図４に示すように、環境計測処理部２３で検出された複数の対象物（例えばボルト３）に対して、スレーブロボット１２（またはこのスレーブロボット１２のエンドエフェクタ１４に装着されたインパクトレンチ１５）に最も近傍の対象物（ボルト３）に対応する仮想対象物（仮想ボルト３０Ａ）に設置された仮想治具２１を優先して「有効」に設定し、仮想治具２１の絞り込みを行なう。
【００３３】
例えば、図３及び図５に示すように、仮想治具絞込部３６は、スレーブロボット１２に装着されたインパクトレンチ１５に最も近傍のボルト３に対応する仮想ボルト３０ＡＸに設置された仮想治具２１Ｘを「有効」に設定し、他の複数の仮想ボルト２１を「無効」に設定する。「無効」に設定された仮想治具２１であっても、スレーブロボット１２に装着されたインパクトレンチ１５に対して最も近傍のボルト３に対応した仮想ボルト３０Ａになった場合には、この仮想ボルト３０Ａに設置された仮想治具２１が仮想治具絞込部３６により「有効」に設定されることになる。
【００３４】
次に、遠隔操作ロボットの作業支援システム２０が仮想治具２１を用いた遠隔操作を実施する場合の作用について、特に図６により説明する。
環境計測処理部２３は、環境計測部２２が計測した環境計測データ（例えば点群データ）から対象物（例えば配管フランジ２のボルト３）を検出すると共に、対象物の位置データを含む３次元位置データを作成する（Ｓ１）。
【００３５】
次に、ロボット制御部２７の仮想空間作成部３３は、環境計測処理部２３からの３次元位置データに基づいて仮想空間を作成する（Ｓ２）。また、ロボット制御部２７の仮想ロボット生成部３４は、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づき仮想ロボットを生成する。この仮想ロボットは、仮想ロボット生成部３４またはロボット制御部２７により仮想空間に統合される（Ｓ３）。
【００３６】
ロボット制御部２７は、操作者１により選択された対象物データベース２４からの対象物及び工具に関するデータと作業データベース２５からの作業に関するデータとを入力する（Ｓ４）。これらの入力された対象物及び工具に関するデータ、並びに作業に関するデータに基づいて、仮想治具生成・取得部２６は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具２１を、１種類または複数種類生成しまたは取得する（Ｓ５）。
【００３７】
次に、ロボット制御部２７の仮想治具決定部３５は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具２１の種類、形状及び寸法の少なくとも一つを決定し、この決定した仮想治具２１を、仮想ロボットが統合された仮想空間上で、仮想対象物（例えば仮想ボルト３０Ａ）の位置に設置する（Ｓ６）。
【００３８】
次に、ロボット制御部２７の仮想治具絞込部３６は、複数の仮想対象物（例えば仮想ボルト３０Ａ）のそれぞれに仮想治具２１が設置されている場合には、スレーブロボット１２に最も近傍の対象物に対応する仮想対象物に設置された仮想治具２１、つまり、仮想ロボットに最も近傍の仮想対象物（例えば仮想ボルト３０ＡＸ）に設置された仮想治具２１を「有効」として、仮想治具２１の絞り込みを行う（Ｓ７）。
【００３９】
その後、操作者１は、仮想空間、仮想ロボット及び仮想治具２１が表示されたディスプレイ２８を視認しながらマスターロボット１１を操作して、仮想空間上で仮想ロボットを仮想治具２１のガイドにより仮想対象物（例えば仮想ボルト３０Ａ）に対して動作させることで、現実空間においてスレーブロボット１２を対象物（例えばボルト３）に対して作業（例えば位置決め作業）させる（Ｓ８）。
【００４０】
以上のように構成されたことから、本第１実施形態によれば、次の効果（１）及び（２）を奏する。
（１）図１、図３及び図４に示すように、対象物（例えばボルト３）に対する作業（例えば位置決め作業）をガイドするために仮想空間に設けられる仮想治具２１は、仮想治具生成・取得部２６により、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、並びに作業データベース２５から操作者１により選択された作業に関するデータに基づいて生成または取得される。そして、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つは、ロボット制御部２７の仮想治具決定部３５により、環境計測処理部２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて決定される。
【００４１】
従って、仮想治具２１の例えば設置位置を決定するために、マーカーを事前に配置したり、操作者１が仮想治具２１の設置位置に関して指示を与えたりする必要がない。この結果、仮想治具２１の設置に関する操作者の負担を軽減でき、マスターロボット１１の操作によりスレーブロボット１２を対象物（例えばボルト３）に対して作業（例えば位置決め作業）させる遠隔作業の作業効率を向上させることができる。
【００４２】
（２）図１、図３及び図５に示すように、複数の仮想対象物（例えば仮想ボルト３０Ａ）にそれぞれ設置された複数の仮想治具２１は、ロボット制御部２７の仮想治具絞込部３６により、環境計測処理部２３にて作成された３次元位置データ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、スレーブロボット１２に最も近傍の対象物（例えばボルト３）に対応する仮想対象物（例えば仮想ボルト３０Ａ）に設置された仮想治具２１（即ち、仮想ロボットに最も近傍の仮想対象物に設置された仮想治具２１）が優先して「有効」に設定されて絞り込まれる。このため、仮想治具２１が複数存在する場合にも、操作者１が作業の度に仮想治具２１を指定する必要がないので、この点からも、操作者１の負担を軽減でき、マスターロボット１１の操作によるスレーブロボット１２の遠隔作業の作業効率を、より一層向上させることができる。また、不要な仮想冶具２１は有効としないことで、演算負荷を軽減することができる。
【００４３】
なお、操作者１が作業データベース２５から作業に関するデータを選択する代わりに、ロボット制御部２７の仮想治具決定部３５は、マスターロボット１１にジェスチャーを実行させたときのマスターロボット１１の動作データに基づいて作業を推測して作業に関するデータを求め、これにより、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つを決定してもよい。
【００４４】
また、仮想治具生成・取得部２６は、スレーブロボット１２に設置された接触センサ(不図示)からのデータや、スレーブロボット１２自身に作用する負荷（例えばモータ電流など）のデータに基づいて、一度接触した箇所に、次回の接触を禁止させる壁（ブロック）のような仮想治具を生成してもよい。この場合、制御ロボット２７の仮想治具決定部３５は、３次元位置データ、及び上述の接触センサのデータ等に基づいて、次回接触禁止用の仮想治具を、スレーブロボット１２が一度接触した箇所に設置する。これにより、ディスプレイ２８に表示される仮想空間には、スレーブロボット１２が一度接触した箇所に上述の仮想治具が自動で設定されるので、操作者１は、この仮想治具を視認することで、スレーブロボット１２が一度接触した箇所を再び接触させることなく、スレーブロボット１２に作業を実施させることができる。
【００４５】
［Ｂ］第２実施形態（図１、図７、図８）
図７は、第２実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる丸鋸を用いた配管切断作業を説明する説明図である。この第２実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。
【００４６】
本第２実施形態の遠隔操作ロボットの作業支援システム４０が前記第１実施形態と異なる点は、対象物が配管４であり、工具が丸鋸１６であり、作業が、丸鋸１６を用いて配管４を切断する配管切断作業であり、仮想治具４１（図８）が、丸鋸１６を配管４の同一箇所に同一姿勢（傾き）で繰り返し接触させて切断させる際にガイドとなる平面形状の仮想治具である点である。
【００４７】
本第２実施形態の遠隔操作ロボットの作業支援システム４０(図１)におけるロボット制御部４２の仮想治具生成・取得部４３は、対象物を配管４とし、工具を丸鋸１６とする対象物及び工具データ、並びに配管切断作業を内容とする作業データに基づいて、平面形状の仮想治具４１を生成し、または仮想治具データベースから該当する仮想治具４１を取得する。
【００４８】
また、ロボット制御部４２の仮想治具決定部４４は、仮想治具４１の種類、形状、寸法及び設置位置の少なくとも一つを、環境計測処理部２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データ、並びにスレーブロボット１２の作業動作により取得されたデータに基づいて決定する。
【００４９】
つまり、仮想治具決定部４４は、配管切断作業を内容とする作業に関するデータから、配管切断をガイドする種類の仮想治具、即ち仮想治具４１を決定する。また、仮想治具決定部４４は、３次元位置データと、スレーブロボット１２が丸鋸１６を用いて配管４を最初に切削したときのスレーブロボット１２の作業動作により得られた切削痕１８の位置データとから、仮想治具４１の設置位置を決定する。この仮想治具４１の設置位置は、配管４に対応した仮想対象物としての仮想配管３０Ｂ(図８)における上記切削痕１８に対応した仮想切削痕位置１９である。
【００５０】
なお、切削痕１８の位置データは、具体的には、環境計測２２により計測されたデータ、またはスレーブロボット１２に設置されたセンサ(不図示)により丸鋸１６が配管４に接触したことを検知したときのスレーブロボット１２の位置データ等から求められる。
【００５１】
また、仮想治具決定部４４は、配管４及び丸鋸１６の直径データを内容とする対象物及び工具に関するデータから仮想治具４１の寸法を決定する。更に、仮想治具決定部４４は、スレーブロボット１２が丸鋸１６を用いて配管４を最初に切断したときのスレーブロボット１２の姿勢データ（即ち丸鋸１６の傾きデータ）を内容とするスレーブロボット１２の位置及び動作データに基づいて、仮想治具４１の形状、即ち仮想治具４１の傾きを決定する。
【００５２】
以上のように構成されたことから、本第２実施形態によれば、第１実施形態の効果（１）と同様な効果を奏するほか、次の効果（３）を奏する。
【００５３】
（３）操作者１が、スレーブロボット１２を動作させて配管４に丸鋸１６の切削痕１８を最初に形成すれば、この最初に切削痕１８を形成したときの丸鋸１６の傾きと同一の傾きの平面形状の仮想治具４１が仮想治具生成・取得部４３により生成または取得され、この仮想治具４１が仮想治具決定部４４により、配管４に対応した仮想配管３０Ｂにおいて切削痕１８に対応した仮想切削痕位置１９に設置される。
【００５４】
従って、操作者１は、ディスプレイ２８に表示された仮想空間上で、スレーブロボット１２に対応する仮想ロボットに設けられた丸鋸１６に対応する仮想工具を仮想治具４１に沿って繰り返し動作させれば、現実空間における丸鋸１６を、配管４の切削痕１８の位置に同一の傾きを保持して繰り返し投入して、配管４を切断できる。この結果、丸鋸１６を用いた配管４の切断作業を、操作者１が丸鋸１６の位置及び傾きを細かく調整することなく、容易且つ確実に実施できる。
【００５５】
［Ｃ］第３実施形態（図９）
図９は、第３実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる通過禁止領域を表す仮想治具を示す説明図である。この第３実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。
【００５６】
本第３実施形態の遠隔操作ロボットの作業支援システム５０が第１実施形態と異なる点は、対象物が、狭隘空間を有して隣接配置された構造物５であり、作業が、スレーブロボット１２のエンドエフェクタ１４に装着されたグリッパ１７などの工具及びスレーブロボット１２を構造物５間の狭隘空間内で作業させるものであり、仮想治具５１が、工具及びスレーブロボット１２の寸法よりも狭い狭隘空間に対して工具及びスレーブロボット１２の通過を禁止するための通過禁止領域を表す仮想治具である点である。
【００５７】
本第３実施形態の遠隔操作ロボットの作業支援システム５０(図１)におけるロボット制御部５２の仮想治具生成・取得部５３は、狭隘空間を有して隣接配置された構造物５を対象物とする対象物及び工具データ、並びにスレーブロボット１２に装着された工具及びスレーブロボット１２を、隣接配置された構造物５間の狭隘空間内で作業させることを内容とする作業データに基づいて、工具(例えばグリッパ１７)及びスレーブロボット１２の上記狭隘空間への通過禁止領域を表す仮想治具５１を生成し、または仮想治具データベースから該当する仮想治具５１を取得する。
【００５８】
ロボット制御部５２の仮想治具決定部５４は、工具及びスレーブロボット１２の通過禁止領域を表す仮想治具５１の種類、形状、寸法及び設置位置の少なくとも一つを、環境計測処理物２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベースから操作者１により選択された作業に関するデータ、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データ、並びにスレーブロボット１２の寸法に関するデータに基づいて決定する。
【００５９】
つまり、仮想治具決定部５４は、スレーブロボット１２のエンドエフェクタ１４に装着された工具及びスレーブロボット１２を、隣接配置された構造物５間の狭隘空間内で作業させることを内容とする作業に関するデータから、構造物５間の狭隘空間への工具(例えばグリッパ１７)及びスレーブロボット１２の通過を禁止する通過禁止領域を表す種類の仮想治具５１を決定する。
【００６０】
また、仮想治具決定部５４は、スレーブロボット１２の位置及び動作データと３次元位置データとから、スレーブロボット１２の周囲に存在する構造物５間の狭隘空間の寸法に関するデータを求める。そして、仮想治具決定部５４は、上記狭隘空間の寸法に関するデータと、対象物及び工具に関するデータからの工具(例えばグリッパ１７)の寸法に関するデータと、スレーブロボット１２の寸法に関するデータとを用いて、工具及びスレーブロボット１２の少なくとも一方の寸法が上記狭隘空間の寸法よりも大きいか否かを判断する。
【００６１】
工具(例えばグリッパ１７)及びスレーブロボット１２の少なくとも一方の寸法が構造物５間の狭隘空間寸法よりも大きい場合に、仮想治具決定部５４は、工具及びスレーブロボット１２の当該狭隘空間への通過を禁止する通過禁止領域を表す仮想治具５１の設置位置を決定する。この設置位置は、工具(例えばグリッパ１７)及びスレーブロボット１２の少なくとも一方の寸法よりも小さな寸法の狭隘空間を有する隣接した構造物５に対応する仮想対象物としての仮想構造物３０Ｃ間の狭隘空間である。
【００６２】
更に、仮想治具決定部５４は、３次元位置データから、仮想治具５１が設置される狭隘空間を有する仮想構造物３０Ｃに対応した現実空間の構造物５間の狭隘空間の寸法を求め、この狭隘空間の寸法に基づき仮想治具５１の形状及び寸法を決定する。
【００６３】
以上のように構成されたことから、本第３実施形態においても、第１実施形態の効果（１）と同様な効果を奏するほか、次の効果（４）を奏する。
【００６４】
（４）スレーブロボット１２に工具(例えばグリッパ１７)を装着して隣接配置された構造物５間の狭隘空間内で作業する場合、構造物５間の狭隘空間の寸法よりもスレーブロボット１２と工具の少なくとも一方の寸法が大きいときには、上記狭隘空間を有する構造物５に対応する仮想空間上の仮想構造物３０Ｃの狭隘空間に仮想治具５１が設置される。このため、操作者１は、上記仮想空間が表示されたディスプレイ２８を視認して、仮想ロボット及び仮想工具を仮想治具５１に接触しないように動作させることで、現実空間においてスレーブロボット１２及び工具を構造物５に干渉させることなく、構造物５間の狭隘空間内で作業させることができる。
【００６５】
なお、本第３実施形態を走行移動型のマスタースレーブロボットに適用してもよい。例えば、走行移動するスレーブロボットの寸法が扉の寸法よりも大きな場合には、上記扉に対応する仮想空間上の仮想扉に通過禁止を表す仮想治具を設置する。これにより、仮想空間において仮想ロボットが上記仮想治具に接触しないようにすることで、現実空間において、移動するスレーブロボットが通過不可能な扉に干渉する事態を回避できる。
【００６６】
［Ｄ］第４実施形態（図１）
この第４実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。
【００６７】
本第４実施形態の遠隔操作ロボットの作業支援システム６０では、ロボット制御部１１は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具を生成または取得し且つこの仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するための一連の作業データを学習させ、または予め規定することで、仮想治具の生成または取得処理と、仮想治具の種類、形状、寸法及び設置位置の少なくとも一つの決定処理とを自律的に実行可能に構成させてもよい。ここで、上記学習は、ディープラーニング等の機械学習や強化学習である。
【００６８】
これにより、対象物（例えばボルト３）及び工具（例えばインパクトレンチ１５）を決め、且つスレーブロボット１２の位置及び動作データが決まった状況下では、複数の作業（例えば位置決め作業、ボルト回転作業、周囲の構造物に干渉させないでの狭隘空間内の作業）を操作者１が選択しなくても、ロボット制御部６１はその作業を推定できる。更に、ロボット制御部６１は、その推定した作業に対応する種類の仮想治具（位置決め用仮想治具、対象物と工具の回転軸を一致させるための仮想治具、通過禁止領域を表す仮想治具など）を自律的に生成または取得し、その仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを自律的に決定することができる。
【００６９】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができ、また、それらの置き換えや変更は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７０】
１…操作者、３…ボルト（対象物）、４…配管（対象物）、５…構造物（対象物）、１０…マスタースレーブロボットシステム、１１…マスターロボット、１２…スレーブロボット、１５…インパクトレンチ（工具）、１６…丸鋸（工具）、１８…切削痕、２０…遠隔操作ロボットの作業支援システム、２１、２１Ｘ…仮想治具、２２…環境計測部、２３…環境計測処理部、２４…対象物データベース、２５…作業データベース、２６…仮想治具生成・取得部、２７…ロボット制御部、２８…ディスプレイ（表示装置）、３０Ａ、３０ＡＸ…仮想ボルト（仮想対象物）、３０Ｂ…仮想配管（仮想対象物）、３０Ｃ…仮想構造物（仮想対象物）、３１…マスターロボット制御部、３２…スレーブロボット制御部、３３…仮想空間作成部、３４…仮想ロボット生成部、３５…仮想治具決定部、３６…仮想治具絞込部、４０…遠隔操作ロボットの作業支援システム、４１…仮想治具、４３…仮想治具生成・取得部、４４…仮想治具決定部、５０…遠隔操作ロボットの作業支援システム、５１…仮想治具、５３…仮想治具生成・取得部、５４…仮想治具決定部、６０…遠隔操作ロボットの作業支援システム、６１…ロボット制御部
【図１】
2020163511.tif 000003
【図２】
2020163511.tif 000004
【図３】
2020163511.tif 000005
【図４】
2020163511.tif 000006
【図５】
2020163511.tif 000007
【図６】
2020163511.tif 000008
【図７】
2020163511.tif 000009
【図８】
2020163511.tif 000010
【図９】
2020163511.tif 000011