(57)【要約】【課題】距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付ける。【解決手段】移動ロボットの作業現場の実映像を撮像する撮像部と、実映像と作業現場の三次元モデルとに基づいて作業現場の仮想三次元映像を生成する仮想映像生成部と、仮想三次元映像を表示する表示部と、移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、仮想映像生成部は、三次元モデルに基づいて生成した基本仮想三次元映像と実映像とに共通する共通物体が重なり合うように基本仮想三次元映像の位置調整を行うことにより仮想三次元映像を生成する。【選択図】図１
2020175453.tif 000002
【特許請求の範囲】
【請求項１】
移動ロボットの作業現場の実映像を撮像する撮像部と、
前記実映像と前記作業現場の三次元モデルとに基づいて前記作業現場の仮想三次元映像を生成する仮想映像生成部と、
前記仮想三次元映像を表示する表示部と、
前記移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、
前記仮想映像生成部は、前記三次元モデルに基づいて生成した基本仮想三次元映像と前記実映像とに共通する共通物体が重なり合うように前記基本仮想三次元映像の位置調整を行うことにより前記仮想三次元映像を生成することを特徴とする遠隔操作装置。
【請求項２】
前記共通物体は、前記作業現場に設けられるマーク部材であることを特徴とする請求項１記載の遠隔操作装置。
【請求項３】
前記移動ロボットは、自走タイプのロボットであることを特徴とする請求項１または２記載の遠隔操作装置。
【請求項４】
前記表示部は、ヘッドマウントディスプレイであることを特徴とする請求項１〜３のいずれか一項に記載の遠隔操作装置。
【請求項５】
前記作業現場は、放射線レベルが通常レベルに比較して高い場所であることを特徴とする請求項１〜４のいずれか一項に記載の遠隔操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作装置に関する。
【背景技術】
【０００２】
下記特許文献１には、移動型ロボットシステムにおけるマニピュレータ遠隔操作方法が開示されている。このマニピュレータ遠隔操作方法は、距離計測装置で計測した障害物までの距離に基づいて移動型マニピュレータと障害物との位置関係を特定し、この上でカメラで撮像したカメラ画像を操縦システムの表示装置に表示させ、操作者が表示装置に表示されたカメラ画像を見つつ移動型ロボットシステムを遠隔操作するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４５５８６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記距離計測装置はレーザ光を用いて移動ロボットと障害物との距離を計測するものであるが、作業現場の環境によっては採用することができない場合がある。このような場合、移動型マニピュレータの座標系（移動ロボットの座標系）と障害物の座標系（作業現場の座標系）とを関連付けることができなくなるので、移動型マニピュレータを遠隔操作することができなくなる。
【０００５】
本発明は、上述した事情に鑑みてなされたものであり、距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付けることを目的とするものである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明では、遠隔操作装置に係る第１の解決手段として、移動ロボットの作業現場の実映像を撮像する撮像部と、前記実映像と前記作業現場の三次元モデルとに基づいて前記作業現場の仮想三次元映像を生成する仮想映像生成部と、前記仮想三次元映像を表示する表示部と、前記移動ロボットを遠隔操作する操作信号を生成する操作部とを備え、前記仮想映像生成部は、前記三次元モデルに基づいて生成した基本仮想三次元映像と前記実映像とに共通する共通物体が重なり合うように前記基本仮想三次元映像の位置調整を行うことにより前記仮想三次元映像を生成する、という手段を採用する。
【０００７】
本発明では、遠隔操作装置に係る第２の解決手段として、上記第１の解決手段において、前記共通物体は、前記作業現場に設けられるマーク部材である、という手段を採用する。
【０００８】
本発明では、遠隔操作装置に係る第３の解決手段として、上記第１または第２の解決手段において、前記移動ロボットは、自走タイプのロボットである、という手段を採用する。
【０００９】
本発明では、遠隔操作装置に係る第４の解決手段として、上記第１〜第３のいずれかの解決手段において、前記表示部は、ヘッドマウントディスプレイである、という手段を採用する。
【００１０】
本発明では、遠隔操作装置に係る第５の解決手段として、上記第１〜第４のいずれかの解決手段において、前記作業現場は、放射線レベルが通常レベルに比較して高い場所である、という手段を採用する。
【発明の効果】
【００１１】
本発明によれば、距離計測装置を用いることなく移動ロボットの座標系と作業現場の座標系とを関連付けることが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態におけるロボットシステムの全体構成を示すシステム構成図である。
【図２】本発明の一実施形態に係る遠隔操作装置の構成を示すブロック図である。
【図３】本発明の一実施形態における実映像を示す模式図（ａ）及び仮想三次元映像を示す模式図（ｂ）である。
【図４】本発明の一実施形態における合成映像を示す模式図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の一実施形態について説明する。
最初に、本実施形態におけるロボットシステムは、図１に示すようにロボット本体１と遠隔操作装置２とによって構成される。
【００１４】
ロボット本体１は、所定の作業現場で移動しつつワークＷに対して所定の作業を行う移動ロボットであり、図示するように移動台車１ａ、マニピュレータ１ｂ、作業具１ｃ、カメラ１ｄ及びロボットコントローラ１ｅを少なくとも備えている。上記作業現場は、放射線レベルが通常レベルに比較して高い場所であり、ロボット本体１において従来の距離計測装置を用いることが困難な環境である。
【００１５】
この作業現場には、ロボット本体１の作業対象であるワークＷが支持台Ｔ上に載置されている。また、ワークＷの近傍には、ワークＷの位置とロボット本体１の位置とを関連付けるためのマーク部材Ｍが設けられている。このマーク部材Ｍは、特異な形状をした物体である。
【００１６】
ロボット本体１は、作業現場を自走する自走タイプのロボットである。このロボット本体１は、ロボットコントローラ１ｅによって制御されることによって、支持台Ｔ上に載置されたワークＷに対して所定の作業を行う。
【００１７】
移動台車１ａは、複数の車輪と当該車輪を駆動する駆動装置（モータ等）を備えており、ロボットコントローラ１ｅから入力される走行制御信号に基づいて作業現場のフロアＦ上を走行する。この移動台車１ａは、自らに搭載されたマニピュレータ１ｂの作業現場における位置を所定の作業位置に設定する。
【００１８】
マニピュレータ１ｂは、上記移動台車１ａの上に固定設置されており、複数のアームと当該アームを連結する複数の関節部を備える。このマニピュレータ１ｂは、ロボットコントローラ１ｅから入力される関節制御信号に基づいて関節部に備えられたモータを駆動することにより、先端部に装着された作業具１ｃを移動させる。すなわち、このマニピュレータ１ｂは、作業具１ｃの位置や姿勢をワークＷに対する作業内容に応じて最適設定する機械装置である。
【００１９】
作業具１ｃは、マニピュレータ１ｂの先端部に着脱自在に装着されており、ワークＷに対して直接的な作業を行う部位である。例えば、ワークに対して機械的な加工を行う場合、作業具１ｃは、ワークに対してせん断力や押圧力等を作用させる工具である。
【００２０】
カメラ１ｄは、移動台車１ａの前方側、つまり移動台車１ａにおいてマニピュレータ１ｂの前に固定設置されており、移動台車１ａの前方の映像を作業現場の実映像Ｇ１として撮像する。この実映像Ｇ１は、図３（ａ）に示すように、作業現場におけるワークＷ及び当該ワークに対して作業を行う作業具１ｃの状態を示す動画である。このようなカメラ１ｄは、実映像Ｇ１を実映像信号として遠隔操作装置２に出力する。
【００２１】
ここで、図１ではカメラ１ｄと遠隔操作装置２とが別体の構成要素として描かれているが、カメラ１ｄは、機能的には遠隔操作装置２に含まれる構成要素である。また、このカメラ１ｄは、作業現場の実映像Ｇ１を撮像する撮像部に相当する。
【００２２】
ロボットコントローラ１ｅは、操作室の遠隔操作装置２と通信自在に接続された制御装置であり、遠隔操作装置２から受信した操作信号に基づいて移動台車１ａ及びマニピュレータ１ｂを制御する。このロボットコントローラ１ｅは、一種のコンピュータであり、予め記憶された制御プログラムに従って操作信号を情報処理することにより、操作信号に従って移動台車１ａ及びマニピュレータ１ｂを制御する。
【００２３】
遠隔操作装置２は、作業現場とは離間した操作室に備えられており、操作者からの操作入力に基づいてロボット本体１に操作信号を出力する。この遠隔操作装置２は、操作入力を操作プログラムに基づいて情報処理することにより操作信号を生成する一種のコンピュータであり、機能構成要素として図２に示す仮想映像生成部２ａ、表示部２ｂ及び操作部２ｃを少なくとも備えている。
【００２４】
仮想映像生成部２ａは、作業現場の仮想三次元映像Ｇ２つまりバーチャルリアリティ映像を生成する。すなわち、この仮想映像生成部２ａは、予め記憶している作業現場の三次元モデル及び表示部２ｂから入力される視点指定信号並びにカメラ１ｄから入力される作業現場の実映像Ｇ１に基づいて仮想三次元映像Ｇ２を生成する。
【００２５】
上記作業現場の三次元モデルは、作業現場に存在する主要な物体、つまりワークＷ、ロボット本体１及びマーク部材Ｍ等の三次元形状と主要な物体の位置関係を示すデータとを含むものである。すなわち、仮想三次元映像Ｇ２は、作業現場に存在する主要な物体を個々のオブジェクトとして含むものである。なお、上記マーク部材Ｍは、実映像Ｇ１と仮想三次元映像Ｇ２とで共通する共通物体である。
【００２６】
また、上記仮想三次元映像Ｇ２は、視点指定信号に基づいて視点が設定される映像である。すなわち、この仮想三次元映像Ｇ２は、図３（ｂ）に示すように、支持台Ｔ’、ワークＷ’、ロボット本体１’及びマーク部材Ｍ’等の主要な物体が視点指定信号で指定される視点から見た三次元映像として表示される。仮想映像生成部２ａは、このような仮想三次元映像Ｇ２を表示部２ｂに出力する。
【００２７】
ここで、詳細については後述するが、仮想映像生成部２ａは、遠隔操作装置２を用いた作業の初期段階で基本仮想三次元映像Ｇｋを生成し、当該基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ処理を行う。この仮想映像生成部２ａは、上記位置合わせ処理の結果として仮想三次元映像Ｇ２を生成する。
【００２８】
表示部２ｂは、上記仮想三次元映像Ｇ２を表示する表示装置である。この表示部２ｂは、ロボット本体１を遠隔操作する上での支援情報として操作者に対して仮想三次元映像Ｇ２を提供する。すなわち、この表示部２ｂは、操作室において操作者が視認し易い形態のものであり、例えばヘッドマウントディスプレイ（ＨＭＤ）である。
【００２９】
また、この表示部２ｂには、被装着者つまり操作者の頭の向きを検出するモーションセンサ２ｄが組み込まれている。このモーションセンサ２ｄは、操作者の頭の向きを示す検出信号を視点指定信号として仮想映像生成部２ａに出力する。このようなモーションセンサ２ｄは、仮想三次元映像Ｇ２の視点を指定する視点指定部に相当する。
【００３０】
なお、上述した仮想映像生成部２ａは、このようなモーションセンサ２ｄの検出信号を視点指定信号として取り込むことにより、操作者の頭の向きに応じて視点が変化する仮想三次元映像Ｇ２を生成する。
【００３１】
操作部２ｃは、操作者が操作指示を入力する装置である。すなわち、この操作部２ｃは、ロボット本体１を遠隔操作するための操作指示を操作者から受け付け、当該操作指示を示す操作信号を生成してロボットコントローラ１ｅに出力する。このような操作部２ｃは、例えばジョイステックである。
【００３２】
次に、本実施形態に係る遠隔操作装置の動作、特に基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ動作について詳しく説明する。
【００３３】
この遠隔操作装置を用いてロボット本体１を遠隔操作する場合、操作者はＨＭＤである表示部２ｂを顔に装着して操作部２ｃに操作入力を行う。すなわち、操作者は、図２（ｂ）に示した仮想三次元映像Ｇ２を視認しつつ操作部２ｃに対して操作入力を行うことにより、ロボット本体１を遠隔操作する。
【００３４】
ここで、作業者及び遠隔操作装置は、実際の作業に先立って基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ処理を行う。すなわち、仮想映像生成部２ａは、この位置合わせ処理において、最初に視点指定信号及びワークＷ及び三次元モデルに基づいて基本となる基本仮想三次元映像Gｋを作成する。
【００３５】
この基本仮想三次元映像Gｋは、図３（ｂ）に示した仮想三次元映像Ｇ２と同様に、支持台Ｔ’、ワークＷ’、ロボット本体１’及びマーク部材Ｍ’等の主要な物体が表示されるものの実映像Ｇ１と関連付けられていない仮想映像である。したがって、基本仮想三次元映像Gｋは、支持台Ｔ’、ワークＷ’、ロボット本体１’及びマーク部材Ｍ’等の主要な物体の位置は、実映像Ｇ１におけるワークＷ、ロボット本体１及びマーク部材Ｍ等とは位置関係が一致していない仮想映像である。
【００３６】
仮想映像生成部２ａは、遠隔操作装置を用いた作業の初期段階で上記基本仮想三次元映像Gｋを生成し、図４に示すように基本仮想三次元映像Gｋに実映像Ｇ１を重ね合わせた合成映像Ｇｇを表示部２ｂに出力する。また、仮想映像生成部２ａは、合成映像Ｇｇにおける実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Gｋのマーク部材Ｍ’とが重なり合うように基本仮想三次元映像Ｇｋの位置を調整することを促すテロップを合成映像Ｇｇに表示させる。
【００３７】
操作者は、最初に自らの頭の向きを変えることによって、基本仮想三次元映像Gｋの視点を実映像Ｇ１の視点つまりカメラ１ｄの位置に合わせる。あるいは、カメラ１ｄの位置から見えるはずの映像を仮想映像生成部２ａで生成して表示部２ｂに小ウインドウの形で表示することによって、基本仮想三次元映像Gｋの視点を実映像Ｇ１の視点つまりカメラ１ｄの位置に合わせる。
【００３８】
そして、操作者は、このような視点調整が完了すると、操作部２ｃを操作することによって、実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Gｋのマーク部材Ｍ’とが重なり合うように基本仮想三次元映像Gｋの位置調整を行う。なお、図４では、実映像Ｇ１のマーク部材Ｍ及び基本仮想三次元映像Gｋのマーク部材Ｍ’のみを便宜的に示している。
【００３９】
このようにして実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Gｋのマーク部材Ｍ’とが重なり合うことによって、作業現場の座標系に対するロボット本体１の座標系との関連付けが完了したことになる。仮想映像生成部２ａは、このような基本仮想三次元映像Ｇｋと実映像Ｇ１との位置合わせ処理が完了すると、仮想三次元映像Ｇ２を生成して表示部２ｂに出力する。
【００４０】
このような仮想三次元映像Ｇ２に基づくロボット本体１の遠隔操作では、操作者が頭の向きを変えると、この変化が表示部２ｂのモーションセンサ２ｄによって検出され、視点指定信号として仮想映像生成部２ａに入力される。この結果、仮想映像生成部２ａは、新たな頭の向きに対応した視点の仮想三次元映像（バーチャルリアリティ映像）を生成する。この結果、表示部２ｂに表示される仮想三次元映像Ｇ２のワークＷ’及びロボット本体１’等は、新たな頭の向きに応じた視点から見たものとなる。
【００４１】
このような本実施形態によれば、実映像Ｇ１のマーク部材Ｍと基本仮想三次元映像Ｇｋのマーク部材Ｍ’とが重なり合うように基本仮想三次元映像Ｇｋの位置を調整することによってロボット本体１の座標系と作業現場の座標系とを関連付けるので、距離計測装置を用いることなくロボット本体１の座標系と作業現場の座標系とを関連付けることが可能である。
【００４２】
また、本実施形態によれば、操作者は仮想三次元映像Ｇ２の視点を変えることによってロボット本体１’とワークＷ’との位置関係をより的確に把握することができる。したがって、本実施形態によれば、従来よりも作業性に優れた遠隔操作装置を提供することが可能である。
【００４３】
なお、本発明は上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。
（１）上記実施形態では、マーク部材Ｍを共通物体としたが、本発明はこれに限定されない。マーク部材Ｍ以外の主要な物体を共通物体としてもよい。例えば、支持台ＴあるいはワークＷを共通物体としてもよい。
【００４４】
（２）上記実施形態では、操作者が操作部２ｃを操作することによって基本仮想三次元映像Gｋの位置を調整したが、本発明はこれに限定されない。例えば、仮想映像生成部２ａが実映像Ｇ１に画像処理を施すことによって特異な形状のマーク部材Ｍを抽出し、当該抽出されたマーク部材Ｍに対して基本仮想三次元映像Gｋのマーク部材Ｍ’が重なるように基本仮想三次元映像Gｋの位置を自動調整してもよい。
【００４５】
（３）上記実施形態では、ヘッドマウントディスプレイ（ＨＭＤ）を表示部２ｂとして採用したが、本発明はこれに限定されない。また、本発明の視点指定部は、モーションセンサ２ｄに限定されない。例えば操作者が操作部２ｄを操作することによって仮想三次元映像（バーチャルリアリティ映像）の視点を指定してもよい。
【符号の説明】
【００４６】
１  ロボット本体
１ａ  移動台車
１ｂ  マニピュレータ
１ｃ  作業具
１ｄ  カメラ
１ｅ  ロボットコントローラ
２  遠隔操作装置
２ａ  仮想映像生成部
２ｂ  表示部
２ｃ  操作部
２ｄ  モーションセンサ
Ｇ１  実映像
Ｇ２  仮想三次元映像
Ｆ  フロア
Ｗ  ワーク
Ｔ  支持台
【図１】
2020175453.tif 000003
【図２】
2020175453.tif 000004
【図３】
2020175453.tif 000005
【図４】
2020175453.tif 000006