(57)【特許請求の範囲】
【請求項１】
移動体に取り付けたマニピュレータを移動体に搭載したビデオカメラで撮影し、この撮影映像を遠隔地のモニターに表示してマニピュレータを操縦する移動マニピュレータの遠隔操作装置において、移動体のスリップを検出する移動検出手段を備え、前記移動検出手段の信号に応じて、スリップが発生しない状態を表す固定された絶対座標系に基づく合成画像を、前記撮影映像に重ねて表示することを特徴とする移動マニピュレータの遠隔操作装置。
【請求項２】
前記絶対座標系に基づく合成画像は、グリッドであることを特徴とする請求項１記載の移動マニピュレータの遠隔操作装置。
【請求項３】
前記絶対座標系に基づく画像は、操作指令に基づくマニピュレータの合成画像を移動体のスリップが発生しない状態のあるべき手先位置で示す画像であることを特徴とする請求項１記載の移動マニピュレータの遠隔操作装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動体に取り付けられたマニピュレータを遠隔地から操作する移動マニピュレータの遠隔操作装置に関し、特にこの移動体に搭載したビデオカメラによりマニピュレータの作動状態を撮影し、利用者がモニターのカメラ映像を見ながらマニピュレータを操作する移動マニピュレータの遠隔操作装置に関する。
【０００２】
【従来の技術】
例えば人間が近づくことが好ましくない原子力プラント内での作業や、火山活動が活発な場所での各種作業、水中での作業、更には宇宙での作業等、人間が直接作業をすることが困難な場所では、ロボットマニピュレータを使用し、操作を行う人がこのマニピュレータの動きを見ながら遠隔作業を行うことが好ましい。特に、このマニピュレータを移動体に固定し、移動体を操縦しながらマニピュレータを操作することは、その作業範囲を拡大しマニピュレータの利用範囲も広がるため、その利用性を向上させる研究開発が期待されている。
【０００３】
一般にロボットアームとしてのマニピュレータを上記のように遠隔操作する際には、操縦者は意図したとおりに作業が遂行しているのを確認したり、または予期しない事態に対して修正動作を行なう等のためにマニピュレータの動きを見る必要があるが、特にこのマニピュレータが遠隔地である場合、あるいは操作を行う場所とマニピュレータで作業を行う場所との間に取り除くことができない隔壁がある場合には、例えば図３に示すように、マニピュレータ１１の作業状況をビデオカメラ１２で撮影し、撮影されたカメラ映像をモニター１３に映しだして操縦者１４これを観察しながらジョイスティック等のリモコン１５を操作してマニピュレータ１１の物体の把持や移動操作を行うこととなる。
【０００４】
一方、図３に示されるようにこのマニピュレータ１１が移動体１６に搭載されている場合は、操縦者は更に移動体の操縦も行い、取り扱う物体までこの移動体を移動させ、上記のようなマニピュレータによる操作を行うと共に、必要に応じて物体を把持した状態で移動体を移動させ、所定の場所に物体を搬送させ、あるいは組み立てる等の作業を行う。上記のようにマニピュレータが移動体に取り付けられている場合は、特に移動範囲が大きくなるので移動体にビデオカメラを固定し、移動体の移動に際しては移動体の近辺を撮影し、更にマニピュレータの操作に際しては正確な操作を行うためにビデオカメラをズームアップする等、ビデオカメラも操作しながら、ビデオカメラのこれらの映像に頼って各種作業を行うという困難な作業を行う必要がある。
【０００５】
【発明が解決しようとする課題】
上記のような移動体にマニピュレータとビデオカメラを搭載し、操縦者がビデオカメラの映像をモニターで観察しながら操縦、操作を行うものにおいて、特にマニピュレータの先端の把持部で細かな操作を行うときには、ビデオカメラを把持部を中心とする限られた範囲をズームアップし、モニターにおける解像度を上げてこの部分に注意力を集中して把持等の操作を行うこととなる。
【０００６】
その結果、作業中に視界いっぱいに作業対象物が広がっている場合や背景に特徴がなく一様な場合には、マニピュレータを使って作業対象物に操作カを加えた際に得られる搭載カメラからの映像情報は作業対象物と移動マニピュレータとの相対的な運動だけであり、作業対象物が動かされているのか、それとも移動マニピュレータの方が動いたのかというような運動感覚を操縦者が認識できないという問題が存在する。
【０００７】
例えば、移動マニピュレータを操作して、荷物をある場所から離れた場所へ搬送するとき移動マニピュレータは、移動ベースの上に作業の遂行に充分な自由度を有するマニピュレータと作業状況を観察するビデオカメラとを搭載し、操縦者は手先の周辺を撮影したカメラ画像を見ながらジョイスティックで必要な操作を行う。このとき荷物を引っ張ろうとしたとき、荷物が固定されていたり、操縦者が想像する以上に重い場合には、ベースの移動機構（車輪等）と地面の間でスリップが生じ、搬送すべき荷物を引き寄せるのではなく、ロボットが荷物の方に引き寄せられてしまうことがある。このことは荷物を押す場合も同様である。
【０００８】
移動ロボットに搭載されたカメラは画角の制限があるため、操縦者はマニピュレータの手先とその周辺の限られた視界しか得られない。このとき、作業対象物を動かした場合と、マニピュレータのベースがスリップして動いた場合とでは、これらの相対的な運動には差がないので、視界いっぱいに作業対象物が広がっている場合や、背景に特徴が無く一様である場合には、操縦者の見ている画面上では両者がほとんど同じ動きに見える。実際にはスリップしてベースが動いても、操縦者は自分の意図したとおりに操作対象物が動いたと錯覚する可能性があり、的確な操作をすることが困難になる。
【０００９】
これは水中探査ロボットや、宇宙マニピュレータなど、マニピュレータのベースの自由度の次元が増え、しかも移動体が容易に移動してしまう場合には特に重要な問題となる。例えば水中探査ロボットが海底の岩石を拾おうとしてマニピュレータを伸ばし、岩石を持ち上げようとする場合、岩石の重さや海底への固着具合によっては逆に船体が海底に引き寄せられるということが起こりうる。このようなときに、船体が引き寄せられていることを検出し、これを操縦者に提示することができれば、操縦者は船体の姿勢を流体抵抗が大きくなるようにしたり、スクリューの出力を調整する等の対処が可能になる。
【００１０】
このような問題に対して、遠隔地の移動マニピュレータの状況を操縦者に提示する手法として、従来は、例えば以下のような対策等が取られている。その一つの方法としてビデオカメラのズーム機能を利用する方法がある。即ちこの方法は、搭載カメラのズーム機能を利用して、ズームインした狭視野角映像とズームアウトした広視野角映像とを繰り返しながら操縦者に提示する手法である。この方法によると、マニピュレータの操作と同時にズーム機能の操作が必要になるとともに、ズーム機能の操作中は距離感が変わるために操作対象物と移動ロボットとの相対運動の認識が低下する欠点がある。
【００１１】
第２の方法として、広視野角映像を同時に表示する方法がある。この方法は、移動体に複数のカメラを搭載し、ズームアウトした広視野角の映像を作業用の狭視野角の映像と同時に操縦者に提示する手法である。この方法によると、操作をする人は同時に２つ以上の映像に意識を集中することは出来ないために、表示された２つの映像を必要に応じて視線を切り換えてみなければならず、頻繁な視線の変更を伴い作業性が低下する欠点がある。
【００１２】
第３の方法として、モニターに何らかのメッセージを表示する方法がある。この方法は、移動機構の運動を別途設けたセンサで検出して、作業中観察を続けているモニターのカメラ映像画面上に移動の状態等のセンサ情報を表示する方法である。この方法はモニターに表示されたカメラ映像へのメッセージの重ね書きという簡便な方法で移動機構の運動情報を伝えることができる利点があるが、操作を行っている人はこのようなメッセージを見ただけでは、どの方向にどの位の運動が発生しているかの情報を直感的に伝えることが困難であるという欠点がある。
【００１３】
第４の方法として、警告音や音声ガイドを出力する方法がある。この方法は、移動機構の運動をセンサで検出して、警告音や合成音声によって操縦者に移動機構の運動を提示する方法である。この方法は簡便な装置の追加で移動機構の運動の発生を知らせることができる利点があるが、どの方向に運動が発生しているか等の細かな情報を伝えることが困難であるという欠点がある。
【００１４】
第５の方法として、モーションプラットフォームを用いる方法がある。この方法は、移動機構の運動をセンサで検出して、航空機のフライトシミュレータや自動車のドライブシミュレータ等に使われているモーションプラットフォームを利用することで移動機構の運動を模擬して操縦者に提示する方法である。この方法はあたかも操縦者が移動機構に搭乗してマニピュレータを操作しているような自然な感覚を提示することが可能である利点があるが、大型で複雑な操縦装置が必要で高価なものとなり、経済的にも広く普及させることは困難であるという欠点がある。
【００１５】
このように従来から種々の方法が検討されているが、いずれも大きな欠点があるため、広範に利用するには至っていない。
【００１６】
したがって、本発明は移動体に搭載されたマニピュレータを遠隔地点から操作する際、移動体に設けたビデオカメラによりマニピュレータ周辺を撮影し、これを操縦者の側に設置したモニターに表示することによりマニピュレータを操作するに際して、簡単な手段により、操縦者が一見してマニピュレータの状態と移動体の状態を把握することができるようにした移動マニピュレータの遠隔操作装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明は、上記課題を解決するため、請求項１に係る発明は、移動体に取り付けたマニピュレータを移動体に搭載したビデオカメラで撮影し、この撮影映像を遠隔地のモニターに表示してマニピュレータを操縦する移動マニピュレータの遠隔操作装置において、移動体のスリップを検出する移動検出手段を備え、前記移動検出手段の信号に応じて、スリップが発生しない状態を表す固定された絶対座標系に基づく合成画像を、前記撮影映像に重ねて表示することを特徴とする移動マニピュレータの遠隔操作装置としたものである。
【００１９】
また、請求項２に係る発明は、前記絶対座標系に基づく合成画像はグリッドであることを特徴とする請求項１記載の移動マニピュレータの遠隔操作装置としたものである。
【００２１】
また、請求項３に係る発明は、前記絶対座標系に基づく画像は、操作指令に基づくマニピュレータの合成画像を移動体のスリップが発生しない状態のあるべき手先位置で示す画像であることを特徴とする請求項１記載の移動マニピュレータの遠隔操作装置としたものである。
【００２２】
【発明の実施の形態】
本発明の実施例を図面に沿って説明する。図１は本発明の実施例の第１の態様を示しており、同図は操縦者が移動マニピュレータをリモコンで操作を行う際に、移動マニピュレータに搭載したビデオカメラでマニピュレータの先端近傍を撮影しこの部分をズームアップして表示しているモニター画面の例を示している。図１におけるモニター画面２には、マニピュレータ先端近傍をズームアップしているマニピュレータの撮影映像１をモニター画面２の略中央に示しており、それに対して絶対座標系のグリッド３を画面上にコンピュータグラフィックスの手法により合成して表示している。このグリッド３は図示するように遠近法により表示しており、移動体２６が床面に対して相対的に移動する時これを別途設けたセンサで検出し、その移動に合わせてグリッドが移動し、あたかも移動体に搭載したカメラで撮影している床面に図示するようなグリッドが描かれてこれを撮影しているように画像処理を行い表示している。
【００２３】
上記のような表示をモニター画面２上において行うことにより、操縦者が移動体をリモコンにより移動するときはこのグリッドも移動することにより、例えば宇宙空間や海底、あるいは長い管内のように移動体の周囲が単調な空間や平面、曲面が連続しているときのような、単にビデオカメラの映像ではその移動の状態がわからないときでも、移動体の移動の速さ、距離等を明瞭に認識することができる。
【００２４】
また、移動体が所定の位置に停止した後、例えばマニピュレータで物体を把持しこれを移動しようとするとき、絶対座標系を示すグリッドが移動せず、把持物体のみが移動しているときは予定通り把持物体を把持していることを知ることができる。それに対して操縦者の想像とは異なりその物体が重いものである場合、あるいは海底の大きな岩石の一部が海底面に現れているときのその岩石を移動しようとしたときのようにその物が移動できない場合には、マニピュレータで物体を移動する力によって移動体が床面をスリップして移動することとなる。そのときは移動体に設けた前記センサにより移動体の方が移動していることを検出し、その移動に合わせて画面上に表示しているグリッド３を移動する。
【００２５】
それにより、操縦者は図１の画面に白抜き矢印で示すようにグリッドが手前側に移動することを見ることによって、物体が予想外に重い物、あるいは強固な固定物であることを知ることができる。このとき、移動体に大きな力がかかり、移動体が横方向にもスリップしたときには、画面上に表示されるグリッドは横方向にも移動し、その状態を操縦者が知ることができる。また、操縦者はそのときの画面に示されたグリッドの移動の速度、移動量及びその方向を見ることにより、その移動速度や移動距離及び移動の方向を正確に知ることができる。
【００２６】
このように移動体が移動していることを操縦者が知ることにより、操縦者はその操作を停止し、あるいは例えば海底作業船の推進力を上げて移動体が移動しないようにして物体を移動させるような操作を行うことができる。なお、上記グリッドの表示は常時モニター画面上に表示することができるが、移動体がスリップしたことを検出した瞬間から表示するようにしても良い。
【００２７】
図２には本発明の実施例の第２の態様を示しており、同図は前記図１に示したものと同様に、移動マニピュレータに搭載したビデオカメラでマニピュレータの先端近傍を撮影し、この部分をズームアップして表示しているモニター画面２の例を示しており、ここに表示されている画面の例においては図中の中央に表示されているマニピュレータの撮影映像１は実際の映像を示している。
【００２８】
また、図中右側に破線で表示されているマニピュレータの画像は、操縦者がマニピュレータにより物体を把持して運搬しようとしたとき、その物体が前記のように予想外に重かったり固定されていたときに物体が動かず移動体がスリップして移動した際、移動体がスリップした直前の位置にマニピュレータが存在したと仮定したときのコンピュータグラフィクスで絶対座標系に表示したマニピュレータの画像を示している。
【００２９】
このようにマニピュレータの先端を中心とする映像を表示している画面上に、移動体がスリップする直前の位置を示すマニピュレータを表示しているので、操作を行っている人は移動体のスリップを感覚的に把握することができ、適切な対処を行うことができる。このときの両映像は識別しやすいように、コンピュータグラフィックスの画像を実際の画像に対してコントラストが大きい色彩にする等の見やすくする手段を採用することが好ましい。また、前記スリップを検出する手段としては、車両制御装置に広く用いられているスリップ検出手段を用いることができる。
【００３０】
なお、図示実施例においては、マニピュレータがスリップせずに本来あるべき位置を示している破線で表されているマニピュレータの画像は、現在実際に移動体が存在する位置で物体を把持したと仮定したときの状態を示すコンピュータグラフィックス画像であり、このような画像を示すことによって、より明確に操縦者に対して現在の状態を示すことができる。
【００３１】
上記のようなコンピュータグラフィックスの画像は、ビデオカメラで常時撮影している画像を所定の短時間更新しながら録画しておき、移動体が滑ったことを検出したときにその直前の画像をコンピュータグラフィックス画像処理部に出力し、その位置でのコンピュータグラフィックス画像を形成すると共に、移動体がスリップして移動した地点のビデオカメラから見た画像を形成し出力することにより容易に実施することができる。
【００３２】
【発明の効果】
本発明は上記のように構成したので、移動体に搭載されたマニピュレータを遠隔地点から操作する際、移動体に設けたビデオカメラによりマニピュレータ周辺を撮影し、これを操縦者の側に設置したモニターに表示することによりマニピュレータを操作するに際して、簡単な手段により、操縦者が一見してマニピュレータの状態と移動体の状態を明確に把握することができる。
【図面の簡単な説明】
【図１】  本発明の第１実施例において表示されるモニター画面の例を示す図である。
【図２】本発明の第２実施例において表示されるモニター画面の例を示す図である。
【図３】本発明による移動マニピュレータの遠隔操縦装置が適用される状態の全体概要を示す模式図である。
【符号の説明】
１  マニピュレータの撮影映像
２  モニター画面
３  グリッド
【図１】
0003834606.tif 000002
【図２】
0003834606.tif 000003
【図３】
0003834606.tif 000004