(57)【要約】【課題】遠近感を把握しやすくするとともに、通信遅延があったとしても遠隔操縦を容易に行なうことができるようにする。【解決手段】本発明は、移動領域の三次元画像を取得するステレオカメラを搭載した移動体と、そのステレオカメラによって取得した三次元画像を表示するための表示部、及びその表示部に表示された三次元画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含むものであり、上記移動体と遠隔操縦装置Ｃとの間における通信遅延時間を推定する遅延時間推定手段８０ａと、推定された遅延時間に基づいて、移動体位置を推定する移動体位置推定手段８０ｂと、推定した位置に対応する移動体の三次元画像を移動領域の三次元画像に重畳する画像重畳手段８０ｃと、重畳した三次元画像を表示部に表示する重畳画像表示手段８０ｄとを有している。【選択図】図５
2014048859.tif 000002
【特許請求の範囲】
【請求項１】
移動領域の三次元画像を取得するステレオカメラを搭載した移動体と、そのステレオカメラによって取得した三次元画像を表示するための表示部、及びその表示部に表示された三次元画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含む遠隔操縦システムであって、
上記移動体と遠隔操縦装置との間における通信遅延時間を推定する遅延時間推定手段と、  推定された遅延時間に基づいて、移動体の位置を推定する移動体位置推定手段と、
推定した位置に対応する移動体の三次元画像を移動領域の三次元画像に重畳する画像重畳手段と、
重畳した三次元画像を表示部に表示する重畳画像表示手段とを有することを特徴とする遠隔操縦システム。
【請求項２】
互いに広帯域通信を行なうための広帯域通信機が移動体と遠隔操縦装置の双方に設けられており、
遅延時間推定手段は、広帯域通信の遅延時間を推定するとともに、移動体位置推定手段は、その広帯域通信の推定遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定する請求項１に記載の遠隔操縦システム。
【請求項３】
ステレオカメラは、移動体の幅寸法が判別できるように視野設定されている請求項１又は２に記載の遠隔操縦システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、直観的なグラフィカル・インタフェースにより、例えば無人車両等の移動体を遠隔操縦するための遠隔操縦システムに関する。
【背景技術】
【０００２】
この種の遠隔操縦システムとして特許文献１に「遠隔操縦システム」、また、特許文献２に「遠隔操縦作業機の画像処理システム」とした名称においてそれぞれ開示された構成のものがある。
【０００３】
特許文献１に開示された遠隔操縦システムは、移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部、及びその表示部に表示された画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含む構成のものであり、上記移動体と遠隔操作装置との間における通信遅延時間を推定する遅延時間推定手段と、移動領域の画像を取得した時刻から所要時間経過後までの移動体の移動予定経路、移動速度及び推定遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定する移動体位置推定手段と、推定した移動体位置に対応する旋回操作基準点を、表示部に表示されている画像に重畳表示する重畳表示手段とを設けたものである。
【０００４】
すなわち、上記特許文献１に開示された遠隔操縦システムは、移動体である無人車を遠隔操縦する際の通信遅延に対処させるためのものであり、遅延時間に応じて車両位置を推定し、遠隔操縦用カメラの画像上に予測位置を重畳表示するようにしたものである。
【０００５】
特許文献２に開示された遠隔操縦作業機の画像処理システムは、地球上における該作業機の絶対位置を計測する第１ＧＰＳ受信手段と、該作業機の姿勢を計測する第１姿勢計測手段と、該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、該地球上における該地形計測装置の絶対位置を計測する第２ＧＰＳ受信手段と、該地形計測装置の姿勢を計測する第２姿勢計測手段と、該第１ＧＰＳ受信手段で計測された該作業機の絶対位置及び該第１姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、該第２ＧＰＳ受信手段で計測された該地形計測装置の絶対位置及び該第２姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段とを備えたものである。
【０００６】
すなわち、上記特許文献２に開示された遠隔操縦作業機の画像処理システムは、重機を遠隔操縦する際のバケット刃先と地形との位置関係を正確に把握するために、センサを用いて距離や姿勢を把握し、三次元形状を重畳表示して作業性を向上させようとしたものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−６１３４６号公報
【特許文献２】特開２００８−１４４３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示された遠隔操縦システムは、移動経路指示曲線を表示部に表示してはいるものの、遠隔操縦用カメラの画像上に当該曲線を表示しているだけなので、距離感を掴みづらいものである。
【０００９】
一方、特許文献２に開示された遠隔操縦作業機の画像処理システムでは、位置と姿勢の三次元画像を重畳表示してはいるものの、通信遅延を考慮したものではなく、通信遅延がある場合には距離や姿勢を把握しずらいという問題がある。
【００１０】
そこで本発明は、遠近感を把握しやすくするとともに、通信遅延があったとしても遠隔操縦を容易に行なうことができる遠隔操縦システムの提供を目的としている。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明は、移動領域の三次元画像を取得するステレオカメラを搭載した移動体と、そのステレオカメラによって取得した三次元画像を表示するための表示部、及びその表示部に表示された三次元画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含む遠隔操縦システムであって、上記移動体と遠隔操縦装置との間における通信遅延時間を推定する遅延時間推定手段と、推定された遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定する移動体位置推定手段と、推定した移動体位置に対応する画像をステレオカメラで取得した移動領域の三次元画像に重畳する画像重畳手段と、重畳した三次元画像を表示部に表示する重畳画像表示手段とを設けたことを特徴としている。
【００１２】
この構成においては、移動体と遠隔操縦装置との間における通信遅延時間を推定し、推定した遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定するとともに、その推定した移動体位置に対応する画像をステレオカメラで取得した移動領域の三次元画像に重畳して、重畳した三次元画像を表示部に表示する。
【発明の効果】
【００１３】
本発明によれば、遠隔操縦をするときの遠近感を把握しやすくするとともに、通信遅延があったとしても遠隔操縦を容易に行なうことができる。
【図面の簡単な説明】
【００１４】
【図１】（Ａ）は、本発明の一実施形態に係る遠隔操縦システムの一部をなす移動体の側面図、（Ｂ）は、その平面図である。
【図２】同上の移動体の正面図である。
【図３】同上の移動体の構成を示す説明図である。
【図４】同上の遠隔操縦装置の構成を示すブロック図である。
【図５】遠隔操縦装置の一部をなす表示部に表示される移動領域の三次元画像を示す説明図である。
【図６】遠隔操縦装置の制御フローチャートである。
【図７】同上の表示部に表示される移動領域の三次元画像に通信遅延を考慮した移動体の三次元画像を重畳表示した説明図である。
【発明を実施するための形態】
【００１５】
以下に、本発明を実施するための形態について、図面を参照して説明する。図１（Ａ）は、本発明の一実施形態に係る遠隔操縦システムの一部をなす移動体の側面図、（Ｂ）は、その平面図、図２は、その移動体の正面図、図３は、その移動体の構成を示す説明図である。
【００１６】
本発明の一実施形態に係る遠隔操縦システムＡは、図１，２に示す移動体の一例である無人車両Ｂと、図４に示す遠隔操縦装置Ｃとを有して構成されている。
無人車両Ｂは、一般の乗用車両のハンドル／アクセル／ブレーキを、下記の車両制御用コンピュータ１０によって操作できるように、各種のアクチュエータやモータを付加した構成のものであり、その詳細は次のとおりである。
【００１７】
無人車両Ｂは、ＣＰＵ（Central Processing Unit）やインターフェース回路（いずれも図示しない）等からなる車両制御用コンピュータ１０によって制御されるようになっている。
車両制御用コンピュータ１０は、車両制御装置２０、画像処理装置３０及び障害物認識装置４０とともに、ＧＰＳ（Global Positioning System）５０、無人運転用アクチュエータ６０，６１がそれぞれ接続され、また、通信ポートには、広帯域通信機７１及び狭帯域通信機７２が接続されている。
なお、無人運転用アクチュエータ６０，６１の代わりにモータ６２、６３を用いてもよい。
【００１８】
画像処理装置３０には、ステレオカメラ３１，３２が接続されており、それらステレオカメラ３１，３２から取り込んだ画像データに基づいて移動領域の三次元画像データを生成、圧縮及び走行路となる平面を検出する機能を有している。
【００１９】
ステレオカメラ３１，３２は、車体１の幅寸法が判別できるように視野設定されている。
具体的には、車体１の上部であって、その車体１のボンネット１ａの両端部が視野に入るように設置している。なお、図１には、ステレオカメラ３１，３２の視野範囲をａ，ａで示している。
【００２０】
ステレオカメラ３１，３２を、ボンネット１ａの両端部を視野に入るように設置することにより、無人車両Ｂの車幅を認識しやすくなり、遠隔操縦を容易に行なうことができるようにしている。
【００２１】
障害物認識装置４０には、車体１前部に配設したレーザレーダ７３が接続されており、それらレーザレーダ７３から取り込んだデータに基づいて、障害物Ｐの認識処理を行なう機能を有している。なお、図１には、レーザレーダ７３のレーザ光の照射範囲をｂで示している。
ＧＰＳ５０は、無人車両Ｂの位置情報を取得するためのものである。
【００２２】
本実施形態において示す広帯域通信機７１は、生成した移動領域の三次元画像を遠隔操縦装置Ｃに向けて送信し、また、狭帯域通信機７２は、車両状態データ、障害物Ｐの認識結果等を遠隔操縦装置Ｃに向けて送信するためのものである。
「車両状態データ」は、車体１の位置、方位及び走行速度（移動速度）を含むものである。
【００２３】
車両制御装置２０は、上記した広帯域通信機７１と狭帯域通信機７２を通じて、生成した移動領域の三次元画像、ＧＰＳ５０等で取得した各種の情報を、後述する遠隔操縦装置Ｃとの間で送受信させる機能の他、その遠隔操縦装置Ｃから送信される各種の情報に基づき、ステアリング用アクチュエータ６０、ブレーキ／アクセル用アクチュエータ６１及び走行用モータ６２，６３を駆動制御する機能を有している。
【００２４】
７５で示すものはバーチカルジャイロであり、車両制御装置２０の入力ポートに接続されている。
バーチカルジャイロ７５は、無人車両Ｂ及びステレオカメラ３１、３２の光軸姿勢（向き情報）を取得するものであり、例えば姿勢角（ロール、ピッチ角度と角速度）、ヨー角速度、及びＸ，Ｙ，Ｚ３軸の加速度を出力するものである。
【００２５】
すなわち、遠隔操縦装置Ｃから送信される走行経路、操縦情報に従って、ステアリング用アクチュエータ６０、ブレーキ／アクセル用アクチュエータ６１を駆動する機能を有している。
【００２６】
車両制御装置２０は、図示しないメモリに記憶されている所要のプログラムの実行により、次の各機能を発揮する。
【００２７】
（１）レーザレーダ７３により取得した測距データに基づいて、移動領域内における走行可能エリアを抽出する機能。この機能を「エリア抽出手段２０ａ」という。
（２）レーザレーダ７３により取得したレーザ光データに基づき、移動可能エリア内の自律移動の妨げとなる障害物を検出する機能。これを「障害物検出手段２０ｂ」という。
なお、後記する図６，８においては、障害物をＰ１〜Ｐ３、また、移動可能エリア（走行可能エリア）をＲで示している。
【００２８】
（３）世界座標系の座標点と移動方向に基づき、抽出した移動可能エリア内における自律移動のための移動経路を計画する機能。この機能を「経路計画手段２０ｃ」という。
「移動経路」は、移動可能エリア内における無人車両Ｂの移動ルートであり、本実施形態においてはポテンシャル法を用いて、クロソイド曲線やスプライン曲線にあてはめて算出している。
また、上記した障害物検出手段２０ｂによって、移動可能エリア内の自律移動の妨げとなる障害物Ｐを検出したときには、その障害物Ｐを回避するための移動計画、従ってまた、移動経路を作成する。
【００２９】
（４）計画した移動経路に従って、ステアリング用アクチュエータ６０、ブレーキ／アクセル用アクチュエータ６１を介して無人車両Ｂを移動させる機能。この機能を「自律移動手段２０ｄ」という。
【００３０】
（５）後述する遠隔操縦装置Ｃから送信される操縦情報に基づき、ステアリング用アクチュエータ６０、ブレーキ／アクセル用アクチュエータ６１を介して走行させる機能。この機能を「遠隔操縦手段２０ｅ」という。
【００３１】
次に、遠隔操縦装置Ｃについて、図４，５を参照して説明する。図４は、遠隔操縦装置の構成を示すブロック図、図５は、遠隔操縦装置の一部をなす表示部に表示される移動領域の三次元画像を示す説明図である。
【００３２】
遠隔操縦装置Ｃは、ＣＰＵ（Central Processing Unit）やインターフェース回路等からなるとともに、表示部（以下、「ディスプレイ」という。）８８を備えた装置本体８０と、これと別体にした広帯域通信機８１と狭帯域通信機８２及び３Ｄメガネ８３を有して構成されている。
【００３３】
装置本体８０には、アクセルぺダル８４、ブレーキペダル８５及びステアリングホイール８６を備えた操縦部８７が接続されている。
３Ｄメガネ８３は、ディスプレイ８８に表示された三次元画像を立体的に認識させるためのものであり、例えば偏向フィルム方式や液晶シャッター等に対応したものである。
操縦部８７からは、アクセルぺダル８４、ブレーキペダル８５及びステアリングホイール８６の操縦に従った操縦情報が出力されるようになっている。
【００３４】
装置本体８０は、所要のプログラムの実行により次の各機能を発揮する。
（１）無人車両（移動体）Ｂと遠隔操縦装置Ｃとの間における通信遅延時間を推定する機能。この機能を「遅延時間推定手段８０ａ」という。
本実施形態においては、広帯域通信の遅延時間を推定している。
なお、無人車両Ｂと遠隔操縦装置Ｃ双方にＧＰＳを搭載しておき、そのＧＰＳを用いて双方のコンピュータによって精度の高い時刻同期を行い、受信したデータのタイムスタンプに基づいて遅延時間を推定するようにしてもよい。
【００３５】
（２）推定された遅延時間に基づいて、移動体位置を推定する機能。この機能「移動体位置推定手段８０ｂ」という。
具体的には、推定遅延時間に基づいて、移動体（無人車両）Ｂが遠隔操縦装置Ｃによって操縦制御される時刻における移動体位置を推定している。
さらには、移動領域の三次元画像を取得した時刻から所要時間経過後までの無人車両（移動体）Ｂの走行予定経路（移動予定経路）、及び推定遅延時間に基づいて、その無人車両（移動体）Ｂが遠隔操縦装置Ｃによって操縦制御される時刻における車両位置（移動体位置）を推定している。
【００３６】
ところで、上記した広帯域通信は、データ容量が大きい画像の通信が可能であるが、遮蔽物等の電波環境の影響を受けやすく遅延が生じやすい特性がある。
一方、狭帯域通信は、無人車両Ｂの走行速度等の車両状態データやレーザレーダ７３による障害物Ｐの認識結果等の小容量のデータの通信に用いるが、それは、遮蔽物等による電波環境の影響を受けにくく遅延が生じにくいためである。
【００３７】
「走行予定経路」は、操舵角指令値、速度指令値、車速、ヨーレートに基づいて、時刻の関数若しくは離散的な時刻に対しての位置情報として表現したものであり、ステレオカメラ３１，３２で画像データを取得した時刻から所要時間内のもの、具体的には数秒後までのものである。
【００３８】
（３）推定した位置に対応する移動体の三次元画像を移動領域の三次元画像に重畳する機能。この機能を「画像重畳手段８０ｃ」という。
本実施形態においては、車両画像として車体１のボンネット１ａを採用している。
（４）重畳した三次元画像を表示部（ディスプレイ）８８に表示する機能。この機能を「重畳画像表示手段８０ｄ」という。
【００３９】
（５）操縦部８７の操作に従った操縦情報を生成する機能。これを「操縦情報生成手段８０ｅ」という。
具体的には、アクセルぺダル８４、ブレーキペダル８５及びステアリングホイール８６の操縦に従った操縦情報が出力されるようになっている。
上記操縦情報によって、無人車両Ｂに配設したステアリング用アクチュエータ６０、ブレーキ／アクセル用アクチュエータ６１が駆動制御される。
【００４０】
次に、図６を参照して、制御フローチャートについて説明する。図６は、遠隔操縦装置の制御フローチャート、図７は、同上の表示部に表示される移動領域の三次元画像に通信遅延を考慮した移動体の三次元画像を重畳表示した説明図である。
なお、図６においては、図示左側が無人車両Ｂにおける処理、右側が遠隔操縦装置Ｃにおける処理をそれぞれ示している。
【００４１】
＜無人車両Ｂにおける処理＞
ステップ１（図６中、「Ｓ１」と略記する。以下、同様。）：狭帯域通信機７２により、操縦情報を受信すると、ステップ２に進む。
【００４２】
ステップ２：ステレオカメラ３１、３２により移動領域の画像データを取得する。
ステップ３：画像処理装置３０において画像処理を行なう。具体的には、ステレオカメラ３０，３１から取り込んだ移動領域の画像データに基づいて三次元画像データを生成、圧縮及び走行路となる平面を検出する。
【００４３】
ステップ４：レーザレーダ７３により障害物データを取得する。
ステップ５：障害物の認識処理を行なう。
ステップ６：無人車両Ｂの走行速度、姿勢、位置等の車両状態データを取得する。
【００４４】
ステップ７：自律走行のための経路計画、車両走行制御を行なう。
ステップ８：ステアリング用アクチュエータ６０、ブレーキ／アクセル用アクチュエータ６１に指令を出力する。
ステップ９：広帯域通信機７１を介して、三次元画像データを遠隔操縦装置Ｃに向けて送信する。
【００４５】
ステップ１０：狭帯域通信機７２を介して、車両状態データ、障害物認識結果を遠隔操縦装置Ｃに向けて送信する。
ステップ１１：処理を終了するか否かを判定し、処理を終了しないと判定したときには、ステップ１に戻る。
【００４６】
＜遠隔操縦装置Ｃにおける処理＞
ステップ１（図６中、「Ｓａ１」と略記する。以下、同様。）：広帯域通信機８１を介して、無人車両Ｂから送信された三次元画像データを取得してステップ２に進む。
ステップ２：狭帯域通信機８２を介して、無人車両Ｂから送信された車両状態データ、障害物認識結果を受信してステップ３に進む。
【００４７】
ステップ３：広帯域通信が遅延しているか否かを判定し、広帯域通信が遅延していると判定されればステップ４に進み、そうでなければステップ７に進む。
ステップ４：狭帯域通信が遅延しているか否かを判定し、狭帯域通信が遅延していると判定されればステップ９に進み、そうでなければステップ５に進む。
【００４８】
ステップ５：広帯域通信の遅延時間に基づいて、その遅延時間に応じた無人車両Ｂの位置を推定する。
ステップ６：移動領域の三次元画像上の推定位置に、無人車両Ｂのボンネット１ａとともに、認識した障害物Ｐの各三次元画像を重畳する。
【００４９】
ステップ７：ステップ６において重畳した三次元画像をディスプレイ８８（図８参照）に表示する。
重畳した三次元画像には、障害物認識結果から検知した障害物Ｐ１〜Ｐ３と、これら障害物に重ね合わせて無人車両Ｂからの距離をそれぞれ表示している。また、上記したステレオカメラ３１，３２で取得したボンネット１ａの画像とともに、広帯域通信の遅延時間と車両状態データから推定されるボンネット１ａ´の位置を三次元的に重畳表示している。
【００５０】
ステップ８：ディスプレイ８８に表示されている三次元画像を見ながら操縦情報を入力する。
ステップ９：狭帯域通信機８２を介して、操縦情報を無人車両Ｂに向けて送信する。
ステップ１０：処理を終了するか否かを判定し、処理を終了しないと判定したときにはステップ１に戻る。
【００５１】
上述した一実施形態に係る遠隔操縦システムの効果は、次のとおりである。
・三次元画像をディスプレイ８８に表示しているので、画像上において奥行き感覚を把握しやすい。
・三次元画像の通信に遅延が生じている環境においても、その遅延を考慮して推定される無人車両Ｂの位置を、ディスプレイ８８に表示される移動領域の三次元画像に重畳表示しているので、奥行き感覚を把握しながら遠隔操縦を行なうことができる。
・画像上に障害物の位置（距離等）を表示しているので、遠隔操縦の参考となって安全性を向上させることができる。
・ステレオカメラは、自律走行において道路平面を検出する処理と、三次元画像の生成を兼ねているのでハードウェアの構成を簡略化することができる。
【００５２】
なお、本発明は上述した実施形態に限るものではなく、次のような変形実施が可能である。
・上述した実施形態においては、３Ｄメガネにより立体視を得る例について説明したが、３Ｄメガネを用いなくとも立体視を得られる構成にしてもよい。
・上述した実施形態においては、四つの車輪を有する走行型車両を例として説明したが、歩行型の移動体にも適用することができる。
【符号の説明】
【００５３】
３１、３２      ステレオカメラ
７２、８１      広帯域通信機
８０ａ          遅延時間推定手段
８０ｂ          移動体位置推定手段
８０ｃ          画像重畳手段
８０ｄ          重畳画像表示手段
８７            操縦部
８８            表示部（ディスプレイ）
Ａ              遠隔操縦システム
Ｂ              移動体（無人車両）
Ｃ              遠隔操縦装置
【図１】
2014048859.tif 000003
【図２】
2014048859.tif 000004
【図３】
2014048859.tif 000005
【図４】
2014048859.tif 000006
【図５】
2014048859.tif 000007
【図６】
2014048859.tif 000008
【図７】
2014048859.tif 000009