(57)【特許請求の範囲】
【請求項１】
移動物体を遠隔操縦するための遠隔操縦システムであって、
前記移動物体に取り付けられ、前記移動物体の位置における全方位画像を撮影し、撮影した全方位画像を送信する撮影手段と、
前記移動物体を操縦する操縦者の視線方向を検出する検出手段と、
前記撮影手段から送信される全方位画像を受信し、受信した全方位画像の中から前記検出手段により検出された操縦者の視線方向における所定範囲の視線方向画像を抽出する画像抽出手段と、
前記画像抽出手段により抽出された視線方向画像を基に作成された操縦用映像を前記操縦者に提示する映像提示手段と、
前記操縦者の操作に応じて前記移動物体を操縦するための操縦手段とを備え、
前記画像抽出手段は、
前記撮影手段により撮影される全方位画像の全体領域の中から所定範囲の視線方向領域を操縦者の視線方向に対応づけて予め記憶している変換テーブルと、
前記検出手段により検出された操縦者の視線方向に対応する視線方向領域を前記変換テーブルを用いて特定し、特定した視線方向領域の画像を視線方向画像として前記全方位画像から切り出す画像切り出し手段とを含むことを特徴とする遠隔操縦システム。
【請求項２】
前記映像提示手段は、没入型映像を操縦用映像として前記操縦者に提示する没入型映像提示手段を含むことを特徴とする請求項１記載の遠隔操縦システム。
【請求項３】
前記没入型映像提示手段は、前記操縦者の頭部に装着されるヘッドマウントディスプレイを含み、
前記検出手段は、前記ヘッドマウントディスプレイに取り付けられ、前記操縦者の頭部の角度を検出する角度センサを含むことを特徴とする請求項２記載の遠隔操縦システム。
【請求項４】
前記映像提示手段は、前記移動物体の座標系において固定された絶対基準方向を前記操縦用映像とともに表示することを特徴とする請求項１〜３のいずれかに記載の遠隔操縦システム。
【請求項５】
前記移動物体は、操縦者が前記操縦手段により遠隔操縦可能な無人ヘリコプタを含むことを特徴とする請求項１〜４のいずれかに記載の遠隔操縦システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動物体を遠隔操縦するための遠隔操縦システムに関するものである。
【０００２】
【従来の技術】
操縦者が遠隔地において操縦可能な無人ヘリコプタは、離着陸のための滑走路が不要であること、空中停止が可能であること等の特徴を有し、航空写真の撮影、薬剤散布、危険地帯の偵察等の種々の用途に使用されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、操縦者が無人ヘリコプタとともに移動することなく、遠隔地で無人ヘリコプタを操縦する場合、操縦者と無人ヘリコプタとの相対位置が変化し、操縦者が無人ヘリコプタを直接目視することが困難となる。このため、操縦者は機体の姿勢や周囲状況等を正確に把握することがでず、また、無人ヘリコプタは無人飛行機に比して機体の姿勢が不安定であるため、その操縦が非常に困難になり、無人ヘリコプタの普及を妨げている。
【０００４】
本発明の目的は、操縦者が移動物体を直接目視できない場合でも、移動物体を容易且つ正確に操縦することができる遠隔操縦システムを提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る遠隔操縦システムは、移動物体を遠隔操縦するための遠隔操縦システムであって、移動物体に取り付けられ、移動物体の位置における全方位画像を撮影し、撮影した全方位画像を送信する撮影手段と、移動物体を操縦する操縦者の視線方向を検出する検出手段と、撮影手段から送信される全方位画像を受信し、受信した全方位画像の中から検出手段により検出された操縦者の視線方向における所定範囲の視線方向画像を抽出する画像抽出手段と、画像抽出手段により抽出された視線方向画像を基に作成された操縦用映像を操縦者に提示する映像提示手段と、操縦者の操作に応じて移動物体を操縦するための操縦手段とを備え、前記画像抽出手段は、前記撮影手段により撮影される全方位画像の全体領域の中から所定範囲の視線方向領域を操縦者の視線方向に対応づけて予め記憶している変換テーブルと、前記検出手段により検出された操縦者の視線方向に対応する視線方向領域を前記変換テーブルを用いて特定し、特定した視線方向領域の画像を視線方向画像として前記全方位画像から切り出す画像切り出し手段とを含むものである。
【０００６】
本発明に係る遠隔操縦システムにおいては、移動物体側において移動物体の位置における全方位画像が撮影され、撮影された全方位画像が送信される。このとき、移動物体を操縦する操縦者側においては、操縦者の視線方向が検出され、検出された操縦者の視線方向における所定範囲の視線方向画像が受信された全方位画像の中から抽出され、抽出された視線方向画像を基に作成された操縦用映像が操縦者に提示され、操縦者はこの操縦用映像を見ながら移動物体を操縦することができる。
【０００７】
このように、操縦者が移動物体の位置における全方位画像の中から操縦者の視線方向における操縦用映像を見ながら、移動物体を操縦することができるので、操縦者が移動物体を直接目視できない場合でも、移動物体を容易且つ正確に操縦することができる。
また、変換テーブルを用いて全方位画像の中から視線方向領域の画像を視線方向画像として切り出しているので、より高速に視線方向画像を切り出すことができる。
【０００８】
映像提示手段は、没入型映像を操縦用映像として操縦者に提示する没入型映像提示手段を含むことが好ましい。この場合、視線方向画像を基に作成された没入型映像が操縦用映像として操縦者に提示されるので、操縦者はあたかも移動物体から見ているような映像を見ながら移動物体を操縦することができるので、移動物体をより容易且つ正確に操縦することができる。
【０００９】
没入型映像提示手段は、操縦者の頭部に装着されるヘッドマウントディスプレイを含み、検出手段は、ヘッドマウントディスプレイに取り付けられ、操縦者の頭部の角度を検出する角度センサを含むことが好ましい。
【００１０】
この場合、操縦者の頭部に装着される小型のヘッドマウントディスプレイにより没入型映像を操縦用映像として操縦者に提示することができるとともに、ヘッドマウントディスプレイに取り付けられた角度センサにより操縦者の視線方向を検出することができるので、操縦者は、角度センサがコンパクトに一体化された小型なヘッドマウントディスプレイを装着するだけで没入型映像を操縦用映像として見ながら移動物体を操縦することができる。
【００１１】
映像提示手段は、移動物体の座標系において固定された絶対基準方向を操縦用映像とともに表示することが好ましい。この場合、移動物体の座標系において固定された絶対基準方向が操縦用映像とともに表示されるので、操縦者は、自身の視線方向が移動物体の座標系において固定された絶対基準方向に対してどの程度ずれているかを容易に知ることができ、移動物体をさらに容易且つ正確に操縦することができる。
【００１４】
移動物体は、操縦者が操縦手段により遠隔操縦可能な無人ヘリコプタを含むことが好ましい。この場合、操縦者が無人ヘリコプタを直接目視できない場合でも、その操縦が一般に困難な無人ヘリコプタを容易且つ正確に操縦することができ、無人ヘリコプタを種々の用途に容易に使用することができる。
【００１５】
【発明の実施の形態】
以下、本発明の一実施の形態による遠隔操縦システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による遠隔操縦システムの構成を示すブロック図である。
【００１６】
図１に示す遠隔操縦システムは、無人ヘリコプタ１０及び操縦システム２０を備える。無人ヘリコプタ１０は、全方位カメラ１１、映像送信器１２及び飛行装置１３を備え、全方位カメラ１１、映像送信器１２及び飛行装置１３は、無人ヘリコプタ１０とともに移動する。
【００１７】
一方、操縦システム２０は、映像受信器２１、角度センサ２２、映像切り出し部２３、変換テーブル２４、ヘッドマウントディスプレイ２５及び操縦装置２６を備える。映像受信器２１、映像切り出し部２３及び変換テーブル２４は、操縦者がいる地上の所定位置に設置され、操縦者は、角度センサ２２が取り付けられたヘッドマウントディスプレイ２５を頭部に装着し、操縦装置２６を用いて無人ヘリコプタ１０を操縦する。
【００１８】
無人ヘリコプタ１０は、操縦装置２６の操縦指令に応じて飛行装置１３により飛行状態が制御される無人ヘリコプタであり、機体の所定位置に全方位カメラ１１及び映像送信器１２が取り付けられている。無人ヘリコプタ１０として、例えば、ホビー用ラジオコントロールヘリコプタ（ＨＩＲＯＢＯ製ＴＵＲＵＧＩ）等を用いることができる。
【００１９】
飛行装置１３は、無人ヘリコプタ１０の飛行状態を制御する公知の飛行装置であり、操縦装置２６の操縦指令に応じて無人ヘリコプタ１０の飛行状態を制御する。飛行装置１３としては、例えば、３軸ジャイロ（シーズ西東京株式会社製３軸インテリジェントジャイロＡＥＲ３５４ＣＥＲＡ）及び模型用エンジン（小川精機社製ＯＳ６１ＳＸ−Ｈ）等から構成され、この３軸ジャイロには、１６ビットマイクロコンピュータが内蔵されており、ロール軸、ピッチ軸、ヨー軸の全ての軸に対してフィードバック制御が行われ、機体の姿勢が制御される。
【００２０】
全方位カメラ１１は、スポンジ等の振動減衰部材を介して無人ヘリコプタ１０の胴体の前方下部に取り付けられ、無人ヘリコプタ１０の飛行位置における全方位画像を撮影して映像送信器１２へ出力する。全方位カメラ１１としては、例えば、アコウル株式会社製小型全方位視覚センサ防水型を用いることができる。
【００２１】
映像送信器１２は、吊り下げ状態で無人ヘリコプタ１０の胴体の後方下部に取り付けられ、全方位カメラ１１により撮影された全方位画像を無線方式により映像受信器２１へ送信する。映像送信器１２としては、例えば、円盤型無指向性アンテナが搭載されているアールエフシステム研究所製ＢＳ−５５０ＧＴＨを用いることができる。
【００２２】
映像受信器２１は、映像送信機１２から送信された全方位画像を受信し、受信した全方位画像を映像切り出し部２３へ出力する。映像受信器２１としては、例えば、アールエフシステム研究所製ＢＳ−１２０ＧＲを用いることができる。
【００２３】
角度センサ２２は、眼鏡型のヘッドマウントディスプレイ２５の略中央部に固定され、ヘッドマウントディスプレイ２５を装着した操縦者の頭部の角度を検出することにより操縦者の視線方向（操縦者が注視している方向）を検出して映像切り出し部２３へ出力する。角度センサ２２としては、例えば、データテック株式会社製ＶＲセンサＧＵ−３０１３を用いることができ、この場合、操縦者が正面を向いている時の角度を０°とし、ヨー軸方向（操縦者が右側を向いた場合を正、左側を向いた場合を負）及びピッチ方向（操縦者が上側を向いた場合を正、下側を向いた場合を負）の各角度が検出され、映像切り出し部２３へ出力される。なお、操縦者の視線方向を検出する方法は、上記の例に特に限定されず、操縦者の視線方向を直接検出する等の種々の変更が可能である。
【００２４】
変換テーブル２４は、角度センサ２２により検出された操縦者の頭部のヨー軸方向の角度ごとに、全方位画像の全体領域の中から所定範囲の視線方向領域を予め記憶している。
【００２５】
映像切り出し部２３は、変換テーブル２４を参照して角度センサ２２により検出されたヨー軸方向の角度に対して記憶されている視線方向領域を特定し、角度センサ２２により検出された操縦者の頭部のピッチ軸方向の角度に応じて視線方向領域の中からヘッドマウントディスプレイ２５により表示すべき切り出し範囲を決定する。次に、映像切り出し部２３は、映像受信器２１から出力される全方位画像の中から切り出し範囲に対応する部分の画像を視線方向画像として切り出し、切り出した視線方向画像をヘッドマウントディスプレイ２５により表示可能な画像に変換して出力する。
【００２６】
映像切り出し部２３及び変換テーブル２４としては、例えば、デルコンピュータ社製Ｉｎｓｐｉｒｏｎ３８００等のパーソナルコンピュータを用いることができ、ＣＰＵ（中央演算処理装置）により所定のプログラムを実行することにより、ＣＰＵ等が映像切り出し部２３として機能し、メインメモリ等が変換テーブル２４として機能する。なお、映像切り出し部２３及び変換テーブル２４の構成は上記の例に特に限定されず、映像切り出し部２３を専用のハードウエアから構成したり、又は、変換テーブル２４を用いることなく、上記の映像切り出し処理を全て専用のハードウエア又はソフトウエア等により行うようにしてもよい。
【００２７】
ヘッドマウントディスプレイ２５は、映像切り出し部２３から出力される視線方向画像を表示することにより没入型映像を表示し、操縦用映像として操縦者に提示する。また、ヘッドマウントディスプレイ２５は、上記の没入型映像を表示する際、無人ヘリコプタ１０の座標系において固定された絶対基準方向、例えば、無人ヘリコプタ１０の正面方向を表示する。ヘッドマウントディスプレイ２５としては、例えば、ｉ−Ｏ  Ｄｉｓｐｌａｙ  Ｓｙｓｔｅｍｓ社製ｉ−ｇｌａｓｓｅｓ  ＬＣＸ２を用いることができる。なお、没入型映像を提示する表示装置は、上記の例に特に限定されず、大型スクリーンを用いたＣＡＶＥ（ＣＡＶＥ  Ａｕｔｏｍａｔｉｃ  Ｖｉｒｔｕａｌ  Ｅｎｖｉｒｏｎｍｅｎｔ）システム等の他の没入型表示装置を用いてもよい。
【００２８】
操縦装置２６は、操縦者が無線ヘリコプタ１０を操縦するために使用され、例えば、日本遠隔制御株式会社製Ｘ−３８１０を用いることができ、本装置に設けられた２本のスティックを操作することにより合計４軸の制御を行うことができる。なお、操縦装置２６を用いた操縦方法は、公知の操縦方法をそのまま用いることができるため、詳細な説明は省略する。
【００２９】
本実施の形態では、無人ヘリコプタ１０が移動物体に相当し、全方位カメラ１１及び映像送信器１２が撮影手段に相当し、角度センサ２２が検出手段に相当し、映像切り出し部２３及び変換テーブル２４が画像抽出手段に相当し、ヘッドマウントディスプレイ２５が映像提示手段及び没入型映像提示手段に相当し、操縦装置２６が操縦手段に相当し、変換テーブル２４が変換テーブルに相当し、映像切り出し部２３が画像切り出し手段に相当する。
【００３０】
図２は、図１に示す映像切り出し部２３及び変換テーブル２４をパーソナルコンピュータにより構成した場合の遠隔操縦システムの概略図である。図２に示すように、無人ヘリコプタ１０、全方位カメラ１１及び映像送信器１２が、ヘリコプタからの画像を地上に無線送信する映像送信部となり、映像受信器２１、パーソナルコンピュータ２７、角度センサ２２、ヘッドマウントディスプレイ２５及び操縦装置２６が、画像の受信、変換及び表示を行う映像提示部となる。
【００３１】
すなわち、無人ヘリコプタ１０に取り付けられた全方位カメラ１１により撮影された全方位画像が映像送信器１２から送信され、映像受信装置２１により受信された全方位画像の中からパーソナルコンピュータ２７により切り出された視線方向画像がヘッドマウントディスプレイ２５へ出力される。このとき、操縦者がヘッドマウントディスプレイ２５を頭部に装着して視線方向画像を見ながら操縦装置２６を操作することにより、舵角等の操縦指令が無人ヘリコプタ１０へ送信され、無人ヘリコプタ１０が操縦される。
【００３２】
図３は、図１に示す全方位カメラ１１の撮像系の構成を示す模式図である。図３に示すように、全方位カメラ１１は、鉛直下向きに設置された双曲線ミラー３１に写った鏡像を鉛直上向きに設置されたＣＣＤカメラのＣＣＤ投影面３２により撮影するものである。したがって、図３に示すようにＺ軸を鉛直軸とする３次元ワールド座標系（Ｘ，Ｙ，Ｚ）を考えると、双曲線ミラー３１の双曲面は、（Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2＝−１、（Ｚ＞０）で表すことができ、双曲面の焦点ＯMは、（０，０，＋ｃ）、（ｃ＝（ａ2＋ｂ2）1/2）となり、ＣＣＤカメラのレンズ中心ＯCは、（０，０，−ｃ）となる。なお、ａ，ｂ，ｃは双曲面のパラメータである。
【００３３】
一方、ＣＣＤ投影面３２上にｘｙ平面をとると、ｘｙ平面はＸＹ平面に平行でＣＣＤカメラのレンズ中心ＯCからＣＣＤカメラの焦点距離ｆだけ離れた面となる。したがって、透視投影面３３上の点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）に対するＣＣＤ投影面３２上の写像点ｐ（ｘｐ、ｙｐ）は、下式により求めることができる。
【００３４】
ｘｐ＝Ｘｐ×ｆ×Ａ
ｙｐ＝Ｙｐ×ｆ×Ａ
ここで、Ａ＝（ｂ2−ｃ2）／｛（ｂ2＋ｃ2）Ｚ−２ｂｃ（Ｘｐ2＋Ｙｐ2＋Ｚｐ2）1/2｝である。
【００３５】
上式は、透視投影面３３上の座標（Ｘ，Ｙ，Ｚ）及び定数ａ，ｂ，ｃ，ｆを含むだけで、ＣＣＤ投影面３２上の色情報には無関係となる。このため、本実施の形態では、透視投影面３３上の全ての点に対応するＣＣＤ投影面３２上の点を予め計算し、透視投影面３３上の点とＣＣＤ投影面３２上の点とを対応付けて変換テーブル２４に予め記憶している。具体的には、透視投影面３３は正面からの角度θに対応させて複数設定しており、例えば、２度ごとに透視投影面３３を設定して合計１８０枚の透視投影面３３が設定され、各透視投影面ごとにＣＣＤ投影面３２上の点が対応付けられ、変換テーブル２４に記憶されている。
【００３６】
また、透視投影面３３は、Ｙ軸方向の長さをヘッドマウントディスプレイ２５により提示される視線方向画像の縦方向の長さより長くしており、例えば、１枚の透視投影面３３を３２０×８００（ｐｉｘｅｌ）に設定し、そこから３２０×２４０（ｐｉｘｅｌ）の画像を切り出し、この画像を視線方向画像としている。
【００３７】
すなわち、映像切り出し部２３では、角度センサ２２により検出された操縦者の頭部のヨー軸方向の角度に応じて透視投影面を決定するとともに、角度センサ２２により検出された操縦者の頭部のピッチ軸方向の角度に応じて透視投影面
から視線方向画像として切り出される切り出し範囲を決定し、この切り出し範囲に対応付けられているＣＣＤ投影面３２上の点を変換テーブル２４から読み出すことにより、毎回対応点を計算することなく、フレームレート（例えば、３０ｆｐｓ）で透視投影変換を行っている。
【００３８】
図４は、全方位画像と視線方向画像との関係を説明するための模式図である。図４の（ａ）に示すように、ＣＣＤ投影面３２上に全方位画像４１が位置している場合、映像切り出し部２３は、操縦者の頭部のヨー軸方向の角度に対応する透視投影面４２を決定するとともに、操縦者の頭部のピッチ軸方向の角度に対応する切り出し範囲４３を決定する。
【００３９】
次に、図４の（ｂ）に示すように、映像切り出し部２３は、変換テーブル２４を参照して切り出し範囲４３に対応するＣＣＤ投影面３２上の画像を読み出し、所定の補間処理により画素を補間して扇形の画像を長方形の画像に変換することにより視線方向画像４４を作成する。このようにして、映像切り出し部２３では、パン方向及びティルト方向の没入感を生成するように視線方向画像４４を作成している。したがって、操縦者はあたかも無人ヘリコプタ１０から見ているような映像を見ながら無人ヘリコプタ１０を操縦することができ、無人ヘリコプタ１０をより容易且つ正確に操縦することができる。
【００４０】
次に、図４の（ｃ）に示すように、映像切り出し部２３は、無人ヘリコプタ１０の正面方向を表す水平ゲージ４５及び垂直ゲージ４６を視線方向画像４４に付加した画像を作成してヘッドマウントディスプレイ２５へ出力する。このとき、操縦者は、ヘッドマウントディスプレイ２５を用いて図４の（ｃ）に示す水平ゲージ４５及び垂直ゲージ４６とともに視線方向画像４４を操縦用映像として見ながら無人ヘリコプタ１０を操縦することができる。
【００４１】
例えば、水平ゲージ４５が視線方向画像４４の水平方向の中央位置にあり且つ垂直ゲージ４６が視線方向画像４４の垂直方向の中央位置にある場合、操縦者の視線方向が無人ヘリコプタ１０の正面方向に一致していることが示される。したがって、水平ゲージ４５が左側に変位している場合、操縦者は無人ヘリコプタ１０から右側を見ていることになり、垂直ゲージ４６が下側に変位している場合、操縦者は無人ヘリコプタ１０から上側を見ていることになり、図４の（ｃ）に示す例では、操縦者は無人ヘリコプタ１０から右上側を見ていることになる。
【００４２】
このように、操縦者は、水平ゲージ４５及び垂直ゲージ４６の位置を確認することにより自身の視線方向が無人ヘリコプタ１０の正面方向からどの程度ずれているかを容易に知ることができ、無人ヘリコプタ１０をさらに容易且つ正確に操縦することができる。なお、水平ゲージ及び垂直ゲージは上記の例に特に限定されず、種々の変更が可能であり、例えば、水平ゲージ４５及び垂直ゲージ４６だけでなく、水平方向及び水平方向の各ずれ量を数値表示するようにしてもよい。
【００４３】
上記のようにして、本実施の形態では、無人ヘリコプタ１０から撮影された全方位画像が送信され、操縦者側において、操縦者の視線方向に対応した視線方向画像が受信された全方位画像の中から抽出され、抽出された視線方向画像を基に作成された操縦用映像が操縦者に提示されるので、操縦者は、この操縦用映像を見ながら無人ヘリコプタ１０を操縦することができ、無人ヘリコプタ１０を容易且つ正確に操縦することができる。
【００４４】
なお、上記の説明では、無人ヘリコプタを遠隔操縦する例について説明したが、本発明が適用される移動物体は、上記の例に特に限定されず、無人飛行機、無人船舶、無人自動車、無人探査用車両等の宇宙ロボット、無人土木機械等の建設・土木ロボット、人間型ロボット等の種々の移動物体に同様に適用可能である。
【００４５】
【発明の効果】
本発明によれば、移動物体側から移動物体の位置における全方位画像が送信され、操縦者側において、検出された操縦者の視線方向における所定範囲の視線方向画像が受信された全方位画像の中から抽出され、抽出された視線方向画像を基に作成された操縦用映像が操縦者に提示されるので、操縦者は移動物体の位置における全方位画像の中から自身の視線方向に対応した操縦用映像を見ながら、移動物体を操縦することができ、操縦者が移動物体を直接目視できない場合でも、移動物体を容易且つ正確に操縦することができる。
【図面の簡単な説明】
【図１】  本発明の一実施の形態による遠隔操縦システムの構成を示すブロック図である。
【図２】  図１に示す映像切り出し部及び変換テーブルをパーソナルコンピュータにより構成した場合の遠隔操縦システムの概略図である。
【図３】  図１に示す全方位カメラの撮像系の構成を示す模式図である。
【図４】  全方位画像と視線方向画像との関係を説明するための模式図である。
１０  無人ヘリコプタ
１１  全方位カメラ
１２  映像送信器
１３  飛行装置
２０  操縦システム
２１  映像受信器
２２  角度センサ
２３  映像切り出し部
２４  変換テーブル
２５  ヘッドマウントディスプレイ
２６  操縦装置
【図１】
0004012749.tif 000002
【図２】
0004012749.tif 000003
【図３】
0004012749.tif 000004
【図４】
0004012749.tif 000005