(57)【要約】【課題】移動体が高速移動している際の没入感維持と通信負荷低減とを両立できること。【解決手段】遠隔操作システムは、撮影手段と、撮影手段により撮影された撮影データの解像度を変更する画質変更手段と、を有する移動体と、操作者が移動体を遠隔操作するための操作手段と、操作手段を操作する操作者が装着し、移動体の画質変更手段から送信された撮影データの画像のうち、操作者の向きに応じた所定範囲を切出し、切出した所定範囲の画像を操作者に対して表示する表示手段と、を備える。画質変更手段は、移動体の移動速度が高くなる場合、及び、操作手段を介して撮影手段により撮影された撮影データのフレームレートを増加させる設定変更が行われた場合、のうちの少なくとも一方の場合、撮影データのフレームレートを増加させ、フレームレートの増加に応じて、撮影手段の撮影データの解像度を低下させる。【選択図】図２
2019134383.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段と、前記撮影手段により撮影された撮影データの解像度を変更する画質変更手段と、を有する移動体と、
操作者が前記移動体を遠隔操作するための操作手段と、
前記操作手段を操作する操作者が装着し、前記移動体の画質変更手段から送信された撮影データの画像のうち、前記操作者の向きに応じた所定範囲を切出し、該切出した所定範囲の画像を該操作者に対して表示する表示手段と、を備え、
前記画質変更手段は、前記移動体の移動速度が高くなる場合、及び、前記操作手段を介して前記撮影手段により撮影された撮影データのフレームレートを増加させる設定変更が行われた場合、のうちの少なくとも一方の場合、前記撮影データのフレームレートを増加させ、該フレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させる、
ことを特徴とする遠隔操作システム。
【請求項２】
請求項１記載の遠隔操作システムであって、
前記表示手段は、前記操作者が向いている方向を検出する方向検出手段を有し、
前記表示手段は、前記画質変更手段により変更された撮影データのうち、前記方向検出手段により検出された操作者が向いている方向を中心とした前記所定範囲の画像を該操作者に対して表示し、
前記画質変更手段は、前記撮影データのうち、前記方向検出手段により検出された操作者が向いている方向を中心とした前記所定範囲の領域を高画質領域とし、該所定範囲以外を該高画質領域よりも低い解像度の低画質領域に変更することで、前記撮影手段の撮影データの解像度を低下させる、
ことを特徴とする遠隔操作システム。
【請求項３】
請求項２記載の遠隔操作システムであって、
前記画質変更手段は、前記撮影手段により撮影された撮影データのフレームレートが増加するに従って、前記低画質領域を広くする、
ことを特徴とする遠隔操作システム。
【請求項４】
請求項２又は３記載の遠隔操作システムであって、
前記画質変更手段は、前記操作者の頭部の動作速度に基づいて、前記低画質領域のうち、前記操作者が視認できない領域を推定し、該推定した領域を画像が無い無画像領域にする、
ことを特徴とする遠隔操作システム。
【請求項５】
請求項２乃至４のうちいずれか１項記載の遠隔操作システムであって、
前記画質変更手段は、前記低画質領域の解像度を、前記高画質領域から離れるに従がって、徐々に低下させる、
ことを特徴とする遠隔操作システム。
【請求項６】
請求項１乃至５のうちいずれか１項記載の遠隔操作システムであって、
前記撮影データは、前記画質変更手段から前記表示手段へ無線または有線で送信され、
前記無線又は有線には、前記撮影データを送信する際の単位時間当たりの通信量の上限値が設定されている、
ことを特徴とする遠隔操作システム。
【請求項７】
請求項１乃至６のうちいれか１項記載の遠隔操作システムであって、
前記画質変更手段は、前記撮影手段により撮影された撮影データのフレームレートが所定値よりも高い場合、前記撮影手段の撮影データの解像度を低下させる、
ことを特徴とする遠隔操作システム。
【請求項８】
請求項１乃至７のうちいずれか１項記載の遠隔操作システムであって、
前記撮影手段は、前記移動体の全方位を撮影する全方位カメラである、
ことを特徴とする遠隔操作システム。
【請求項９】
請求項１乃至８のうちいずれか１項記載の遠隔操作システムであって、
前記移動体は、水中を移動する潜水機である、
ことを特徴とする遠隔操作システム。
【請求項１０】
請求項９記載の遠隔操作システムであって、
前記画質変更手段は、前記撮影データのフレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させると共に、前記移動体の深度又は該移動体周囲の透明度に応じて、該解像度の低下量を抑制する、
ことを特徴とする遠隔操作システム。
【請求項１１】
請求項９又は１０記載の遠隔操作システムであって、
前記画質変更手段により解像度が変更された撮影データは、該画質変更手段から前記表示手段に対し無線を介して、水中を通過して送信され、
前記画質変更手段は、前記撮影データのフレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させると共に、前記水中の距離に応じて、該解像度の低下量を増加させる、
ことを特徴とする遠隔操作システム。
【請求項１２】
撮影手段と、前記撮影手段により撮影された撮影データの解像度を変更する画質変更手段と、を有する移動体と、
操作者が前記移動体を遠隔操作するための操作手段と、
前記操作手段を操作する操作者が装着し、前記移動体の画質変更手段から送信された撮影データの画像のうち、前記操作者の向きに応じた所定範囲を切出し、該切出した所定範囲の画像を該操作者に対して表示する表示手段と、を備える、遠隔操作システムの通信方法であって、
前記移動体の移動速度が高くなる場合、及び、前記操作手段を介して前記撮影手段により撮影された撮影データのフレームレートを増加させる設定変更が行われた場合、のうちの少なくとも一方の場合、前記撮影データのフレームレートを増加させ、該フレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させる、
ことを特徴とする遠隔操作システムの通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体を遠隔的に操作するための遠隔操作システム、及びその通信方法に関する。
【背景技術】
【０００２】
撮影手段が設けられた移動体と、操作者が移動体を遠隔操作するための操作手段と、操作手段を操作する操作者が装着し、撮影手段により撮影された撮影データの画像を操作者に対して表示する表示手段と、を備える遠隔操作システムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２６７２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、移動体が高速移動する場合、表示手段に表示される画像が飛び飛びになり、操作者の没入感を損なう虞がある。このため、表示手段の画像は、移動体の高い移動速度に応じて高フレームレートに調整される。一方で、表示手段の画像が高フレームレートに調整される場合、撮影手段から表示手段への撮影データの通信量が増加し、その通信負荷が増加する。したがって、移動体が高速移動している際の没入感維持と、通信負荷低減と、の両立が要望されている。
【０００５】
本発明は、このような問題点を解決するためになされたものであり、移動体が高速移動している際の没入感維持と通信負荷低減とを両立できる遠隔操作システム、及びその通信方法を提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明の一態様は、
撮影手段と、前記撮影手段により撮影された撮影データの解像度を変更する画質変更手段と、を有する移動体と、
操作者が前記移動体を遠隔操作するための操作手段と、
前記操作手段を操作する操作者が装着し、前記移動体の画質変更手段から送信された撮影データの画像のうち、前記操作者の向きに応じた所定範囲を切出し、該切出した所定範囲の画像を該操作者に対して表示する表示手段と、を備え、
前記画質変更手段は、前記移動体の移動速度が高くなる場合、及び、前記操作手段を介して前記撮影手段により撮影された撮影データのフレームレートを増加させる設定変更が行われた場合、のうちの少なくとも一方の場合、前記撮影データのフレームレートを増加させ、該フレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させる、
ことを特徴とする遠隔操作システム
である。
この一態様において、前記表示手段は、前記操作者が向いている方向を検出する方向検出手段を有し、前記表示手段は、前記画質変更手段により変更された撮影データのうち、前記方向検出手段により検出された操作者が向いている方向を中心とした前記所定範囲の画像を該操作者に対して表示し、前記画質変更手段は、前記撮影データのうち、前記方向検出手段により検出された操作者が向いている方向を中心とした前記所定範囲の領域を高画質領域とし、該所定範囲以外を該高画質領域よりも低い解像度の低画質領域に変更することで、前記撮影手段の撮影データの解像度を低下させてもよい。
この一態様において、前記画質変更手段は、前記撮影手段により撮影された撮影データのフレームレートが増加するに従って、前記低画質領域を広くしてもよい。
この一態様において、前記画質変更手段は、前記操作者の頭部の動作速度に基づいて、前記低画質領域のうち、前記操作者が視認できない領域を推定し、該推定した領域を画像が無い無画像領域にしてもよい。
この一態様において、前記画質変更手段は、前記低画質領域の解像度を、前記高画質領域から離れるに従がって、徐々に低下させてもよい。
この一態様において、前記撮影データは、前記画質変更手段から前記表示手段へ無線または有線で送信され、前記無線又は有線には、前記撮影データを送信する際の単位時間当たりの通信量の上限値が設定されてもよい。
この一態様において、前記画質変更手段は、前記撮影手段により撮影された撮影データのフレームレートが所定値よりも高い場合、前記撮影手段の撮影データの解像度を低下させてもよい。
この一態様において、前記撮影手段は、前記移動体の全方位を撮影する全方位カメラであってもよい。
この一態様において、前記移動体は、水中を移動する潜水機であってもよい。
この一態様において、前記画質変更手段は、前記撮影データのフレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させると共に、前記移動体の深度又は該移動体周囲の透明度に応じて、該解像度の低下量を抑制してもよい。
この一態様において、前記画質変更手段により解像度が変更された撮影データは、該画質変更手段から前記表示手段に対し無線を介して、水中を通過して送信され、前記画質変更手段は、前記撮影データのフレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させると共に、前記水中の距離に応じて、該解像度の低下量を増加させてもよい。
上記目的を達成するための本発明の一態様は、
撮影手段と、前記撮影手段により撮影された撮影データの解像度を変更する画質変更手段と、を有する移動体と、
操作者が前記移動体を遠隔操作するための操作手段と、
前記操作手段を操作する操作者が装着し、前記移動体の画質変更手段から送信された撮影データの画像のうち、前記操作者の向きに応じた所定範囲を切出し、該切出した所定範囲の画像を該操作者に対して表示する表示手段と、を備える、遠隔操作システムの通信方法であって、
前記移動体の移動速度が高くなる場合、及び、前記操作手段を介して前記撮影手段により撮影された撮影データのフレームレートを増加させる設定変更が行われた場合、のうちの少なくとも一方の場合、前記撮影データのフレームレートを増加させ、該フレームレートの増加に応じて、前記撮影手段の撮影データの解像度を低下させる、
ことを特徴とする遠隔操作システムの通信方法
であってもよい。
【発明の効果】
【０００７】
本発明によれば、移動体が高速移動している際の没入感維持と通信負荷低減とを両立できる遠隔操作システム、及びその通信方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１に係る遠隔操作システムの概略的な構成を示す図である。
【図２】本発明の実施形態１に係る遠隔操作システムの概略的な構成を示すブロック図である。
【図３】移動体の移動速度と解像度との関係を示すマップ情報の一例を示す図である。
【図４】本発明の実施形態１に係る遠隔操作システムの通信方法のフローを示すフローチャートである。
【図５】高画質領域と低画質領域とを示す図である。
【図６】移動体の移動速度と低画質領域の面積との関係を示すマップ情報の一例を示す図である。
【図７】無画像領域の一例を示す図である。
【図８】本発明の実施形態２に係る遠隔操作システムの通信方法のフローを示すフローチャートである。
【発明を実施するための形態】
【０００９】
実施形態１
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態１に係る遠隔操作システムの概略的な構成を示す図である。図２は、本実施形態１に係る遠隔操作システムの概略的な構成を示すブロック図である。本実施形態１に係る遠隔操作システム１は、移動体２を遠隔的に操作する。本実施形態１に係る遠隔操作システム１は、自律的に移動する移動体２と、移動体２を制御する制御装置３と、移動体２を操作するための操作装置４と、画像を操作者に対して表示する表示装置５と、を備えている。
【００１０】
移動体２は、例えば、無人潜水機（水中ドローン）である。移動体２は、移動体２周囲を撮影するカメラ２１と、移動体２の移動速度を検出する速度センサ２２と、撮影データの解像度を変更する映像処理部２３と、移動体２の姿勢角を検出する姿勢角センサ２４と、移動体２を制御する移動体制御部２５と、を有している。
【００１１】
カメラ２１は、撮影手段の一具体例である。カメラ２１は、移動体２の全方位を撮影する全方位カメラである。全方位カメラは、例えば、全球、半球、あるいは３６０度帯状の映像を映す構成である。全方位カメラは、複数のカメラで構成されていてもよい。この場合、各カメラの映像を組み合わせて全球、半球、あるいは３６０度帯状の映像を映す構成であってもよい。
【００１２】
速度センサ２２は、移動体２の移動速度を検出し、検出した移動速度を映像処理部２３及び移動体制御部２５に出力する。
【００１３】
映像処理部２３は、画質変更手段の一具体例である。映像処理部２３は、カメラ２１により撮影された撮影データの解像度を変更する。なお、映像処理部２３は、カメラ２１に内蔵されていてもよい。
【００１４】
映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が増加した場合、カメラ２１の撮影データのフレームレートを増加させる。映像処理部２３は、例えば、速度センサ２２により検出された移動体２の移動速度が増加するに従って、カメラ２１の撮影データのフレームレートを増加させる。また、映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が所定値以上となった場合に、カメラ２１の撮影データのフレームレートを増加させてもよい。これにより、移動体２が高速移動する場合でも、その撮影データを滑らかな動画にすることができる。
【００１５】
なお、映像処理部２３は、操作装置４を介してカメラ２１の撮影データのフレームレートを増加させる設定変更が行われた場合に、その撮影データのフレームレートを増加させてもよい。
【００１６】
姿勢角センサ２４は、移動体２のヨー角、ピッチ角、ロール角などの姿勢角を検出し、検出した姿勢角を移動体制御部２５に出力する。
【００１７】
移動体制御部２５は、姿勢角センサ２４により検出された移動体２の姿勢角と、速度センサ２２により検出された移動体２の移動速度と、制御装置３から送信される制御信号と、に基づいて、移動体２の姿勢や移動速度などを制御する。移動体制御部２５は、例えば、姿勢角センサ２４により検出された移動体２の姿勢角に基づいて、ロール軸、ピッチ軸、ヨー軸の全ての軸に対してフィードバック制御を行い、移動体２のロール方向、ピッチ方向、及びヨー方向の姿勢を制御する。
【００１８】
制御装置３は、例えば、地上に設置されているが、水中に設置されていてもよい。制御装置３と移動体２とは、例えば、ケーブルなどの有線６で接続されている。なお、制御装置３と移動体２とは、可視光、赤外光、などの無線で通信接続されていてもよい。映像処理部２３は、解像度を変更した撮影データを、有線６及び制御装置３を介して、表示装置５に送信する。
【００１９】
制御装置３は、操作装置４からの操作信号に応じて、移動体２の動作を制御する。制御装置３は、操作装置４から送信される操作信号に応じた制御信号を生成し、生成した制御信号を移動体２の移動体制御部２５に対して送信する。
【００２０】
制御装置３及び移動体制御部２５は、例えば、演算処理、制御処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム、制御プログラム等や、各種のデータなどを記憶するメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ及びインターフェイス部は、データバスなどを介して相互に接続されている。
【００２１】
操作装置４は、操作手段の一具体例である。操作装置４は、操作者の操作に応じた操作信号を生成し、生成した操作信号を制御装置３に送信する。制御装置３と操作装置４とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ（登録商標）、などの無線で通信接続されている。制御装置３と操作装置４とは、例えば、インタネットなどのネットワークを介して通信接続されていてもよい。制御装置３と操作装置４とは、有線で通信接続されていてもよい。操作装置４は、例えば、操作者が操作するジョイスティック、スイッチ、ボタンなどを有している。操作装置４は、スマートフォンなどの携帯端末であってもよい。操作装置４と表示装置５とは一体的に構成されていてもよい。
【００２２】
表示装置５は、表示手段の一具体例である。表示装置５は、操作者に装着されるヘッドマウントディスプレイ５１と、ヘッドマウントディスプレイ５１に画像を表示させる映像表示部５２と、を有している。ヘッドマウントディスプレイ５１と映像表示部５２とは、有線５３で接続されているが無線で接続されていてもよい。なお、例えば、映像表示部５２はヘッドマウントディスプレイ５１に内蔵され、映像表示部５２とヘッドマウントディスプレイ５１とは、一体的に構成されていてもよい。
【００２３】
ヘッドマウントディスプレイ５１は、表示手段の一具体例である。ヘッドマウントディスプレイ５１は、例えば、眼鏡型に構成され、操作者の頭部に装着される。ヘッドマウントディスプレイ５１は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどを有している。
【００２４】
ヘッドマウントディスプレイ５１には、操作者の頭部の角度を検出する角度センサ５４が設けられている。角度センサ５４は、方向検出手段の一具体例である。角度センサ５４は、検出した操作者の頭部の角度を映像表示部５２に出力する。
【００２５】
例えば、角度センサ５４は、操作者が正面を向いている時の角度を０°とし、ヨー軸方向及びピッチ軸方向の各角度が検出する。ヨー軸方向に関しては、操作者が右側を向いた場合を正方向、左側を向いた場合を負方向とする。ピッチ軸方向に関しては、操作者が上側を向いた場合を正方向、下側を向いた場合を負方向とする。
【００２６】
なお、操作者が向いている方向として、操作者の頭部の角度を検出しているが、これに限定されない。操作者が向いている方向として、例えば、カメラなどを用いて操作者の視線や体の方向を検出してもよく、操縦者が注視している方向が検出できれば任意の方向を検出してもよい。
【００２７】
映像表示部５２は、角度センサ５４からの操作者の頭部の角度に基づいて、移動体２の映像処理部２３から送信された撮影データの全方位画像の全体領域の中から、操作者の方向を中心とした所定範囲を切出す。所定範囲は、操作者が見ている視線方向の所定領域（以下、視線方向領域と称す）であり、予めメモリなどに設定されている。
【００２８】
例えば、映像表示部５２は、角度センサ５４からの操作者の頭部のヨー軸方向の角度に基づいて、左右方向の視線方向領域を特定し、角度センサ５４からの操作者の頭部のピッチ軸方向の角度に基づいて、上下方向の視線方向領域を特定することで、所定領域を切出す。
【００２９】
映像表示部５２は、撮影データの全方位画像の全体領域の中から、切出した視線方向領域の画像をヘッドマウントディスプレイ５１に送信する。ヘッドマウントディスプレイ５１は、映像表示部５２から送信される視線方向領域の画像を操作者に対して表示する。このように、ヘッドマウントディスプレイ５１は、操作者が向いている方向に応じた視線方向画像を表示することにより、操作者に対し没入型映像を表示することができる。
【００３０】
映像表示部５２と操作装置４とは、有線で接続されているが無線で接続されていてもよい。映像表示部５２と制御装置３とは、例えば、インタネットなどのネットワークを介して通信接続されていてもよい。
【００３１】
ところで、例えば、移動体が高速移動する場合、表示装置に表示される画像が飛び飛びになり、操作者の没入感を損なう虞がある。このため、表示装置の画像は、移動体の高い移動速度に応じて高フレームレートに調整される。一方で、表示装置の画像が高フレームレートに調整される場合、カメラから表示装置への撮影データの通信量が増加し、その通信負荷が増加する。一方、撮影データを送信する有線あるいは無線のハードウェアなどによって、送信可能な撮影データの単位時間当たりの上限値が決まっており、それ以上送信することができないこともある。このように、移動体が高速移動している際の没入感維持と通信負荷低減との両立が要望されている。
【００３２】
これに対し、本実施形態１に係る遠隔操作システム１は、移動体２の移動速度が高くなる場合、移動体２のカメラ２１の撮影データのフレームレートを増加させ、該フレームレートの増加に応じて、カメラ２１の撮影データの解像度を低下させる。
【００３３】
これにより、移動体２が高速移動している際、カメラ２１の撮影データは高フレームレートになるが、撮影データの解像度を低下させることで、その通信量を低下させ、通信負荷を低減できる。さらに、移動体２の移動速度に応じて、カメラ２１の撮影データは高フレームレートに維持されているため、表示装置５に表示される画像が飛び飛びになることも抑制でき、操作者の没入感を維持できる。すなわち、移動体２が高速移動している際の没入感維持と通信負荷低減とを両立できる。
【００３４】
特に、移動体２が水中ドローンである場合、水中でのその反応速度が遅くなる。このため、上述の如く、全方位カメラを使って移動体２の全方位を撮影し、その全方位画像の中から操作者の方向の所定範囲を切出し、表示する。したがって、移動体２から送信される撮影データ量は必然的に大きくなる。しかし、本実施形態１に係る遠隔操作システム１によれば、上述の如く、通信量を効果的に低減できるため、その低減効果はより大きいと言える。
【００３５】
例えば、移動体２の映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が所定値より高くなったと判断すると、カメラ２１により撮影された撮影データの画像の解像度を低下させる。映像処理部２３は、撮影データのフレームレートが所定値より大きくなったと判断すると、カメラ２１により撮影された撮影データの画像の解像度を低下させてもよい。
【００３６】
映像処理部２３は、低解像度に変更した撮影データを、映像表示部５２に送信することで、移動体２の映像処理部２３と、表示装置５の映像表示部５２との間の通信量を低減でき、その通信負荷を低減できる。
【００３７】
映像処理部２３には、例えば、上記没入感維持と通信負荷低減とを両立できる移動速度の所定値及び解像度低下量が予め設定されている。映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が所定値より高くなったと判断すると、カメラ２１により撮影された撮影データの解像度を予め設定された解像度低下量だけ低下させる。
【００３８】
さらに、映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が増加するに従がって、カメラ２１により撮影された撮影データの画像の解像度を低下させてもよい。これにより、移動体２の移動速度が増加するに従がって、カメラ２１の撮影データは高フレームレートになるが、撮影データの解像度を徐々に低下させることで、その通信負荷を効果的に低減できる。したがって、移動体２の移動速度に応じて、効果的に通信負荷を低減し、その通信負荷を低減できる。
【００３９】
例えば、図３に示す如く、移動体２の移動速度と解像度との関係を示すマップ情報がメモリなどに記憶されている。映像処理部２３は、速度センサ２２により検出された移動体２の移動速度と、マップ情報と、に基づいて、カメラ２１により撮影された撮影データの画像の解像度を低下させる。なお、マップ情報には、移動体２の移動速度が増加するに従がって、解像度が低下するような関係が設定されている。また、マップ情報において、移動速度が閾値以上になると、解像度は一定値となっている。これは、これ以上解像度を低下させると、操作者が画像を見難くなるからである。映像処理部２３は、実験的に求めた関数などを用いて、カメラ２１により撮影された撮影データの画像の解像度を低下させてもよい。
【００４０】
映像処理部２３は、制御装置３に内蔵されていてもよい。この場合、上記構成によって、制御装置３と表示装置５との間の通信量を低減でき、その通信負荷を低減できる。
【００４１】
図４は、本実施形態１に係る遠隔操作システムの通信方法のフローを示すフローチャートである。
【００４２】
カメラ２１は、移動体２周囲を撮影し、その撮影データを映像処理部２３に送信する（ステップＳ１０１）。
【００４３】
速度センサ２２は、移動体２の移動速度を検出し、検出した移動速度を映像処理部２３に送信する（ステップＳ１０２）。
【００４４】
映像処理部２３は、カメラ２１からの撮影データと、速度センサ２２からの移動体２の移動速度と、に基づいて、マップ情報に従がって、撮影データの画像の解像度を低下させる（ステップＳ１０３）。
【００４５】
映像処理部２３は、解像度を低下させた撮影データを、有線６及び制御装置３を介して、表示装置５の映像表示部５２に送信する（ステップＳ１０４）。
【００４６】
映像表示部５２は、映像処理部２３から送信された撮影データの全方位画像の全体領域の中から切出した視線方向領域の画像を、ヘッドマウントディスプレイ５１に送信する（ステップＳ１０５）。
【００４７】
ヘッドマウントディスプレイ５１は、映像表示部５２から送信される視線方向領域の画像を操作者に対して表示する（ステップＳ１０６）。
【００４８】
以上、本実施形態１に係る遠隔操作システム１は、移動体２の移動速度が高くなる場合、移動体２のカメラ２１の撮影データのフレームレートを増加させ、該フレームレートの増加に応じて、カメラ２１の撮影データの解像度を低下させる。これにより、移動体２が高速移動している際、カメラ２１の撮影データは高フレームレートになるが、撮影データの解像度を低下させることで、その通信負荷を低減できる。さらに、移動体２の移動速度に応じて、カメラ２１の撮影データは高フレームレートに維持されているため、操作者の没入感維持できる。すなわち、移動体２が高速移動している際の没入感維持と通信負荷低減とを両立できる。
【００４９】
実施形態２
本発明の実施形態２において、移動体２の映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、カメラ２１により撮影された撮影データの全方位画像の全体領域の中から視線方向領域を高画質領域とし、該視線方向領域以外を高画質領域よりも低い解像度の低画質領域に変更する。
【００５０】
これにより、映像処理部２３は、操作者が注視しない領域のみを低解像度に変更した撮影データを、表示装置５の映像表示部５２へ送信することで、操作者が注視する視線方向領域を高画質に維持しつつ、通信負荷を効果的に低減できる。
【００５１】
例えば、図５に示す如く、映像処理部２３は、角度センサ５４からの操作者の頭部の角度に基づいて、撮影データの全方位画像の全体領域の中から視線方向領域を高画質領域とし、視線方向領域以外を低画質領域に変更する。
【００５２】
視線方向領域の所定範囲は、例えば、予めメモリなどに設定されるが、操作者が操作装置４などを介して任意に設定変更可能である。さらに、映像処理部２３は、移動体２の移動速度に応じて、低画質領域の広さを変更してもよい。例えば、映像処理部２３は、移動体２の移動速度が増加するに従がって、低画質領域を広くしてもよい。
【００５３】
例えば、図６に示す如く、移動体２の移動速度と低画質領域の面積との関係を示すマップ情報がメモリなどに記憶されている。映像処理部２３は、速度センサ２２により検出された移動体２の移動速度と、マップ情報と、に基づいて、低画質領域を広く設定する。なお、マップ情報には、移動体２の移動速度が増加するに従がって低画質領域の面積が増加するような関係が設定されている。また、マップ情報において、移動体２の移動速度が閾値以上になると、低画質領域の面積は一定値となる。これは、これ以上低画質領域を広くすると、操作者が画像を見難くなるからである。
【００５４】
映像処理部２３は、撮影データの全方位画像の全体領域の一部を、同一の解像度の低画質領域に変更しているが、これに限定されない。映像処理部２３は、撮影データの全方位画像の全体領域の一部を、視線方向領域から離れるに従がって、段階的にあるいは連続的に徐々に解像度が低下するような低画質領域に変更してもよい。これにより、低画質領域のうち操作者の視界に入り難い領域の画質を低下させることで、より通信量を低下させることができる。
【００５５】
また、映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、カメラ２１により撮影された撮影データの全方位画像の全体領域の中から、操作者が正面を向いている時の角度０°付近を高画質領域とし、その高画質領域から離れるに従って、徐々に解像度を低下させてもよい。
【００５６】
さらに、映像処理部２３は、例えば、図７に示す如く、低画質領域の一部に、画像が無い領域（以下、無画像領域）を設定してもよい。例えば、映像処理部２３は、角度センサ５４から映像処理部２３に操作者の頭部の角度が送信される際の通信遅延時間と、操作者の頭部の動作最大速度と、に基づいて、低画質領域のうち、操作者が視認できない領域を推定する。この領域は、操作者が動作最大速度で頭部を動作させても視認できない領域である。そして、映像処理部２３は、その推定した領域を、無画像領域に設定する。これにより、操作者が注視しない領域のみを低画質領域に変更するだけでなく、低画質領域の一部を画像データの無い無画像領域に設定することで、その通信量をさらに低減し、通信負荷を低減できる。
【００５７】
図８は、本実施形態２に係る遠隔操作システムの通信方法のフローを示すフローチャートである。
【００５８】
ヘッドマウントディスプレイ５１の角度センサ５４は、操作者の頭部の角度を検出する（ステップＳ２０１）。角度センサ５４は、検出した操作者の頭部の角度を映像表示部５２に送信する（ステップＳ２０２）。
【００５９】
移動体２のカメラ２１は、移動体２周囲を撮影し、その撮影データを映像処理部２３に送信する（ステップＳ２０３）。
【００６０】
速度センサ２２は、移動体２の移動速度を検出し、検出した移動速度を映像処理部２３に送信する（ステップＳ２０４）。
【００６１】
映像処理部２３は、角度センサ５４からの操作者の頭部の角度と、速度センサ２２からの移動体２の移動速度と、マップ情報と、に基づいて、撮影データの全方位画像に対し、高画質領域と低画質領域とを設定する（ステップＳ２０５）。映像処理部２３は、撮影データのうち、設定された低画質領域の解像度を低下させる。
【００６２】
映像処理部２３は、解像度を低下させた撮影データを、有線６及び制御装置３を介して、表示装置５の映像表示部５２に送信する（ステップＳ２０６）。
【００６３】
映像表示部５２は、映像処理部２３から送信された撮影データの全方位画像の全体領域の中から、切出した視線方向領域の画像をヘッドマウントディスプレイ５１に送信する（ステップＳ２０７）。
【００６４】
ヘッドマウントディスプレイ５１は、映像表示部５２から送信される視線方向領域の画像を操作者に対して表示する（ステップＳ２０８）。
【００６５】
実施形態３
本発明の実施形態３において、移動体２の映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、移動体２のカメラ２１の撮影データの解像度を低下させると共に、移動体２の深度に応じて、その解像度の低下量を抑制してもよい。
【００６６】
移動体２が深く潜り、その深度が大きくなると、移動体２の周囲は暗くなる。このため、カメラ２１の露光時間が長くなり、そのフレームレートが減少する。従って、カメラ２１の撮影データ量が減少するため、映像処理部２３は、上述の如く、移動体２の深度が増加すると、その解像度の低下量を抑制する。これにより、移動体２の深度に応じて通信負荷を最適に低減できる。
【００６７】
例えば、映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、移動体２のカメラ２１の撮影データの解像度を低下させると共に、深度センサにより検出された移動体２の深度が増加するに従って、その解像度の低下量を抑制する。
【００６８】
より具体的には、移動体２の深度と解像度低下量との関係を示すマップ情報がメモリなどに記憶されている。マップ情報は、移動体２の深度が増加するに従って、解像度低下量が減少するような関係が記憶されている。
【００６９】
映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が所定値より高くなったと判断すると、マップ情報を参照して、移動体２の深度に応じた解像度低下量を算出する。映像処理部２３は、算出した解像度低下量だけ移動体２のカメラ２１の撮影データの解像度を低下させる。
【００７０】
映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、移動体２のカメラ２１の撮影データの解像度を低下させると共に、移動体２周囲の透明度に応じて、その解像度の低下量を抑制してもよい。
【００７１】
移動体２周囲の透明度が小さくなると、移動体２の周囲は暗くなる。このため、カメラ２１の露光時間が長くなり、そのフレームレートが減少する。従って、カメラ２１の撮影データ量が減少するため、映像処理部２３は、上述の如く、移動体２周囲の透明度が減少すると、その解像度の低下量を抑制する。これにより、移動体２周囲の透明度に応じて通信負荷を最適に低減できる。
【００７２】
例えば、映像処理部２３は、カメラ２１に撮影された移動体２周囲の画像に基づいて、移動体２周囲の透明度を算出することができる。
【００７３】
映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、移動体２のカメラ２１の撮影データの解像度を低下させると共に、算出した移動体２周囲の透明度が低下するに従って、その解像度の低下量を抑制する。
【００７４】
より具体的には、移動体２周囲の透明度と解像度低下量との関係を示すマップ情報がメモリなどに記憶されている。マップ情報は、移動体２周囲の透明度が減少するに従って、解像度低下量が減少するような関係が記憶されている。
【００７５】
映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が所定値より高くなったと判断すると、マップ情報を参照して、移動体２周囲の透明度に応じた解像度低下量を算出する。映像処理部２３は、算出した解像度低下量だけ移動体２のカメラ２１の撮影データの解像度を低下させる。
【００７６】
実施形態４
本発明の実施形態４において、移動体２の映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、移動体２のカメラ２１の撮影データの解像度を低下させると共に、移動体２と制御装置３との距離が増加すると、その解像度の低下量を増加させてもよい。
【００７７】
移動体２の映像処理部２３と制御装置３とが無線で接続され、撮影データが映像処理部２３から制御装置３へ送信される場合、撮影データはその間の水を媒介して送信される。さらに、移動体２と制御装置３との距離、すなわち、撮影データが通過する水中の距離、が増加するに従がって、撮影データの信号の減衰が大きくなる。このため、送信可能な撮影データの単位時間当たりの上限値が低下する。従って、映像処理部２３は、上述の如く、移動体２と制御装置３との距離が増加すると、その解像度の低下量を増加させることで、その通信量を低下させる。これにより、移動体２と制御装置３との距離に応じて通信負荷を最適に低減できる。
【００７８】
例えば、映像処理部２３は、カメラ２１により撮影された画像に基づいて、移動体２と制御装置３との距離を算出する。映像処理部２３は、移動体２の移動速度が所定値よりも高い場合、移動体２のカメラ２１の撮影データの解像度を低下させると共に、算出した移動体２と制御装置３との距離が増加するに従って、その解像度の低下量を増加させる。
【００７９】
より具体的には、移動体２と制御装置３との距離と解像度低下量との関係を示すマップ情報がメモリなどに記憶されている。マップ情報は、移動体２と制御装置３との距離が増加するに従って、解像度低下量が増加するような関係が記憶されている。
【００８０】
映像処理部２３は、速度センサ２２により検出された移動体２の移動速度が所定値より高くなったと判断すると、マップ情報を参照して、移動体２と制御装置３との距離に応じた解像度低下量を算出する。映像処理部２３は、算出した解像度低下量だけ移動体２のカメラ２１の撮影データの解像度を低下させる。
【００８１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８２】
例えば、上記実施形態において、移動体２は、無人潜水機が適用されているが、これに限定されない。移動体２は、例えば、無人飛行機、無人船舶、無人車両、無人土木機械等の建設・土木ロボット、人間型ロボット等の種々の移動体２に適用可能である。
【符号の説明】
【００８３】
１  遠隔操作システム、２  移動体、３  制御装置、４  操作装置、５  表示装置、６  有線、７  有線、２１  カメラ、２２  速度センサ、２３  映像処理部、２４  姿勢角センサ、２５  移動体制御部、５１  ヘッドマウントディスプレイ、５２  映像表示部、５３  有線、５４  角度センサ
【図１】
2019134383.tif 000003
【図２】
2019134383.tif 000004
【図３】
2019134383.tif 000005
【図４】
2019134383.tif 000006
【図５】
2019134383.tif 000007
【図６】
2019134383.tif 000008
【図７】
2019134383.tif 000009
【図８】
2019134383.tif 000010