(57)【要約】【課題】操縦する対象の周囲状況を操縦者が把握した上で操縦ができない。【解決手段】移動体と、移動体を遠隔から操縦する操縦装置と、を有する操縦システムであって、移動体は、移動体の周囲の情報を計測する周囲情報取得部と、周囲情報取得部によって計測された周囲情報を前記操縦装置に送信する送信部と、を有し、操縦装置は、周囲情報を受信する受信部と、移動体を操縦するための操作を受け付ける操作部と、受信された周囲情報に基づいて、操作に対して力覚を与える力覚付与部と、を有する操縦システムである。【選択図】図６
2020131768.tif 000002
【特許請求の範囲】
【請求項１】
移動体と、
前記移動体を遠隔から操縦する操縦装置と、
を有する操縦システムであって、
前記移動体は、
前記移動体の周囲の情報を計測する周囲情報取得部と、
前記周囲情報取得部によって計測された周囲情報を前記操縦装置に送信する送信部と、
を有し、
前記操縦装置は、
前記周囲情報を受信する受信部と、
前記移動体を操縦するための操作を受け付ける操作部と、
前記受信された周囲情報に基づいて、前記操作に対して力覚を与える力覚付与部と、
を有する操縦システム。
【請求項２】
前記周囲情報取得部は、前記周囲の情報として、前記移動体から前記移動体の周囲の構造物である周囲構造物までの距離を計測する請求項１の操縦システム。
【請求項３】
前記力覚付与部は、前記周囲情報に示される距離に応じて前記力覚の強さを変更する請求項２の操縦システム。
【請求項４】
前記力覚付与部は、前記周囲情報で示される距離のうち前記周囲構造物までの最短距離が所定値以下または未満になった場合に、前記力覚の強さを上げる請求項３の操縦システム。
【請求項５】
前記移動体は被写体を撮像して撮像画像を取得する撮像部を有し、
前記力覚付与部は、前記撮像部によって前記周囲構造物における所定の領域を撮像した後で前記周囲構造物の他の領域を撮像する際に、前記所定値を変更して、前記周囲情報で示される距離のうち前記周囲構造物までの前記最短距離が変更後の前記所定値以下または未満になった場合に、前記力覚の強さを上げる請求項４の操縦システム。
【請求項６】
前記操縦システムは、
表示部に画像を表示する表示制御部を有し、
前記表示制御部は、前記周囲構造物の形状を表す形状画像を表示するとともに、前記周囲構造物に対する位置の前記移動体を、前記形状画像に対する位置を表す位置画像として表示する請求項２ないし５いずれか一項の操縦システム。
【請求項７】
前記形状画像は、前記周囲構造物の３次元モデル画像であり、前記位置画像は３Ｄカーソルである請求項６の操縦システム。
【請求項８】
前記表示部はヘッドマウントディスプレイであり、
前記表示制御部は、前記ヘッドマウントディスプレイの動きを検知するセンサの検知結果に基づき、前記形状画像の表示を変化させる請求項６または７いずれか一項の操縦システム。
【請求項９】
前記移動体は、ドローン、マルチコプタ、無人飛行体である請求項１ないし８いずれか一項の操縦システム。
【請求項１０】
前記操作部は、ハプティックインタフェースある請求項１ないし９いずれか一項の操縦システム。
【請求項１１】
前記周囲構造物は橋梁である請求項２ないし１０いずれか一項の操縦システム。
【請求項１２】
移動体を遠隔から操縦する操縦装置であって、
前記移動体が取得して前記操縦装置に送信された、前記移動体の周囲の情報を計測する周囲情報取得部によって計測された周囲情報を受信する受信部と、
前記移動体を操縦するための操作を受け付ける操作部と、
前記受信された周囲情報に基づいて、前記操作に対して力覚を与える力覚付与部と、を有する操縦装置。
【請求項１３】
移動体を遠隔から操縦する操縦方法であって、
前記移動体を操縦するための操作を受け付ける操作受付ステップと、
前記移動体が取得して前記操縦装置に送信する、前記移動体の周囲の情報を取得する周囲情報取得部によって計測された周囲情報に基づいて前記操作に対して力覚を与える力覚付与ステップと、を含む操縦制御方法。
【請求項１４】
コンピュータに、請求項１３に記載の方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示内容は、操縦システム、操縦装置、操縦制御方法、及びプログラムに関する。
【背景技術】
【０００２】
高所や狭所、有害物質の発生個所などの構造物について、遠隔操作可能な装値を構造物に近づけて検査する検査システムが知られている。
【０００３】
たとえば特許文献１には、遠隔操作により空中浮揚させる浮遊手段を備えた無人浮遊機と、前記無人浮遊機を操縦する操縦装置と、を備え、前記無人浮遊機は、検査対象物の被検査情報を取得する取得手段と、当該無人浮遊機の飛行状態を検出する飛行状態検出手段と、検出した前記飛行状態を前記操縦装置に送信する送信手段と、を有し、前記操縦装置は、前記無人浮遊機の操縦者に対して力覚又は聴覚にて報知を行う伝達手段と、前記無人浮遊機から受信した飛行状態に応じた動作態様で前記伝達手段を動作させる制御手段と、を有することを特徴とする検査システムが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の検査システムでは、無人浮遊機の飛行状態を検出しているが、無人浮遊機の周囲の状態は検出していない。
【０００５】
したがって、操縦する対象の周囲状況を操縦者が把握して操縦ができないという課題が生じている。
【課題を解決するための手段】
【０００６】
上述した課題を解決すべく、請求項１に係る発明は、移動体と、前記移動体を遠隔から操縦する操縦装置と、を有する操縦システムであって、前記移動体は、前記移動体の周囲の情報を計測する周囲情報取得部と、前記周囲情報取得部によって計測された周囲情報を前記操縦装置に送信する送信部と、を有し、前記操縦装置は、前記周囲情報を受信する受信部と、前記移動体を操縦するための操作を受け付ける操作部と、前記受信された周囲情報に基づいて、前記操作に対して力覚を与える力覚付与部と、を有する操縦システムである。
【発明の効果】
【０００７】
本発明によれば、移動体の操縦者が、操縦する対象の周囲状況をより正確に把握して操縦することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る操縦システムの全体構成説明図である。
【図２】第１の実施形態に係る移動体の外観図である。
【図３】第１の実施形態に係る移動体のハードウェア構成図である。
【図４】第１の実施形態に係る操縦装置の外観図である。
【図５】第１の実施形態に係る操縦装置のハードウェア構成図である。
【図６】第１の実施形態にかかる操縦システムの機能ブロック図である。
【図７】操縦処理を示すフローチャートである。
【図８】周囲情報送信処理を示すフローチャートである。
【図９】周囲情報の一例としての距離情報の説明図である。
【図１０】力覚付与処理を示すフローチャートである。
【図１１】第２の実施形態に係る操縦装置の外観図である。
【図１２】形状画像表示処理を示すフローチャートである。
【図１３】形状画像生成対象としての橋梁Ｋの外観図である。
【図１４】形状画像および位置画像の表示例を説明する図である。
【図１５】入力補助画面の表示例である。
【図１６】入力補助処理を示すフローチャートである。
【図１７】入力補助画像表示処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【００１０】
図１は、本実施形態に係る操縦システムの概略図である。
【００１１】
図１に示されるように、操縦システムＳ１は、診断システムＳ２とともに、点検システムＳ３を構築している。そして本実施形態の操縦システムＳ1は、移動体１及び操縦装置２によって構築されている。
【００１２】
操縦システムＳ１を構成する移動体１と操縦装置２とは、無線を介して通信することができ、操縦者Ｏは、操縦装置２を操作することによって、移動体１を操縦することができる。
【００１３】
なお、本実施形態において移動体１はドローン、マルチコプタ、無人飛行体等の飛行体であり、人では足場を組んだりしなければ届かない橋梁Ｋ等のような大型の構造物の検査等に使用可能である。例えば、図１に示される橋梁Ｋは、橋脚部Ｋ１と本体部Ｋ２とを有する比較的大型の構造物である。操縦者Ｏは、移動体１を操縦装置２で操縦して移動させ、カメラやセンサを搭載した移動体１を橋梁Ｋの所望の箇所に近づけて検査を行うことができる。
【００１４】
より具体的には、カメラを搭載した移動体１が、橋梁Ｋの壁面近くまで飛行し、橋梁Ｋの壁面を撮像することで、調査のためのデータとして、壁面のひび割れＨ等の変状部の近接画像を得ることができる。さらには、橋梁Ｋの壁面近くを飛行しながら、連続して橋梁Ｋの壁面を撮像することで、位置的に連続した橋梁Ｋの近接画像を得られる。別途それら近接画像を組み合わせることで、橋梁Ｋの壁面内における変状部の位置を示す画像（変状展開図）や変状画像等を得ることもできる。またカメラ以外にも移動体１の移動のため、また橋梁Ｋの状態を検知するための各種センサを搭載していてもよい。
【００１５】
検査者は、また検査者に補助者がいる場合には補助者は、変状の様子を示す画像・音声や変状に関するコメントを野帳等に記載したり、場合によっては橋梁Ｋ全体や周囲の撮像を行なったりする。野帳は、タブレット型ＰＣ等を用いてもよい。
【００１６】
次に診断システムＳ２について説明する。診断システムＳ２は、診断処理装置３及び診断管理サーバ４によって構築されている。また、診断システムＳ２を構成する診断処理装置３、及び診断管理サーバ４は、通信ネットワークＮを介して通信することができる。通信ネットワークＮは、インターネット、移動体通信網、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等によって構築されている。通信ネットワークＮには、有線通信だけでなく、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）、４Ｇ（４ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークが含まれてもよい。また、診断処理装置３は、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）(登録商標)等の近距離通信技術によって通信可能である。
【００１７】
移動体１により得られた橋梁Ｋの画像のデータ、及び各センサから得られた各検出データは、診断処理装置３を介して、診断管理サーバ４に送信され、この診断管理サーバ４で管理可能である。
【００１８】
橋梁だけでなく、ダムやビル等の建造物は、コンクリートで覆工されているため、経年変化により、ひび割れ等の変状が起こる。このまま放置しておくと、コンクリート片が剥がれ落ちて、通行中の車両や人に損害を与える可能性がある。そのため、検査業者が、定期的な検査を行い、国又は都道府県の機関（以下「国等」と示す）に検査結果を報告している。この報告をするため、検査業者は、国や自治体によって定められた書類を提出する必要がある。
【００１９】
検査業者は、検査の際に記載されたコメント等の野帳、建造物の変状部分を撮像することで得られた変状写真、及び、建造部を特定する情報を記載する役所から入手する台帳等に基づいて、国等への提出書類を作成する。
【００２０】
また、診断処理装置３は、変状の判定結果を含む診断情報、診断対象画像および診断領域等の、各種データ入力を行なうためのコンピュータ（情報処理装置）であり、描画用の専用アプリケーションプログラムがインストールされている。診断処理装置３の利用者は、野帳等のコメント、構造物の一例としての橋梁Ｋの画像のデータ、及び各センサの検出データを診断処理装置３に入力する。なお、他の装置に入力後、他の装置から診断処理装置３にデータを転送してもよい。更に、診断処理装置３の利用者は、国等から入手した橋梁等を特定する台帳のデータを、診断処理装置３に入力する。台帳には、橋梁等の長さや高さ等が記載されている。この場合、診断処理装置３は、入力装置である。
【００２１】
更に、診断処理装置３には、ブラウザが搭載されており、診断処理装置３は、診断管理サーバ４から送られて来る展開画像を表示することができる。また、診断処理装置３の利用者は、展開画像上に表されているひび割れ等の変状部分の上から線等の描画を行うことで、画像である変状部分の位置の数値化などを行う。
【００２２】
診断処理装置３の利用者は、診断管理サーバ４から、変状部分の描画を行うことで作成した変状展開図を含む提出書類のデータをダウンロードして、印刷した書類又は印刷しない状態のデータを、国等に対して提出する。
【００２３】
診断管理サーバ４は、展開画像、コメント、及び台帳等のデータの管理を行う。また、診断管理サーバ４は、診断処理装置３で描画されたひび割れ等の変状部分を数値化したデータの管理、及び画像における座標データの管理等を行う。
【００２４】
図２は、第１の実施形態に係る移動体１の外観の一例について説明する。図２は、第１の実施形態に係る移動体１の概略構成図である。（Ａ）は移動体１の平面図、（Ｂ）は（Ａ）の左側面図、（Ｃ）は（Ａ）の正面図である。なお、図２に示す外観構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
【００２５】
移動体１は、フレーム１０１と、駆動装置１０２と、回転翼１０３と、脚部１０４と、とを有する遠隔操縦式の飛行体である。
【００２６】
そして、移動体１は、被写体を撮像して撮像画像を取得する撮像装置１０５を有する移動可能な撮像装置である。撮像装置１０５は、移動体１の周囲の一部を撮影して平面画像を取得する単眼カメラであってもよいし、移動体１の周囲を撮影して全天球（３６０°）パノラマ画像を取得する特殊撮影装置であってもよい。また、取得される画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。さらに、取得される画像は、画像とともに音データを含んだ映像であってもよい。撮像装置１０５は撮像部の一例である。
【００２７】
移動体１の飛行や撮像等の処理または動作は制御装置１００によって制御される。
【００２８】
フレーム１０１は、図３（Ａ）に示すように、ウエブ部１０１ａと、ウエブ部１０１ａの両端部に配置されたフランジ部１０１ｂとが平面視においてＨ型の形状となるように配置されている。 しかし、フレーム１０１はこの限りではなく、移動体１の中心から放射状に伸び、互いに直角をなすようにＸ字状に設けられた４本のアームを有する構成としてよい。また、駆動装置１０２と回転翼１０３の数だけ中心から放射状にアームが伸びた構造であってよい。
【００２９】
駆動装置１０２は、回転翼１０３を回転させるモータであり、ブラシレスモータが好ましい。駆動装置１０２は、２本のフランジ部１０１ｂの先端部の各々に取り付けられ、回転翼１０３の回転軸と連結されている。各駆動装置１０２は、制御装置１００により、互いに独立して制御される。制御装置１００は制御部の一例である。
【００３０】
回転翼１０３は、各駆動装置１０２のそれぞれに取り付けられており、駆動装置１０２の駆動により回転する。回転翼１０３は、各駆動装置１０２の駆動が独立して制御されることで、その回転速度が調整される。 回転翼１０３の数としては、図示例の４個に限定されるものではなく、３以上であれば飛行体として安定した飛行ができるよう機能し、さらには４、６、８のような偶数であることが望ましい。また、回転翼１０３は、図３（Ａ）に示すように、略同一平面上に複数の回転翼１０３が配置される形態に限定されるものではなく、略同一平面上に配置された複数の回転翼１０３が多段に積層される形態であってもよい。
【００３１】
脚部１０４は、２本のフランジ部１０１ｂの略中央位置の下面と連結されている。脚部１０４は、下側部が逆Ｖ字形状に形成されて、移動体１が地面に着陸した際等に移動体１を衝撃から保護する。
【００３２】
制御装置１００は、フレーム１０１のウエブ部１０１ａの下面側に取り付けられている。制御装置１００は、目的に応じて設置された各種のセンサからの信号や、外部から送信される操縦信号に応じて駆動装置１０２の駆動を制御する。
【００３３】
また、制御装置１００は、各駆動装置１０２の駆動を独立して制御することで各々の回転翼１０３の回転速度を独立に制御し、移動体１を上昇、下降、前進、後退、水平回転の各方向へと移動、また空中へ移動してホバリング（停止飛行）させる。
【００３４】
撮像装置１０５は、制御装置１００からの信号により画像を取得するカメラである。撮像装置１０５は、フレーム１０１のウエブ部１０１ａに固定されている。
【００３５】
本実施形態の撮像装置１０５は、移動体１の飛行時に光軸が略水平になるよう設置された第１撮像装置１０５ａと、移動体１の飛行時に光軸が略鉛直上向きになるよう設置された第２撮像装置１０５ｂを有している。
【００３６】
上記の構成により、橋梁Ｋの側面のような垂直部分を第１撮像装置１０５ａで撮像し、橋梁Ｋの裏側を第２撮像装置１０５ｂで撮像することができる。
【００３７】
本実施形態の測距センサ１０６は、移動体１と周囲の構造物との距離を検知するセンサである。測距センサ１０６は、移動体１の水平方向の略中央に設置されている。測距センサは、例えば、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサ、ＬＩＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）センサ等であるがこれらに限られない。
【００３８】
次に、図３を用いて、実施形態における移動体１のハードウェア構成を説明する。なお、図３に示すハードウェア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
【００３９】
移動体１は、移動体１の処理または動作を制御する制御装置１００を備える。制御装置１００は、上述のように、移動体１内部に備えられている。なお、制御装置１００は、移動体１の外部に設けられてもよく、または移動体１とは別の装置として設けられていてもよい。制御装置１００は、情報処理装置の一例である。
【００４０】
制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１４、無線Ｉ／Ｆ（Ｉｎｔｅｒ  Ｆａｃｅ）１５、メディアＩ／Ｆ１６、ネットワークＩ／Ｆ１７、拡張Ｉ／Ｆ１８およびバスライン１９を有する。その他、音入出力Ｉ／Ｆなどを有していてもよい。
【００４１】
ＣＰＵ１１は、移動体１全体の制御を行う。ＣＰＵ１１は、ＲＯＭ１２またはＨＤ（Ｈａｒｄ  Ｄｉｓｋ）１４ａ等に格納された、プログラムもしくはデータをＲＡＭ１３上に読み出し、処理を実行することで、移動体１の各機能を実現する演算装置である。制御システムＳ２は、例えば、本発明に係るプログラムの一部または全てをＣＰＵ１１で実行することによって、本発明に係る操縦制御方法等の情報処理方法を実現する。
【００４２】
ＲＡＭ１３は、ＣＰＵ１１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ１２は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。ＨＤＤ１４は、ＣＰＵ１１の制御にしたがってＨＤ１４ａに対する各種データの読み出し、または書き込みを制御する。ＨＤ１４ａは、プログラム等の各種データを記憶する。
【００４３】
無線Ｉ／Ｆ１５は、操縦装置２と無線通信するための通信インターフェースである。
【００４４】
メディアＩ／Ｆ１６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア１７ａに対するデータの読み出しまたは書き込み（記憶）を制御する。
【００４５】
ネットワークＩ／Ｆ１７は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の通信インターフェースである。また、ネットワークＩ／Ｆ１７は、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、４Ｇ（４ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）、Ｚｉｇｂｅｅ（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）Ｌｏｗ  Ｅｎｅｒｇｙ）、ミリ波無線通信の通信インターフェースを備えてもよい。
【００４６】
さらに、制御装置１００には、拡張Ｉ／Ｆ１８を介して、上述した駆動装置１０２、撮影装置１０５、測距センサ１０６が接続されている。さらに測距センサ以外の各種センサ１０７、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部１０８、タイマ１０９が接続されている。
【００４７】
駆動装置１０２は、ＣＰＵ１１からの命令に基づき、回転翼１０３を回転駆動させて移動体１を飛行させて移動させる。各種センサ１０７は、例えば、飛行機能に用いられる、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。その他気圧計、温度計、光度計、人感センサ、または照度計等が設けられてもよい。ＧＰＳ受信部１０８は、ＧＰＳ衛星からＧＰＳ信号を受信する。タイマ１０９は、時間計測機能を有する計測装置である。タイマ１０９は、コンピュータによるソフトタイマであってもよい。
【００４８】
バスライン１９は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＨＤＤ１４、無線Ｉ／Ｆ１５、メディアＩ／Ｆ１６、ネットワークＩ／Ｆ１７、拡張Ｉ／Ｆ１８は、バスライン１９介して相互に接続されている。
【００４９】
次に、図４を用いて、実施形態における操縦装置２の外観を説明する。
【００５０】
図４においては、操縦装置２の特に操作部２０１の構成について説明する。本実施形態の操作部２０１は、操縦者O等のユーザが力覚によって入力し、またユーザの操作に対して力覚を与えることが可能な操作部である。ユーザの操作に対して、反力によって制約を与えることが可能なデバイスということもできる。フォースフィードバックデバイス、ハプティックインタフェース等と呼ばれることもある。
【００５１】
操作部２０１は、ハンドル部２０２、関節部２０３ａ、２０３ｂ、２０３ｃ、接続部２０４ａ、２０４ｂ、回転軸２０５ａ、２０５ｂ、２０５ｃ、２０５ｄ、エンコーダ２０６ａ、２０６ｂ、２０６ｃ、２０６ｄ、台座２０７を有する。
【００５２】
図４に示すように、ハンドル部２０２と、関節部２０３ａ、２０３ｂ、２０３ｃは、接続部２０４ａ、２０４ｂによって接続されている。関節部２０３ｃは台座２０７に設置されている。
【００５３】
各関節部２０３ａ、２０３ｂ、２０３ｃはそれぞれ、回転軸２０５ａ、２０５ｂ、２０５ｃを有し、ハンドル部２０２と接続部２０４ａは関節部２０３ａに対して回転し、接続部２０４ａと接続部２０４ｂとは関節部２０３ｂに対して回転し、接続部２０４ｂは関節部２０３ｃに対して回転する。台座２０７は回転軸２０５ｄを有し、関節部２０３ｃは、台座２０７に対して回転する。
【００５４】
上述の構成により、移動体１への操縦指示のための操作を、ユーザはハンドル部２０２を動かすことにより位置（Ｘ、Ｙ、Ｚ）／姿勢（ロール、ピッチ、ヨー）情報とそれぞれの量を入力することができる。
【００５５】
例えば移動体１が飛行体であった場合、飛行体のスロットル（上下）、飛行体のロール（左右）、ピッチ（前後）、ヨー（旋回）動作を操縦可能である。なお、ハンドル部２０２は図４のようなレバー型に限られず、スティック型、ペン型などであってもよい。
【００５６】
そして各エンコーダ２０６ａ、２０６ｂ、２０６ｃ、２０６ｄはそれぞれ、回転軸２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの回転角を計測し、ハンドル部２０２の位置／姿勢情報を算出する。
【００５７】
なお、エンコーダやモータは上述の回転タイプに限られず、リニアタイプのものであってもよい。
【００５８】
次に、図５を用いて、実施形態における操縦装置２のハードウェア構成を説明する。なお、図５に示すハードウェア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
【００５９】
操縦装置２は、操縦装置２の処理または動作を制御する制御装置２００を備える。制御装置２００は、操縦装置２の筐体の内部に備えられている。なお、制御装置２００は、操縦装置２の筐体の外部に設けられてもよく、または操縦装置２とは別の装置として設けられていてもよい。制御装置２００は、制御部の一例である。
【００６０】
制御装置２００は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、ＨＤＤ（Hard Disk Drive）２４、無線Ｉ／Ｆ２５、操作部Ｉ／Ｆ２６、メディアＩ／Ｆ２７、入出力Ｉ／Ｆ２８、拡張Ｉ／Ｆ２９、およびバスライン３０を備える。その他音入出力Ｉ／Ｆ等を有していてもよい。
【００６１】
ＣＰＵ２１は、操縦装置２全体の制御を行う。ＣＰＵ２１は、ＲＯＭ２２またはＨＤ（Hard Disk）２４ａ等に格納された、プログラムもしくはデータをＲＡＭ２３上に読み出し、処理を実行することで、操縦装置２の各機能を実現する演算装置である。制御システムＳ２は、例えば、本発明に係るプログラムの一部または全てをＣＰＵ２１で実行することによって、本発明に係る操縦制御方法等の情報処理方法を実現する。
【００６２】
ＲＡＭ２３は、ＣＰＵ２１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ２２は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。ＨＤＤ２４は、ＣＰＵ２１の制御にしたがってＨＤ２４ａに対する各種データの読み出し、または書き込みを制御する。ＨＤ２４ａは、プログラム等の各種データを記憶する。
【００６３】
無線Ｉ／Ｆ２５は、移動体１と無線通信するためのインターフェースである。
【００６４】
操作部Ｉ／Ｆ２６は、エンコーダ２０６とモータ２０８と接続され、操作部２０１を制御するためのインターフェースである。
【００６５】
メディアＩ／Ｆ２７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア２７ａに対するデータの読み出しまたは書き込み（記憶）を制御する。
【００６６】
入出力Ｉ／Ｆ２８は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力Ｉ／Ｆ２８は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の表示装置であるディスプレイに対する文字または画像等の各種情報の表示を制御する。また、入出力Ｉ／Ｆ２８は、ディスプレイのほかに、例えば、マウス、キーボード等の入力手段が接続され、それらを制御してもよい。
【００６７】
さらに、制御装置２００には、拡張Ｉ／Ｆ２９を介して、タイマ２０９が接続されている。タイマ２０９は、時間計測機能を有する計測装置である。タイマ２０９は、コンピュータによるソフトタイマであってもよい。
【００６８】
バスライン３０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４、無線Ｉ／Ｆ２５、操作部Ｉ／Ｆ２６、メディアＩ／Ｆ２７、入出力Ｉ／Ｆ２８、拡張Ｉ／Ｆ２９は、バスライン３０を介して相互に接続されている。
【００６９】
操縦装置２はその他に、ＣＰＵ２１の制御に従ってマイクやスピーカとの間で音信号の入出力を処理する音入出力Ｉ／Ｆ、ＣＰＵ２１の制御に従って通信ネットワークを介して他機器との通信を処理するネットワークＩ／Ｆ等を有していてもよい。
【００７０】
図６を用いて、まず移動体１の処理または動作を制御する制御装置１００の機能構成について説明する。制御装置１００によって実現される機能は、送受信部１１０、操作入力受付部１２０、移動制御部１３０、撮像制御部１４０、周囲情報取得部１５０、判断部１６０、記憶・読出部１７０および記憶部１０００を含む。
【００７１】
送受信部１１０は、無線通信によって、操縦装置２との間で各種データまたは情報の送受信を行う機能である。送受信部１１０は、例えば、周囲情報取得部１５０によって取得された周囲情報を、操縦装置２へ送信する。また、送受信部１１０は、例えば、操縦装置２から送信されてきた操縦指示を受信する。送受信部１１０は、主に、図５に示したＣＰＵ１１の処理、および無線Ｉ／Ｆ１５によって実現される。送受信部１１０は、送信部の一例である。
【００７２】
操作入力受付部１２０は、移動体１に対する操作を受け付ける機能である。例えば操縦装置２から受信した操縦指示による操作等を受け付ける。操作入力受付部１２０は、主に、図５に示したＣＰＵ１１の処理によって実現される。
【００７３】
移動制御部１３０は、駆動装置１０２を駆動させることによって、移動体１の移動を制御する機能である。移動制御部１３０は、例えば、操縦装置２から送信されてきた操縦指示に応じて駆動装置１０２の駆動を制御することで、移動体１を移動させる。移動制御部１３０は、主に、図５に示したＣＰＵ１１の処理、および拡張Ｉ／Ｆ１８によって実現される。移動制御部１３０は、移動制御部の一例である。
【００７４】
撮像制御部１４０は、撮像装置１０５に対する撮像処理を指示する機能である。撮像制御部１４０は、例えば、操縦装置２の操縦指示に基づき撮像装置１０５による撮像を指示するための指示情報を、撮像装置１０５へ送信する。撮像制御部１４０は、主に、図５に示したＣＰＵ１１の処理、および拡張Ｉ／Ｆ１８によって実現される。
【００７５】
周囲情報取得部１５０は、例えば測距センサ１０６が計測する移動体１と周囲構造物との距離等、移動体１の周囲の情報を取得する機能である。周囲情報取得部１５０は、周囲情報を計測して取得しており、周囲情報計測部ということもできる。周囲情報は移動体１の周囲情報であれば撮像装置１０５によって取得された画像データであってもよいし、各種センサによって検知される各種検知結果であってもよい。周囲情報取得部１５０は、主に、図５に示したＣＰＵ１１の処理、および拡張Ｉ／Ｆ１８によって実現される。
【００７６】
判断部１６０は、後述する各種判断をする機能である。判断部１６０は、主に、図５に示したＣＰＵ１１の処理によって実現される。
【００７７】
記憶・読出部１７０は、記憶部１０００に各種データを記憶させ、または記憶部１０００から各種データを読み出す機能である。記憶・読出部１８０主に、図５に示したＣＰＵ１１の処理によって実現される。記憶部１０００は、主に、図５に示したＲＯＭ１２、ＨＤ１４ａおよび記録メディア１７ａによって実現されるが、ＲＡＭ１３の一時記憶機能によって実現されてもよい。
【００７８】
記憶部１０００は、遠隔制御に必要な各種設定があらかじめ記憶されている。また、移動体１が動作するに際して取得される各種情報、例えば撮像制御部１４０によって撮像された画像データや各種センサの検知結果等を記憶可能である。また操縦装置２から受信した操縦命令を一時的に記憶することも可能である。なお、記憶部１０００に記憶されている画像データや検知結果等は、取得されてから所定の時間経過した場合に削除される構成であってもよいし、操縦装置２へ送信されたデータが削除される構成であってもよいし、操縦装置２からの操縦指示に基づき、削除される構成であってもよい。
【００７９】
次に、図６を用いて、操縦装置２の制御装置２００の機能構成について説明する。制御装置２００により実現される機能は、送受信部２１０、操作入力受付部２２０、操縦指示生成部２３０、力覚付与部２４０、表示制御部２５０、形状画像生成部２６０、位置画像生成部２７０、補助画像生成部２８０、判断部２９０、記憶・読出部３００および記憶部２０００を含む。操縦装置２は、移動体１を遠隔操作するための専用のアプリケーションプログラムがあらかじめインストールされている。操縦装置２は、例えば、インストールされたアプリケーションプログラムをＣＰＵ２１が実行することによって各機能を実現する。制御装置２００は、制御部の一例である。
【００８０】
送受信部２１０は、無線通信を介して、移動体１との間で各種データまたは情報の送受信を行う機能である。送受信部２１０は、例えば、移動体１が備える周囲情報取得部１５０が取得した周囲情報を移動体１から受信する。また移動体１の撮像装置１０５によって取得された画像データを、移動体１から受信する。送受信部２１０は、主に、図５に示したＣＰＵ２１の処理、および無線Ｉ／Ｆ２５によって実現される。送受信部２１０は、受信部の一例である。
【００８１】
操作入力受付部２２０は、操縦装置２への各種選択または操作入力を受け付ける機能である。操作入力受付部２２０は、主に、ＣＰＵ２１の処理、および操作部Ｉ／Ｆ２６によって実現される。なお、操作入力受付部２２０は、操作部２０１以外の入力手段、例えば音声による入力、キーボードやマウスによる操作入力によって実現されてもよい。
【００８２】
操縦指示生成部２３０は、移動体１への操縦指示を生成する機能である。操縦指示生成部２３０は、主に、ＣＰＵ２１の処理によって実現される。
【００８３】
力覚付与部２４０は、操作部２０１によって操作に力覚を与えるための各種処理をする機能である。力覚付与部２４０は、主に、ＣＰＵ２１の処理、または操作部Ｉ／Ｆ２６の処理によって実現される。
【００８４】
表示制御部２５０は、表示装置に各種画像を表示させる機能である。表示制御部２５０は、主に、図５に示したＣＰＵ２１の処理、および入出力Ｉ／Ｆ２８によって実現される。表示制御部２５０は、表示制御部の一例である。
【００８５】
形状画像生成部２６０は、移動体１の周囲構造物の形状を示す画像、一例として３次元モデル画像を生成する。形状画像生成部２６０は、主に、図５に示したＣＰＵ２１の処理によって実現される。
【００８６】
位置画像生成部２７０は、移動体１の周囲構造物に対する位置を示す画像、一例として３次元モデル内のカーソル画像を生成する機能である。位置画像生成部２７０は、主に、図５に示したＣＰＵ２１の処理によって実現される。
【００８７】
補助画像生成部２８０は、形状画像を用いた移動体１の操縦の補助となる画像である補助画像を生成する機能である。補助画像生成部２８０は、主に、図５に示したＣＰＵ２１の処理によって実現される。
【００８８】
判断部２９０は、後述する各種判断を実行する機能である。判断部２９０は、主に、図５に示したＣＰＵ２１の処理によって実現される。
【００８９】
記憶・読出部３００は、記憶部２０００に各種データを記憶させ、または記憶部２０００から各種データを読み出す機能である。記憶・読出部３００は、主に、図５に示したＣＰＵ２１の処理によって実現される。記憶部２０００は、主に、図５に示したＲＯＭ２２、ＲＡＭ２３および記録メディア２７ａによって実現される。
【００９０】
また記憶部２０００は、遠隔制御に必要な各種設定があらかじめ記憶されている。また、移動体１から受信した各種情報、例えば撮像制御部１４０によって撮像された画像データや各種センサの検知結果等を記憶可能である。なお、記憶部１０００に記憶されている画像データや検知結果等は、取得されてから所定の時間経過した場合に削除される構成であってもよい。
【００９１】
図７は、操縦処理を示すフローチャートである。操縦者により、操縦装置に移動または撮像等に関する操作入力がされると実行されるフローである。
【００９２】
まず、操作入力受付部２２０が、操縦者の操作を受け付ける（Ｓ１１）。すると操縦指示生成部２３０は、受け付けた操作に基づき、移動体１に対する操縦指示を生成する（Ｓ１２）。そして送受信部２１０は、生成された操縦指示を移動体１に送信する。
【００９３】
このように、操縦装置２から送信された操縦指示を受信した移動体１は、受信した操縦指示に従って動作することにより、遠隔操縦される。
【００９４】
図８は、周囲情報取得処理を示すフローチャートである。操縦装置２の操作部２０１による移動体１に対する操作により移動が制御される際に移動体１において実行されるフローである。
【００９５】
まず周囲情報取得部１５０は、周囲情報取得ステップとして、移動体１の周囲の情報である周囲情報を取得する（Ｓ２１）。そして判断部１６０は、移動体１の周囲情報が更新されているかを判断する（Ｓ２２）。更新されていなかった場合（Ｎｏの場合）は、ステップＳ２１に戻り、また周囲情報を取得する。
【００９６】
更新されていた場合（Ｙｅｓの場合）は、送受信部１１０は、周囲情報送信ステップとして、取得した周囲情報を操縦部１に送信する（Ｓ２３）。そして、判断部１６０は、操縦装置２から操縦の終了指示を受信したかを判断し（Ｓ２４）、受信した場合（Ｙｅｓの場合）は本フローを終了する。
【００９７】
一方ステップＳ２４で終了指示を受信していない場合（Ｎｏの場合）、ステップＳ２１に戻り、操縦装置２による操縦が継続する間、本処理フローを継続する。
【００９８】
このように、移動体１は操縦装置２によって操縦されている間、移動体１の周囲の情報である周囲情報を連続的に取得し操縦装置２に送信する。
【００９９】
ここで図９を用いて周囲情報の一例について説明する。
【０１００】
図９は、移動体１と、移動体１の周囲にある構造物である周囲構造物Ｆの概念図である。移動体１と周囲構造物Ｆとの距離は、周囲構造物Ｆの箇所によって異なる。したがって測距センサ１０６の検知結果である距離情報は、異なった複数の値を取得する場合がある。本実施形態では、測距センサ１０６と周囲構造物Ｆとの最短距離ｄを、周囲情報として操縦装置２に送信する。
【０１０１】
図１０は、操縦装置２の操作部２０１による移動体１に対する操作により移動が制御されている際に操縦装置２において実行されるフローである。
【０１０２】
まず、力覚付与部２４０は、閾値設定ステップとして、移動体１と周囲構造物との距離の閾値ｄ０を設定する（Ｓ３１）。本ステップＳ３１における設定は、本ステップＳ３１のタイミングで操縦者Ｏ等のユーザが実行する閾値ｄ０の入力を取得して設定してもよいし、あらかじめ記憶部２０００に記憶しておいた閾値ｄ０を記憶・読出部３００から取得して設定してもよい。この周囲情報である移動体１と周囲構造物との最短距離の閾値は、所定値の一例である。
【０１０３】
ここで判断部２９０は、操作受付ステップとして、操作入力受付部２２０による操作部２０１からの位置／姿勢情報の更新の受付有無を判断する（Ｓ３２）。更新が無い場合（Ｎｏの場合）はステップＳ３２を繰り返す。ステップＳ３２で更新があった場合（Ｙｅｓの場合）、力覚付与部２４０は、力覚算出ステップとして、力覚の大きさを算出する（ステップＳ３３）。
【０１０４】
ここで力覚の算出について述べる。力覚付与部２４０は、移動体１から送受信部２１０が受信した周囲情報である周囲構造体との最短距離dと周囲情報の閾値である所定値ｄ０に基づき、操作に対して与える力覚の大きさＦを算出する。すなわち、以下（式１）（式２）のように設定する。
【０１０５】
ｄ＞ｄ０の場合  Ｆ＝０  ・・・（式１）
ｄ≦ｄ０の場合  Ｆ＝ｋ（ｄ０−ｄ）  ；ｋは定数  ・・・（式２）
【０１０６】
以上のように、前記周囲情報に示される距離に応じて前記力覚の強さを変更する。より具体的には前記周囲情報で示される距離のうち前記周囲構造物までの最短距離ｄが所定値ｄ０以下または未満になった場合に、前記力覚の強さを上げる。ここでｄ０は一例として、移動体１のほぼ中央に測距センサ１０６を設けたときに、測距センサ１０６から構造体１の最も遠い箇所までの長さに設定する。つまり周囲構造物に対しｄ０よりも近づこうとした際に、離れる方向に反力が操作部２０１のハンドル部２０２に作用する。したがって、構造体１が周囲構造体に接触せずに、周囲構造体に沿って移動させることが直感的に可能になる。
【０１０７】
フローの説明に戻り、力覚付与部２４０は、力覚付与ステップとして、ステップＳ３３で算出された大きさＦの力覚を操作部２０１に対して与える（Ｓ３４）。
【０１０８】
そしてステップＳ３２で更新があった場合（Ｙｅｓの場合）、操縦指示生成部２３０は、操縦指示生成ステップとして、位置／姿勢情報に基づき操縦指示を生成し（Ｓ３５）、さらに送受指示送信ステップとして、生成した操縦指示を移動体１に送信する（Ｓ３６）。操縦指示を受信した移動体１は、操縦指示に従い動作を実行する。
【０１０９】
そして判断部２９０は、操縦者Ｏからの本フローの終了指示の有無を判断する（Ｓ３７）。終了指示があった場合（Ｙｅｓの場合）、本フローは終了する。一方、終了指示が無い場合（Ｎｏの場合）は、ステップＳ３２に戻る。
【０１１０】
以上説明したように本実施形態によれば、移動体１の操縦者が、移動体１の周囲状況をより正確に把握して操縦することができるという効果を奏する。
【０１１１】
つまり、例えば操縦者が操縦装置によって移動体の移動方向を把握できたとしても、移動体の周囲情報は目視で確認しなくては操縦できない。それに対し本発明によって、遠隔操縦で構造物に近接して移動させる操縦システムにおいて、移動体が操縦者からは直接見えない、見えにくい箇所において操縦する場合や、操縦者が目視しながらの操縦するための高度な技術を有していない場合でも、移動体を構造物へ接近させたり、狭隘部へ侵入・移動させたりしての点検が可能となる。
【０１１２】
また、移動体と近傍の構造物との位置・姿勢関係の情報から、操縦者の操作入力に対してフォースフィードバックを与えることにより、操縦者は飛行体の周囲情報をリアルタイムに操縦者が把握できる。したがって操縦者は、点検対象の構造物に対し飛行体をどのように操縦すればよいかの判断が容易となり、構造物に近接させる操縦を直感的に行えるようになる。
【０１１３】
なお目視せずに飛行体を制御する方法としてはたとえば以下（１）〜（３）がある。
（１）ＧＰＳやトータルステーション（Ｔｏｔａｌ  Ｓｔａｔｉｏｎ）など飛行体の位置情報をセンシングする装置を用いて、あらかじめ得られている地図上で設定された飛行経路を照らし合わせながら飛行させる。
（２）飛行体に搭載したカメラ映像を地上の操縦者が見ながら飛行体を操縦する。
（３）飛行体の速度、姿勢、高度等に応じた情報を、操縦者に力覚や聴覚にて伝達する。
【０１１４】
このうち（１）の場合は、特に点検対象の構造物近傍においては、ＧＰＳ衛星や地上設置されたトータルステーションから飛行体までの間に遮蔽物があったり、構造体自体が遮蔽物となったりする場合が多く、飛行体の位置情報を取得できないことが根本的問題である。
【０１１５】
（２）の場合は、ＦＰＶ（Ｆｉｒｓｔ  Ｐｅｒｓｏｎ  Ｖｉｅｗ、一人称視点)映像によるドローン遠隔操縦として、ドローンレースなどで使われているシステム等がある。これは飛行体に搭載されたカメラ映像を無線伝送し、操縦者の装着するヘッドマウントディスプレイにリアルタイム表示するシステムであり、操縦者はこの映像を見ながら設定されたコースを飛行させ、そのタイムを競うものである。しかし、比較低速で構造物に近接して移動する点検用途では、映像のみを頼りに操縦する場合、周囲の状況に注意しつつ、点検対象に着目しながら操縦することが困難である。
【０１１６】
（３）の場合は、飛行体から目を離すことなく飛行体や周囲の状態を把握できるが、その伝達される情報が操作入力と連携しておらず、直感的な操作が困難である。
【０１１７】
それ対し本実施形態においては、操縦者による操作に対して力覚を与えており、移動体１の操縦者が、移動体１の周囲状況を自らの操作と連動して直感的に把握しながら操縦することができるという効果を奏する。周囲情報として周辺構造物との距離情報を用いることで、例えば移動体１が周囲構造物に接触して移動するための機構が損傷することを防ぐことができる。また、周囲構造物の調査等を行う際に、周囲構造物との距離を一定に保つのを容易にし、適切な調査結果を取得するための補助を行うことができる。
【０１１８】
なお、本実施形態では周囲情報として周辺構造物との最短距離を用いたが、これに限られない。例えば周囲情報として周囲の温度情報や有害物質の濃度を用い、所定値より高い方向への動きを制限するように力覚を与えることで、熱や有害物質によって移動体１へ悪影響が及ぶことを防ぐことができる。
【０１１９】
次に、図１１ないし図１７を用いて、第２の実施形態を説明する。なお、本実施形態のシステム構成、ハードウェア構成、機能構成は、第１の実施形態と同様の構成を適用可能である。したがって本実施形態のシステム構成、ハードウェア構成、機能構成については、図１〜図１０で述べた構成と同様として説明を省略する。
【０１２０】
図１１は、操縦装置２が、さらに表示装置５を有する例の説明図である。操縦装置２に入出力Ｉ／Ｆ２８を介して表示装置５が接続される。表示装置５には、例えば移動体１から送信される撮影装置１０５によって撮影された画像や、移動体１の各種センサの検知情報、動作状況に関する情報等が表示される。操縦装置２の操縦者は、表示装置５に表示される表示画像を見ることにより、遠隔にある移動体１の状況を視覚的に把握しながら操作可能である。表示装置５は表示部の一例である。
【０１２１】
表示装置５は、固定部５１、方向センサ５２および表示画面５３を有するヘッドマウントディスプレイである。固定部５１は、操縦者Ｏの頭部に表示装置５を固定する。方向センサ５２は、表示装置５が操縦者Ｏの頭部に固定されているため、操縦者Ｏの頭部とともに動き、操縦者Ｏの頭部が動く方向を検知する。方向センサ５２は、加速度センサ、ジャイロセンサ等が挙げられるがこれらに限られない。表示画面５３には各種表示画像が表示される。表示画面５３は、操縦者Ｏの目に対向するように画像を表示する。図１１においては表示画面５３の表示画像側を拡大して示している。表示装置５は、方向センサ５２の検知結果に連動させて、表示画像の表示位置を変更することが可能である。なお表示装置５はヘッドマウントディスプレイに限らず、デスクトップ型のディスプレイにおいて、マウスやキーボードを用いて表示位置を変更させるものであってもよい。
【０１２２】
本実施形態では一例として、表示画面５３に、移動体１の周囲構造体の３次元形状を示す画像である３次元モデル（点群、メッシュなどの表示モデル）Ｄおよび、３ＤカーソルＣを表示させる例を説明する。３ＤカーソルＣは、操作部２０１のハンドル部２０２によって操縦者Ｏにより入力される位置・姿勢と同期した位置に表示される。そしてヘッドマウントディスプレイである表示装置５を装着した操縦者Ｏの頭部の動きに連動させて３次元モデルの表示位置は変更される。これにより操縦者Ｏは、周囲構造体と移動体１を３次元モデル内で位置や角度を変えながら見て操縦可能である。なお３次元モデル内の周囲構造体と移動体１の位置関係は、操作部２０１の操作情報に基づき算出・変更されてもよいし、移動体１から送信される画像や各種センサの情報に基づき算出・変更されてもよいし、両方の情報を組み合わせて算出・変更されてもよい。
【０１２３】
図１２は、形状画像表示処理を示すフローチャートである。操縦者Ｏ等のユーザによって形状画像を用いた操縦モードが指定された場合などにスタートするフローである。
【０１２４】
まず形状画像生成部２６０は、３次元モデルを生成するための周囲構造物情報を取得する（Ｓ４１）。周囲構造物情報は、一例として撮像装置１０５が撮像した形状画像生成用の周囲構造物の画像である。そして形状画像生成部２６０は、形状画像生成ステップとして、周囲構造物の３次元モデルを生成する（Ｓ４２）。すると表示制御部２５０は、形状画像表示ステップとして、生成された３次元モデルを表示する（Ｓ４３）。
【０１２５】
次に位置画像生成部２７０は、操作部２０１の入力に基づき、移動体１の位置／姿勢情報を取得する（Ｓ４４）。そして、位置画像位置算出ステップとして、周囲構造体の３次元モデルに対する、３ＤカーソルＣの位置を算出する（Ｓ４５）。すると表示制御部２５０は、位置画像表示ステップとして、３次元モデル画像Ｍ内に位置画像である３ＤカーソルＣを表示する（Ｓ４６）。
【０１２６】
ここで判断部２９０は、操作部２０１による位置／姿勢情報の更新の有無を判断する（Ｓ４７）。更新があった場合（Ｙｅｓの場合）、ステップＳ４４に戻り、位置画像生成部２７０は、更新された新たな位置／姿勢情報に基づく３ＤカーソルＣを生成し、表示する。
【０１２７】
一方ステップＳ４７で更新が無い場合（Ｎｏの場合）は、判断部２９０はさらに操縦装置２からの本フローの終了指示の有無を判断する（Ｓ４８）。終了指示があった場合（Ｙｅｓの場合）、本フローは終了する。一方、終了指示が無い場合（Ｎｏの場合）は、ステップＳ４７に戻る。このように本処理フローによって、操作部２０１に対する操作により移動体１の位置／姿勢情報が更新されるのに伴い、位置画像である３ＤカーソルＣの位置を変更する。
【０１２８】
このように表示制御部２５０は、周囲構造物の形状を表す形状画像を表示するとともに、当該周囲構造物に対する位置の移動体を、当該形状画像に対する位置を表す位置画像として表示する。したがって表示画面５３には、移動体１の周囲構造物の形状を表す形状画像と、当該周囲構造物に対する位置の移動体を、当該形状画像に対する位置を表す位置画像とが表示される。したがって操縦者Ｏは表示画面５３の表示を見て、周囲構造物と移動体１の位置関係を確認しながら操縦装置２を操作可能である。
【０１２９】
なお、本フローではステップＳ４１、Ｓ４２において３次元モデルを生成しているが、あらかじめ生成して、記憶部２０００に記憶させておいてもよい。その場合、操縦者Ｏ等のユーザによって形状画像を用いた制御モードが指定され本処理フローがスタートする場合は、記憶部２０００から３次元モデルを取得して表示させてもよい。
【０１３０】
ここで図１３および図１４を用いて、形状画像の一例である３次元モデルの例を説明する。
【０１３１】
まず図１３は、３次元モデルが生成される対象の例としての橋梁Ｋの外観である。橋梁Ｋは、前述のとおり橋脚部Ｋ１と本体部Ｋ２を有する。そして図１３に示すように、本体部Ｋ２は、主桁Ｋ２１、床板Ｋ２２、側面部Ｋ２３、路面Ｋ２４を有している。床板Ｋ２２の主桁Ｋ２１より外側には、張出部Ｋ２２ａが形成されている。
【０１３２】
このうち移動体１を用いた調査点検要求がある橋梁Ｋの部位としては、人や車が通行する路面Ｋ２４より下の部分で、主桁Ｋ２１の下面や側面、床板Ｋ２２の裏面（張出部Ｋ２２ａ）などがあげられる。以降床板Ｋ２２について述べる。
【０１３３】
図１４は、形状画像および位置画像の表示例を説明する図である。図１４（Ａ）は橋梁Ｋの一例の写真、図１４（Ｂ）は図１４（Ａ）に示される橋梁の形状画像である３次元モデルＭである。３次元モデルＭにおいて、主桁Ｋ２１に該当する箇所をＫ２１Ｍ、床板Ｋ２２に該当する箇所をＫ２２Ｍと示している。
【０１３４】
図１４（Ｂ）に示されるように、移動体１に搭載されたカメラの画像などのデータを用いて構成された機体近傍の構造物の３次元モデル（３次元メッシュモデル）Ｍ、および前述の３ＤカーソルＣが表示されている。操作部２０１の動作空間と３次元モデル空間は、操作部２０１の可動領域が実空間の移動体１が、橋梁Ｋの調査対象範囲をカバーできるように、スケーリングも含め適切な座標系の対応関係で関係づけられている。
【０１３５】
操縦者Ｏは、移動体１の周囲構造物としてのメッシュモデルＭの橋梁Ｋから受ける反力をハンドル部２０２から受けながら、そして３ＤカーソルＣをメッシュモデルＭの橋梁Ｋに接触するように視覚的に確認しながらその表面をなぞることができる。このように操縦者Ｏは、また移動体１を橋梁Ｋに近づけ過ぎたり離れすぎたりしないように、力覚によるガイドを受けながら、そして３次元モデル空間内を視覚で確認しながら、移動体１を操縦して移動させることができる。
【０１３６】
ここで、図１５を用いて図１４（Ａ）の写真中の点線内領域Ｒの床板Ｋ２２を、撮像装置１０５ｂで撮像する場合を考える。図１５は、形状画像および位置画像の表示例を説明する図である。図１５（Ａ）は、説明のために、図１４（Ｂ）に示される３次元モデルＭのうち領域Ｒ付近のみを、簡略化して示した図である。図１５（Ａ）において、移動体１は、図１５（Ａ）中の主桁Ｋ２１Ｍと最短距離ｄの位置にある。また図１５（Ａ）中の領域Ａは撮像装置１０５ｂの撮像範囲を示す。
【０１３７】
図１４で示されるように床板Ｋ２２のうち、領域Ｒは主桁Ｋ２１と、主桁Ｋ２１に直交する桁によって囲まれている。この直交する桁が図１５においては画像Ｐとしてしめされている。したがって操縦者Ｏは、図１５（Ａ）に示されるように、操作部２０１から一定の力覚を与えられながら、表示画面５３の表示画像を見て、画像Ｐに沿うように操作部２０１を動かすことで、桁に対して最短距離ｄを保って移動体１を主桁Ｋ２１等に沿った移動軌跡Ｇ１で移動させることができる。橋梁Ｋの変状等を漏れなく調査するためには、橋梁Ｋの表面を網羅的に撮像する要望があるが、このように移動軌跡Ｇ１のように移動させながら撮像することにより、図１５（Ａ）において１点鎖線で示される、所定の領域としての領域Ｒ１Ｍを網羅的に撮像できる。
【０１３８】
このように周囲情報として距離情報を用いることで、周囲構造物との所定距離を保った移動を、直感的に行うことができる。なお、撮像装置１０５による撮像のタイミングは、操縦装置２から移動体１に操縦指示を送信してもよいし、移動体１のタイマ１０９により計測させた所定のタイミングで撮像させてもよい。
【０１３９】
次に、領域Ｒ内のＲ１Ｍ以外の領域の撮像について述べる。図１５（Ｂ）は撮像装置１０５ｂによって、２点鎖線で示される他の領域Ｒ２Ｍを撮像している様子を示す。領域Ｒ内を網羅的に撮影するためには、Ｒ１Ｍ以外の領域も撮像する要望がある。図１５（Ｂ）は、領域Ｒ１Ｍ以外の領域も網羅的に移動させるために、最短距離の閾値ｄ０を、ｈだけオフセットするよう変更させている。
【０１４０】
この場合も、図１５（Ａ）の場合と同様、操縦者Ｏは、操作部２０１から一定の力覚を与えられながら桁に沿うように操作部２０１を動かすことで、直感的に桁に対して一定の距離を保って移動体１を移動させることができる。図１５（Ａ）の場合と違う点は、図１５（Ｂ）においては、図１５（Ａ）の移動軌跡Ｇ１と比較して内側にｈだけオフセットされた移動軌跡Ｇ２で移動させている点である。
【０１４１】
移動軌跡Ｇ１から移動軌跡Ｇ２に変更した結果、領域Ｒ内の所定の領域Ｒ１Ｍとは異なる他の領域Ｒ２Ｍを網羅的に撮像することができる。さらに所定値を大きくすることで、移動軌跡Ｇ２と異なる移動軌跡を移動させて、領域Ｒ内全てを網羅的に撮像することができる。
【０１４２】
次に、図１５（Ｂ）に表示されている入力補助画像Ｐ´について説明する。入力補助画像Ｐ´は、図１５（Ａ）には表示されていない画像であり、画像Ｐに対し、ｈだけオフセットされた桁の画像を示す。この入力補助画像Ｐ´を操縦者Ｏに提示することにより、操縦者ＯＨは、より桁に沿った移動を視覚的に把握しやすい。つまり、閾値ｄ０のオフセットが行われると、図１５（Ａ）の時と比べると視覚的には桁と３ＤカーソルＣが離れているにも関わらず同じ大きさの力覚が付与される。その場合、操縦者Ｏは違和感を覚える可能性がある。入力補助画像Ｐ´を示すことにより、操縦者Ｏは、視覚的に図１５（Ａ）で操作部２０１を操作した時と同じ感覚で、３ＤカーソルＣを桁に沿わせるように移動させることができる。
【０１４３】
なお所定の領域Ｒ１Ｍと他の領域Ｒ２Ｍは一部が重なっていてもよい。後で画像同士をつなぎ合わせる場合は、ある程度重なりがあった方が好ましい。オフセット距離ｈは撮像装置１０５ｂの撮影距離、画角、所定の領域Ｒ１と他の領域Ｒ２とのオーバーラップ率等を考慮して適宜設定すればよい。
【０１４４】
図１６は、入力補助処理を示すフローチャートである。図１６は、一例として、上記で説明したように操縦者Ｏ等が移動体１を移動させながら、ある領域を網羅的に撮像する際に選択してスタートするフローである。
【０１４５】
まず、力覚付与部２４０は、移動体１と周囲構造物との距離の閾値ｄ０を設定する（Ｓ５１）。本処理フローで操縦者Ｏが入力してもよいし、あらかじめ記憶部２０００に記憶しておいた値を使用してもよい。この周囲情報である移動体１と周囲構造物との最短距離の閾値は、所定値の一例である。
【０１４６】
ここで判断部２９０は、操作受付ステップとして、操作入力受付部２２０による操作部２０１からの位置／姿勢情報の更新受付の有無を判断する（Ｓ５２）。更新が無い場合（Ｎｏの場合）はステップＳ５２を繰り返す。ステップＳ５２で更新があった場合（Ｙｅｓの場合）、力覚付与部２４０は、力覚の大きさを算出する（ステップＳ５３）。ここで力覚の算出については、図１０のステップＳ３３と同様のためここでは説明を省略する。
【０１４７】
次に力覚付与部２４０は、ステップＳ５３で算出された大きさＦの力覚を、操作部２０１に対して与える（Ｓ５４）。
【０１４８】
そしてステップＳ５２で更新があった場合（Ｙｅｓの場合）、操縦指示生成部２３０は、位置／姿勢情報に基づき操縦指示を生成し（Ｓ５５）、生成した操縦指示を移動体１に送信する（Ｓ５６）。前述のとおり、操縦指示を受信した移動体１は操縦指示に従い動作を実行する。
【０１４９】
次に判断部２９０は、操縦者Ｏ等からの撮像領域変更の補助指示入力があるかを判断する（Ｓ５７）。ステップＳ５７で指示があった場合（Ｙｅｓの場合）、力覚付与部２４０は所定値変更ステップとして、周囲情報の閾値を変更する（Ｓ５８）。つまり移動体１と周囲構造体との最短距離の閾値を変更前のｄ０からｄ０＋ｈに変更し、ステップＳ５２に戻る。こうすることによって操縦者Ｏは以降、図１６（Ｂ）のＲ２Ｍに示される領域を撮像するのを補助するための力覚フィードバックを、操作部２０１より与えられる。変更前の所定値が例えば５０ｃｍであった場合、変更後の所定値は大きくなっており、例えば１００ｃｍ等である。
【０１５０】
ステップＳ５７で指示がなかった場合（Ｎｏの場合）、本フローの終了指示の有無を判断する（Ｓ５９）。終了指示があった場合（Ｙｅｓの場合）、本フローは終了する。一方、終了指示が無い場合（Ｎｏの場合）は、ステップＳ５２に戻る。ステップＳ５２を経た場合は、最短距離の閾値はｄ０のままである。本フローの場合、ステップＳ５８を経る度に最短距離の閾値ｄ０は大きくなる。
【０１５１】
図１７は、入力補助画像表示処理を示すフローチャートである。本処理フローは一例として、操縦者Ｏ等から入力補助画像表示指示があった際にスタートするフローである。
【０１５２】
まず補助画像生成部２８０は、移動軌跡取得ステップとして、直前の移動軌跡情報、例えば図１５（Ａ）の移動軌跡Ｇ１を取得する（Ｓ６１）。次に補助画像生成部２８０は、参照画像抽出ステップとして、取得した移動軌跡情報から参照画像を抽出する（Ｓ６２）。
【０１５３】
参照画像について説明すると、例えば図１５（Ａ）の移動軌跡Ｇ１から、画像Ｐを周囲構造体として、移動体１と周囲構造体の最短距離による力覚フィードバックを与えられたと想定できる。そこで、画像Ｐを、入力補助画像Ｐ´を生成するための参照画像として抽出する。さらに補助画像生成部２８０は、周囲画像との最短距離の閾値ｄ０のオフセット値ｈを取得する（Ｓ６３）。
【０１５４】
そして補助画像生成部２８０は、参照画像と移動軌跡情報とオフセット値から入力補助画像Ｐ´を生成する（Ｓ６４）。具体的には、参照画像である画像Ｐの移動軌跡Ｇ１が存在する側に、画像Ｐをｈだけオフセットさせることにより入力補助画像Ｐ´を生成する。そして表示制御部２５０は、３Ｄモデル空間内に入力補助画像Ｐ´を表示し（Ｓ６５）、本処理フローは終了する。
【０１５５】
●補足●
なお、各実施形態の機能は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒy）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｃ）等の装置可読な記録媒体に格納して、または電気通信回線を通じて頒布することができる。
【０１５６】
また、各実施形態の機能の一部または全部は、例えばＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のプログラマブルデバイス（ＰＤ）上に実装することができ、またはＡＳＩＣとして実装することができ、各実施形態の機能をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、ＶＨＤＬ（Ｖｅｒｙ  Ｈｉｇｈ  Ｓｐｅｅｄ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ等により記述されたデータとして記録媒体により配布することができる。
【０１５７】
これまで本発明の一実施形態に係る操縦装置、移動体、操縦システム、操縦制御方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができる。
【符号の説明】
【０１５８】
Ｓ１  操縦システム
Ｓ２  診断システム
Ｓ３  点検システム
１  移動体
１００  制御装置（制御部の一例）
１１０  送受信部（送信部の一例）
１２０  操作入力受付部
１３０  移動制御部
１４０  撮像制御部
１５０  周囲情報取得部
２  操縦装置
２００  制御装置（制御部の一例）
２１０  送受信部（受信部の一例）
２２０  操作入力受付部
２３０  操縦指示生成部
２４０  力覚付与部
２５０  表示制御部
２６０  形状画像生成部
２７０  位置画像生成部
２８０  補助画像生成部
５  表示部
【先行技術文献】
【特許文献】
【０１５９】
【特許文献１】特開２０１８−１１６４４３号公報
【図１】
2020131768.tif 000003
【図２】
2020131768.tif 000004
【図３】
2020131768.tif 000005
【図４】
2020131768.tif 000006
【図５】
2020131768.tif 000007
【図６】
2020131768.tif 000008
【図７】
2020131768.tif 000009
【図８】
2020131768.tif 000010
【図９】
2020131768.tif 000011
【図１０】
2020131768.tif 000012
【図１１】
2020131768.tif 000013
【図１２】
2020131768.tif 000014
【図１３】
2020131768.tif 000015
【図１４】
2020131768.tif 000016
【図１５】
2020131768.tif 000017
【図１６】
2020131768.tif 000018
【図１７】
2020131768.tif 000019