(57)【特許請求の範囲】
【請求項１】
移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、
前記撮像画像に含まれる領域を指定する操作を受け付ける受付手段と、
撮像画像が前記指定の領域に近づくように前記移動装置を移動させる制御手段と、を有し、
前記表示手段と前記受付手段は、タッチパネルであって、
前記制御手段は、
前記タッチパネルに対するピンチアウトの操作に基づき、前記移動装置を前進させるとともに、当該操作の軌跡に含まれる複数のタッチ位置の平均座標を求め、タッチパネルの中心座標に対する垂直方向及び水平方向でのずれ幅に基づき前進方向に対する前記移動装置の移動角度を決定する
ことを特徴とする移動装置操作端末。
【請求項２】
移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、
前記撮像画像に含まれる領域を指定する操作を受け付ける受付手段と、
撮像画像が前記指定の領域から遠ざかるように前記移動装置を移動させる制御手段と、を有し、
前記表示手段と前記受付手段は、タッチパネルであって、
前記制御手段は、
前記タッチパネルに対するピンチインの操作に基づき、前記移動装置を後退させるとともに、当該操作の軌跡に含まれる複数のタッチ位置の平均座標を求め、タッチパネルの中心座標に対する垂直方向及び水平方向でのずれ幅に基づき後退方向に対する前記移動装置の移動角度を決定する
ことを特徴とする移動装置操作端末。
【請求項３】
前記領域を指定する操作は、
前記タッチパネルに指をタッチして前記領域を囲む操作であることを特徴とする請求項１又は２に記載の移動装置操作端末。
【請求項４】
移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、
前記撮像画像の移動方向を指定する操作を受け付ける受付手段と、
前記移動方向が撮像されるように前記移動装置を移動させる制御手段と、を有し、
前記表示手段と前記受付手段は、タッチパネルであって、
前記制御手段は、
前記タッチパネルに指をタッチしてスライドさせるドラッグ操作に基づき、タッチパネルの水平方向に対する指のスライド方向の角度が一定角度に含まれる場合、水平方向のドラッグ操作と判定して前記移動装置を回転させ、前記一定角度に含まれない場合、垂直方向のドラッグ操作と判定して前記移動装置を上昇又は下降させる
ことを特徴とする移動装置操作端末。
【請求項５】
移動装置操作端末で行う移動装置操作方法において、
前記移動装置操作端末は、
移動装置の撮像手段で撮像された撮像画像をタッチパネルに表示する表示ステップと、
前記撮像画像に含まれる領域を指定する操作をタッチパネルで受け付ける受付ステップと、
撮像画像が前記指定の領域に近づくように前記移動装置を移動させる制御ステップと、を行い、
前記制御ステップでは、
前記タッチパネルに対するピンチアウトの操作に基づき、前記移動装置を前進させるとともに、当該操作の軌跡に含まれる複数のタッチ位置の平均座標を求め、タッチパネルの中心座標に対する垂直方向及び水平方向でのずれ幅に基づき前進方向に対する前記移動装置の移動角度を決定する
ことを特徴とする移動装置操作方法。
【請求項６】
移動装置操作端末で行う移動装置操作方法において、
前記移動装置操作端末は、
移動装置の撮像手段で撮像された撮像画像をタッチパネルに表示する表示ステップと、
前記撮像画像に含まれる領域を指定する操作をタッチパネルで受け付ける受付ステップと、
撮像画像が前記指定の領域から遠ざかるように前記移動装置を移動させる制御ステップと、を行い、
前記制御ステップでは、
前記タッチパネルに対するピンチインの操作に基づき、前記移動装置を後退させるとともに、当該操作の軌跡に含まれる複数のタッチ位置の平均座標を求め、タッチパネルの中心座標に対する垂直方向及び水平方向でのずれ幅に基づき後退方向に対する前記移動装置の移動角度を決定する
ことを特徴とする移動装置操作方法。
【請求項７】
移動装置操作端末で行う移動装置操作方法において、
前記移動装置操作端末は、
移動装置の撮像手段で撮像された撮像画像をタッチパネルに表示する表示ステップと、
前記撮像画像の移動方向を指定する操作をタッチパネルで受け付ける受付ステップと、
前記移動方向が撮像されるように前記移動装置を移動させる制御ステップと、を行い、
前記制御ステップでは、
前記タッチパネルに指をタッチしてスライドさせるドラッグ操作に基づき、タッチパネルの水平方向に対する指のスライド方向の角度が一定角度に含まれる場合、水平方向のドラッグ操作と判定して前記移動装置を回転させ、前記一定角度に含まれない場合、垂直方向のドラッグ操作と判定して前記移動装置を上昇又は下降させる
ことを特徴とする移動装置操作方法。
【請求項８】
請求項１乃至４のいずれかに記載の移動装置操作端末としてコンピュータを機能させることを特徴とする移動装置操作プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動装置を遠隔操作する技術に関する。
【背景技術】
【０００２】
現在、移動装置を遠隔操作するための技術が研究開発されている。非特許文献１によれば、小型飛行機を操作するため、飛行高度等のパラメータを調整するための入力画面を備えた操作端末や、任意の方向に回動可能なジョイステック及び機体模型が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】M. Quigley、“Semi-Autonomous Human-UAV Interfaces for Fixed-Wing Mini-UAVs”、Proc. of IEEE’04、Intelligent Robots and Systems, Vol.3、2005年、p.2457-p.2462
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の操作端末の場合、入力された数値に基づいて移動装置を操作するため、飛行高度等を直感的に制御することは難しい。一方、ジョイステックや機体模型の場合、手首の動作で制御可能であり、操作端末よりも直感的な操作性を実現できる。しかし、大凡の感覚的な手首の回動動作で操作するため、飛行高度等を適切に調整することは困難である。つまり、従来の技術では、移動装置をどの程度移動させるかの操作を直感的に行うことが困難であった。
【０００５】
本発明は、上記事情を鑑みてなされたものであり、移動装置の遠隔操作性を改善することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するため、請求項１に記載の移動装置操作端末は、移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、前記撮像画像に含まれる領域を指定する操作を受け付ける受付手段と、撮像画像が前記指定の領域に近づくように前記移動装置を移動させる制御手段と、を有することを要旨とする。
【０００７】
本発明によれば、移動装置の撮像手段で撮像された撮像画像を画面に表示し、該撮像画像に含まれる領域を指定する操作を受け付け、撮像画像が該指定の領域に近づくように上記移動装置を移動させるため、移動装置の遠隔操作性を向上できる。
【０００８】
請求項２に記載の移動装置操作端末は、移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、前記撮像画像に含まれる領域を指定する操作を受け付ける受付手段と、撮像画像が前記指定の領域から遠ざかるように前記移動装置を移動させる制御手段と、を有することを要旨とする。
【０００９】
請求項３に記載の移動装置操作端末は、請求項１又は２に記載の移動装置操作端末において、前記表示手段と前記受付手段は、タッチパネルであって、前記領域を指定する操作は、前記タッチパネルに指をタッチして前記領域を囲む操作であることを要旨とする。
【００１０】
請求項４に記載の移動装置操作端末は、請求項１又は３に記載の移動装置操作端末において、前記表示手段と前記受付手段は、タッチパネルであって、前記制御手段は、前記タッチパネルに対するピンチアウトの操作に基づき前記移動装置を前進させることを要旨とする。
【００１１】
請求項５に記載の移動装置操作端末は、請求項２又は３に記載の移動装置操作端末において、前記表示手段と前記受付手段は、タッチパネルであって、前記制御手段は、前記タッチパネルに対するピンチインの操作に基づき前記移動装置を後退させることを要旨とする。
【００１２】
請求項６に記載の移動装置操作端末は、移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、前記撮像画像の移動方向を指定する操作を受け付ける受付手段と、前記移動方向が撮像されるように前記移動装置を移動させる制御手段と、を有することを要旨とする。
【００１３】
請求項７に記載の移動装置操作端末は、請求項６に記載の移動装置操作端末において、前記表示手段と前記受付手段は、タッチパネルであり、
前記移動方向を指定する操作は、前記タッチパネルに指をタッチしてスライドさせるドラッグ操作であって、前記制御手段は、前記ドラッグ操作に基づき回転、上昇、又は下降のうち少なくとも１つを前記移動装置に実行させることを特徴とする。
【００１４】
請求項８に記載の移動装置操作方法は、移動装置操作端末で行う移動装置操作方法において、前記移動装置操作端末は、移動装置の撮像手段で撮像された撮像画像を画面に表示する表示ステップと、前記撮像画像に含まれる領域を指定する操作を受け付ける受付ステップと、撮像画像が前記指定の領域に近づくように前記移動装置を移動させる制御ステップと、を有することを要旨とする。
【００１５】
請求項９に記載の移動装置操作プログラムは、請求項１乃至７のいずれかに記載の移動装置操作端末としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、移動装置の遠隔操作性を向上できる。
【図面の簡単な説明】
【００１７】
【図１】操作端末の機能ブロック構成を示す図である。
【図２】カメラ映像表示部の処理フローを示す図である。
【図３】移動装置制御部の処理フローを示す図である。
【図４】移動装置の操作例（ピンチアウト時）を示す図である。
【図５】移動装置の操作例（ピンチイン時）を示す図である。
【図６】移動装置の操作例（右方向ドラッグ時）を示す図である。
【図７】移動装置の操作例（下方向ドラッグ時）を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施する一実施の形態について図面を用いて説明する。
【００１９】
図１は、本実施の形態に係る操作端末１の機能ブロック構成を示す図である。該操作端末１は、カメラを備えた移動装置２を遠隔操作するための端末であり、カメラ映像表示部１１と、移動装置制御部１２と、を備えて構成される。
【００２０】
カメラ映像表示部１１は、タッチパネルを備え、移動装置２のカメラで撮影されたカメラ画像を該タッチパネルに表示するように構成されている。また、ユーザのタッチ操作を受け付け、該タッチ操作からジェスチャの種類を判別するように構成されている。
【００２１】
移動装置制御部１２は、タッチパネルに対するジェスチャに基づき移動装置２を移動させるように構成されている。また、ジェスチャの種類に応じて移動装置２の移動方向を変え、該ジェスチャ操作の大きさに応じて移動装置２の移動量を変えるように構成されている。また、移動装置２を前進又は後退させる場合、ジェスチャを行ったタッチパネル上の操作位置に応じて進行方向に対する移動装置２の移動角度を変えるように構成されている。
【００２２】
上述した複数の機能部を備える操作端末１は、タッチパネル、ＣＰＵ、メモリ等を備えたコンピュータで実現可能である。例えば、スマートフォン、タブレット端末、パソコンを用いて実現する。また、操作端末１としてコンピュータを機能させるためのプログラムや該プログラムの記憶媒体を作成することも可能である。
【００２３】
なお、移動装置２とは、例えば、ドローン（小型飛行機やヘリコプター等の無人飛行体）、自動車、海中船、作業用ロボットである。デジタルカメラを備え、自機で撮影したカメラ画像を送信可能であり、受信した制御信号に基づき自機を移動させる移動装置であればよい。また、操作端末１と移動装置２との間の通信路は、無線でもよいし有線でもよい。
【００２４】
次に、操作端末１で行う移動装置２の遠隔操作方法について説明する。操作端末１は、移動装置２からカメラ画像を受信し、タッチパネルに表示しているものとする。
【００２５】
最初に、図２を参照しながら、カメラ映像表示部１１の動作を説明する。
【００２６】
まず、ステップＳ１０１において、ユーザが指でカメラ画像表示中のタッチパネルにタッチすると、該ユーザの指の接触を検知する。タッチパネルへの接触の有無については、タッチパネルが提供する既存のインタフェースを用いて検知可能である。
【００２７】
次に、ステップＳ１０２において、ユーザの指が接触した時のタッチ位置を記憶する。例えば、タッチパネルを二次元座標化し、ユーザの指が触れた位置座標を接触時のタッチ位置としてメモリに記憶する。
【００２８】
次に、ステップＳ１０３において、タッチパネル上での指の動作やタッチ数から、ユーザが行ったジェスチャの種類を判定する。例えば、タッチ数が２つであり、その２つのタッチ間の距離が次第に大きくなる場合には、ユーザのジェスチャをピンチアウトと判定する。例えば、タッチパネル上に親指と人差し指を乗せ、２つの指で囲まれた矩形領域を拡大する動作を行った場合にピンチアウトと判定される。
【００２９】
また、タッチ数が２つであり、その２つのタッチ間の距離が次第に小さくなる場合には、ピンチインと判定する。例えば、２つの指で囲まれた矩形領域を縮小する動作を行った場合にピンチインと判定される。
【００３０】
一方、タッチ数が１つの場合は、ドラッグと判定する。例えば、タッチパネル上に乗せた人差し指を一定方向にスライドさせる動作を行った場合にジェスチャと判定される。
【００３１】
そして、ジェスチャの種類が、ピンチアウト、ピンチイン、ドラッグのうちいずれかの場合は、ステップＳ１０４に進み、いずれでもない場合は、処理を終了する。なお、フリックやスワイプ等の操作も考えられるが、それらはドラッグと同義とする。
【００３２】
最後に、ステップＳ１０４において、ユーザの指が一定距離移動する毎に指の軌跡を繰り返しタッチパネルから離れるまで移動装置制御部１２に送信する。具体的には、タッチパネルに接触しつつ移動しているタッチ位置の座標を一定距離毎又は一定時間毎に指の軌跡として送信する。また、ステップＳ１０３で判定したジェスチャの種類も移動装置制御部１２に送信する。
【００３３】
続いて、図３を参照しながら、移動装置制御部１２の動作を説明する。
【００３４】
まず、ステップＳ２０１において、指の軌跡とジェスチャの種類をカメラ映像表示部１１から受信する。上述したように、該指の軌跡には、指の接触位置に対応するタッチパネル上の仮想的な二次元座標が含まれている。
【００３５】
次に、ステップＳ２０２において、カメラ映像表示部１１で判定されたジェスチャの種類に基づいて移動装置２の移動方向（前進、後退、回転、上昇、下降）を決定し、指の移動量に基づき該移動装置２の移動量（移動距離、回転角度、高度）を算出する。特に、移動装置２の移動方向が前進又は後退の場合には、前進又は後退の進行方向に対する該移動装置２の移動角度も併せて決定する。
【００３６】
例えば、ジェスチャの種類がピンチアウトの場合、タッチパネル上のカメラ画像は拡大表示されるので、図４（ａ）に示すように、カメラの実画像が該拡大表示に見合うように移動装置２を前進させる。また、図４（ｂ）に示すように、指の軌跡の情報を用いてタッチパネル接触時の２つのタッチ位置間の距離ｄとピンチアウト後の距離ｄ’とを求め、それら２つの距離の差に定数α（正の実数）を乗算した値｛＝α（ｄ’−ｄ）｝を移動装置２の移動距離とする。さらに、指の軌跡の情報に含まれる全てのタッチ位置の平均座標を求め、タッチパネルの中心から左右方向及び／又は上下方向にどの程度ずれているかに基づき前進方向に対する移動装置２の移動角度を決定する。例えば、タッチパネルの中心座標を（０，０）とし、平均座標が（１００，１００）の場合、４５°の右斜め前方向に移動させる。
【００３７】
また、ピンチインの場合、タッチパネル上のカメラ画像は縮小表示されるので、図５（ａ）に示すように、カメラの実画像が該縮小表示に見合うように移動装置２を後退させる。また、図５（ｂ）に示すように、タッチパネル接触時の２つのタッチ位置間の距離ｄとピンチイン後の距離ｄ’との差に定数β（正の実数）を乗算した値｛＝β（ｄ’−ｄ）｝を移動装置２の移動距離とする。さらに、ピンチアウトの場合と同様の手法で後退の進行方向に対する移動角度も決定する。
【００３８】
また、ドラッグの場合、タッチパネル上のカメラ画像はドラッグした方向に移動するので、図６（ａ）又は図７（ａ）に示すように、カメラの実画像がドラッグ方向に見合うように移動装置２を動作させる。具体的には、ドラッグ方向が右方向（左方向）の場合、移動装置２をユーザから見て右回転（左回転）させる。また、ドラッグ方向が下方向（上方向）の場合には、移動装置２を上昇（下降）させる。
【００３９】
また、ドラッグ方向が右方向又は左方向の場合、図６（ｂ）に示すように、ドラッグ開始時とドラッグ終了時の２つのタッチ位置から移動ベクトルν＝（ｘ，ｙ）を求め、定数θと円周率πを乗算した値（＝θπν．ｙ）を移動装置２の回転角度とする。ドラッグ方向が下方向又は上方向の場合には、図７（ｂ）に示すように、移動ベクトルν＝（ｘ，ｙ）に定数γを乗算した値（＝γν．ｙ）を移動装置２の高度とする。
【００４０】
なお、ドラッグ方向が左右方向であるか上下方向であるかについては、移動ベクトルνを用いて判定する。例えば、ａｒｃｔａｎ（ｙ／ｘ）の値が一定範囲に収まる場合、つまり、移動ベクトルνが一定程度水平である場合には、左右方向のドラッグと判定し、移動装置２を回転させる。一方、該一定範囲に収まらない場合には、上下方向のドラッグと判定し、移動装置２を上昇又は下降させる。
【００４１】
最後に、ステップＳ２０３において、ステップＳ２０２で決定した移動方向及び移動量で移動させるための制御信号を生成し、移動装置２に送信する。移動装置２は、操作端末１からの制御信号を受信し、該制御信号に含まれる移動方向及び移動量で自機を移動させる。具体的には、ユーザのジェスチャがピンチアウトであれば前進する。このとき、ピンチアウトの移動量が大きいほど前進距離も大きくなる。また、ピンチインであれば後退する。ピンチインの移動量が大きいほど後退距離も大きくなる。また、ドラッグであれば、ドラッグ方向に応じて回転、上昇、又は下降する。ドラッグの移動量が大きいほど、回転量、上昇量、又は下降量も大きくなる。
【００４２】
以上より、本実施の形態によれば、操作端末１において、カメラ映像表示部１１が、移動装置２のカメラで撮影されたカメラ画像をタッチパネルに表示し、該カメラ画像に対するユーザのジェスチャ（ピンチイン、ピンチアウト、又はドラッグ）を受け付け、移動装置制御部１２が、該ユーザのジェスチャに基づき移動装置２を移動させるので、移動装置２の遠隔操作性を向上できる。つまり、移動装置２のカメラ画像を手元で見ながらタッチパネル上の指のジェスチャで遠隔操作可能となり、移動装置２をどの程度移動させるかの操作を直感的に行うことが可能となる。
【００４３】
最後に、本実施の形態では、タッチパネルを用いる場合を説明したが、カメラ画像の表示手段とタッチ操作の受付手段とを物理的に異なる手段で実現してもよい。例えば、汎用モニタとペンタブレットを用いることが考えられる。ペンタブレットの電子ペンを用いてモニタ上のカメラ画像をペンタブレット上で間接的にタッチ操作することにより、上記と同様の効果を得ることができる。具体的には、例えば、電子ペンを用いてカメラ画像上の一部を線で囲み、該囲まれた線の一部を外側に引っ張ることで実質的にピンチアウトと同じ操作を実現できる。また、画面の拡大ボタンや縮小ボタン、画面サイズ比率変更用のスライドバー、スライド方向の指示ボタン等、移動装置２の移動を制御するためのツールを表示して利用するようにしてもよい。
【符号の説明】
【００４４】
１…操作端末（遠隔装置操作端末）
１１…カメラ映像表示部（表示手段、受付手段）
１２…移動装置制御部（制御手段）
２…移動装置
Ｓ１０１〜Ｓ１０４、Ｓ２０１〜Ｓ２０３…ステップ
【図１】
0006470112.tif 000002
【図２】
0006470112.tif 000003
【図３】
0006470112.tif 000004
【図４】
0006470112.tif 000005
【図５】
0006470112.tif 000006
【図６】
0006470112.tif 000007
【図７】
0006470112.tif 000008