(57)【特許請求の範囲】
【請求項１】
移動可能なマークを表示するステップと、
ユーザの入力情報を取得するステップと、
前記入力情報に基づき、前記移動可能なマークを移動させて無人機を制御するステップと、
を含み、
前記入力情報は前記ユーザの姿勢情報であることを特徴とする、無人機の制御方法。
【請求項２】
前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であることを特徴とする請求項１に記載の方法。
【請求項３】
前記姿勢情報は、ヨー角とピッチ角のうち少なくとも１種を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記ユーザの入力情報を取得するステップは、
前記ユーザ頭部のヨー角とピッチ角を取得するステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記入力情報に基づき、前記移動可能なマークを移動させて前記無人機を制御するステップは、
前記ヨー角と前記ピッチ角に基づき、スクリーン上での前記移動可能なマークの位置を判定するステップと、
前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択するステップと、
を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定するステップは、
前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定するステップと、
前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するステップと、
を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定するステップ、
を含み、
前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定するステップ、
を含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定するステップ、
を含み、
前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定するステップ、
を含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記スクリーン上での前記移動可能なマークの位置に基づき、スクリーン上に表示される目標物体を選択するステップは、
前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにするステップと、
前記ユーザが入力した、前記目標物体を選択するための選択命令を受信するステップと、
を含むことを特徴とする請求項５に記載の方法。
【請求項１０】
前記目標物体を選択するための選択命令を受信するステップは、
前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信するステップ、または、
前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信するステップ、または、
前記ユーザが目の動きによって入力した選択命令を受信するステップ、または、
前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信するステップ、または、
前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択するステップ、または、
前記ユーザがバーチャルボタンをクリックすることによって入力した選択命令を受信するステップ、または、
前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信するステップ、のうち少なくとも１つステップを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記選択命令はポイント選択またはフレーム選択を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記無人機の状態情報を取得するステップと、
前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期するステップと、
をさらに含むことを特徴とする請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記無人機の状態情報を取得するステップは、
前記無人機に状態情報取得要求を送信するステップと、
前記無人機が送信する状態情報を受信するステップと、
を含むことを特徴とする請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記無人機の状態情報を取得するステップは、
前記無人機が放送する状態情報を受信するステップ、を含むことを特徴とする請求項１２に記載の方法。
【請求項１５】
プロセッサと、
スクリーンと、を備え、
前記プロセッサは、請求項１〜１４のいずれか一項に記載の方法を用いて前記無人機を制御することを特徴とする、頭部装着式表示メガネ。
【請求項１６】
無人機および頭部装着式表示メガネを含む無人機制御システムにおいて、
前記頭部装着式表示メガネは、
スクリーンと、
請求項１〜１４のいずれか一項に記載の方法を用いて前記無人機を制御するプロセッサと、
を含むことを特徴とする、無人機制御システム。
【請求項１７】
コンピュータに、請求項１〜１４のいずれか一項に記載の方法を実行させるためのプログラムが格納されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は無人機の分野に関し、特に、無人機の制御方法、頭部装着式表示メガネおよびシステムに関する。
【背景技術】
【０００２】
従来技術における携帯電話、タッチスクリーン付きのリモートコントローラ、バーチャルリアリティ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、略称ＶＲ）メガネなどの制御機器はいずれも無人機を制御するために用いることができ、携帯電話に、無人機を制御するアプリケーションプログラムがインストールされており、ユーザはアプリケーションプログラムを操作して携帯電話のスクリーンをタッチすることによって無人機を制御し、また、ユーザは、リモートコントローラのスクリーンをタッチすることによって無人機を制御することもできる。
【０００３】
ただし、ＶＲメガネにはタッチスクリーンがないため、指さし飛行モード、スマートトラッキングモード、カメラ合焦などの、タッチスクリーンを介して無人機を制御する制御方式を実現することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、無人機の制御方法、頭部装着式表示メガネおよびシステムを提供することで、無人機を動作制御する目的を果たす。
【課題を解決するための手段】
【０００５】
本発明の実施例の一態様は：
移動可能なマークを表示すること；
ユーザの入力情報を取得すること；および、
前記入力情報に基づき、前記移動可能なマークを移動させることで前記無人機を制御すること、
を含む、無人機の制御方法を提供することである。
【０００６】
本発明の実施例のもう１つの態様は、１つまたは複数のプロセッサおよびスクリーンを備え、前記スクリーンは：
移動可能なマークを表示するために用いられ；
前記１つまたは複数のプロセッサは：
ユーザの入力情報を取得するために用いられ；
前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御する頭部装着式表示メガネを提供することである。
【０００７】
本発明の実施例のもう１つの態様は：
無人機と、前記無人機を制御するための前記頭部装着式表示メガネと、を備えた無人機制御システムを提供することである。
【０００８】
本発明の実施例が提供する無人機の制御方法、頭部装着式表示メガネおよびシステムは、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
【０００９】
本発明の実施例または従来技術における技術案をより明確に説明するために、以下、実施例または従来技術の記述において使用する必要のある図面について簡単に説明するが、当然ながら、以下の記述における図面は本発明のいくつかの実施例であり、当業者にとっては、創造的な労働を行っていない前提の下、これらの図面に基づいて他の図面を得てもよい。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例が提供する無人機の制御方法のフローチャートである。
【図１Ａ】本発明の実施例が提供する無人機の「指さし飛行」制御インタフェースの概略図である。
【図１Ｂ】本発明の実施例が提供する無人機の「スマートトラッキング」制御インタフェースの概略図である。
【図２】本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。
【図２Ａ】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の平面図である。
【図２Ｂ】本発明のもう１つの実施例が提供する、カーソルがスクリーンで左向きに移動する概略図である。
【図２Ｃ】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の平面図である。
【図２Ｄ】本発明のもう１つの実施例が提供する、カーソルがスクリーンで右向きに移動する概略図である。
【図２Ｅ】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の側面図である。
【図２Ｆ】本発明のもう１つの実施例が提供する、カーソルがスクリーンで下向きに移動する概略図である。
【図２Ｇ】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の側面図である。
【図２Ｈ】本発明のもう１つの実施例が提供する、カーソルがスクリーンで上向きに移動する概略図である。
【図２Ｉ】本発明のもう１つの実施例が提供する、スクリーン上でのカーソルの座標の概略図である。
【図３】本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。
【図４】本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。
【図５】本発明の実施例が提供する頭部装着式表示メガネの構造図である。
【図６】本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図である。
【図７】本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造である。
【図８】本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例中の図面を参照しながら、本発明の実施例における技術案について明確に記述するが、当然ながら、記述された実施例は本発明の一部の実施例であるに過ぎず、すべての実施例ではない。本発明における実施例に基づき、当業者が、創造的な労働を行っていない前提の下で得たその他すべての実施例は、いずれも本発明が保護する範囲に属する。
【００１２】
説明しなければならないのは、アセンブリが、もう１つのアセンブリ「に固定される」と記載される場合、もう１つのアセンブリ上に直接あってもよく、もしくは、中に存在するアセンブリであってもよい、という点である。１つのアセンブリが、もう１つのアセンブリ「を接続する」と見なされる場合、もう１つのアセンブリに直接接続されてもよく、もしくは、同時に中に存在し得るアセンブリであってよい。
【００１３】
別途定義されている場合を除き、本文書で使用されるすべての技術および科学の用語と、本発明の技術分野に属する当業者が通常理解する意味は同じである。本文書中で、本発明の明細書において使用される用語は、具体的な実施例を説明する目的のためのものであるに過ぎず、本発明を限定しようとするものではない。本文書で使用される用語「少なくともひとつ」は、１つまたは複数の、関連する列記された項目の、あらゆる組み合わせを含む。
【００１４】
以下、図面を参照しながら、本発明のいくつかの実施形態について詳しく説明する。矛盾しない場合であれば、下記の実施例および実施例中の特徴を互いに組み合わせることができる。
【００１５】
本発明の実施例は、無人機の制御方法を提供する。図１は、本発明の実施例が提供する無人機の制御方法のフローチャートである。本実施例の実行主体は、無人機を制御するための無人機制御端末であってよく、前記無人機制御端末は、頭部装着式表示メガネ（ＶＲメガネ、ＶＲゴーグルなど）、携帯電話、リモートコントローラ（表示スクリーン付きのリモートコントローラなど）、スマートブレスレット、タブレット端末などを含むことができるが、それらのみに限定されない。前記無人機は異なるモードで動作可能であり、前記モードは、指さし飛行、スマートトラッキング、カメラ合焦などを含むが、それらのみに限定されない。
【００１６】
指さし飛行モードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の一点または１つの領域をクリックすることによって飛行目標を選択することができ、前記無人機は前記飛行目標に向かって飛行することができる。
【００１７】
スマートトラッキングモードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の１つの可動物体（人、動物など）を選択することによって、前記無人機を制御して前記可動物体をトラッキングして飛行させることができる。
【００１８】
カメラ合焦モードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の一点または１つの領域をクリックすることによって、前記無人機の画像形成装置（カメラなど）を制御し、合焦させることができる。
【００１９】
図１に示すように、本実施例における方法は以下を含むことができる。
【００２０】
ステップＳ１０１において、移動可能なマークを表示する。
【００２１】
本実施例では、無人機制御端末は、バーチャルリアリティ頭部装着式表示装置であってよく、本実施例の方法は、ユーザがバーチャルリアリティ頭部装着式表示装置を介して無人機を制御するのに適しており、バーチャルリアリティ頭部装着式表示装置は、具体的には、バーチャルリアリティ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、略称ＶＲ）メガネ、バーチャルリアリティゴーグル（ＶＲ  ｈｅａｄｅｒ）であってよい。ユーザがＶＲメガネを装着しており、ＶＲメガネのスクリーンに移動可能なマークが表示されており、移動可能なマークは具体的にはカーソルであり、カーソルはＶＲメガネのスクリーン上で移動することができる。
【００２２】
ステップＳ１０２において、ユーザの入力情報を取得する。
【００２３】
本実施例では、ＶＲメガネはユーザの入力情報を取得することができ、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であってもよい。
【００２４】
ＶＲメガネには慣性測定ユニット（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ、略称ＩＭＵ）が実装されており、ＩＭＵはＶＲメガネの位置と姿勢を検知することができ、ユーザがＶＲメガネを装着した後、ＶＲメガネはＩＭＵを介してユーザの姿勢情報を取得することができ、具体的には、ＩＭＵは、ユーザ頭部の姿勢情報を検知するために用いることができ、この姿勢情報は、ヨー角（ｙａｗ  ａｎｇｌｅ）とピッチ角（ｐｉｔｃｈ  ａｎｇｌｅ）の少なくとも一種を含む。ＶＲメガネは、ＩＭＵが検知したユーザ頭部の姿勢情報に基づき、スクリーン上でのカーソルの位置を制御する。ユーザの観点からすると、ユーザは頭部を回動する方式によって、カーソルを制御してスクリーン上で移動させることができる。
【００２５】
また、ＶＲメガネには、アイトラッカ（ｅｙｅ  ｔｒａｃｋｅｒ）など、ユーザの両目の動きと目（眼球など）の変化を検知するセンサも実装されていてよく、ＶＲメガネがユーザの姿勢情報を取得する方式は、このセンサによって実現してもよく、ＶＲメガネは、このセンサが検知したユーザの両目の動きと目の変化に基づき、スクリーン上でのカーソルの移動を制御する。ユーザの観点からすると、ユーザは、両目の動きと目の変化によって、カーソルを制御してスクリーン上で移動させることができる。
【００２６】
なお、ＶＲメガネにはさらに、５次元キー、ジョイスティック、タッチスクリーンの少なくとも一種を含む入力装置が接続されていてもよい。ＶＲメガネと入力装置の接続方式は有線（ケーブルなど）であってよく、無線（Ｗｉｆｉ、ブルートゥース（登録商標）など）であってもよい。いくつかの実施例では、ＶＲメガネは、５次元キーが設けられたリモートコントローラを備えることができ、ＶＲメガネは、ユーザが５次元キーの上下左右ボタンをクリックして発生させる、方向を表す入力情報に基づき、スクリーン上でのカーソルの移動を制御する。ＶＲメガネは、ユーザがジョイスティックを回動して発生させる、方向を表す入力情報に基づき、スクリーン上でのカーソルの移動を制御することもできる。ＶＲメガネはさらに、ユーザのタッチスクリーン上でのスライドまたはタッチ操作で発生する入力情報に基づき、スクリーン上でのカーソルの移動を制御することもできる。
【００２７】
なお、ＶＲメガネのフレームにタッチパネルがさらに設けられており、ユーザはタッチパネルを操作することによってスクリーン上でのカーソルの移動を制御することもできる。
【００２８】
また、ＶＲメガネのスクリーン上にさらにバーチャルボタンが表示されていてよく、このバーチャルボタンは、上下左右４つの方向のバーチャルボタンと、確認を表す１つのバーチャルボタンとを備えた５次元キーに類似していてよく、ユーザはさらに、バーチャルボタンに対する操作によってカーソルを制御してスクリーン上で移動させることができる。
【００２９】
ステップＳ１０３において、前記入力情報に基づき、前記移動可能なマークを移動させることで前記無人機を制御する。
【００３０】
上記ステップから、ＶＲメガネは、ユーザの姿勢情報に基づき、カーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報に基づき、スクリーン上でのカーソルの移動を制御することもできることが分かる。
【００３１】
ＶＲメガネは、スクリーン上でのカーソルの移動情報を、ユーザがＶＲメガネを介して無人機を制御する命令に変換し、例えば、カーソルがスクリーン上で右向きに移動し、無人機を制御して右向きに飛行させることができる。いくつかの実施例では、ＶＲメガネが、スクリーン上でのカーソルの移動情報を、ユーザがＶＲメガネを介して無人機の機上装置を制御する命令に変換し、例えば、カーソルがスクリーン上で右向きに移動し、前記無人機の画像形成装置（カメラなど）を制御して右向きに移動させることができる。
【００３２】
また、ＶＲメガネのスクリーン上にユーザインタフェースが表示されており、ＶＲメガネはこのユーザインタフェース上でのユーザの操作に基づき、無人機を制御してスマートトラッキングモード、指さし飛行モードまたはカメラ合焦モードに入らせることができ、具体的な実現方式は次の方式であってよい。このユーザインタフェースが、例えば「指さし飛行」アイコン、「スマートトラッキング」アイコン、「カメラ合焦」アイコンなどの、無人機を制御するためのアイコンを備え、ＶＲメガネは、ユーザ頭部が回動する、眼部が動く、５次元キーの上下左右ボタンをクリックする、ジョイスティックを回動する、タッチスクリーンにタッチしスライドするかまたはタッチパネルにタッチしスライドするなどの方式により、スクリーン上でのカーソルの移動を制御し、カーソルが相応のアイコンまで移動したとき、ユーザがこのアイコンを決定選択し、ＶＲメガネは、ユーザが入力した確認情報に基づき、無人機を制御して、このアイコンが対応するモードに入らせる。ユーザがアイコンを決定選択する方式は、以下のいずれか一種の方式によって実現することができる。５次元キーの確認ボタンをクリックする、タッチスクリーンをクリックする、タッチパネルをクリックする、目が所定の時間だけ回動を停止する、目が連続してまばたきする、カーソルがアイコン上に所定の時間だけとどまる、バーチャルボタンをクリックする、ジョイスティックを操作する。
【００３３】
例えば、ＶＲメガネは、ユーザ頭部の回動方向に基づき、スクリーン上でのカーソルの移動を制御し、カーソルが「指さし飛行」アイコンまで移動したとき、ユーザは、５次元キーの確認ボタンをクリックするか、または、本発明が開示する、目標を確認する他の方法を用いて、「指さし飛行」アイコンを確認選択し、ＶＲメガネはユーザの選択命令に基づき、無人機を制御して指さし飛行モードに入らせ、このとき、ユーザインタフェースが「指さし飛行」制御インタフェースを呈し、図１Ａに示すように、ＶＲメガネのスクリーンに画像画面（無人機が撮影した画像画面など）を表示し、ユーザは再び、頭部が回動する、眼部が動く、５次元キーの上下左右ボタンをクリックする、ジョイスティックを回動する、タッチスクリーンにタッチしスライドするかまたはタッチパネルにタッチしスライドするなどの方式により、スクリーンでのカーソル１１の移動を制御し、ユーザが所望する目標点までカーソルが移動したときにこの目標点を決定選択し、ユーザが目標点を決定選択する方式と、ユーザがアイコンを決定選択する方式とが一致するが、ここでは無用な説明は繰り返さない。ＶＲメガネは、ユーザが選択した目標点の位置情報を無人機に送信することで、この目標点が指定する位置へ無人機を飛行させ、すなわち、ユーザが指さしたところへ無人機が飛行していくスマート飛行モードを実現する。
【００３４】
さらに、ＶＲメガネは、ユーザが目を回動させる方式に基づき、スクリーン上でのカーソルの移動を制御し、カーソルが「スマートトラッキング」アイコンまで移動したとき、ユーザは、タッチパネルをクリックするか、または、本発明が開示する、目標を確認する他の方法を用いて、「スマートトラッキング」アイコンを確認選択し、ＶＲメガネはユーザの選択命令に基づき、無人機を制御してスマートトラッキングモードに入らせ、このとき、ユーザインタフェースが「スマートトラッキング」制御インタフェースを呈し、図１Ｂに示すように、ＶＲメガネのスクリーンに、選定されるべきトラッキング目標１２が表示されており、ユーザはフレーム選択の方式によってこのトラッキング目標を選択することができ、フレーム選択プロセスは次のように実現することができる。頭部を回動することによりカーソルを制御して所要の矩形枠まで移動させるための起点位置は、図１Ｂに示すカーソル位置１３であり、５次元キーの確認ボタンを押下するか、もしくはタッチパネルをシングルクリックして起点を選定するか、または、本発明が開示する、目標を確認する他の方法を用い、さらに、同様の方式で、図１Ｂに示すカーソル位置１４のような終点を選定し、点線枠１５はフレーム選択プロセスにおける矩形枠を表す。
【００３５】
また、無人機のカメラ合焦モードの実現方式と指さし飛行モードの実現方式とは一致しており、ここでは無用な説明は繰り返さない。
【００３６】
本実施例は、無人機制御端末を介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、無人機制御端末は、ユーザの姿勢情報に基づき、カーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
【００３７】
本発明の実施例は、無人機の制御方法を提供する。図２は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図２に示すように、図１に示す実施例をベースに、本実施例における方法は以下を含むことができる。
【００３８】
ステップＳ２０１において、移動可能なマークを表示する。
【００３９】
ステップＳ２０１はステップＳ１０１と一致しており、ここでは無用な説明は繰り返さない。
【００４０】
ステップＳ２０２において、慣性測定ユニットが検知した前記ユーザ頭部のヨー角とピッチ角を取得する。
【００４１】
ＶＲメガネには慣性測定ユニット（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ、略称ＩＭＵ）が実装されており、ＩＭＵはＶＲメガネの位置と姿勢を検知することができ、ユーザがＶＲメガネを装着した後、ＶＲメガネはＩＭＵを介してユーザの姿勢情報を取得することができ、具体的には、ＩＭＵは、ユーザ頭部の姿勢情報を検知するために用いることができ、この姿勢情報は、ヨー角とピッチ角の少なくとも一種を含む。
【００４２】
ステップＳ２０３において、前記ヨー角と前記ピッチ角に基づき、スクリーン上での前記移動可能なマークの位置を判定する。
【００４３】
ユーザがＶＲメガネを装着した後、ＶＲメガネのスクリーンが地面に対して垂直である場合を例にすると、ユーザ頭部が左右に回動するとき、ＩＭＵはユーザ頭部のヨー角を検知することができ、ユーザ頭部が上下にピッチングするとき、ＩＭＵはユーザ頭部のピッチ角を検知することができる。ＶＲメガネは、ＩＭＵが検知したユーザ頭部のヨー角とピッチ角に基づき、スクリーン上での移動可能なマーク（カーソルなど）の位置を制御する。
【００４４】
ＶＲメガネが、ＩＭＵが検知したユーザ頭部のヨー角とピッチ角に基づき、スクリーン上での移動可能なマークの位置を制御することは、具体的には次のように実現することができる。前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し、そして、前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定する。任意には、ＶＲメガネは、ユーザ頭部の左右の回動に基づいて、カーソルを制御してスクリーンの水平方向において回動させ、ユーザ頭部のピッチング運動に基づき、カーソルを制御してスクリーンの垂直方向において回動させることができる。
【００４５】
図２Ａに示すように、点線枠１はＶＲメガネの平面図を表し、点線枠２はユーザ頭部の平面図を表し、点線枠３はユーザ頭部の回転方向を表し、点線枠４はＶＲメガネのスクリーンを表し、点線枠５はスクリーン上の移動可能なマークを表す。図２Ａに示すように、ユーザ頭部が左向きに回動すると、ＶＲメガネはカーソルを制御してスクリーンの水平方向において左向きに移動させ、カーソルがスクリーンの水平方向において左向きに移動した結果は、図２Ｂに示す通りである。
【００４６】
また、図２Ｃに示すように、ユーザ頭部が右向きに回動すると、ＶＲメガネがカーソルを制御してスクリーンの水平方向において右向きに移動させ、カーソルがスクリーンの水平方向において右向きに移動した結果は、図２Ｄに示す通りである。
【００４７】
図２Ｅに示すように、点線枠６はＶＲメガネの側面図を表し、点線枠７はユーザ頭部の側面図を表し、点線枠８はユーザ頭部の運動方向を表し、点線枠９はＶＲメガネのスクリーンを表し、点線枠１０はスクリーン上の移動可能なマークを表す。図２Ｅに示すように、ユーザ頭部が下向きに回動すると、ユーザ頭部がうつむいた状態になり、ＶＲメガネがカーソルを制御してスクリーンの垂直方向において下向きに移動させ、カーソルがスクリーンの垂直方向において下向きに移動した結果は、図２Ｆに示す通りである。
【００４８】
また、図２Ｇに示すように、ユーザ頭部が上向きに回動すると、ユーザ頭部が上方を向いた状態になり、ＶＲメガネがカーソルを制御してスクリーンの垂直方向において上向きに移動させ、カーソルがスクリーンの垂直方向において上向きに移動した結果は、図２Ｈに示す通りである。
【００４９】
具体的には、ＶＲメガネはヨー角に基づき、スクリーン上の水平方向におけるカーソルの座標を判定し、ピッチ角に基づき、スクリーン上の垂直方向におけるカーソルの座標を判定する。ＶＲメガネが前記ヨー角に基づき、前記スクリーン上の水平方向におけるカーソルの座標を判定することは、２種の方式によって実現することができ、ピッチ角に基づき、スクリーン上の垂直方向におけるカーソルの座標を判定することも２種の方式によって実現することができ、以下、２種の実現方式について具体的に詳述する。
【００５０】
方式１
前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定する。前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定する。
【００５１】
図２Ｉに示すように、ＶＲメガネのスクリーンの左下角を座標原点とし、原点を通る横向き矢印はＸ軸方向を表し、原点を通る縦向き矢印はＹ軸方向を表し、１１はカーソルを表し、ｘはスクリーン上のＸ軸におけるカーソル１１の座標を表し、ｙはスクリーン上のＹ軸におけるカーソル１１の座標を表し、具体的には下記の式（１）および（２）によって、スクリーン上でのカーソルの座標位置を判定する。
ｘ＝ｓｃｒｅｅｎＷ／２＋ｙａｗ×ｆａｃｔｏｒＸ          （１）
式中、ｘは、スクリーン上のＸ軸におけるカーソルの座標を表し、ｓｃｒｅｅｎＷは、スクリーンがＸ軸方向において含む画素の個数（スクリーンの幅）を表し、ｙａｗ角（ヨー角）は、ＩＭＵの１回のサンプリングで得られるユーザ頭部のヨー角を表し、定数ｆａｃｔｏｒＸは、スクリーンＸ軸方向の変換係数を表す。
ｙ＝ｓｃｒｅｅｎＨ／２＋ｐｉｔｃｈ×ｆａｃｔｏｒＹ          （２）
式中、ｙは、スクリーン上のＹ軸におけるカーソルの座標を表し、ｓｃｒｅｅｎＨは、スクリーンがＹ軸方向において含む画素の個数（スクリーンの長さ）を表し、ｐｉｔｃｈ角（ピッチ角）は、ＩＭＵの１回のサンプリングで得られるユーザ頭部のピッチ角を表し、定数ｆａｃｔｏｒＹは、スクリーンＹ軸方向の変換係数を表す。
【００５２】
式（１）と（２）に基づき、ＩＭＵが今回サンプリングして得られた｛ｙａｗ、ｐｉｔｃｈ｝方向の角度値が｛−３３、２１｝度であるとすれば、ｆａｃｔｏｒＸとｆａｃｔｏｒＹはいずれも−２０であり、スクリーンの解像度は１９２０×１０８０であり、すなわち、スクリーン上でのカーソルの座標は｛１６２０、１２０｝である。
【００５３】
方式２
前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定する。前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定する。具体的には下記の式（３）および（４）によって、スクリーン上でのカーソルの座標位置を判定する。
ｄｅｌｔａＸ＝ｄｅｌｔａＹａｗ×ｆａｃｔｏｒＸ          （３）
式中、ｄｅｌｔａＸは、スクリーンの水平方向におけるカーソルの座標ずれを表し、ｄｅｌｔａＹａｗは、ＩＭＵが今回集めたｙａｗ角（ヨー角）と、前回に集めたｙａｗ角との角度差を表し、定数ｆａｃｔｏｒＸは、スクリーンＸ軸方向の変換係数を表す。
ｄｅｌｔａＹ＝ｄｅｌｔａＰｉｔｃｈ×ｆａｃｔｏｒＹ          （４）
式中、ｄｅｌｔａＹは、スクリーンの垂直方向におけるカーソルの座標ずれを表し、ｄｅｌｔａＰｉｔｃｈは、ＩＭＵが今回集めたｐｉｔｃｈ角（ピッチ角）と前回に集めたｐｉｔｃｈ角との角度差を表し、定数ｆａｃｔｏｒＹは、スクリーンＹ軸方向の変換係数を表す。
【００５４】
また、他の実施例では、ｄｅｌｔａＹａｗは、ＩＭＵが任意の２回に集めたｙａｗ角の角度差であってもよく、ｄｅｌｔａＰｉｔｃｈは、ＩＭＵが任意の２回に集めたｐｉｔｃｈ角の角度差であってもよい。
【００５５】
ステップＳ２０４において、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択する。
【００５６】
ＶＲメガネは前記ステップに基づいてスクリーン上でのカーソルの座標位置を判定することができ、ユーザ頭部が左右に回動され、上下にピッチングされたとき、カーソルがスクリーン上で移動することができ、カーソルがスクリーン上で移動することによって、スクリーン上に表示される目標物体を選択することができる。
【００５７】
本実施例はＩＭＵによってユーザ頭部のヨー角とピッチ角を検知し、ＶＲメガネは、ヨー角に基づいてスクリーン上の水平方向でのカーソルの座標を判定し、ピッチ角に基づいてスクリーン上の垂直方向でのカーソルの座標を判定し、ユーザ頭部の運動情報を、スクリーン上でのカーソルの位置情報に正確に変換し、カーソル位置検出の精度を高めるとともに、ユーザが無人機を動作制御する精度も高めている。
【００５８】
本発明の実施例は、無人機の制御方法を提供する。図３は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図３に示すように、図２に示す実施例をベースに、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択する方法は、以下のステップによって実現することができる。
【００５９】
ステップＳ３０１において、前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにする。
【００６０】
上記実施例をベースに、ユーザ頭部が左右に回動したとき、カーソルを制御してスクリーンの水平方向において移動させることができ、ユーザ頭部が上下にピッチングするとき、カーソルを制御してスクリーンの垂直方向において移動させることができ、ＶＲメガネはユーザ頭部の左右の回動と上下のピッチングに基づき、スクリーン上でのカーソルの位置を調整することができる。
【００６１】
ＶＲメガネのスクリーン上にユーザインタフェースが表示されており、ユーザインタフェースが、例えば「指さし飛行」アイコン、「スマートトラッキング」アイコン、「カメラ合焦」アイコンなどの、無人機を制御するためのアイコンを備え、ＶＲメガネは、ユーザが選択したアイコンに基づいて無人機を制御し、このアイコンが対応するモードに入らせることができる。例えば、指さし飛行モードに入った後、ＶＲメガネのスクリーン上にマップレイヤまたは画像画面を表示し、ユーザは頭部の運動によって、カーソルがマップレイヤ上の目標点または画像画面上の目標物体の方を指すように、マップレイヤまたは画像画面上でのカーソルの位置を調整する。
【００６２】
ステップＳ３０２において、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信する。
【００６３】
カーソルが、マップレイヤ上の目標点または画像画面上の目標物体の方を指した後、ＶＲメガネは、ユーザが入力した選択命令を受信し、ユーザがマップレイヤ上の目標点または画像画面上の目標物体を確認選択したことを表す。
【００６４】
具体的には、ユーザが入力した、前記目標物体を選択するための選択命令をＶＲメガネが受信することは、以下のいくつかの方式によって実現することができる。
【００６５】
１）前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信する。カーソルが目標点または目標物体の方を指しているとき、ユーザは５次元キーの確認ボタンをクリックし、ＶＲメガネはユーザのクリック操作に基づき、ユーザが入力した、ユーザがスクリーン上の目標点または目標物体を確認選択したことを表す選択命令を受信する。
【００６６】
２）前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信する。タッチパネルはＶＲメガネのフレーム上に設けることができ、カーソルが目標点または目標物体の方を指しているとき、ユーザはタッチパネルをクリック（例えばシングルクリックまたはダブルクリック）し、ＶＲメガネは、ユーザがタッチパネルをクリックする操作に基づき、ユーザが入力した選択命令を受信する。
【００６７】
３）前記ユーザが目の動きによって入力した選択命令を受信する。本実施例では、ＶＲメガネに、ユーザの両目の動きと目の変化を検知するセンサ（アイトラッカなど）も取り付けられていてよく、カーソルが目標点または目標物体の方を指しているとき、ユーザは、目が所定の時間だけ回動を停止するかまたは目が連続してまばたきするなどの眼部情報によって、スクリーン上の目標点または目標物体を確認選択することを示すことができる。
【００６８】
４）前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信する。また、ＶＲメガネは、有線または無線の方式によってタッチスクリーンが外付けされていてもよく、ユーザは、タッチスクリーンを所定の時間だけ押圧するなどしてタッチスクリーンを操作することによって、スクリーン上の目標点または目標物体を確認選択することを示すことができる。タッチスクリーンがユーザのタッチ操作を検知した後、関連するタッチ操作を電気信号に変換し、電気信号をＶＲメガネに送信することで、ユーザが入力した選択命令を、ＶＲメガネに電気信号に基づいて判定させることができる。ユーザはタッチスクリーンをクリック（例えばシングルクリックまたはダブルクリック）することによって、スクリーン上の目標点または目標物体を確認選択することを示すこともできる。
【００６９】
５）前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択する。カーソルが目標点または目標物体の方を指しているとき、ユーザが頭部を動かさずに保持し、カーソルを目標点または目標物体上にとどめさせ、カーソルが目標点または目標物体上にとどまる時間が所定の時間（３秒、５秒など）に達したとき、ＶＲメガネは、ユーザがこの目標点または目標物体を選択したと判定する。
【００７０】
６）前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信する。また、ＶＲメガネのスクリーン上またはスクリーンの外にバーチャルボタンが表示されていてもよく、このバーチャルボタンは確認ボタンとしてもよい。
【００７１】
７）前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信する。例えば、前記ユーザが、前記ジョイスティック上の確認ボタンを押圧することで、スクリーン上の目標点または目標物体を確認選択することを示してもよい。
【００７２】
また、この選択命令はポイント選択であってよく、フレーム選択であってもよい。
【００７３】
本実施例はＶＲメガネを介し、ユーザ頭部の動きに基づいて、スクリーン上でのカーソルの位置を調整し、ユーザが所望する目標点または目標物体の方をカーソルが指すようにし、目標点または目標物体に対するポイント選択またはフレーム選択を実現することができ、ユーザがＶＲメガネを介してポイント選択またはフレーム選択の操作を行うことを実現しており、ＶＲメガネにタッチスクリーンが欠けているため、指さし飛行モード、スマートトラッキングモード、カメラ合焦など、タッチスクリーンを介して無人機を制御する制御方式を実現することができなくなる欠陥を補っている。
【００７４】
本発明の実施例は、無人機の制御方法を提供する。図４は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図４に示すように、上記いずれかの実施例をベースに、本実施例が提供する無人機の制御方法は、以下を含むことができる。
【００７５】
ステップＳ４０１において、前記無人機の状態情報を取得する。
【００７６】
本実施例は、無人機に複数の制御機器が対応しているとき、複数の制御機器が無人機を同時に制御する場面に用いるのに適している。ＶＲメガネ、スマート端末、スクリーン付きのリモートコントローラ、スマートブレスレットなどの装置はいずれも、無人機を制御する制御機器とすることができ、複数の制御機器が個別に無人機を制御することができるため、複数の制御機器が１つの無人機を同時に制御するとき、制御の混乱や相互干渉につながるおそれがある。例えば、ユーザＡがスマート端末を持っており、スマート端末を介して無人機を制御してスマートトラッキングモードに入らせ、ユーザＡがスマート端末のスクリーン上でトラッキング目標をフレーム選択した後、無人機がスマートトラッキングモードに入り、スマートトラッキング画面をスマート端末にリアルタイムで送信し、ユーザＡがスマート端末のスクリーンを介して、スマートトラッキング画面をリアルタイムで見る。ユーザＢはＶＲメガネを装着しており、このとき無人機がすでにスマートトラッキングモードにあることをユーザＢが知らず、やはりＶＲメガネを介して無人機を制御してスマートトラッキングモードに入らせれば、ユーザＡのスマート端末とユーザＢとスマート端末との間で制御矛盾が生じるおそれがあり、例えば、ユーザＡが見ているスマートトラッキング画面が終了され、このような問題が出現するのを避けるため、本実施例が提供する各々の制御機器は、飛行モード、カメラの設定情報、ビデオ再生情報などを含む無人機の状態情報をリアルタイムで、または周期的に取得する必要がある。
【００７７】
各々の制御機器は無人機の状態情報を能動的に取得することができ、無人機の状態情報を受動的に取得することもできる。無人機の状態情報を能動的に取得することは、次のように実現することができる。制御機器が無人機に状態情報取得要求を送信し、無人機は状態情報取得要求に基づき、その状態情報を制御機器に戻す。無人機の状態情報を受動的に取得することは、次のように実現することができる。無人機が放送方式でその状態情報を各々の制御機器に送信する。任意には、無人機が状態情報を周期的に放送する。無人機の状態情報を受動的に取得することは、次のように実現することもできる。１つの制御機器が無人機の状態情報を取得した後、この状態情報を他の制御機器に送信し、他の制御機器はこの無人機の状態情報を受動的に受信する。
【００７８】
ステップＳ４０２において、前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期する。
【００７９】
各々の制御機器が無人機の状態情報を取得した後、ローカルに記憶された前記無人機の状態情報を同期する。例えば、スマート端末のローカルに記憶された前記無人機のスマート飛行モードが「指さし飛行」であり、無人機の現在のスマート飛行モードが「スマートトラッキング」であれば、スマート端末は、ローカルに記憶された無人機のスマート飛行モードを「スマートトラッキング」に更新しなければならず、同時に、スマート端末が「スマートトラッキング」制御インタフェースに受動的に切り替えられることで、スマート端末を持つユーザに、すでに他の制御機器が、スマートトラッキングモードになるように無人機を配置していることを知らせる。
【００８０】
また、「指さし飛行」と「無人機端のビデオをリモート再生する」という状況も「スマートトラッキング」と類似しており、ここでは無用な説明は繰り返さない。
【００８１】
本実施例は、複数の制御機器によって無人機の状態情報をそれぞれ取得するとともに、無人機の状態情報に基づき、ローカルに記憶された無人機の状態情報を同期し、各々の制御機器が記憶している無人機の状態情報を無人機の現在の状態情報と一致させ、複数の制御機器が１つの無人機を同時に制御する際に制御の混乱や相互干渉が生じる現象を回避している。
【００８２】
本発明の実施例は頭部装着式表示メガネを提供する。本実施例が提供する頭部装着式表示メガネは、具体的に、上記方法の実施例における無人機制御端末であってよい。図５は、本発明の実施例が提供する頭部装着式表示メガネの構造図であり、図５に示すように、頭部装着式表示メガネ５０は１つまたは複数のプロセッサ５１およびスクリーン５２を備え、スクリーン５２は、移動可能なマークを表示するために用いられ、１つまたは複数のプロセッサ５１は、ユーザの入力情報を取得するために用いられ、前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御する。
【００８３】
具体的には、前記１つまたは複数のプロセッサは、マイクロプロセッサ（英語：ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）、縮小命令セットコンピュータ（英語：ｒｅｄｕｃｅｄ  ｉｎｓｔｒｕｃｔｉｏｎ  ｓｅｔ  ｃｏｍｐｕｔｅｒ、略称：ＲＩＳＣ）、特定用途向け集積回路（英語：ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ、略称：ＡＳＩＣ）、特定用途向け命令セットプロセッサ（英語：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｓｔｒｕｃｔｉｏｎ−ｓｅｔ  ｐｒｏｃｅｓｓｏｒ、略称：ＡＳＩＰ）、中央処理装置（英語：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、略称：ＣＰＵ）、物理プロセッサ（英語：ｐｈｙｓｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、略称：ＰＰＵ）、デジタル信号プロセッサ（英語：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ、略称：ＤＳＰ）、フィールドプログラマブルゲートアレイ（英語：ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ、略称：ＦＰＧＡ）などを含むことができるが、これらのみに限定されない。
【００８４】
いくつかの実施例では、前記頭部装着式表示メガネは、ＶＲメガネ、またはＶＲゴーグルなどを含むことができる。
【００８５】
本実施例では、前記入力情報は前記ユーザの姿勢情報である。もしくは、前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報である。
【００８６】
前記入力装置は、５次元キー、ジョイスティック、タッチパネル、タッチスクリーンまたはバーチャルボタンの少なくとも１種を含む。
【００８７】
前記姿勢情報は、ヨー角とピッチ角の少なくとも１種を含む。
【００８８】
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図１に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
【００８９】
本実施例は、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
【００９０】
本発明の実施例は頭部装着式表示メガネを提供する。図６は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図６に示すように、図５をベースに、頭部装着式表示メガネ５０は、前記ユーザ頭部のヨー角とピッチ角を検知するとともに、前記ユーザ頭部のヨー角とピッチ角を前記１つまたは複数のプロセッサ５１に送信するための、前記１つまたは複数のプロセッサ５１に接続される慣性測定ユニット５３をさらに備える。
【００９１】
１つまたは複数のプロセッサ５１は、前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定し、そして、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択するために用いられる。
【００９２】
具体的には、１つまたは複数のプロセッサ５１は、前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し、そして、前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するために用いられる。
【００９３】
任意には、１つまたは複数のプロセッサ５１は、前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定し、前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定するために用いられる。
【００９４】
もしくは、１つまたは複数のプロセッサ５１は、前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定し、そして、前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定する。
【００９５】
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図２に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
【００９６】
本実施例はＩＭＵによってユーザ頭部のヨー角とピッチ角を検知し、前記１つまたは複数のプロセッサは、ヨー角に基づいてスクリーン上の水平方向でのカーソルの座標を判定し、ピッチ角に基づいてスクリーン上の垂直方向でのカーソルの座標を判定し、ユーザ頭部の運動情報を、スクリーン上でのカーソルの位置情報に正確に変換し、カーソル位置検出の精度を高めるとともに、ユーザが無人機を動作制御する精度も高めている。
【００９７】
本発明の実施例は頭部装着式表示メガネを提供する。図７は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図７に示すように、図６をベースに、１つまたは複数のプロセッサ５１は、前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにするために用いられ、頭部装着式表示メガネ５０は、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信するための、前記１つまたは複数のプロセッサ５１に接続される受信ユニット５４をさらに備える。
【００９８】
任意には、受信ユニット５４は、前記ユーザが入力した前記目標物体を選択するための選択命令を受信するために用いられ、前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザが目の動きによって入力した選択命令を受信すること、もしくは、前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信すること、もしくは、前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択すること、もしくは、前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザがジョイスティックを制御することによって入力した選択命令を受信すること、を含む。
【００９９】
また、頭部装着式表示メガネ５０は、前記１つまたは複数のプロセッサ５１に接続される眼部センサ５５をさらに含み、眼部センサ５５は、前記ユーザの目の運動情報を検知するとともに、前記運動情報を前記１つまたは複数のプロセッサ５１を送信するために用いられ、１つまたは複数のプロセッサ５１は、前記運動情報に基づき、前記選択命令を判定するために用いられる。
【０１００】
前記選択命令はポイント選択またはフレーム選択を含む。
【０１０１】
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図３に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
【０１０２】
本実施例はＶＲメガネを介し、ユーザ頭部の動きに基づいて、スクリーン上でのカーソルの位置を調整し、ユーザが所望する目標点または目標物体の方をカーソルが指すようにし、目標点または目標物体に対するポイント選択またはフレーム選択を実現することができ、ユーザがＶＲメガネを介してポイント選択またはフレーム選択の操作を行うことを実現しており、ＶＲメガネにタッチスクリーンが欠けているため、指さし飛行モード、スマートトラッキングモード、カメラ合焦など、タッチスクリーンを介して無人機を制御する制御方式を実現することができなくなる欠陥を補っている。
【０１０３】
本発明の実施例は頭部装着式表示メガネを提供する。図８は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図８に示すように、上記いずれかの頭部装着式表示メガネの実施例をベースに、図７に示す実施例を例にすると、１つまたは複数のプロセッサ５１がさらに、前記無人機の状態情報を取得し、そして、前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期するために用いられる。
【０１０４】
また、頭部装着式表示メガネ５１は、前記１つまたは複数のプロセッサ５１に接続される送信ユニット５６をさらに含み、送信ユニット５６は前記無人機に状態情報取得要求を送信するために用いられ、受信ユニット５４はさらに、前記無人機が送信する状態情報を受信するために用いられる。
【０１０５】
もしくは、受信ユニット５４はさらに、前記無人機が放送する状態情報を受信するために用いられる。
【０１０６】
もしくは、受信ユニット５４はさらに、他の無人機制御端末が送信する前記無人機の状態情報を受信するために用いられ、前記他の無人機制御端末は、前記無人機を制御するとともに、前記無人機が放送する状態情報を受信するために用いられる。
【０１０７】
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図４に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
【０１０８】
本実施例は、複数の制御機器によって無人機の状態情報をそれぞれ取得するとともに、無人機の状態情報に基づき、ローカルに記憶された無人機の状態情報を同期し、各々の制御機器が記憶している無人機の状態情報を無人機の現在の状態情報と一致させ、複数の制御機器が１つの無人機を同時に制御する際に制御の混乱や相互干渉が生じる現象を回避している。
【０１０９】
本発明の実施例は無人機制御システムを提供する。本実施例が提供する無人機制御システムは、無人機と、上記実施例に記載の頭部装着式表示メガネとを含み、前記頭部装着式表示メガネは、前記無人機を制御するために用いられる。
【０１１０】
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも上記実施例と類似しており、ここでは無用な説明は繰り返さない。
【０１１１】
本実施例は、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
【０１１２】
本発明が提供するいくつかの実施例では、開示された装置および方法は、他の方式によって実現可能であることを理解しなければならない。例えば、以上に記述された装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は、論理的機能区分であるに過ぎず、実際に実現する際には他の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合してもよいか、もしくは、他のシステムに一体化してもよく、または、いくつかの特徴は無視してもよく、または実行しなくてもよい。なお、表示または検討される相互の間の結合または直接的な結合または通信接続は、いくつかのインタフェース、装置またはユニットを介した間接的な結合または通信接続であってよく、電気的、機械的または他の形式であってよい。
【０１１３】
上記の、分離部材として説明されるユニットは、物理的に分離されたものであってもなくてもよく、ユニットとして表示される部材は物理ユニットであってもなくてもよく、すなわち、１つの場所に位置していてもよいか、もしくは、複数のネットワークユニット上に分布していてもよい。実際のニーズに基づいて、そのうちの一部もしくはすべてのユニットを選択することにより本実施例の案の目的を達成することができる。
【０１１４】
また、本発明の各々の実施例における各機能ユニットが１つの処理装置に一体化されてもよく、各々のユニットが個別に物理的に存在していてもよく、２つまたは２つ以上のユニットが１つのユニットに一体化されてもよい。上記一体化されたユニットは、ハードウェアの形で実現することができ、ハードウェアにソフトウェア機能ユニットを加える形で実現することもできる。
【０１１５】
上記の、ソフトウェア機能ユニットの形で実現される一体化されたユニットは、１つのコンピュータ可読記憶媒体に記憶することができる。上記ソフトウェア機能ユニットは１つの記憶媒体に記憶され、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、もしくはネットワーク装置などであってよい）またはプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各々の実施例に記載の方法の一部のステップを実行させるためのいくつかの命令を含む。そして、前記記憶媒体は、ＵＳＢメモリ、外付けハードディスクドライブ、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクもしくは光ディスクなどの、プラグラムコードを記憶可能な各種媒体を含む。
【０１１６】
記述を容易にし、簡潔にするため、上記の各機能モジュールの区分で例を挙げて説明したが、実際の応用では、必要に応じて、上記機能の割り当てを、異なる機能モジュールにより遂行してもよく、すなわち、装置の内部構造を異なる機能モジュールに区分することで、上述のすべてのもしくは一部の機能を遂行してもよいことを、当業者は明確に理解することができる。上述の装置の動作プロセスについては、前記方法の実施例における対応するプロセスを参照することができ、ここでは無用な説明は繰り返さない。
【０１１７】
最後に説明しなければならないのは、以上の各実施例は、本発明の技術案を説明するために用いられるに過ぎず、それを限定するものではなく、前記各実施例を参照して本発明について詳しく説明したが、依然として、前記各実施例に記載の技術案を修正するか、もしくは、そのうち一部もしくはすべての技術的特徴について均等物による置き換えを行うことができ、そして、これらの修正もしくは置き換えは、相応の技術案の本質を本発明の各実施例の技術案の範囲から逸脱させないことを当業者は理解しなければならないという点である。
【符号の説明】
【０１１８】
１  ＶＲメガネの平面図
２  ユーザ頭部の平面図
３  ユーザ頭部の回転方向
４  ＶＲメガネのスクリーン
５  移動可能なマーク
６  ＶＲメガネの側面図
７  ユーザ頭部の側面図
８  ユーザ頭部の運動方向
９  ＶＲメガネのスクリーン
１０  移動可能なマーク
１１  カーソル
１２  トラッキング目標
１３  カーソル位置
１４  カーソル位置
１５  矩形枠
５０  頭部装着式表示メガネ
５１  プロセッサ
５２  スクリーン
５３  慣性測定ユニット
５４  受信ユニット
５５  眼部センサ
５６  送信ユニット
【図１】
0006851470.tif 000002
【図１Ａ】
0006851470.tif 000003
【図１Ｂ】
0006851470.tif 000004
【図２】
0006851470.tif 000005
【図２Ａ】
0006851470.tif 000006
【図２Ｂ】
0006851470.tif 000007
【図２Ｃ】
0006851470.tif 000008
【図２Ｄ】
0006851470.tif 000009
【図２Ｅ】
0006851470.tif 000010
【図２Ｆ】
0006851470.tif 000011
【図２Ｇ】
0006851470.tif 000012
【図２Ｈ】
0006851470.tif 000013
【図２Ｉ】
0006851470.tif 000014
【図３】
0006851470.tif 000015
【図４】
0006851470.tif 000016
【図５】
0006851470.tif 000017
【図６】
0006851470.tif 000018
【図７】
0006851470.tif 000019
【図８】
0006851470.tif 000020