(57)【要約】  仮想世界に表示された物体の位置は、物理環境における対応する物理物体のユーザ制御位置から特定される。物理物体の位置は、物理環境において十分なマーカが利用可能である場合、物理環境におけるそのようなマーカを使用してフィックスされるが、十分なマーカが利用可能ではない場合、補助ナビゲーションシステムを用いてフィックスされ、又は両方を用いてフィックスされる。相対的な位置フィックス及び絶対的な位置フィックスは両方とも、いかなる対応する仮想世界からも独立して光学的に実行することもできる。
2021518953.tif 000002
【特許請求の範囲】
【請求項１】
仮想環境において移動中の仮想物体に対応する、物理環境における物理物体をナビゲートする方法であって、
Ａ）前記物理物体が、少なくとも１つの物理マーカが前記物理物体に搭載された少なくとも１つの撮像デバイスの視野内にある第１の位置にある場合、
ｉ）前記少なくとも１つの物理マーカの画像を取得することと、
ｉｉ）前記少なくとも１つの物理マーカの前記取得された画像の評価に基づいて、前記物理環境における前記物理物体の物理的位置を特定することと、
ｉｉｉ）前記物理環境における前記物理物体の前記特定された物理的位置に対応する、前記仮想物体の前記仮想環境内の仮想位置を特定することと、
Ｂ）前記物理物体が、所定数以下の前記物理マーカが前記視野内にある第２の位置にある場合、
ｉ）前記物理物体の補助位置システムを使用して前記物理物体の前記物理的位置を推定することであって、前記補助位置システムは、前記物理マーカへの光学参照から独立して動作する、推定することと、
ｉｉ）前記推定された物理的位置に対応する、前記仮想物体の前記仮想環境内の推定された仮想位置を特定することと
を含む、方法。
【請求項２】
前記撮像デバイスの特性に相対した前記物理マーカのそれぞれの撮像されたサイズの関数として、前記物理物体から前記撮像された物理マーカのそれぞれへの物理的距離を特定することと、
前記特定された物理的距離の関数として前記物理的位置を特定することと
を更に含む、請求項１に記載の方法。
【請求項３】
各物理マーカは、少なくとも１つの寸法において所定のサイズをそれぞれ有する、請求項２に記載の方法。
【請求項４】
前記物理マーカの少なくとも１つに、少なくとも１つの寸法における所定のサイズ、前記物理環境内の位置、及び対応するディスプレイ特徴のタイプから成る群から選ばれた少なくとも１つの特性を示す光学的解釈可能な符号化を提供することを更に含む、請求項２に記載の方法。
【請求項５】
撮像された各物理マーカの前記取得された画像の前記評価は、前記少なくとも１つの寸法において取得された各画像の撮像されたサイズを前記撮像デバイス内の参照と比較することを含む、請求項３に記載の方法。
【請求項６】
前記物理マーカの少なくとも１つは、少なくとも２つの寸法において所定のサイズを有し、
撮像された各物理マーカの前記取得された画像の前記評価は、少なくとも２つの寸法において取得された各画像の撮像されたサイズを前記撮像デバイス内の少なくとも１つの参照のそれぞれと比較することを含む、請求項３に記載の方法。
【請求項７】
異なるスケーリング係数を前記物理マーカの異なる物理マーカに関連付けることを更に含み、互いに対する前記異なる仮想物体のそれぞれの前記推定された仮想位置を特定することは、前記スケーリング係数のそれぞれの関数として調整可能である、請求項２に記載の方法。
【請求項８】
ディスプレイにおいて、前記物理環境における前記物理物体の前記特定された物理的位置に対応する前記仮想環境内の特定された仮想位置において前記仮想物体の画像を生成することを更に含む、請求項１に記載の方法。
【請求項９】
前記物理マーカの少なくとも１つを前記ディスプレイに表示される対応する仮想特徴に関連付けることを更に含む、請求項８に記載の方法。
【請求項１０】
前記物理マーカの少なくとも１つに対応する、前記特定された仮想位置を参照した特徴位置を有する、前記ディスプレイ内に表示される少なくとも１つの移動中の仮想特徴の移動画像を生成することを更に含む、請求項９に記載の方法。
【請求項１１】
前記ディスプレイは仮想現実ヘッドセットに含まれる、請求項８に記載の方法。
【請求項１２】
前記補助位置システムは累積誤差を有する、請求項１に記載の方法。
【請求項１３】
前記物理物体が前記第２の位置から前記第１の位置に移動する場合、前記累積誤差から累積誤差量を推定することを更に含む、請求項１２に記載の方法。
【請求項１４】
前記物理物体が前記第２の位置から前記第１の位置に遷移する場合、前記物理物体が前記第２の位置にあった前記仮想環境の推定状態から、前記物理物体が前記第１の位置にあった対応する前記仮想環境の現在状態に遷移する仮想環境を表示することを更に含む、請求項１３に記載の方法。
【請求項１５】
前記推定された累積誤差量に対応する補正を前記補助位置システムに適用することを更に含む、請求項１３に記載の方法。
【請求項１６】
前記物理物体が前記第１の位置から前記第２の位置に遷移する場合、遷移位置に対応するロケーションパラメータを用いて前記補助位置システムを初期化することを更に含む、請求項１２に記載の方法。
【請求項１７】
前記補助位置システムは慣性測定ユニットである、請求項１に記載の方法。
【請求項１８】
前記物理物体は、前記仮想環境における前記仮想物体の前記仮想位置に従ってユーザにより操作される、請求項１に記載の方法。
【請求項１９】
前記物理環境におけるユーザ制御物理物体の前記物理的位置に基づいて、前記仮想環境に表示するイベントを生成することを更に含む、請求項１に記載の方法。
【請求項２０】
前記物理物体の前記第１の位置及び前記第２の位置は、前記撮像デバイスの角度方向に依存する、請求項１に記載の方法。
【請求項２１】
無人航空機（ＵＡＶ）を操作する方法であって、
前記ＵＡＶに搭載されたカメラを介して、少なくとも１つの物理物体の画像を取得することと、
前記取得された各画像に基づいて、前記ＵＡＶから前記少なくとも１つの物理物体への各位置パラメータを測定することと、
前記取得された画像に基づく飛行軌道を自律的に辿り、前記測定された位置パラメータに対応する前記ＵＡＶを位置決めすることと
を含む、方法。
【請求項２２】
前記飛行軌道はフィックス位置である、請求項２１に記載の方法。
【請求項２３】
前記飛行軌道は周回軌道である、請求項２１に記載の方法。
【請求項２４】
ステーション維持コマンドを検知することを更に含む、請求項２２に記載の方法。
【請求項２５】
現在画像ビューにおいて、前記少なくとも１つの物理物体に対応する少なくとも１つの撮像された物体を識別することと、
前記少なくとも１つの撮像された物体の画像特性を測定することと、
前記ＵＡＶ内で、ＵＡＶ飛行を自律的に制御して、前記対応する少なくとも１つの撮像された物体のそれぞれの前記画像特性を実質的に一貫して維持することにより、前記少なくとも１つの物理物体に相対してステーションを維持することと
を更に含む、請求項２４に記載の方法。
【請求項２６】
前記ＵＡＶ内で、前記少なくとも１つの物理物体を自律的に選択することを更に含む、請求項２５に記載の方法。
【請求項２７】
静的構造物に特徴的な地理的特徴を識別することにより、前記少なくとも１つの撮像された物体を識別することを含む、請求項２６に記載の方法。
【請求項２８】
前記フィックス位置は移動物体に相対して特定される、請求項２５に記載の方法。
【請求項２９】
前記移動物体は第２のＵＡＶである、請求項２８に記載の方法。
【請求項３０】
前記ＵＡＶ及び前記第２のＵＡＶから地域の第１の画像及び第２の画像をそれぞれ取得することと、
前記第１の画像及び前記第２の画像から前記地域の立体撮像データをコンパイルすることと
を更に含む、請求項２９に記載の方法。
【請求項３１】
ユーザから標的選択データを受信することを更に含み、前記標的選択データは、前記少なくとも１つの物理物体を識別する、請求項２５に記載の方法。
【請求項３２】
各画像特性は、距離及び方角からなる群から選択される、請求項２５に記載の方法。
【請求項３３】
前記飛行軌道は非静的である、請求項２１に記載の方法。
【請求項３４】
前記位置パラメータは距離推定値である、請求項２１に記載の方法。
【請求項３５】
前記位置パラメータは方角である、請求項２１に記載の方法。
【請求項３６】
前記ＵＡＶは、前記位置パラメータを自律的に測定する、請求項２１に記載の方法。
【請求項３７】
物理環境におけるユーザ制御の物理物体に対応する仮想環境における仮想物体を操作するシステムであって、
前記物理環境における前記物理物体をユーザが操作できるようにするコントローラと、
前記物理物体に含まれ、少なくとも１つの物理マーカが視野内にある前記物理環境における第１の位置に前記物理物体がある場合、前記少なくとも１つの物理マーカの画像を取得するために提供される撮像デバイスと、
前記少なくとも１つの物理マーカの前記取得された画像の評価に基づいて、前記物理環境における前記物理物体の物理的位置を特定するために提供される画像ベースの位置決めモジュールと、
所定数以下の前記物理マーカが前記視野内にある第２の位置に前記物理物体がある場合、前記物理物体の前記物理的位置を特定するために提供される補助位置システムであって、前記補助位置システムは、前記物理マーカへの光学参照から独立して動作する、補助位置システムと、
前記物理環境における前記物理物体の前記特定された物理的位置に対応する、前記仮想物体の前記仮想環境内の仮想位置を特定するために提供されるシナリオ処理モジュールと、
前記特定された物理的位置に対応する表示位置に前記仮想物体を表示するディスプレイと
を備える、システム。
【請求項３８】
前記補助位置システムは、
前記撮像デバイスの特性に相対した前記物理マーカのそれぞれの撮像されたサイズの関数として、前記物理物体から前記撮像された物理マーカのそれぞれへの物理的距離を特定するため、及び
前記特定された物理的距離の関数として前記物理的位置を特定するため
に更に提供される、請求項３７に記載のシステム。
【請求項３９】
各物理マーカは、少なくとも１つの寸法において所定のサイズをそれぞれ有する、請求項３８に記載のシステム。
【請求項４０】
前記物理マーカの少なくとも１つに、少なくとも１つの寸法における所定のサイズ、前記物理環境内の位置、及び対応するディスプレイ特徴のタイプから成る群から選ばれた少なくとも１つの特性を示す光学的解釈可能な符号化が提供される、請求項３８に記載のシステム。
【請求項４１】
前記画像ベースの位置決めモジュールは、前記少なくとも１つの寸法において取得された各画像の撮像されたサイズを前記撮像デバイス内の参照と比較するために更に提供される、請求項３９に記載のシステム。
【請求項４２】
前記物理マーカの少なくとも１つは、少なくとも２つの寸法において所定のサイズを有し、
前記画像ベースの位置決めモジュールは、前記少なくとも２つの寸法において取得された各画像の撮像されたサイズを前記撮像デバイス内の少なくとも１つの基準のそれぞれと比較するために更に提供される、請求項３９に記載のシステム。
【請求項４３】
前記シナリオ処理モジュールは、異なるスケーリング係数を前記物理マーカの異なる物理マーカに適用するために提供され、それにより、前記ディスプレイのアスペクト比は前記物理環境の寸法と相対して調整可能である、請求項３８に記載のシステム。
【請求項４４】
前記シナリオ処理モジュールは、前記物理マーカの少なくとも１つを前記ディスプレイに表示される対応する仮想特徴に関連付けるために更に提供される、請求項３７に記載のシステム。
【請求項４５】
前記シナリオ処理モジュールは、前記物理マーカの少なくとも１つに対応する、前記特定された仮想位置を参照した特徴位置を有する、前記ディスプレイ内に表示される少なくとも１つの移動中の仮想特徴の移動画像を生成するために更に提供される、請求項４４に記載のシステム。
【請求項４６】
前記ディスプレイは仮想現実ヘッドセットに含まれる、請求項３７に記載のシステム。
【請求項４７】
前記補助位置システムは累積誤差を有する、請求項３７に記載のシステム。
【請求項４８】
前記補助位置システムは、前記物理物体が前記第２の位置から前記第１の位置に移動する場合、前記累積誤差から累積誤差量を推定するために更に提供される、請求項４７に記載のシステム。
【請求項４９】
前記シナリオ処理モジュールは、前記物理物体が前記第２の位置から前記第１の位置に遷移する場合、前記物理物体が前記第２の位置にあった前記仮想環境の推定状態から、前記物理物体が前記第１の位置にあった対応する前記仮想環境の現在状態に遷移する仮想環境を表示するために提供される、請求項４８に記載のシステム。
【請求項５０】
前記補助位置システムは、前記推定された累積誤差量に対応する補正を前記補助位置システムに適用するために提供される、請求項４８に記載のシステム。
【請求項５１】
前記物理物体が前記第１の位置から前記第２の位置に遷移する場合、前記補助位置システムは、遷移位置に対応するロケーションパラメータを用いて初期化される、請求項４７に記載のシステム。
【請求項５２】
前記補助位置システムは慣性測定ユニットである、請求項３７に記載のシステム。
【請求項５３】
前記物理物体は、前記仮想環境における前記仮想物体の前記仮想位置に従ってユーザにより操作される、請求項３７に記載のシステム。
【請求項５４】
前記シナリオ処理モジュールは、前記物理環境における前記ユーザ制御の物理物体の前記物理的位置に基づいて、前記仮想環境にイベントを生成するために更に提供される、請求項３７に記載のシステム。
【請求項５５】
前記物理物体の前記第１の位置及び前記第２の位置は、前記撮像デバイスの角度方向に依存する、請求項３７に記載のシステム。
【請求項５６】
無人航空機（ＵＡＶ）を操作するシステムであって、
少なくとも１つの物理物体の画像を取得するために提供される、前記ＵＡＶに搭載されたカメラと、
前記取得された画像のそれぞれに基づいて、前記ＵＡＶから前記少なくとも１つの物理物体までの各位置パラメータを測定する画像処理モジュールと、
前記取得された画像に基づいて飛行軌道を自律的に辿り、前記測定された位置パラメータに対応する前記ＵＡＶを位置決めするために提供される飛行制御システムと
を備える、システム。
【請求項５７】
前記飛行軌道はフィックス位置である、請求項５６に記載のシステム。
【請求項５８】
前記飛行軌道は周回軌道である、請求項５６に記載のシステム。
【請求項５９】
前記飛行制御システムは、ステーション維持コマンドを検知するために提供される、請求項５７に記載のシステム。
【請求項６０】
前記画像処理モジュールは、現在画像ビューにおいて、前記少なくとも１つの物理物体に対応する少なくとも１つの撮像された物体を識別するため及び前記少なくとも１つの撮像された物体の画像特性を測定するために提供され、
前記飛行制御システムは、前記ＵＡＶ内で、ＵＡＶ飛行を自律的に制御して、前記対応する少なくとも１つの撮像された物体のそれぞれの前記画像特性を実質的に一貫して維持することにより、前記少なくとも１つの物理物体に相対してステーションを維持するために提供される、請求項５９に記載のシステム。
【請求項６１】
前記画像処理モジュールは、前記ＵＡＶ内で、前記少なくとも１つの物理物体を自律的に選択するために提供される、請求項６０に記載のシステム。
【請求項６２】
前記画像処理モジュールは、静的構造物に特徴的な地理的特徴を識別することにより、前記少なくとも１つの撮像された物体を識別するために提供される、請求項６１に記載のシステム。
【請求項６３】
前記フィックス位置は移動物体に相対して特定される、請求項６０に記載のシステム。
【請求項６４】
前記移動物体は第２のＵＡＶである、請求項６３に記載のシステム。
【請求項６５】
前記画像処理モジュールは、前記ＵＡＶ及び前記第２のＵＡＶから地域の第１の画像及び第２の画像をそれぞれ取得し、
前記第１の画像及び前記第２の画像から前記地域の立体撮像データをコンパイルするために提供される、請求項６４に記載のシステム。
【請求項６６】
ユーザから標的選択データを受信するために提供されるＩ／Ｏモジュールを更に備え、前記標的選択データは前記少なくとも１つの物理物体を識別する、請求項６０に記載のシステム。
【請求項６７】
各画像特性は、距離及び方角からなる群から選択される、請求項６０に記載のシステム。
【請求項６８】
前記飛行軌道は非静的である、請求項５６に記載のシステム。
【請求項６９】
前記位置パラメータは距離推定値である、請求項５６に記載のシステム。
【請求項７０】
前記位置パラメータは方角である方角測定デバイスを更に備える、請求項５６に記載のシステム。
【請求項７１】
前記ＵＡＶは、前記位置パラメータを自律的に測定する、請求項５６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解釈により移動物体の位置を特定するシステム及び方法に関する。
【背景技術】
【０００２】
リモートであれ「仮想的」であれ、ますます人々はイベントや物事を何らかの形態のディスプレイで見るようになっている。純粋に「仮想現実（ＶＲ）」の場合、閲覧者が見るシーンは必ずしも、いかなる物理世界にも対応する必要がなく、物理法則が必ずしも当てはまるわけではないため、表示された物体の位置は完全にソフトウェア制御下にある。例えば、純粋にソフトウェア生成の仮想世界では、仮想の馬が翼を生やして空中を飛び、人が固体の壁を通り抜けることを妨げるものは何もない。
【０００３】
他の状況では、意図的又は必然的に、表示された「世界」は少なくとも部分的に物理的な現実により制約される。例えば、表示されたシーンが物理世界で生じた何かに対応する場合、重力等の物理学の基本法則に従うこともあり、又は従わなければならない。幾つかのそのような状況では、表示された世界は、表示された世界におけるロケーションが物理物体の実際のロケーションに対応すべきである少なくとも１つの表示された物体を含む。その場合、物理物体のロケーションを特定する何らかの方法が必要とされる。幾つかの場合、物理物体に搭載される高精度の高価な位置特定システムを使用することは、非実用的である、コストがかかりすぎる、複雑すぎる、又は他の点で実現不可能である。その場合、問題は物理環境におけるロケーション誤差が蓄積されることが往々にしてあり得、物理と仮想との対応性が、許容可能なもの又は望ましいものを超えて低下することである。
【発明の概要】
【課題を解決するための手段】
【０００４】
ＶＲ世界が表示されない場合であっても、撮像技法を使用して、移動する物理物体の位置を特定することに関しては、常に改善の必要性がある。
【図面の簡単な説明】
【０００５】
【図１Ａ】物体までの距離を光学的に測定し得る方法を示す。
【図１Ｂ】物体までの距離を光学的に測定し得る方法を示す。
【図２】少なくとも１つのユーザ制御物体（ＵＣＯ）が操作される物理環境に対応する、表示された仮想環境の一例を示す。
【図３】ＵＣＯ及びそのコントローラの主要なハードウェア構成要素及びソフトウェア構成要素を示す。
【図４】可能な場合には光学的に、しかし可能ではない場合には補助ナビゲーションシステムを使用して、ＵＣＯの位置をいかにフィックスし得るかをまとめたフローチャートである。
【図５】光学距離特定を使用した無人航空機（ＵＡＶ）の位置特定を示す。
【図６】相対位置維持に光学距離特定を使用している２機のＵＡＶのフォーメーション飛行を示す。
【発明を実施するための形態】
【０００６】
図１Ａは、レンズ２０によりセンサ面、すなわち、「スクリーン」３０に撮像された物体１０を簡略化した形態で示す。ここで、「物体」とは、物理的物品それ自体、又は物理的物品上の何らかのマーク若しくは物理的物品上に作られた何らかの画像であり得る。
【０００７】
示されるように、方向ｚにおける物体の高さ（すなわち、「幅」又は「対角線」と全く同様であることができる何らかの既知の方向における線形の広がり）は、ｈｏｂｊｅｃｔとして与えられ、これはレンズから距離（ｘ方向における）ｄｏｂｊｅｃｔのところにある。レンズからの画像の距離及びその撮像される高さはそれぞれｄｉｍａｇｅ及びｈｉｍａｇｅである。一方ではｈｏｂｊｅｃｔとｄｏｂｊｅｃｔとの関係及び他方ではｈｉｍａｇｅとｄｉｍａｇｅとの関係は、レンズ２０のタイプ（例えば、厚さ及び凸度）、焦点距離、並びに倍率に依存し、周知のレンズ及び倍率の方程式を使用して特定することができる。しかしながら、重要な点は、レンズ特性ｈｏｂｊｅｃｔ、ｈｉｍａｇｅ、及びｄｉｍａｇｅを所与として、既知の公式を使用してｄｏｂｊｅｃｔを計算することができることである。
【０００８】
デジタルカメラでは、スクリーン３０は通常、ピクセルの既知のパターンとして配置される電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）デバイス等である。単位距離当たりのピクセル数は、任意の特定の方向において既知である。通常、ピクセル密度は異なる直交方向で同じであるが、これは必須ではない。この考察に関連するのは単に、センサ面で検知された任意に画像について、任意の方向におけるそのサイズが、ピクセル単位で計算することができ、したがって、ピクセル単位の画像高さｈｐｉｘｅｌが、ｈｉｍａｇｅが表現される単位が何であれ、画像高さの既知の関数であることである。手短に言えば、ｈｐｉｘｅｌ＝ｆ（ｈｉｍａｇｅ）であり、ｆは先験的に既知である。さらに、ｈｏｂｊｅｃｔが既知である場合、レンズ特性及びｄｉｍａｇｅも同様であり、ｈｐｉｘｅｌ＝ｇ（ｄｏｂｊｅｃｔ）であり、式中、関数ｇは事前に特定することができる。逆に、ｄｏｂｊｅｃｔ＝ｇ−１（ｈｐｉｘｅｌ）であり、関数ｇ−１も事前に特定することができる。
【０００９】
方向に関係なく、ｈｏｂｊｅｃｔとｈｉｍａｇｅとの間には関数関係があるため、他の要因が同じままで、オブジェクト１０等の面積とその撮像される面積との間にも同様の関数関係がある。したがって、物体１０の所与の面積について、対応する画像が含むピクセル数を特定することもできる。倍率が変わりない場合、物体１０がレンズ２０から遠くに移動する程、スクリーン３０に現れる物体の各部分及びその面積は小さくなる。
【００１０】
垂直（ｚ方向）の広がりでは、物体及びレンズの仮定される動きは、ｘ−ｙ平面に制約され、距離ｄｏｂｊｅｃｔは、レンズが配置される半径（物体がいかに薄く規則正しいかに依存する）を表す。ここで、同じ場所になく、それぞれが既知の高さ（又は幅、又は角度寸法等）を有する２つの物体があると仮定する。上記技法を使用して、レンズは２つの対応する円の２つの交点の１つになければならないように、各物体までの距離（すなわち、各物体からの半径）を特定することができる。第３の同じ場所にない物体までの距離が特定される場合、交点の曖昧さは解消され、「フィックス」、すなわち、レンズを配置しなければならない一点を有する。（当然ながら、実際には、「フィックス」が、可能なロケーションの地域であるような測定誤差があり得、これは、より多くの物体への距離を測定し、測定精度を高めることにより小さくすることができる。）
【００１１】
レンズ（すなわち、レンズを含む物は何であれ）がｘ−ｙ平面等の平面における移動に制約されていない場合、フィックスは、少なくとも４つの物体への距離の測定から取得し得る。
【００１２】
図１Ｂ参照。撮像距離Ｄが物体（線形又は２Ｄ）の法線Ｎからずれる程、物体がＮ−Ｄ平面（示されるように、ｘ−ｙ平面）において広がる場合、小さく見える。実際の長さがＬｏである物体の場合、距離ｄｏｂｊｅｃｔが一定のままであると仮定すると、長さＬａｐｐａｒｅｎｔ＝Ｌｏ'ｃｏｓ（α）を有するように見え、式中、αはＤとＮとの間の角度である。Ｌａｐｐａｒｅｎｔは、レンズ２０の視点から何の変哲もない単なる線形距離であるため、当然ながら、スクリーン３０上の対応する画像のピクセルｈｐｉｘｅｌ単位で表すこともできる。
【００１３】
ここで、Ｌｏ、ｄｏｂｊｅｃｔ、レンズ特性、ｄｉｍａｇｅ、及びＬａｐｐａｒｅｎｔ（ｈｉｍａｇｅから特定することができる）が既知であると仮定する。その場合、システムは角度αを計算し得る。レンズの移動がｘ−ｙ平面に制約されると仮定すると、レンズが存在することができるα度及び（１８０−α）度において２つの方向（方角）しかない。ｈｏｂｊｅｃｔが既知の場合、図１Ａの技法を使用して、１つの物体への方角及び距離の両方を特定し得るように、距離ｄｏｂｊｅｃｔを特定し得るが、適切なフィックスに２つの可能な方角のいずれが正しいかを特定しなければならず、これは、少なくとも１つの追加の物体への距離及び／又は方角を測定することにより又は最新のフィックスからの推測により行い得る。
【００１４】
したがって、ユーザ制御物体（ＵＣＯ）は、上記メカニズムを使用して、マーカへの距離を特定することができる。また、ＵＣＯに、十分な隔たりを有する２つ以上の撮像センサが提供される場合、マーカへの距離を特定する更に別の選択肢は、エピポーラ幾何、すなわち、立体撮像の幾何の既知の原理及び関係を適用することである。
【００１５】
ＵＣＯ５００に、マーカへの方角を直接特定する任意のデバイスを含むことも可能である。例えば、ＵＣＯに、フラックスゲートコンパス等のコンパス５２１（図３）を提供し得る。マーカがカメラ５２０の視野内にあり、特にその視野の中心付近にある場合、そのマーカへの方角をコンパスから入力することができる。そのマーカへの推定距離と共に、ＵＣＯの位置をｘ−ｙ平面においてフィックスし得る。
【００１６】
図２は、ユーザ１００がコントローラ４００によりユーザ制御物体（ＵＣＯ）５００を操作する物理環境２００を示す。図２では、ＵＣＯ５００は玩具の無線制御される戦車であるが、これは当然ながら単なる例である。図２に示される例では、玩具の２つの他の戦車５０１、５０２も、自律的に又は可能な場合には他のユーザ（図示せず）の制御下で物理環境において操作されており、したがって、他のＵＣＯを構成している。手短に言えば、図２は、シミュレートされた玩具の戦車の戦いで複数のユーザが競い合う物理的ゲーム環境を示し得る。少なくともユーザ１００のＵＣＯ５００には、カメラ５２０又は他の撮像デバイスが提供され、図２の例では、その他のＵＣＯ５０１、５０２にも各カメラ５０３、５０４が提供されるが、これは設計上の選択である。
【００１７】
物理環境２００内の既知のロケーションに、複数のマーカ２２０、２２２、２２４、２２６、２２８も配置され、又は他の方法で作成される（他の特徴上に線及び／又は形状を描くことにより、又は特徴自体として等）。ｚ方向（示されるように）において、複数のマーカはそれぞれ広がりｚ２２０、ｚ２２２、ｚ２２４、ｚ２２６、及びｚ２２８を有し、二次元マーカ２２０はｙ方向においても幅ｗ２２０だけ広がる。
【００１８】
物理環境２００においてＵＣＯ５００を操作している間、ユーザは、例えば、「仮想現実」ＶＲゴーグルにより生成されるディスプレイ等のディスプレイ６００を見ることにより、対応する仮想環境３００を見得る。換言すれば、ユーザは、物理環境において物理物体を操作しているが、ＵＣＯ５００の移動が、対応する仮想物体３５０（この例では、戦車の画像）の動きとして表される、対応する仮想「世界」を見る。ユーザが提示されるビューは、好ましくは、物理物体５００のカメラ５２０により補足された画像に対応する。本例では、ユーザは、仮想戦車３５１、３５２も見ており、仮想戦車３５１、３５２は、物理環境２００における玩具の戦車５０１、５０２に対応し、例えば、模擬戦車戦闘等の戦いで他のユーザ（図示せず）の制御下で移動し得る。次に、それらの他のユーザは、それぞれの玩具の戦車５０１、５０２のカメラ５０３、５０４の視点から仮想環境３００を見得る。
【００１９】
仮想環境表示を生成するシステムは通常、ｘｖ−ｙｖ−ｚｖ等の座標系を参照してそれを行う。仮想環境と物理環境との少なくとも概ねの対応性を確立するために、システムは、仮想座標系と物理座標系ｘ−ｙ−ｚとの間に関数関係を維持し得る。この関係は必ずしも厳密なマッピング又は線形変換である必要はないが、これは当然ながら、全体的又は部分的に可能である。例えば、物理環境２００において移動中の玩具の戦車５００は、ｘ−ｙ平面（例えば、平らな床であり得る）における移動のみに制約し得、一方、仮想移動は、仮想戦車３５０が丘を越えて移動する等のｚｖ方向でも同様に移動し得る。そのような場合、単なる１つの設計上の選択は、ｘ−ｙ移動をｘｖ−ｙｖ移動にマッピングし得るが、仮想環境においてコンピュータ生成の垂直移動を可能にする。
【００２０】
一般的なように、設計者がプログラムした機能及び動作が何であれ、それを実行する任意の他のコンピュータ生成の静的及び／又は移動物体、背景、視覚的効果等もＶＲ表示に含め得る。図示の例では、例えば、ＶＲ表示は木々、丘３２０、電波塔３２２、障壁３２４、ヘリコプタ３２５、大砲３２６、雲、湖３２７等を含む。なお、丘３２０、塔３２２、及び障壁３２４は、仮想戦車３５０に相対して仮想環境において少なくとも概ね同じ位置にあるものとして示され、物理マーカ２２０、２２２、及び２２４は物理物体５００に相対し、戦車５００が突入すべきではない又は乗り越えるべきではない物体を表す。これは設計上の選択であるが、物理−仮想対応性を上げるという利点がある。物理マーカ２２０が高さ及び幅の両方において測定可能に広がるのと全く同じように、表示された丘３２０もそうするように表示し得るが、これもまた設計上の選択である。基本的に無限数のシナリオの単なる１つとして、マーカ２２２〜２２８の１つ又は複数は、仮想環境において、対戦車砲を有する対戦車バンカーとして表すことができる。したがって、戦車（すなわち、ＵＣＯ５００）ひいては対応する仮想物体３５０は、対戦車砲弾を避ける必要があり、この回避操作は、マーカのカメラ視野を失うようにＵＣＯ５００を移動させターンさせ得る。
【００２１】
物理環境におけるＵＣＯ５００の位置のフィックスを特定するために、ＵＣＯ５００がある位置にあり、十分な数のマーカ２２０〜２２８が明確にビュー内にあるようにそのカメラが向けられている場合、図１Ａ、図１Ｂに示され、上述した技法を使用して、各ピクセル高さｈｐｉｘｅｌの関数として各マーカからの距離を特定し得る。ＵＣＯ５００が物理環境において移動すると、ＵＣＯ５００のフィックスは好ましくは、仮想物体３５０の滑らかな対応する動きを提供するのに十分な頻度で更新される。
【００２２】
幾つかの実施形態では、マーカ２２０〜２２８の全て又は幾つかは同一であり得る。この場合、物理環境におけるマーカの位置（座標）は、好ましくは、コントローラ又はＵＣＯ自体に記憶される。マーカを区別するために、ＵＣＯは次に、ＵＣＯが移動を開始するとき、マーカのうちの既知のマーカが可視であるように、既知の位置及び向きから物理環境において開始し得る。他の実施形態では、マーカは、異なる高さ及び／又は幅を有し得、これらの寸法は次に、マーカのロケーションと共に記憶することもできる。次に、各マーカへの距離を計算する際、各寸法を使用し得る。
【００２３】
更に他の実施形態では、マーカは何らかの形態の符号化を有し得る。例えば、図２に示されるように、マーカに、二進数に対応することができる白黒の帯のパターンを提供する。図では、各マーカは５つの帯を有し、各帯は観測可能な高さの１／５を占めるが、これは当然ながら設計上の選択であり、カメラの解像度及び光学特性（光レベル等）並びに物理環境に依存する。単に例として、各マーカの一番上の帯が最上位ビット（ＭＳＢ）を表すと仮定する。したがって、マーカ２２２、２２４、２２６、及び２２８はそれぞれ二進数１００１０、１１０１１、１０１１０、及び１０００１に対応するようにマークされる。各符号化は、例えば、タイプ仮想環境においてどの物体に対応するか等に関して各マーカの識別子を表すことができる。例えば、１１１１０は大砲に対応することができ、１１０１１は対戦車障害物に対応することができる等である。次に、ＵＣＯ又はコントローラにおける各マーカの位置情報をリアルタイムで更新する何らかの方法が含まれる限り、物理環境のレイアウトを容易に、動的であってさえも変更することが可能である。
【００２４】
マーカに使用される符号化のタイプは、ＵＣＯが各マーカへの距離を測定する必要があり得る最大距離における別個の符号化要素（有色帯等）を分解するＵＣＯカメラの能力に応じて選び得る。ＥＣＣレベルを有する比較的分解が容易なＱＲコード（登録商標）バージョン１であっても、１７バイトの情報を符号化することが可能であり、例えば、更に単純な２Ｄコードが使用され、例えば、マーカに「タグ」として取り付けられ得る。
【００２５】
他の１つの選択肢は、物理環境のｘ−ｙ平面において予め定義されたグリッドを有することであり、各交点は、マーカの配置が可能な点、それにより表示される仮想物体のタイプを表す。ＵＯＣカメラが十分な解像度であり、マーカごとに十分な帯があると仮定すると、マーカのグリッド位置は同様に符号化することができる。これは、動的であってさえも物理環境における特徴の変更を更に容易にする。
【００２６】
マーカの容易な符号化及び変更を可能にする一方法は、単に、摺動し、各マーカに積み重ねられる異なるカラースリーブを有することである。代替的には、各物体タイプのマーカを予め作成し、予め符号化することができる。
【００２７】
大半の場合、カメラ５２０は色を区別することができ、単にグレースケールは区別することができないが、これが可能なこともあるであろう。色分解が可能な実施態様では、マーカの符号化は色によっても可能であり、これは、各マーカに符号化することができる情報量を増大させる。その場合、既知の方法を使用して、各マーカ上の各符号化帯の色を区別し得、各符号化の解釈に必要な情報はＵＯＣ又はコントローラに記憶し得る。
【００２８】
なお、ＵＣＯ５００が垂直にも同様に移動可能である（例えば、無人航空機−ＵＡＶ、すなわち、「ドローン」である）実施態様では、マーカはｘ−ｙ表面に配置（又はペイント）し得、ｚ方向における距離も同様に特定し得るが、フィックスの確立により多くのマーカが一般に必要とされる。その場合、マーカは図１Ｂでのように「垂直からずれて」見られ得、各マーカへの等距離の線の代わりに、等距離の表面があるため、ｘ−ｙ平面であっても位置の確立により多くのマーカが必要であり得る。
【００２９】
しかしながら、ＵＣＯが、カメラの向きが方向ｄである状態で大まかに図２における位置Ａ（丸付き）から移動したと仮定する。図示のように、フィックスを光学的に取得可能にするには十分なマーカがカメラ５２０の視野にない。したがって、ＵＣＯ５００に補助ナビゲーションシステム５３０（図３）を提供し得る。補助ナビゲーションシステムは、例えば、慣性測定ユニット（ＩＭＵ）並びにそれに関連した信号処理構成要素及びソフトウェア等の市販の慣性センサ、物理環境の近くに配置することができる送信機からの無線周波数信号の三辺測量の三角測量、又は例えば、ＵＣＯの車輪の絶対的及び相対的な回転に基づく単純な推測航法（ＤＲ）測定に基づき得る。
【００３０】
玩具又は消費者製品等の用途では、サイズ又はコストの理由により、補助ナビゲーションシステム等の高精度センサを使用することが可能ではないことがある。しかしながら、他の実施態様であっても、位置を特定するために、加速度測定におけるあらゆる誤差が二度積分されるため、慣性システムは誤差を蓄積する。ＲＦベースの位置フィックスは通常、本質的に、光学フィックスよりも精度が低く、ＤＲナビゲーションの車輪回転の測定は通常、不正確であるとともに、累積誤差を生じさせる。
【００３１】
ＵＣＯがマーカ２２０〜２２８への距離測定を介して光学的にその位置をフィックスする能力を失う場合、現在、すなわち、最新の光学フィックスは、ＩＭＵ又はＤＲベースのナビゲーション等の初期位置を必要とする方法の初期位置として使用し得る。その場合、仮想環境における仮想ＵＣＯ３５０の位置は、必要である限り、補助ナビゲーション信号から導出し得る。ＵＣＯ５００が、マーカを撮像することにより、より精密な光学フィックスが可能な位置及びカメラ向きに戻る場合、物理的位置及び変換を介した対応する仮想位置の両方は、距離−マーカ測定値からの導出に戻り得る。
【００３２】
ＵＣＯが光学ナビゲーションに戻ると、取得する最初のフィックス（又は２つ以上のフィックスの何らかの機能）を最新の非精密フィックスと比較して、非精密ナビゲーションが使用されていた間に蓄積された誤差量を特定し得る。次に、この差は、非精密ナビゲーションが必要な後続期間において補正係数として使用し得る。代替として、そのような補正が仮に実施される場合、主光学ナビゲーションシステム及び補助ナビゲーションシステムの両方を同時に使用して、システムが非精密に切り替わる必要がある前であっても、非精密システムの誤差測定値及び補正係数を編纂することも可能である。
【００３３】
手短に言えば、実施形態は、可能な場合、ＵＣＯカメラから可視マーカまでの距離の光学推定に基づいて精密ナビゲーション（誤差を蓄積しないという意味で）を使用しても、潜在的に誤差を蓄積するが、必要な場合、どんな場合でも精密性がより低いナビゲーションシステムに切り替わる。
【００３４】
図３は、ユーザが、ＶＲディスプレイ６００を見ることにより、コントローラ４００を介してＵＣＯ５００を操作する実施形態における主要システム構成要素を示す。コントローラ４００は１つ又は複数のプロセッサ４１０を含み、プロセッサ４１０は、様々なソフトウェア定義の機能を実施するコード及びユーザ入力に従ってＵＣＯを制御し、様々な信号を処理し、ＵＣＯと通信し、仮想環境の表示を生成するのに使用される任意の固定コード又はファームウェアを実行する。コントローラは、実行可能コード、動作データ等の記憶に使用し得る１つ又は複数の揮発性メモリ及び／又は不揮発性メモリ及び記憶構成要素４１５を含む。
【００３５】
少なくとも１つの仮想環境のグラフィクス表現を定義するコード及びデータは、「世界」４１６としてメモリ／記憶装置に記憶し得る。各世界は、例えば、異なるゲームシナリオを定義し得る。ＵＣＯ自体に関連する動作データを領域４１７に記憶することもできる。標準Ｉ／Ｏモジュール４２０は、ハードウェア及び任意の必要なコードの両方を含め、ユーザがＵＣＯ５００を制御するために提供し得る１つ又は複数のジョイスティック、ボタン、トラックパッド、タッチスクリーンディスプレイ等の制御デバイスの動きを解釈するように含まれる。ＵＣＯが無線周波数により制御される実施態様では、ＵＣＯ内の同様の送受信機５４０と通信するために、従来の送受信機４４０を含め得る。
【００３６】
画像ベースの位置決めモジュール４２２は、カメラ５２０の画像に関連するデータの入力、画像内のマーカの識別、各可視マーカのピクセル高さ（及び／又は幅、半径、符号化等）の抽出、各マーカへの距離（及び適宜構成された２Ｄマーカの場合、図１Ｂに示されるような方角）を特定するために上記にまとめた計算の実行、及び光学フィックスである、各マーカから一定距離の様々な線の交点の計算に必要な実行可能コード及び、他の場所に含まれない場合、ハードウェアを備える。モジュール４２２は、情報が光学フィックスに対して不十分である（例えば、撮像されたマーカが十分ではない）かどうかを判断することもでき、不十分ではない場合、補助ナビゲーションシステム５３０のアクティブ化又は少なくとも、十分な光学データが再取得されるまで、仮想ＵＣＯ位置の特定に補助ナビゲーション信号を使用すべき旨を通知し得る。
【００３７】
補助ナビゲーションモジュール４３２は、ＵＣＯにある補助ナビゲーションシステムが何であれ、補助ナビゲーションシステム（ＩＭＵ等）からデータを受信し、そのデータから、既知のアルゴリズムを使用して開始位置からフィックスを推定する。補助ナビゲーションモジュールはまた、遷移がある場合、主システム４２２との比較から導出された任意の補正データを受信することもできる。
【００３８】
シナリオ処理モジュール４５０は、ユーザ入力に基づいて、仮想環境に表示すべきものである現在世界データ４１６及び位置データをシステム４２２、４３２のいずれかから特定する。これは「イベント」を含むこともでき、イベントは、領域４１６に記憶された世界データに従ってトリガーし得、幾つかの場合、ＵＣＯの絶対位置又は他のＵＣＯ若しくは物体への相対位置であり得る。例えば、ユーザのＵＣＯ５００が物理環境２００の特定のエリアに入り、他の予めプログラムされた条件が満たされる（時間、他のユーザのＵＣＯの相対位置、ランダム等）場合、マーカ２２６に対応し得る大砲３２６は、一発発射したものとして表示することができ、これは次に、仮想環境における衝撃又はＵＣＯ５００への衝撃として示すことができる。シナリオ処理モジュール４５０は、ＵＣＯ５００の計算された物理フィックス座標を対応する仮想物体３５０の仮想環境の表示における位置、すなわち、座標に変換するモジュールとして使用することもできる。手短に言えば、シナリオ処理モジュール４５０は、所与のシナリオ及び世界について記憶されたコード及びデータが何であれ、コード及びデータに従い、現在画像フレーム（又は一連のフレーム）を解釈し、表示された仮想環境の「動作」をそれに従って制御し得る。
【００３９】
仮想表示の現在フレームを定義するデータは、計算されコンパイルされると、ＶＲディスプレイ６００に関連付けられた何らかのグラフィックス処理モジュール４６０に渡され、グラフィックス処理モジュール４６０は次に、データを任意の従来通りの様式で表示し得る。
【００４０】
異なるソフトウェア構成要素及びハードウェア構成要素は、図３において別個に示されているが、これは例示のためである。システム設計者が好むように、これらのいずれか又は全ては、ハードウェア構成要素の適切なハードウェア構成要素であり得るように結合し得る。
【００４１】
実施態様に応じて、コントローラ４００が主にＩ／Ｏデバイスとして機能するように、コントローラ４００の機能の多くを何らかの上位管理システムに含めることも可能である。例えば、１台のサーバ（図示せず）が、共通ゲーム環境内の全てのユーザのコントローラ及び計算システムとして機能することができる。他の「方向」では、コントローラ機能の幾つかをＶＲヘッドセット（又は他の表示デバイス）に含めることも可能である。
【００４２】
ＵＣＯ５００は、少なくとも１つのプロセッサ５１０及び何らかの形態のメモリ／記憶装置５１５を含み、何らかの形態のメモリ／記憶装置５１５は、通常通り、ＵＣＯ内のソフトウェア構成要素を定義する実行可能コード及びデータの記憶に使用し得る。プロセッサ５１０は、汎用構成要素であり得るが、そうである必要はなく、むしろ、ＵＣＯ内の処理は１つ又は複数のＡＳＩＣを使用して実行することができる。画像処理モジュール５２２は、カメラ５２０からデータを受信し、任意の従来の様式でデータを調整して、更なる処理に向けてコントローラに送信する。同様に、ナビゲーションデータ調整モジュール５３２は、ＩＭＵ出力、車輪回転センサ等の補助ナビゲーションに使用されるセンサのタイプが何であれ、センサからデータを受信し、また、コントローラへの送信に向けてこのデータを調整する。
【００４３】
ＵＣＯへのユーザ生成コマンド及びコントローラ生成コマンドは、ＲＦ送受信機５４０を介して受信され、コマンドモジュール５６０により解釈される。そのようなコマンドの例は、加速又は減速、ターン、ＵＣＯ全体の移動とは対照的に、戦車砲塔の回転等のＵＣＯの部分の操作、砲弾の発射、警笛を鳴らす等のコマンドであり得る。これらのコマンドは次に、モータコントローラ５６２による実行に適した形態に処理され、モータコントローラ５６２は次に、コマンドに従って任意のモータ５６４又は他の形態のアクチュエータを作動させる。
【００４４】
様々な計算又はデータの記録は、図２を参照して上述した構成要素のみで行われる必要はなく、むしろ、ＵＣＯ及びコントローラの選ばれた設計に応じて、ＵＣＯにおいて行われたと示された計算タスク及び記憶タスクの幾つかは、代わりにコントローラの構成要素内で実行することができ、又はこの逆も同様である。幾つかの実施態様では、例えば、ＵＣＯの構成要素の消費電力及び／又は計算負荷を低減することが重要であり得、その場合、必須の処理タスク以外の処理タスクをコントローラ４００にオフロードすることが好ましいことがある。他の実施態様では、消費電力及び／又は計算負荷はそれ程問題ではなく、設計者はＵＣＯにより多くの自律的処理能力を持たせたいことがある。その場合、設計者は、マーカの位置データをＵＣＯ自体にダウンロードすることを選び、コントローラモジュール４２２のフィックス計算タスクを実行するように撮像モジュール５２２をプログラムし得る。したがって、そのような処理タスク及び記憶タスクが実行されるユニットは設計上の選択である。
【００４５】
図４は、主方法として光学ナビゲーションを使用するが、場合によっては補助の非光学バックアップナビゲーション方法を用いるＵＯＣのフィックスの特定に使用される主要動作をフローチャートによりまとめている。
【００４６】
７００：周知のように、ビデオは一連のフレームである。任意の既知の方法を使用して、ビデオフレームはカメラ５２０からのビデオストリームから取得される。フレームレートは一般に、ＵＯＣよりもはるかに高いため高速である、通常、ビデオストリームのあらゆるフレームを補足し分析する必要はなく、むしろ、フレームは周期的に、例えば、ｎフレームごと又は時間間隔ｔごとに捕捉し得、これは、関わるＵＯＣのタイプ及び任意の他の標準設計考慮事項に応じて選び得る。
【００４７】
７１０：パターン照合等の任意の既知の画像分析方法を使用して、捕捉されたフレーム内で可視の任意のマーカを検出する。
【００４８】
７２０：フィックスの計算を可能にするには、適切なタイプのマーカが十分なければならない。例えば、一寸法において定義されたサイズを有する２つ以上のマーカがフィックスに必要であり得、２つのみのマーカを使用することから生じ得る可能な二重フィックスにおける任意の曖昧性を解決するために３つのマーカが必要であり得る。同様に、方角センサがＵＯＣに含まれる場合、フィックスの取得に１つのマーカ及びマーカへの方角のみが必要であり得、又はマーカ２２０等の２つの寸法において定義された１つのマーカで十分であり得る。
【００４９】
７３０：幾つかの実施形態では、マーカの全てはタイプ、形状、及びサイズに関して同一であり得るが、それでもなおどのマーカがどれであるかを識別する必要がある。これは、配色パターン等の光学符号化なしであっても行うことができる。例えば、ＵＯＣの初期位置及び向きが確立され、物理環境における各マーカの位置がＵＯＣ又はコントローラにおいて予め定義され記憶される限り、マーカを識別することが可能である。他の実施形態では、マーカは識別のために符号化し得、符号化は、上述したように、位置情報を含むことさえ可能である。実施形態に関係なく、各マーカは適切な方法を使用して識別される。
【００５０】
７４０：各マーカに適切な方法が何であれ、それを使用して、各マーカへの距離が特定される。それを行う様々な方法については上述している。
【００５１】
７５０：マーカへの距離測定値が与えられると、フィックスを計算して、物理環境におけるＵＯＣのロケーションを確立する。
【００５２】
７６０：次に、前のステップにおいて計算された物理的フィックスの座標は、仮想環境３００における仮想物体３５０の見掛けの位置を特定するモジュールに渡される。なお、１：１の物理２仮想スケーリングを有する必要はなく、むしろ、物理環境における各距離単位は、仮想環境において何らかの他の単位に対応する任意の選ばれた係数でスケーリングし得る。例えば、物理環境での１ｃｍは、仮想環境での１ｍに対応するようにスケーリングすることができる。異なるマーカに異なるスケーリング係数を有し、それにより、物理環境とは異なるアスペクト比を有し得る仮想表示を作成することも可能である。例えば、物理環境における側方マーカのスケーリング係数を変更することにより（例として、円形とは対照的に辺を有すると仮定する）、物理環境は実質的に正方形であり得るが、仮想環境は矩形に見えるようにすることができる。仮想物体の位置が更新されると、システムは次のビデオフレームの取得に戻り得る。
【００５３】
７７０：適切なタイプの十分なマーカが現在ビデオフレームで取得されない場合、システムは、ＩＭＵ等の含まれる補助ナビゲーションシステムが何であれ、補助ナビゲーションシステムに切り替わり得る。次に、物理環境におけるＵＯＣの最新の既知のフィックスを補助ナビゲーションシステムの初期位置として使用し得る。
【００５４】
７８０：次に、ＵＯＣの補助システムを使用したフィックスが計算され、このフィックスを使用して、仮想物体の位置を更新する。次に、システムはビデオストリームのフレームを再び取得して、現在、十分な光学マーカがあるか否かを調べ得る。
【００５５】
７９０：任意選択的なステップとして、補助ナビゲーションシステムは、システムが光学に戻り、したがって、より高精度の位置フィックスに戻る場合又は連続して、すなわち、光学ナビゲーションが使用され続ける場合であっても、較正し得る。したがって、較正された補助ナビゲーションシステムは、必要な場合、非光学フィックスを計算する精度を改善することができる。
【００５６】
図５では、ユーザは、コントローラ４００を使用して物理環境２０００においてＵＡＶ１０００を操作しており、コントローラ４００は、他のコントローラと同様に、ディスプレイ６００（この場合、ＶＲヘッドセット内ではなく、標準ディスプレイ）を含み得、例えば、ディスプレイ６００におけるカーソル２４６の位置を制御するのに使用し得る２つのジョイスティック２４１、２４２、２つのボタン２４３、２４４、及びトラックパッド２４５を有する。この状況では、ディスプレイは、カメラ１０２０により撮像された物理環境のグラフィカル生成表現であるという意味で、「仮想」環境を示す。
【００５７】
ＲＦ送受信機４４０はコマンドを送信し、ＵＡＶ１０００からデータを受信し、ＵＡＶ１０００は、ＵＡＶに普通であるように、対応する送受信機１０４０を有する。この実施形態では、ＵＡＶは２つのカメラ１０１０及び１０２０を有し、カメラ１０１０は主に下方を向き、カメラ１０２０は水平視野を有する。いずれか一方又は両方は、ユーザ制御下で水平方向及び垂直方向において撮像するよう１つのカメラがそれ自体を向けることが可能であり得るように、標準ジンバル及びアクチュエータを使用して操作し得る。
【００５８】
図示のように、ＵＡＶは物理環境における特定の特徴、例えば、湖１０５０、２つの建物１０５１、１０５２、及び塔１０５３を撮像している。ＵＡＶ及びカメラの向きに応じて木々及び動物等の他の特徴を撮像することもできる。この実施形態は、図３に示されるコントローラ及びＵＣＯ構成要素を使用して選択し実行し得る以下の動作の１つ又は複数を提供する。
【００５９】
第１の動作はステーション維持である：ユーザはカーソル２４６を撮像された物体の２つ以上の上に順次配置し、それらを選択し、次に、画像位置モジュール４２２は続くＵＡＶ画像を解釈し、選択された物体の画像サイズが同じままである位置をＵＡＶが維持するようなコマンドをシナリオプロセッサ４５０に渡す。換言すれば、物体を撮像し、物理物体（マーカとして機能する）の既知の高さに基づいて距離を特定することから進む代わりに、この実施形態は、選択されたピクセル高さ（又は幅、又は面積）が対応し得る物体への線形距離に関係なく、選択されたピクセル高さ（又は幅、又は面積）を参照として使用することにより「逆」に動作する。例えば、画像サイズの１つ又は複数が低減し始める場合、ＵＡＶは自律的に（画像位置モジュール４２２の制御下で）、画像サイズが低減した物体がいずれであれ、その物体に向かってＵＡＶを飛行させるコマンドを生成し得る。
【００６０】
ステーション維持は同様に、ステーション発見と組み合わせることができる。この実施形態では、選択された物体の高さ及びそれぞれからの所望の距離は、例えば、ディスプレイ６００もタッチセンシティブである実施態様では、表示された数字パッド又は英字入力を介する等の任意の従来の方法及びコントローラ動作を使用して入力し得る。次に、逆ではあるが、上記の図１Ａ及び図１Ｂに関して説明した方程式を使用して、画像位置処理モジュールは、入力データを所望のステーション位置におけるピクセル高さに変換し、次に自律的にその位置を操作する。これを行う一方法は、ＵＡＶがまず、選択された物体の１つから正確な距離になるまで、選択された物体の１つに向かって飛行し、それから弧状に飛行し、第２の物体のピクセル高さが取得されるまでその物体のピクセル高さを維持することである。この手順は、軌道、すなわち、ルートをＵＡＶにプログラムすることができるように、それぞれが「ステーション」を表す複数のポイントで繰り返すことができ、次に、ＵＡＶは、上述したように光学距離推定を使用して軌道を辿り得る。飛行制御は、飛行制御システムを備え得る、一般化されたＵＣＯに関して図３に示されるコマンドモジュール５６０及びモータコントローラ５６２等の任意の従来の構成要素を使用して提供し得る。
【００６１】
マーカ選択は、ディスプレイ上のカーソルを用いる等のコントローラを介したユーザ入力に従い得、又は例えば、画像処理モジュール５２２の制御下で自律的であり得る。例えば、ユーザが単に「ホールド」を示す場合、ＵＡＶの画像処理モジュール５２２は、既知の方法を使用して、定義可能であり、少なくとも１つの寸法においてピクセル測定可能なサイズを有する任意の２つ以上の画像特徴を抽出し、対応する相対距離を維持するように操作することができる。コンパスがＵＡＶ回路に含まれる場合、１つのマーカ及びマーカへの方角を代替又は追加として使用し得る。
【００６２】
幾つかの場合、１つのみの適した物体がＵＡＶカメラの視野内にあり得る。そのような場合、その物体への相対距離を特定することが可能であるが、次に、少なくとも１つの他の測定可能な物体が取得されるまで、ヨー操作を実行することが可能である。次に、ＵＡＶは、周期的に前後にヨーイングして、各マーカ画像を捕捉し、必要に応じて距離を補正し、次に、もう一方にヨーイングして戻ることにより位置を維持することができる。必要な場合、既知の特徴認識方法（パターン照合等）を使用して、ヨー操作中、異なる物体の適切な識別を保証し得る。
【００６３】
更に別の動作は周回であることができる：物理物体がマーカとして選択され（ユーザにより又は自律的に）、マーカへの距離が光学的に推定された後、ユーザは、コントローラを介して、ＵＡＶが周回飛行する、すなわち、水平移動するが、物体から一定距離にあるように飛行するのに適切な任意のコマンドを入力することができる。
【００６４】
ディスプレイ６００は、ＵＡＶカメラが「見る」ものの非変換表現を示し得る。換言すれば、ＵＡＶは単にビデオ画像の取得に使用し得、ディスプレイはビデオ画像をユーザに示す。他の実施態様では、表示されたシーンは図２と同様に物理−仮想変換であることができ、それにより、建物等の物理特徴をマーカとして使用することができる。
【００６５】
ハイブリッドシナリオも可能である：ＵＡＶカメラ１０２０により取得された実際の画像の少なくとも幾つかを表示することができるが、表示された現実を拡張するコンピュータ生成オーバーレイと共に表示することができる。例えば、一実施態様では、ユーザは実際の都市を通してＵＡＶを操作することができ、都市の建物の少なくとも幾つか及び他の特徴は、光学ナビゲーションの目的でマーカとして機能するが、ディスプレイの少なくとも幾つかは、仮想特徴、背景等を重ねることができ、又は仮想特徴、背景等で置換することができる。
【００６６】
図５では、例えば、ディスプレイ（表示される仮想環境に対応する）は、複数の太陽、龍２４７、及び宝箱２４８を含むように拡張されている。そのような一実施形態は、例えば、プレーヤが物理環境において各ＵＡＶを操作して、実際の物体、物理物体、又はシステム生成の仮想物体（宝箱２４８等であり得る物体を見つけるＵＡＶ実施の「宝探し」を可能にするのに使用し得る。
【００６７】
図６は、光学距離推定を使用して、一対のＵＡＶ１０００、１５００が一定距離離れてフォーメーションで飛行することを保証する更に別の実施形態を示す。この実施形態では、ＵＡＶの少なくとも１つ−「フォロワＵＡＶ」−は、飛行時、視野内に他の「リーダ」ＵＡＶを維持することができるカメラを有する。図示のように、略水平に向けられたカメラ１５２０は、リーダＵＡＶ１０００が見える視野１５２１を有する。リーダＵＡＶ本体の幾つかの部分のサイズが既知であるか、又は容易に取得された撮像されたマーカがリーダＵＡＶに含まれる場合、フォロワＵＡＶは、上述した距離置き技法を使用して、一定の対応するピクセル高さ、ひいてはリーダＵＡＶへの一定距離を維持し得る。代替的には、フォロワＵＡＶのコントローラディスプレイでリーダＵＡＶを見ることができるユーザは、リーダＵＡＶが適切な距離にあることを見た場合、図５を参照して上述した技法を使用してフォロワＵＡＶによるリーダＵＡＶの測定をトリガーし、そうすると、フォロワＵＡＶは、その距離及び／又は向きを維持するように自律的に操作し得る（図１Ｂの技法も適用される場合）。コンパスが少なくともフォロワＵＡＶに含まれる場合、リーダＵＡＶへの方角を測定し維持することもできる。
【００６８】
図６に示される実施形態の一用途は、物理エリア２０００の立体撮像である。ＵＡＶ１０００、１５００が、視野１０３０、１５３０が下方に重複した状態で上述したようにフォーメーションで飛行すると仮定する。各ＵＡＶは次に、各コントローラ又は何らかの他のシステムに撮像データを送信し得る。画像データが、略同じエリアであるが、相対的なオフセットを有するエリアの画像を表すため、既知の方法を使用して物理環境の３Ｄ画像を生成することができる。
【００６９】
幾つかの立体撮像システムでは、画像分離、すなわち、視差は、１つのカメラからの画像であるが、ＵＡＶが移動する際、それぞれの間の時間ギャップを有する画像を撮影することにより提供される。多くの実施態様で満足のいくものであるが、均一なフレーム分布は、一定速度を維持する能力又は他の方法で、例えば、慣性測定ユニット（ＩＭＵ）を使用して精密な移動情報を取得する能力に依存する。しかしながら、距離ホールドを用いてツインＵＡＶを使用することにより、速度又は方向に関係なく一定の分離が保証される。
【００７０】
フォーメーションで飛行する２機以上のＵＡＶからの立体撮像の他の一用途は、異なるＵＡＶが異なる波長又は異なるタイプの偏波で動作するカメラを使用し得、異なるＵＡＶに異なるカラーフィルタが提供される等である。一定光学距離分離を使用したフォーメーション飛行を実施することの更に別の考えられる理由は、２人の友人が遊びで、それぞれのドローンをフォーメーションで飛行させたいという単純なものであり得る。
【図１Ａ】
2021518953.tif 000003
【図１Ｂ】
2021518953.tif 000004
【図２】
2021518953.tif 000005
【図３】
2021518953.tif 000006
【図４】
2021518953.tif 000007
【図５】
2021518953.tif 000008
【図６】
2021518953.tif 000009
【手続補正書】
【提出日】令和2年10月19日(2020.10.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想環境において移動中の仮想物体に対応する、物理環境における物理物体をナビゲートする方法であって、
Ａ）前記物理物体が、少なくとも１つの物理マーカが前記物理物体に搭載された少なくとも１つの撮像デバイスの視野内にある第１の位置にある場合、
ｉ）前記少なくとも１つの物理マーカの画像を取得することと、
ｉｉ）前記少なくとも１つの物理マーカの前記取得された画像の評価に基づいて、前記物理環境における前記物理物体の物理的位置を特定することと、
ｉｉｉ）前記物理環境における前記物理物体の前記特定された物理的位置に対応する、前記仮想物体の前記仮想環境内の仮想位置を特定することと、
Ｂ）前記物理物体が、所定数以下の前記物理マーカが前記視野内にある第２の位置にある場合、
ｉ）前記物理物体の補助位置システムを使用して前記物理物体の前記物理的位置を推定することであって、前記補助位置システムは、前記物理マーカへの光学参照から独立して動作する、推定することと、
ｉｉ）前記推定された物理的位置に対応する、前記仮想物体の前記仮想環境内の推定された仮想位置を特定することと
を含む、方法。
【請求項２】
前記撮像デバイスの特性に相対した前記物理マーカのそれぞれの撮像されたサイズの関数として、前記物理物体から前記撮像された物理マーカのそれぞれへの物理的距離を特定することと、
前記特定された物理的距離の関数として前記物理的位置を特定することと
を更に含む、請求項１に記載の方法。
【請求項３】
各物理マーカは、少なくとも１つの寸法において所定のサイズをそれぞれ有する、請求項２に記載の方法。
【請求項４】
前記物理マーカの少なくとも１つに、少なくとも１つの寸法における所定のサイズ、前記物理環境内の位置、及び対応するディスプレイ特徴のタイプから成る群から選ばれた少なくとも１つの特性を示す光学的解釈可能な符号化を提供することを更に含む、請求項２に記載の方法。
【請求項５】
撮像された各物理マーカの前記取得された画像の前記評価は、前記少なくとも１つの寸法において取得された各画像の撮像されたサイズを前記撮像デバイス内の参照と比較することを含む、請求項３に記載の方法。
【請求項６】
前記物理マーカの少なくとも１つは、少なくとも２つの寸法において所定のサイズを有し、
撮像された各物理マーカの前記取得された画像の前記評価は、少なくとも２つの寸法において取得された各画像の撮像されたサイズを前記撮像デバイス内の少なくとも１つの参照のそれぞれと比較することを含む、請求項３に記載の方法。
【請求項７】
異なるスケーリング係数を前記物理マーカの異なる物理マーカに関連付けることを更に含み、互いに対する前記異なる仮想物体のそれぞれの前記推定された仮想位置を特定することは、前記スケーリング係数のそれぞれの関数として調整可能である、請求項２に記載の方法。
【請求項８】
ディスプレイにおいて、前記物理環境における前記物理物体の前記特定された物理的位置に対応する前記仮想環境内の特定された仮想位置において前記仮想物体の画像を生成することを更に含む、請求項１から請求項７の何れか1項に記載の方法。
【請求項９】
前記物理マーカの少なくとも１つを前記ディスプレイに表示される対応する仮想特徴に関連付けることを更に含む、請求項８に記載の方法。
【請求項１０】
前記物理マーカの少なくとも１つに対応する、前記特定された仮想位置を参照した特徴位置を有する、前記ディスプレイ内に表示される少なくとも１つの移動中の仮想特徴の移動画像を生成することを更に含む、請求項９に記載の方法。
【請求項１１】
前記ディスプレイは仮想現実ヘッドセットに含まれる、請求項８に記載の方法。
【請求項１２】
前記補助位置システムは累積誤差を有する、請求項１から請求項１１の何れか１項に記載の方法。
【請求項１３】
前記物理物体が前記第２の位置から前記第１の位置に移動する場合、前記累積誤差から累積誤差量を推定することを更に含む、請求項１２に記載の方法。
【請求項１４】
前記物理物体が前記第２の位置から前記第１の位置に遷移する場合、前記物理物体が前記第２の位置にあった前記仮想環境の推定状態から、前記物理物体が前記第１の位置にあった対応する前記仮想環境の現在状態に遷移する仮想環境を表示することを更に含む、請求項１３に記載の方法。
【請求項１５】
前記推定された累積誤差量に対応する補正を前記補助位置システムに適用することを更に含む、請求項１３に記載の方法。
【請求項１６】
前記物理物体が前記第１の位置から前記第２の位置に遷移する場合、遷移位置に対応するロケーションパラメータを用いて前記補助位置システムを初期化することを更に含む、請求項１２に記載の方法。
【請求項１７】
前記補助位置システムは慣性測定ユニットである、請求項１から請求項１６の何れか1項に記載の方法。
【請求項１８】
前記物理物体は、前記仮想環境における前記仮想物体の前記仮想位置に従ってユーザにより操作される、請求項１から請求項１７の何れか1項に記載の方法。
【請求項１９】
前記物理環境におけるユーザ制御物理物体の前記物理的位置に基づいて、前記仮想環境に表示するイベントを生成することを更に含む、請求項１から請求項１８の何れか1項に記載の方法。
【請求項２０】
前記物理物体の前記第１の位置及び前記第２の位置は、前記撮像デバイスの角度方向に依存する、請求項１から請求項１９の何れか1項に記載の方法。
【請求項２１】
物理環境におけるユーザ制御の物理物体に対応する仮想環境における仮想物体を操作するシステムであって、
前記物理環境における前記物理物体をユーザが操作できるようにするコントローラと、
前記物理物体に含まれ、少なくとも１つの物理マーカが視野内にある前記物理環境における第１の位置に前記物理物体がある場合、前記少なくとも１つの物理マーカの画像を取得するために提供される撮像デバイスと、
前記少なくとも１つの物理マーカの前記取得された画像の評価に基づいて、前記物理環境における前記物理物体の物理的位置を特定するために提供される画像ベースの位置決めモジュールと、
所定数以下の前記物理マーカが前記視野内にある第２の位置に前記物理物体がある場合、前記物理物体の前記物理的位置を特定するために提供される補助位置システムであって、前記補助位置システムは、前記物理マーカへの光学参照から独立して動作する、補助位置システムと、
前記物理環境における前記物理物体の前記特定された物理的位置に対応する、前記仮想物体の前記仮想環境内の仮想位置を特定するために提供されるシナリオ処理モジュールと、
前記特定された物理的位置に対応する表示位置に前記仮想物体を表示するディスプレイと
を備える、システム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
フォーメーションで飛行する２機以上のＵＡＶからの立体撮像の他の一用途は、異なるＵＡＶが異なる波長又は異なるタイプの偏波で動作するカメラを使用し得、異なるＵＡＶに異なるカラーフィルタが提供される等である。一定光学距離分離を使用したフォーメーション飛行を実施することの更に別の考えられる理由は、２人の友人が遊びで、それぞれのドローンをフォーメーションで飛行させたいという単純なものであり得る。
（項目１）
仮想環境において移動中の仮想物体に対応する、物理環境における物理物体をナビゲートする方法であって、
Ａ）上記物理物体が、少なくとも１つの物理マーカが上記物理物体に搭載された少なくとも１つの撮像デバイスの視野内にある第１の位置にある場合、
ｉ）上記少なくとも１つの物理マーカの画像を取得することと、
ｉｉ）上記少なくとも１つの物理マーカの上記取得された画像の評価に基づいて、上記物理環境における上記物理物体の物理的位置を特定することと、
ｉｉｉ）上記物理環境における上記物理物体の上記特定された物理的位置に対応する、上記仮想物体の上記仮想環境内の仮想位置を特定することと、
Ｂ）上記物理物体が、所定数以下の上記物理マーカが上記視野内にある第２の位置にある場合、
ｉ）上記物理物体の補助位置システムを使用して上記物理物体の上記物理的位置を推定することであって、上記補助位置システムは、上記物理マーカへの光学参照から独立して動作する、推定することと、
ｉｉ）上記推定された物理的位置に対応する、上記仮想物体の上記仮想環境内の推定された仮想位置を特定することと
を含む、方法。
（項目２）
上記撮像デバイスの特性に相対した上記物理マーカのそれぞれの撮像されたサイズの関数として、上記物理物体から上記撮像された物理マーカのそれぞれへの物理的距離を特定することと、
上記特定された物理的距離の関数として上記物理的位置を特定することと
を更に含む、項目１に記載の方法。
（項目３）
各物理マーカは、少なくとも１つの寸法において所定のサイズをそれぞれ有する、項目２に記載の方法。
（項目４）
上記物理マーカの少なくとも１つに、少なくとも１つの寸法における所定のサイズ、上記物理環境内の位置、及び対応するディスプレイ特徴のタイプから成る群から選ばれた少なくとも１つの特性を示す光学的解釈可能な符号化を提供することを更に含む、項目２に記載の方法。
（項目５）
撮像された各物理マーカの上記取得された画像の上記評価は、上記少なくとも１つの寸法において取得された各画像の撮像されたサイズを上記撮像デバイス内の参照と比較することを含む、項目３に記載の方法。
（項目６）
上記物理マーカの少なくとも１つは、少なくとも２つの寸法において所定のサイズを有し、
撮像された各物理マーカの上記取得された画像の上記評価は、少なくとも２つの寸法において取得された各画像の撮像されたサイズを上記撮像デバイス内の少なくとも１つの参照のそれぞれと比較することを含む、項目３に記載の方法。
（項目７）
異なるスケーリング係数を上記物理マーカの異なる物理マーカに関連付けることを更に含み、互いに対する上記異なる仮想物体のそれぞれの上記推定された仮想位置を特定することは、上記スケーリング係数のそれぞれの関数として調整可能である、項目２に記載の方法。
（項目８）
ディスプレイにおいて、上記物理環境における上記物理物体の上記特定された物理的位置に対応する上記仮想環境内の特定された仮想位置において上記仮想物体の画像を生成することを更に含む、項目１に記載の方法。
（項目９）
上記物理マーカの少なくとも１つを上記ディスプレイに表示される対応する仮想特徴に関連付けることを更に含む、項目８に記載の方法。
（項目１０）
上記物理マーカの少なくとも１つに対応する、上記特定された仮想位置を参照した特徴位置を有する、上記ディスプレイ内に表示される少なくとも１つの移動中の仮想特徴の移動画像を生成することを更に含む、項目９に記載の方法。
（項目１１）
上記ディスプレイは仮想現実ヘッドセットに含まれる、項目８に記載の方法。
（項目１２）
上記補助位置システムは累積誤差を有する、項目１に記載の方法。
（項目１３）
上記物理物体が上記第２の位置から上記第１の位置に移動する場合、上記累積誤差から累積誤差量を推定することを更に含む、項目１２に記載の方法。
（項目１４）
上記物理物体が上記第２の位置から上記第１の位置に遷移する場合、上記物理物体が上記第２の位置にあった上記仮想環境の推定状態から、上記物理物体が上記第１の位置にあった対応する上記仮想環境の現在状態に遷移する仮想環境を表示することを更に含む、項目１３に記載の方法。
（項目１５）
上記推定された累積誤差量に対応する補正を上記補助位置システムに適用することを更に含む、項目１３に記載の方法。
（項目１６）
上記物理物体が上記第１の位置から上記第２の位置に遷移する場合、遷移位置に対応するロケーションパラメータを用いて上記補助位置システムを初期化することを更に含む、項目１２に記載の方法。
（項目１７）
上記補助位置システムは慣性測定ユニットである、項目１に記載の方法。
（項目１８）
上記物理物体は、上記仮想環境における上記仮想物体の上記仮想位置に従ってユーザにより操作される、項目１に記載の方法。
（項目１９）
上記物理環境におけるユーザ制御物理物体の上記物理的位置に基づいて、上記仮想環境に表示するイベントを生成することを更に含む、項目１に記載の方法。
（項目２０）
上記物理物体の上記第１の位置及び上記第２の位置は、上記撮像デバイスの角度方向に依存する、項目１に記載の方法。
（項目２１）
無人航空機（ＵＡＶ）を操作する方法であって、
上記ＵＡＶに搭載されたカメラを介して、少なくとも１つの物理物体の画像を取得することと、
上記取得された各画像に基づいて、上記ＵＡＶから上記少なくとも１つの物理物体への各位置パラメータを測定することと、
上記取得された画像に基づく飛行軌道を自律的に辿り、上記測定された位置パラメータに対応する上記ＵＡＶを位置決めすることと
を含む、方法。
（項目２２）
上記飛行軌道はフィックス位置である、項目２１に記載の方法。
（項目２３）
上記飛行軌道は周回軌道である、項目２１に記載の方法。
（項目２４）
ステーション維持コマンドを検知することを更に含む、項目２２に記載の方法。
（項目２５）
現在画像ビューにおいて、上記少なくとも１つの物理物体に対応する少なくとも１つの撮像された物体を識別することと、
上記少なくとも１つの撮像された物体の画像特性を測定することと、
上記ＵＡＶ内で、ＵＡＶ飛行を自律的に制御して、上記対応する少なくとも１つの撮像された物体のそれぞれの上記画像特性を実質的に一貫して維持することにより、上記少なくとも１つの物理物体に相対してステーションを維持することと
を更に含む、項目２４に記載の方法。
（項目２６）
上記ＵＡＶ内で、上記少なくとも１つの物理物体を自律的に選択することを更に含む、項目２５に記載の方法。
（項目２７）
静的構造物に特徴的な地理的特徴を識別することにより、上記少なくとも１つの撮像された物体を識別することを含む、項目２６に記載の方法。
（項目２８）
上記フィックス位置は移動物体に相対して特定される、項目２５に記載の方法。
（項目２９）
上記移動物体は第２のＵＡＶである、項目２８に記載の方法。
（項目３０）
上記ＵＡＶ及び上記第２のＵＡＶから地域の第１の画像及び第２の画像をそれぞれ取得することと、
上記第１の画像及び上記第２の画像から上記地域の立体撮像データをコンパイルすることと
を更に含む、項目２９に記載の方法。
（項目３１）
ユーザから標的選択データを受信することを更に含み、上記標的選択データは、上記少なくとも１つの物理物体を識別する、項目２５に記載の方法。
（項目３２）
各画像特性は、距離及び方角からなる群から選択される、項目２５に記載の方法。
（項目３３）
上記飛行軌道は非静的である、項目２１に記載の方法。
（項目３４）
上記位置パラメータは距離推定値である、項目２１に記載の方法。
（項目３５）
上記位置パラメータは方角である、項目２１に記載の方法。
（項目３６）
上記ＵＡＶは、上記位置パラメータを自律的に測定する、項目２１に記載の方法。
（項目３７）
物理環境におけるユーザ制御の物理物体に対応する仮想環境における仮想物体を操作するシステムであって、
上記物理環境における上記物理物体をユーザが操作できるようにするコントローラと、
上記物理物体に含まれ、少なくとも１つの物理マーカが視野内にある上記物理環境における第１の位置に上記物理物体がある場合、上記少なくとも１つの物理マーカの画像を取得するために提供される撮像デバイスと、
上記少なくとも１つの物理マーカの上記取得された画像の評価に基づいて、上記物理環境における上記物理物体の物理的位置を特定するために提供される画像ベースの位置決めモジュールと、
所定数以下の上記物理マーカが上記視野内にある第２の位置に上記物理物体がある場合、上記物理物体の上記物理的位置を特定するために提供される補助位置システムであって、上記補助位置システムは、上記物理マーカへの光学参照から独立して動作する、補助位置システムと、
上記物理環境における上記物理物体の上記特定された物理的位置に対応する、上記仮想物体の上記仮想環境内の仮想位置を特定するために提供されるシナリオ処理モジュールと、
上記特定された物理的位置に対応する表示位置に上記仮想物体を表示するディスプレイと
を備える、システム。
（項目３８）
上記補助位置システムは、
上記撮像デバイスの特性に相対した上記物理マーカのそれぞれの撮像されたサイズの関数として、上記物理物体から上記撮像された物理マーカのそれぞれへの物理的距離を特定するため、及び
上記特定された物理的距離の関数として上記物理的位置を特定するため
に更に提供される、項目３７に記載のシステム。
（項目３９）
各物理マーカは、少なくとも１つの寸法において所定のサイズをそれぞれ有する、項目３８に記載のシステム。
（項目４０）
上記物理マーカの少なくとも１つに、少なくとも１つの寸法における所定のサイズ、上記物理環境内の位置、及び対応するディスプレイ特徴のタイプから成る群から選ばれた少なくとも１つの特性を示す光学的解釈可能な符号化が提供される、項目３８に記載のシステム。
（項目４１）
上記画像ベースの位置決めモジュールは、上記少なくとも１つの寸法において取得された各画像の撮像されたサイズを上記撮像デバイス内の参照と比較するために更に提供される、項目３９に記載のシステム。
（項目４２）
上記物理マーカの少なくとも１つは、少なくとも２つの寸法において所定のサイズを有し、
上記画像ベースの位置決めモジュールは、上記少なくとも２つの寸法において取得された各画像の撮像されたサイズを上記撮像デバイス内の少なくとも１つの基準のそれぞれと比較するために更に提供される、項目３９に記載のシステム。
（項目４３）
上記シナリオ処理モジュールは、異なるスケーリング係数を上記物理マーカの異なる物理マーカに適用するために提供され、それにより、上記ディスプレイのアスペクト比は上記物理環境の寸法と相対して調整可能である、項目３８に記載のシステム。
（項目４４）
上記シナリオ処理モジュールは、上記物理マーカの少なくとも１つを上記ディスプレイに表示される対応する仮想特徴に関連付けるために更に提供される、項目３７に記載のシステム。
（項目４５）
上記シナリオ処理モジュールは、上記物理マーカの少なくとも１つに対応する、上記特定された仮想位置を参照した特徴位置を有する、上記ディスプレイ内に表示される少なくとも１つの移動中の仮想特徴の移動画像を生成するために更に提供される、項目４４に記載のシステム。
（項目４６）
上記ディスプレイは仮想現実ヘッドセットに含まれる、項目３７に記載のシステム。
（項目４７）
上記補助位置システムは累積誤差を有する、項目３７に記載のシステム。
（項目４８）
上記補助位置システムは、上記物理物体が上記第２の位置から上記第１の位置に移動する場合、上記累積誤差から累積誤差量を推定するために更に提供される、項目４７に記載のシステム。
（項目４９）
上記シナリオ処理モジュールは、上記物理物体が上記第２の位置から上記第１の位置に遷移する場合、上記物理物体が上記第２の位置にあった上記仮想環境の推定状態から、上記物理物体が上記第１の位置にあった対応する上記仮想環境の現在状態に遷移する仮想環境を表示するために提供される、項目４８に記載のシステム。
（項目５０）
上記補助位置システムは、上記推定された累積誤差量に対応する補正を上記補助位置システムに適用するために提供される、項目４８に記載のシステム。
（項目５１）
上記物理物体が上記第１の位置から上記第２の位置に遷移する場合、上記補助位置システムは、遷移位置に対応するロケーションパラメータを用いて初期化される、項目４７に記載のシステム。
（項目５２）
上記補助位置システムは慣性測定ユニットである、項目３７に記載のシステム。
（項目５３）
上記物理物体は、上記仮想環境における上記仮想物体の上記仮想位置に従ってユーザにより操作される、項目３７に記載のシステム。
（項目５４）
上記シナリオ処理モジュールは、上記物理環境における上記ユーザ制御の物理物体の上記物理的位置に基づいて、上記仮想環境にイベントを生成するために更に提供される、項目３７に記載のシステム。
（項目５５）
上記物理物体の上記第１の位置及び上記第２の位置は、上記撮像デバイスの角度方向に依存する、項目３７に記載のシステム。
（項目５６）
無人航空機（ＵＡＶ）を操作するシステムであって、
少なくとも１つの物理物体の画像を取得するために提供される、上記ＵＡＶに搭載されたカメラと、
上記取得された画像のそれぞれに基づいて、上記ＵＡＶから上記少なくとも１つの物理物体までの各位置パラメータを測定する画像処理モジュールと、
上記取得された画像に基づいて飛行軌道を自律的に辿り、上記測定された位置パラメータに対応する上記ＵＡＶを位置決めするために提供される飛行制御システムと
を備える、システム。
（項目５７）
上記飛行軌道はフィックス位置である、項目５６に記載のシステム。
（項目５８）
上記飛行軌道は周回軌道である、項目５６に記載のシステム。
（項目５９）
上記飛行制御システムは、ステーション維持コマンドを検知するために提供される、項目５７に記載のシステム。
（項目６０）
上記画像処理モジュールは、現在画像ビューにおいて、上記少なくとも１つの物理物体に対応する少なくとも１つの撮像された物体を識別するため及び上記少なくとも１つの撮像された物体の画像特性を測定するために提供され、
上記飛行制御システムは、上記ＵＡＶ内で、ＵＡＶ飛行を自律的に制御して、上記対応する少なくとも１つの撮像された物体のそれぞれの上記画像特性を実質的に一貫して維持することにより、上記少なくとも１つの物理物体に相対してステーションを維持するために提供される、項目５９に記載のシステム。
（項目６１）
上記画像処理モジュールは、上記ＵＡＶ内で、上記少なくとも１つの物理物体を自律的に選択するために提供される、項目６０に記載のシステム。
（項目６２）
上記画像処理モジュールは、静的構造物に特徴的な地理的特徴を識別することにより、上記少なくとも１つの撮像された物体を識別するために提供される、項目６１に記載のシステム。
（項目６３）
上記フィックス位置は移動物体に相対して特定される、項目６０に記載のシステム。
（項目６４）
上記移動物体は第２のＵＡＶである、項目６３に記載のシステム。
（項目６５）
上記画像処理モジュールは、上記ＵＡＶ及び上記第２のＵＡＶから地域の第１の画像及び第２の画像をそれぞれ取得し、
上記第１の画像及び上記第２の画像から上記地域の立体撮像データをコンパイルするために提供される、項目６４に記載のシステム。
（項目６６）
ユーザから標的選択データを受信するために提供されるＩ／Ｏモジュールを更に備え、上記標的選択データは上記少なくとも１つの物理物体を識別する、項目６０に記載のシステム。
（項目６７）
各画像特性は、距離及び方角からなる群から選択される、項目６０に記載のシステム。
（項目６８）
上記飛行軌道は非静的である、項目５６に記載のシステム。
（項目６９）
上記位置パラメータは距離推定値である、項目５６に記載のシステム。
（項目７０）
上記位置パラメータは方角である方角測定デバイスを更に備える、項目５６に記載のシステム。
（項目７１）
上記ＵＡＶは、上記位置パラメータを自律的に測定する、項目５６に記載のシステム
【国際調査報告】
2021518953.tif 000010
2021518953.tif 000011
2021518953.tif 000012