(57)【要約】拡張現実システムは、環境内に位置を定められる車両を識別しそして制御する。追跡システムは、環境のリアルタイムの視界に対応する視点情報を得る。処理システムは、１つ以上のセンサから情報を受信する。情報は、センサ位置情報および車両についての状態情報を含む。処理システムは、該センサ位置情報および該視点情報を用いてグラフィックスを生成する。グラフィックスは該状態情報および制御器の視覚的表現を含む。ディスプレイは、グラフィックスがリアルタイムの視界に重ねられるように生成されたグラフィックスを表示する。グラフィックスは、車両に付随されたように見える。対話装置は、表示された制御器を起動させる。
2010520558.tif 000002
【特許請求の範囲】
【請求項１】
環境内に位置を定められた車両を識別しそして制御する方法であって、該方法は、
該車両に連結された１つ以上のセンサからの情報を受信するステップであって、該情報はセンサ位置情報および該車両についての状態情報を含む、ステップと、
該環境のリアルタイムの視界に対応する視点情報を得るステップと、
該センサ位置情報および視点情報を用いてグラフィックスを生成するステップであって、該グラフィックスは該状態情報および制御器の視覚的表現を含む、ステップと、
該グラフィックスが該リアルタイムの視界に重ねられるようにディスプレイに該生成されたグラフィックスを表示するステップであって、該グラフィックスは該車両に付随されたように見える、ステップと、
表示された制御器を起動させるステップと
を包含する、方法。
【請求項２】
状態情報の視覚的表現は、
前記車両を識別する識別子を含む、請求項１に記載の方法。
【請求項３】
前記表示された制御器は、
アクションボタンであって、それが起動されると、前記車両に連結された多数の前記１つ以上のセンサから獲得された情報を表示する、アクションボタン
を含む、請求項１に記載の方法。
【請求項４】
前記表示された制御器は、
矢印であって、選択されると、該選択された方向に前記車両を動かす、矢印
を含む、請求項１に記載の方法。
【請求項５】
前記表示された制御器は、
車両の隣にあるアイコンであって、ある位置に動かされると、対応する位置に前記車両を動かす、アイコン
を含む、請求項１に記載の方法。
【請求項６】
前記表示された制御器は、
車両の隣にあるアクションボタンであって、起動されると、所定の位置に動くように前記車両に命令する、アクションボタン
を含む、請求項１に記載の方法。
【請求項７】
前記表示された制御器は、
車両の隣にあるアクションボタンであって、起動されると、一連の作業を実行するように前記車両に命令する、アクションボタン
を含む、請求項１に記載の方法。
【請求項８】
環境内に位置を定められた車両を識別しそして制御する拡張現実システムであって、
該車両に連結された１つ以上のセンサと、
該環境のリアルタイムの視界に対応する視点情報を得る追跡システムと、
該１つ以上のセンサから情報を受信する処理システムであって、該情報は、センサ位置情報および該車両についての状態情報を含み、該センサ位置情報および該視点情報を用いてグラフィックスを生成し、該グラフィックスは該状態情報および制御器の視覚的表現を含む、処理システムと、
該グラフィックスが該リアルタイムの視界に重ねられるように該生成されたグラフィックスを表示するディスプレイであって、該グラフィックスは該車両に付随されたように見える、ディスプレイと、
表示された制御器を起動させる対話装置と
を備えている、システム。
【請求項９】
状態情報の視覚的表現は、
前記車両を識別する識別子を含む、請求項８に記載の拡張現実システム。
【請求項１０】
前記表示された制御器は、
アクションボタンであって、それが起動されると、前記車両に連結された多数の前記１つ以上のセンサから獲得された情報を表示する、アクションボタン
を含む、請求項８に記載の拡張現実システム。
【請求項１１】
前記表示された制御器は、
矢印であって、選択されると、該選択された方向に前記車両を動かす、矢印
を含む、請求項８に記載の拡張現実システム。
【請求項１２】
前記表示された制御器は、
車両の隣にあるアイコンであって、ある位置に動かされると、対応する位置に前記車両を動かす、アイコン
を含む、請求項８に記載の拡張現実システム。
【請求項１３】
前記表示された制御器は、
車両の隣にあるアクションボタンであって、起動されると、所定の位置に動くように前記車両に命令する、アクションボタン
を含む、請求項８に記載の拡張現実システム。
【請求項１４】
前記表示された制御器は、
車両の隣にあるアクションボタンであって、起動されると、一連の作業を実行するように前記車両に命令する、アクションボタン
を含む、請求項８に記載の拡張現実システム。
【請求項１５】
環境内に位置を定められた装置を識別しそして制御する拡張現実システムであって、
該装置に連結された１つ以上のセンサと、
該環境のリアルタイムの視界に対応する視点情報を得る追跡システムと、
該１つ以上のセンサから情報を受信する処理システムであって、該情報は、センサ位置情報および該装置についての状態情報を含み、該センサ位置情報および該視点情報を用いてグラフィックスを生成し、該グラフィックスは該状態情報および制御器の視覚的表現を含む、処理システムと、
該グラフィックスが該リアルタイムの視界に重ねられるように該生成されたグラフィックスを表示するディスプレイであって、該グラフィックスは該装置に付随されたように見える、ディスプレイと、
表示された制御器を起動させる対話装置と
を備えている、システム。
【請求項１６】
前記装置はロボット装置であり、前記対話装置は該ロボット装置を制御する、請求項１５に記載の拡張現実システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の引用）
本発明は次の同時係属中の米国特許出願に関し、該出願の各々の内容の全体が本明細書に参考として援用される。
【０００２】
１．２００６年５月２６日に出願された、名称が「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｔｏ  Ｄｉｓｐｌａｙ  Ｍａｉｎｔｅｎａｎｃｅ  ａｎｄ  Ｏｐｅｒａｔｉｏｎ  Ｉｎｓｔｒｕｃｔｉｏｎｓ  ｏｆ  ａｎ  Ａｐｐａｒａｔｕｓ  Ｕｓｉｎｇ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ」である米国特許出願第１１／４４１，２４１号、および
２．２００７年３月８日に出願された、名称が「Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ−Ｂａｓｅｄ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｔｏ  Ｓｈｏｗ  ｔｈｅ  Ｌｏｃａｔｉｏｎ  ｏｆ  Ｐｅｒｓｏｎｎｅｌ  ａｎｄ  Ｓｅｎｓｏｒｓ  Ｉｎｓｉｄｅ  Ｏｃｃｌｕｄｅｄ  Ｓｔｒｕｃｔｕｒｅｓ  ａｎｄ  Ｐｒｏｖｉｄｅ  Ｉｎｃｒｅａｓｅｄ  Ｓｉｔｕａｔｉｏｎ  Ａｗａｒｅｎｅｓｓ」である米国特許出願第１１／７１５，３３８号。
【０００３】
３．２００６年９月７日に出願された、名称が「Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ  
ｆｏｒ  Ｇｅｏ−Ｒｅｆｅｒｅｎｃｉｎｇ  ａｎｄ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ｏｆ  Ｄｅｔｅｃｔｅｄ  Ｃｏｎｔａｍｉｎａｎｔｓ」である米国特許出願第１１／５１６，５４５号。
【０００４】
（開示の分野）
本発明は、無人車両（ＵＶ）と共に、拡張現実ベース型システムを用いることに関する。
【背景技術】
【０００５】
（導入）
遠隔のユーザが複合の三次元の都市環境の中を無人車両（ＵＶ）を容易に誘導し得るような方法で、遠隔のユーザに無人車両の制御を提供することが長い間望まれていた。
【０００６】
先行技術のシステムは、オペレータ−車両インタフェース（Ｏｐｅｒａｔｏｒ−ｖｅｈｉｃｌｅ  ｉｎｔｅｒｆａｃｅ）（ＯＶＩ）と、無人戦闘機車両（Ｕｎｉｎｈａｂｉｔｅｄ  Ｃｏｍｂａｔ  Ａｅｒｉａｌ  Ｖｅｈｉｃｌｅ）（ＵＣＡＶ）オペレータのコンソール（Ｏｐｅｒａｔｏｒ’ｓ  Ｃｏｎｓｏｌｅ）と、アドバンスト無人航空車両インタフェース（Ａｄｖａｎｃｅｄ  Ｕｎｍａｎｎｅｄ  Ａｉｒ  Ｖｅｈｉｃｌｅ  Ｉｎｔｅｒｆａｃｅ）（ＡＵＡＶＩ）と、一般的オペレータコントロールユニット（Ｃｏｍｍｏｎ  Ｏｐｅｒａｔｏｒ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）（ＣＯＣＵ）と、ライトパターソン空軍（Ｗｒｉｇｈｔ  Ｐａｔｔｅｒｓｏｎ  Ａｉｒ  Ｆｏｒｃｅ）基地においてＡｉｒ  Ｆｏｒｃｅ  Ｒｅｓｅａｒｃｈ  Ｌａｂによって開発されたシステムと、Ｓｐａｃｅ  ａｎｄ  Ｎａｖａｌ  Ｗａｒｆａｒｅ  Ｓｙｓｔｅｍｓ  Ｃｅｎｔｅｒ  Ｓａｎ  Ｄｉｅｇｏによって開発されたシステムとを含む。
【０００７】
先行技術システムは典型的には、コンピュータグラフィックスを伴うコマンド概念および制御概念を用いることによってまたは遠隔操作を用いることによって、複合の環境の中をＵＶを誘導することを試みる。コンピュータグラフィックスを伴う現在のコマンド概念および制御概念は、仮想現実感または拡張現実感に基づく。遠隔操作（Ｔｅｌｅ−ｏｐｅｒａｔｉｏｎ）は、いかなるグラフィックスも伴わないで、ＵＶに取り付けられたビデオカメラからの映像を用いて制御するユーザにＵＶの視点を提供するだけである。
【０００８】
仮想現実感は、ＵＶがユーザに見えない遠距離のコマンドおよび制御に適合される。近距離／都市状況において、仮想現実感は効果的に適用され得ない。なぜなら、その仮想現実感は、典型的には存在しない都市環境の詳細なモデルを必要とし、モデルが存在したとしても、モデルは、特に狭い都市の谷間を通ってＵＶを制御するとき、関心のある新しい変化（例えば、環境において動く車）を含まない。仮想現実制御は、大きな動きおよび大きな俯瞰視野に対して最も良く用いられ、従って障害物および困難な地形がＵＶから遠い長距離ＵＶ制御に最適である。長距離ＵＶ制御において、遠くの障害物が詳細に描かれていないとしても、関心が薄い。全体のトポロジの概略の描写を有することで、典型的には十分である。
【０００９】
遠隔操作は、ＵＶの視点から環境の画像を示し、この画像を用いてＵＶの制御を提供する。遠隔操作は、ユーザがあたかもＵＶの内部にいるかのように画像を作ることによって、ＵＶを制御するように試みる。遠隔操作はＵＶに取り付けられたカメラの視界までコントローラの視野を減少させ、コントローラの見回す能力はカメラが回転し得る速度によって制限される。カメラの視界およびカメラが回転し得る速度の両方が、人間の能力より劣る。従って、周辺状況認識は、実際に車両内にいるユーザと比較して大幅に減らされる。従って、ＵＶの制御は同様に減少させられる。例えば、環境の観察用のカメラを用いることによって壁にぶつかることなく狭いトンネルを通過することは、人間の視覚の大きな視野および見回す能力を用いる場合より、はるかに困難である。
【００１０】
拡張現実感は、環境の仮想モデルの上にＵＶの現在の視界の映像を重ねるために用いられる。収集され従って仮想世界にマッピングされた映像は、カメラによって現在見られるような環境において実際に起っていることの最新のものをコントローラに提供する。拡張現実感は、上記のシステムと同じ制限を被る。なぜなら、人間のコントローラが見る画像はカメラの能力によって制限され、環境の仮想モデルは環境における小さな変化を捕えないからである。
【００１１】
上記の制限に加えて、上記のすべての技術は、遠隔コマンドセンタの使用、またはよくても、ほとんどの場合１台のＵＶを制御するためにオペレータによって運ばれる従来の大きく重い遠隔装置を必要とする。その結果、ひとりのユーザが所与のＵＶを制御し得るのみでもある。それでひとりの兵士が所与のＵＶを使用することを可能にするために、兵士はまずＵＶの人間のコントローラを見つけなければならず、兵士が必要とするＵＶが行なうべきことを人間のコントローラに知らせる。さらにこれらの方法のどれも、現実の世界において特定のＵＶを識別することを可能にしない。その結果、ユーザが環境においてＵＶを見つけることまたは遠くの２台の類似のＵＶを区別することが困難であり得る。
【発明の概要】
【課題を解決するための手段】
【００１２】
本明細書に説明されるシステムは、ＵＶが識別されることおよびＵＶを見ることが可能な任意のユーザの視点から制御されることを可能にすることによって先行技術のシステムの欠点を解決し、それによって任意のユーザとＵＶとの間の緊密な協同を可能にする。環境内に複数のＵＶがある場合において、システムは、環境内のＵＶが該環境内の同じように見える他のＵＶから識別されることを可能にする。システムは、ユーザによって着用されるシースルーディスプレイ（ｓｅｅ−ｔｈｒｏｕｇｈ  ｄｉｓｐｌａｙ）に送られる制御インタフェースを用いることによって制御されることを可能にし、それによって大きく重い遠隔制御器の必要性を除去する。制御インタフェースは、制御小型機械（ボタン、ノブなど）をユーザの視界に表示されるＵＶに取り付けることによって、実装され得る。ＵＶは次いで、これらの小型機械への作用によって制御され得る。さらに、システムは、各個々のＵＶが拡張現実感システムのいく人かのユーザによって制御されることを可能にする。
【００１３】
（現在好ましい例示的実施形態の簡単な説明）
添付の図面に関して与えられる次の説明は、図面の非限定の例を参照してより良く理解され得、図面は以下のように示す。
【図面の簡単な説明】
【００１４】
【図１】図１：例示的ＵＶ情報および制御システム
【図２】図２：光学シースルーディスプレイを用いる例示的ＵＶ情報および制御システム
【図３】図３：ビデオシースルーディスプレイを用いる例示的ＵＶ情報および制御システム
【図４】図４：異なる位置にある可能性のあるカメラおよびビデオディスプレイを用いる例示的ＵＶ情報および制御システム
【図５】図５：例示的ＵＶ識別および制御情報を有する環境の視界の上に重ねられた情報の例示的図
【図６】図６：例示的ＵＶ識別および制御情報を有する環境の視界の上に重ねられた情報の例示的図
【図７】図７：例示的ＵＶ識別および制御情報を有する環境の視界の上に重ねられた情報の例示的図
【発明を実施するための形態】
【００１５】
（現在好ましい例示的実施形態）
本明細書に説明される状態および制御システムは、拡張現実感（ＡＲ）技術を利用し、ユーザの視界に直接に情報を示す。ＡＲは、仮想現実感に似ているが、完全に人工の画像を用いる代わりに、透過によって現実の世界のビデオまたは図に３Ｄのグラフィックスを重ねる。ＡＲの非常に単純な例は、黄色の線によってファーストダウンを示すフットボールゲームに用いられる。用いられ得る例示ＡＲシステムは、本開示と組み合せて米国特許出願第１１／４４１，２４１号に説明される例のうちの１つである。
【００１６】
ＡＲ可視化システムは、空間データベースと、グラフィカルコンピュータと、視点追跡装置と、ディスプレイ装置と、対話装置とを備えている。
【００１７】
拡張現実感システムの動作原理は下記に説明される。ユーザの視界に対応する動的画像を表示するディスプレイ装置が追跡される。すなわちディスプレイの位置および方向は、視点追跡装置によって計測される。空間データベースおよびグラフィカルコンピュータは、環境におけるオブジェクトに関する情報を含み、該オブジェクトは、ＵＶ、およびこれらのＵＶによって捕獲された地理位置の（ｇｅｏｌｏｃａｔｅｄ）データであり得る。この情報は、シースルーディスプレイを用いてディスプレイの位置および方向に従って、環境の上に重ねられ、それによって拡張画像を作成する。対話装置は、拡張画像に示されるＵＶが制御されることを可能にする。対話装置は、ディスプレイ（例えば、ウィンドウまたは小型機械）を介してユーザが見るものの特定の点をユーザが選択することを可能にする。
【００１８】
図１は、遠隔ユーザにＵＶ１００を見てそして制御する方法を提供するために用いられるＡＲシステムの例示的実施形態を示す。ユーザ１０２は、ＵＶ１００からある距離離れて位置を定められ、環境１０８との関連においてユーザ１０２がＵＶ１００を見ることを可能にする環境１０８のながめを有する。
【００１９】
センサ１１６は、ＵＶの位置が監視されること（例えば、ＧＰＳ追跡情報）を可能にするセンサを含み、ＵＶの動作状態（例えば、残りの電力または燃料、ＵＶによって獲得される映像など）およびＵＶのすぐ近くの状態（例えば、温度、空気量、ＵＶによって捕獲される化学試料、ＵＶに取り付けられるＬＩＤＡＲセンサなど）についての情報を提供するセンサを含み得る。制御器１２０は、コマンドを受信し、コマンドを用いてＵＶ１００を制御する。
【００２０】
コンピュータ１１０は、ＵＶ１００に取り付けられたセンサ１１６からの情報を収集する。図１は単一のＵＶ１００を示すが、そのような表現に限定することは意図されず、任意の数のＵＶ１００が環境１０８内に位置を定められ得ることは留意すべきである。
【００２１】
コンピュータ１１０は、センサ１１６から受信された情報によってデータベース１１８を更新する。データベース１１８は、センサ１１６からの情報を記憶する。データベース１１８は、都市の３Ｄモデルなどの環境１０８についてのモデル情報をさらに含み得る。モデル情報は、システムにおける高機能を提供するために用いられ得るが、基本的なシステムの実装にとって必要ではない。グラフィカルコンピュータ１１０は、データベース１１８からの情報を連続してレンダリングし、それによって環境内のＵＶの位置を監視し、センサ１１６から受信された現在の情報からグラフィックスを生成する。グラフィカルコンピュータ１１０は、特定のＵＶから受信された情報から生成されたグラフィックスをそのＵＶの現在の位置に関係づける。
【００２２】
コンピュータ１１０はまた、追跡装置１２２によって捕獲されたシースルーディスプレイ装置１２４の視点に関する情報を受信する。コンピュータ１１０は、データベース１１８からのレンダリングされた情報およびディスプレイ装置１２４の視点についての追跡情報を取り、一般的な３Ｄ投影プロセスを用いることによって、ディスプレイ装置１２４の現在の視界との関係でセンサ１１６からの現在の情報を配置する。コンピュータ１１０はＵＶからの情報をＵＶの位置に関係づけるので、コンピュータ１１０がセンサ１１６からの情報を現在の図に配置するとき、情報はＵＶ１００に付随される。
【００２３】
ディスプレイ装置１２４は、ディスプレイ装置１２４によって「見られる」ように、周囲の環境１０８の図に重ねられ、グラフィカルコンピュータ１１０によって生成された画像を示すことが可能である。従って、ユーザ１０２は、ＵＶ１００から受信された可視化された情報をユーザが解釈することを可能にする、情報が重ねられた環境１０８の拡張視界を有する。グラフィックスをＵＶ１００に付随することによって、ＵＶ１００が静止したユーザの視界を通って動くかまたはユーザの視界が変化するときに、対応する情報は、ＵＶ１００に視覚的に関連したままである。
【００２４】
さらにグラフィックスは、ユーザがＵＶ１００を制御することを可能にする制御器を含み得る。対話装置１１２は、ユーザ１００がディスプレイ１２４に表示される制御器を操作することを可能にする。従って対話装置１１２は、例えば、マウス、ジャイロマウス（ｇｙｒｏ−ｍｏｕｓｅ）、ジョイスティックなどのＧＵＩと対話し得る任意の装置を含み得る。対話装置１１２がマウスであるとき、対話装置はユーザ１０２の視野に表示されているポインタを有し得、ポインタは、対話装置１１２によって現在選択されているものをユーザ１０２が見ることを可能にする。対話装置１１２を用いて、ユーザ１０２は、表示されたグラフィックスの一部を選択し、それにアクションを実行し得る。マウスが説明されるが、ユーザ１０２が自分の見る画像の一部を選択することを可能にする任意の対話装置が用いられ得る。例えば、ユーザ１０２が見る絵画と同じ絵画を「見る」カメラがディスプレイにはめ込まれ得る。この例において、ユーザ１０２はポインティングデバイスとして自分の指を用い得る。カメラは、指を捕らえ、指の先端にカーソルを付随させ、その結果、ポインタは次いで、指の先端によって駆動され、ディスプレイの一部を選択し得る。この場合、利用可能なマウスボタンがないので、おそらくユーザ１０２は、声を出すかまたは自分の手袋でボタンを押し、ユーザが選択することを望む領域の上で実際の選択を１度実行する。対話装置１１２に利用可能な特定の例示的機能の詳細は、図５〜図７に従って説明される。
【００２５】
図２〜図４は、システムの中に組み込まれ得るディスプレイの例示的タイプを示す。図２は、光学シースルーディスプレイを用いて実装されるディスプレイ装置１２４を示す。光学シースルーディスプレイは、典型的には光学ビームスプリッタ（他の光学アセンブリが存在する）を用いることによって、周囲の環境１０８の視界に重ねられた、グラフィカルコンピュータ１１０によって生成された画像を示すことを達成し、該光学ビームスプリッタは、前方の環境１０８から来る光の半分を通過させ、ディスプレイ１２４から来る光の半分を反射し、現実世界の環境１１８とグラフィックスとを組み合せた効果の中で、グラフィカルコンピュータ１１０によって生成される画像を示す。光学シースルーディスプレイは、典型的にはユーザによって着用されるゴーグルの形態である。
【００２６】
図３は、映像シースルーディスプレイを用いて実装されるディスプレイ装置１２４を示す。映像シースルーディスプレイは、ビデオカメラ１２６を用いることによって、環境１０８の視界に重ねられ、グラフィカルコンピュータ１１０によって生成された画像を示すことを達成し、環境１０８の映像をとり、ビデオレンダリング装置１２８を用いて、グラフィカルコンピュータ１１０からの画像が映像の上にオーバレイされた後に、ディスプレイ１２４に映像を示す。映像シースルーディスプレイの場合において、現実世界の環境１０８の視界を獲得するカメラおよびこの映像を示すディスプレイが、図３に示されるように、単一のディスプレイに共に位置を定められ得るか、または図４に示されるように異なる位置に配置され得る。映像ディスプレイは、様々なタイプの表示技術を用いて実装され得、ユーザ１０２の近くのどこにでも位置を定められ得る。
【００２７】
上記の３つの例示的構成（光学シースルー、共に位置を定められたビデオおよびスクリーン、ならびに異なる位置におけるビデオおよびスクリーン）は、ＡＲシステムの実装を理解するために言及されるのであって、限定することは意図されない。現実の世界に付随されたように見えるグラフィックスを重ねることが可能な任意のＡＲシステムが用いられ得る。
【００２８】
図１〜図４に示される要素は、適切な場合、任意の数の方法で組み合わせられ得る（例えば、追跡１２２およびコンピュータ１１０は、同じ物理的装置内で組み合わせられ得る）ことは留意すべきである。さらに、示される要素は、任意の適切な方法で互いに通信する別個の物理的装置であり得る。例えば、センサ１１６は、ネットワークプロトコルを用いるネットワークを介して無線通信によって、または電子通信の任意他の適切な方法を用いて、コンピュータ１１０と通信し得る。
【００２９】
図５は、例示的ＵＶ識別および制御ＧＵＩを用いた環境１０８の視界の上に重ねられた情報の例示的な視界である。図５は、同じ環境内の２つの類似したＵＶを明確に識別する原理を示す。この例において、類似のＵＶは、固有の識別子「チョッパ１」および「チョッパ２」によって区別される。さらに、各ＵＶの状態に関する情報が示され得る。この例において、各ＵＶの下に、各ＵＶが残している燃料の量（すなわち、４５％および８０％）の表示がある。任意の他の特性または状態の情報が、燃料示度と共にまたはその代わりに含まれ得る。ＵＶは環境全体に動くので、その情報（例えば、固有の識別子）はＵＶに「付随」されたままである。
【００３０】
図５はまた、拡張ディスプレイを用い、制御機能をＵＶに提供する概念を示す。図５に示されるように、チョッパ２は、方向矢印５００によって囲まれている。ユーザ１０２は、対話装置１１２を用いて矢印を操作することによってチョッパ２を制御し得る。コンピュータ１１０は、対話装置１１２からコマンドを受信し、ＵＶ１００の制御器１２０にコマンドを送信する。この場合、特定の矢印を操作することは、チョッパ２をその方向に動くようにさせ得る。
【００３１】
図６は、ＵＶを制御する代替の制御インタフェースを示す。図６に示されるように、ＵＶの隣に十字形６００がある。ユーザ１０２は、対話装置１１２を用いて十字形６００を選択し、環境における特定の位置に十字形６００をドラッグそしてドロップすることによって、ＵＶを制御することが可能であり、それによってこの位置に行くようにＵＶに指示する。ポインティングデバイス／対話装置は２Ｄ（ディスプレイのように）であるので、この場合、深度が（ここではウィンドウの深度に対し）抑制されるように環境のモデルが存在することが必要である。
【００３２】
図７は、制御インタフェースを用い、ＵＶから情報を集める概念を示す。図７に示されるように、制御インタフェースは、ＵＶの上にビデオボタン７００を含む。ビデオボタン７００を押すことによって、ＵＶにあるカメラから獲得された映像がビデオウィンドウ７０２に表示される。ボタン７０４は、ユーザ１０２がカメラの位置を変更することを可能にし、それによって、カメラが獲得しているものを制御する。モデル情報がシステムに組み込まれているとき、モデル情報は、ビデオウィンドウ７０２によってランドマークを遮断しないように用いられ得ることには留意すべきである。図７はまた、アクションボタンの一般的な使用法を示す。ＵＶからの情報を集めることに加えて、アクションボタンは任意の数の所定の機能を実行し得る。例えば、アクションボタン７０６は、起動されると、ＵＶを本拠地に戻らせる。アクションボタンはまた、複雑な作業が完成させられ得るように一連のステップをＵＶに実行させ得る。例えば、アクションボタンは、燃料補給作業に必要な全てのステップをＵＶに実行させ得る。
【００３３】
ＧＵＩ制御システムが、ＵＶに限定されないで、任意のタイプの電気機械装置を含み得ることは留意すべきである。例えば、システムは、ロボットが、静止しているが制御され得るツール（例えば、溶接、ドリリングなど）を有するような場合、ロボットを制御するために用いられ得る。
【００３４】
本発明が現在最も実際的で好ましい実施形態であると考えられるものに関連して説明されたが、本発明が、開示された実施形態に限定されるべきではなく、それどころか、添付の特許請求の範囲の精神および範囲内に含まれる様々な修正および均等な構成を含むように意図されることは理解すべきである。
【図１】
2010520558.tif 000003
【図２】
2010520558.tif 000004
【図３】
2010520558.tif 000005
【図４】
2010520558.tif 000006
【図５】
2010520558.tif 000007
【図６】
2010520558.tif 000008
【図７】
2010520558.tif 000009
【国際調査報告】
2010520558.tif 000010