(57)【特許請求の範囲】
【請求項１】
遠隔操作可能な輸送手段であって、
輸送手段の位置を推定する輸送手段ベースの推定位置モジュール、
輸送手段の位置を取得する取得位置モジュール、
輸送手段の推定位置と輸送手段の実際の位置との相違が位置ずれ閾値より大きいとき、位置データパケットを生成する位置比較モジュール、
位置データパケットを遠隔のオペレータプラットフォームへ伝える通信モジュール、および、
輸送手段の軌道を制御する制御モジュール
を含む遠隔操作可能な輸送手段と、
遠隔のオペレータであって、
輸送手段の位置を推定するオペレータベースの推定位置モジュール、
輸送手段から位置データパケットが伝えられると、輸送手段の推定位置を更新する位置更新モジュール、
更新された輸送手段の推定位置に基づいて表示装置上に輸送手段の仮想表現を表示する表示モジュール、および、
１つ以上の操作コマンドを輸送手段へ伝えるコマンドモジュール
を含む遠隔のオペレータと
を含む遠隔操作可能な輸送手段システムアーキテクチャ。
【請求項２】
輸送手段ベースの推定位置モジュールおよびオペレータベースの推定位置モジュールが、同じ推測航法アルゴリズムを用いて輸送手段の位置を推定する、請求項１に記載のシステムアーキテクチャ。
【請求項３】
位置更新モジュールが、位置データパケットに保存された地点、向きおよび運動学的データに基づいて輸送手段の推定位置を更新する、請求項１または２に記載のシステムアーキテクチャ。
【請求項４】
位置更新モジュールが、位置データパケット内のタイムスタンプに基づいて輸送手段の推定位置をさらに更新する、請求項３に記載のシステムアーキテクチャ。
【請求項５】
輸送手段を遠隔制御する方法であって、
輸送手段の位置を推定すること、
輸送手段から位置データパケットを受信すると、輸送手段の推定位置を更新すること、
輸送手段の推定位置に基づいて輸送手段の仮想表現を表示装置上に表示すること、および、
表示された輸送手段の仮想表現に基づいて１つ以上のコマンド信号を輸送手段へ伝達すること
を含む方法。
【請求項６】
１つ以上のコマンド信号を輸送手段へ伝達することが、制御信号データパケットを輸送手段へ伝達することを含み、制御信号データパケットは、制御入力の推定位置および制御入力の実際の位置が位置ずれ閾値を超過するときに伝達される、請求項５に記載の方法。
【請求項７】
輸送手段の推定位置を更新することが、位置データパケットに保存された地点、向きおよび運動学的データに基づいて輸送手段の推定位置を更新することを含む、請求項５に記載の方法。
【請求項８】
輸送手段の推定位置を更新することが、位置データパケットに保存されたタイムスタンプに基づいて輸送手段の推定位置を更新することをさらに含む、請求項７に記載の方法。
【請求項９】
表示装置上に表示すべき１つ以上の仮想オブジェクトを取り出すことをさらに含み、１つ以上の仮想オブジェクトが、輸送手段に搭載された撮像センサから得られたテクスチャーパターン画像である、請求項５に記載の方法。
【請求項１０】
１つ以上の撮像センサを介して１つ以上の実世界画像を検知することをさらに含み、検知された実世界画像と仮想環境データベースに保存されている１つ以上の画像との間に差異があるとき、１つ以上の実世界画像を仮想環境データベースへ保存することをさらに含む、請求項５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、遠隔協調輸送手段に関し、具体的には、遠隔協調輸送手段のためのシステムおよび方法に関する。
【背景技術】
【０００２】
遠隔協調輸送手段システムは、偵察および情報収集から攻撃にわたる任務に携わるその能力によりますます価値を増している。遠隔輸送手段システムの制御にしばしば用いられるあるアーキテクチャでは、輸送手段からオペレータプラットフォームへライブ映像が流される。オペレータは、この映像フィードを閲覧し、閲覧した映像フィードに基づいて輸送手段にコマンドを送り返す。このようなアーキテクチャは、該輸送手段がリアルタイムで動作している実際の環境を遠隔のオペレータが閲覧できるようにすることが理想的であるが、このアーキテクチャは、管理不能な待ち時間の問題を有し、大量の帯域幅を要することがよくあり、その結果、リアルタイムの動作が大幅に妨げられる。
【０００３】
待ち時間は、例えば、輸送手段が、映像ストリームをキャプチャし、コード化し、該輸送手段から遠隔のオペレータへ送信するのにかかる時間に加えて、オペレータが制御入力を提供するのにかかる時間、および、輸送手段が遠隔のオペレータからの制御入力を受信し、これに応答するのにかかる時間といった時間遅延である。待ち時間は、輸送手段を所望の軌道から逸脱させてしまうといった望ましくない効果をもたらす可能性がある。例えば、監視任務中に、輸送手段が５秒間遅れた映像フィードを送信した場合、該輸送手段が所望の監視地点から２秒間離れているとき、オペレータが、その潜在的映像を観察して、輸送手段が監視地点の上方を通過する際に実行すべき制御入力を提供するのは遅すぎるだろう。その結果、オペレータは、輸送手段をリアルタイムで動作させるよりむしろ、当該遅延を補償しようと努め続けるだろう。
【０００４】
待ち時間の影響の別の例は、輸送手段が、慣性航法ユニット（ＩＮＵ）で補強した全地球測位システム（ＧＰＳ）などにより自身の地点および向きを測定するときである。輸送手段の地点、向き、速度および加速度といった運動学的状態データは、それらが得られた正にその時点では有効であるが、そのデータが伝達され、かつオペレータにより観察されるまでに、輸送手段は、報告された地点を超えて該輸送手段の運動量により搬送されてしまっているだろう。よって、オペレータは、制御入力が生成された正にその時点の輸送手段の状態には必ずしも基づいておらず、古い運動学的データに基づいて制御入力を提供するだろう。このことにより、操縦士により引き起こされる振動といった望ましくない効果をもたらしかねない。運動学的データの待ち時間はまた、輸送手段間の協調を妨げる可能性もある。例えば、密集編隊で飛行している輸送手段群において、輸送手段は、その制御システムが所望の編隊を維持するよう調節し続けるように互いに運動学的データを交換することがある。しかしながら、該運動学的データに随伴する待ち時間が存在すれば、各輸送手段の制御システムは、演算が行われている時点における他の輸送手段の状態を表すデータでは必ずしもなく、古い運動学的データに基づいて演算を行っていることになるだろう。運動学的データの待ち時間の影響は、編隊における輸送手段を運動学的データの待ち時間の影響を補償するのに望まれるであろうよりさらに互いから離間させる必要を伴い、さもないと、輸送手段間または環境内の物体との衝突が起こる可能性がある。待ち時間に加えて、映像ストリームアーキテクチャはまた、大量の帯域幅を要することがよくある。高品質映像ストリームは、１秒あたり１メガビット以上の帯域幅を要する可能性がある。そのような帯域幅は、しばしば、輸送手段と遠隔のオペレータとの間の通信回線に重い負担となる。複数の無人輸送手段システムが、編隊のように協調して動作することがある。複数の映像ストリームは、必要な帯域幅の量を管理不能なサイズにまで増大しかねない。
輸送手段システムを遠隔制御するための代替のアーキテクチャでは、映像ストリームを圧縮して、帯域幅の要件を低減する。映像ストリームを圧縮することは、帯域幅の要件を有利に低減するが、そのようなアーキテクチャのための圧縮および復元オーバーヘッドにより、待ち時間に数秒またはそれ以上追加される可能性がある。この追加の待ち時間により、輸送手段の遠隔制御が困難となるかもしれない。
【０００５】
輸送手段システムを遠隔制御するための別の代替のアーキテクチャは、遠隔のオペレータに輸送手段をつなぐことを伴う。輸送手段をつなぐことは、輸送手段とオペレータとの間の直接の通信回線を有利に提供し、かつ、待ち時間が最短な十分な帯域幅を提供することができ、これにより、つながれた輸送手段の効果的な操作を可能とする。しかしながら、そのようなアーキテクチャにおいて、つながれた輸送手段の任務は、つなぎ綱の長さに限定されており、このことが、輸送手段が行うことのできる任務の種類を大いに限定し、かつ、輸送手段およびオペレータが他と協調できる能力を限定している。
【発明の概要】
【０００６】
輸送手段システムを制御するための方法およびアーキテクチャシステムを開示する。一実施形態において、輸送手段を遠隔制御する方法は、輸送手段の位置を推定することを含む。位置推定アルゴリズムは、輸送手段の位置を推定することができる。輸送手段から受信された位置データパケットを用いて、輸送手段の推定位置を更新してもよい。表示装置は、更新された輸送手段の推定位置に基づいて輸送手段の仮想表現を表示してもよい。表示された輸送手段の仮想表現に基づいて、コマンド信号を輸送手段へ伝達してもよい。
【０００７】
別の実施形態において、輸送手段の位置を伝える方法は、輸送手段の位置を推定すること、および、輸送手段の実際の位置を取得することを含む。輸送手段の推定位置と実際の位置との相違が閾値より大きければ、向きおよび運動学的輸送手段データを含む位置データパケットを生成し、輸送手段から伝達してもよい。
【０００８】
別の実施形態において、遠隔操作可能な輸送手段システムアーキテクチャは、遠隔操作可能な輸送手段および遠隔のオペレータを含んでもよい。遠隔操作可能な輸送手段は、輸送手段の位置を推定する推定位置モジュールを含んでもよい。遠隔操作可能な輸送手段はまた、輸送手段の実際の位置を取得する取得位置モジュールを含んでもよい。輸送手段の推定位置と実際の位置との相違が位置ずれ閾値より大きければ、位置データパケットを生成し、伝えてもよい。遠隔オペレータプラットフォームは、推定位置モジュール、位置更新モジュール、表示モジュールおよびコマンドモジュールを含んでもよい。オペレータベースの推定位置モジュールは、輸送手段の位置を推定してもよい。位置更新モジュールは、輸送手段から位置データパケットが伝えられると、輸送手段の推定位置を更新してもよい。表示モジュールは、更新された輸送手段の推定位置に基づいて表示装置上に輸送手段の仮想表現を表示してもよい。コマンドモジュールは、１つ以上の操作コマンドを輸送手段へ伝えてもよい。
【０００９】
別の実施形態において、遠隔操作可能な輸送手段システムアーキテクチャは、協調する少なくとも２つの遠隔操作可能な輸送手段を含んでもよい。該輸送手段は、推定位置モジュール、取得位置モジュール、通信モジュール、位置更新モジュール、コマンドモジュールおよび制御モジュールを含んでもよい。推定位置モジュールは、協調する少なくとも２つの遠隔操作可能な輸送手段の各々の位置を推定してもよい。遠隔操作可能な輸送手段の各々は、それらの実際の位置を取得位置モジュールを介して得てもよい。通信モジュールは、各輸送手段の推定位置と実際の位置との相違を監視し、該相違が位置ずれ閾値より大きいとき、通信モジュールは、位置データパケットを協調している遠隔操作可能な輸送手段の各々へ伝えてもよい。位置更新モジュールは、各協調している遠隔操作可能な輸送手段の推定位置を位置データパケットに基づいて更新してもよい。コマンドモジュールは、遠隔のオペレータから１つ以上の操作コマンドを受信するか、または、他の輸送手段と操作コマンドを交換してもよい。制御モジュールは、輸送手段の推定位置および環境の仮想表現を利用して、輸送手段の機能を制御してもよい。
【００１０】
特徴、機能および利点は、本開示のさまざまな実施形態において独立して達成可能、または、さらに他の実施形態において組み合わせ可能であってもよい。
【００１１】
添付の図面を参照しつつ、詳細な説明を示す。図面において、参照番号のもっとも左の数字は、その参照番号が最初に記載された図を特定している。異なる図における同じ参照番号は、同様または同一の項目を示している。
【図面の簡単な説明】
【００１２】
【図１】図１は、遠隔制御可能な輸送手段のためのシステムアーキテクチャのブロック図とフロー図との組み合わせである。
【図２】図２は、遠隔操作可能なシステムのための位置取得モジュールのさらなる詳細を示したブロック図である。
【図３】図３は、遠隔操作可能なシステムのための位置追跡モジュールのさらなる詳細を示したブロック図である。
【図４】図４は、輸送手段の位置を伝えるためのプロセスを示したフロー図である。
【図５】図５は、輸送手段の位置を表示するためのプロセスを示したフロー図である。
【図６】図６は、輸送手段を制御するためのプロセスを示したフロー図である。
【図７】図７は、複数の遠隔制御可能な輸送手段を協調制御するためのシステムアーキテクチャのブロック図とフロー図との組み合わせである。
【発明を実施するための形態】
【００１３】
概要
上で取り上げたように、ライブ映像を流すことに関する待ち時間および帯域幅の問題は、輸送手段システムを正確に遠隔制御する能力を大いに妨げる。ライブストリーミング映像を伝達する必要なしに輸送手段を遠隔制御する改良された技術をここに開示する。ある技術では、輸送手段の位置を推定するために、あらかじめ規定された測位アルゴリズムを用いる。そのようなあらかじめ規定された測位アルゴリズムは、入力としていかなるライブストリーミング映像をも必要とせずに輸送手段の位置を推定できる。他の技術では、輸送手段の推定位置が輸送手段の実際の位置と少なくとも所定の閾値だけ相違するときのみ、輸送手段システムから実際の位置データを伝える。動作環境内で機能している輸送手段を視覚化したものは、該輸送手段が動作している環境の仮想表現とともに輸送手段の仮想表現を表示することにより、輸送手段からライブ映像を流すことなく表示することができる。ここに開示する技術を実施可能な輸送手段は、限定はされないが、航空機、船舶、宇宙機、自動車、機械装置、および、その他の遠隔制御可能な輸送手段またはシステムを含む。
【００１４】
図１は、遠隔制御可能な輸送手段のためのシステムアーキテクチャ１００を示す。システムアーキテクチャ１００は、遠隔操作可能な輸送手段１０２および遠隔のオペレータ１０４を含んでもよい。遠隔操作可能な輸送手段１０２は、航空機、船舶、宇宙機、自動車などといった遠隔制御可能ないかなる輸送手段であってもよい。システムアーキテクチャ１００の実施構成がいかなる数の類似したまたは異なる輸送手段を含んでもよいことは理解されるが、図１は、図示の都合上、１つの航空機輸送手段しか示していない。
【００１５】
一般に、遠隔操作可能な輸送手段１０２および遠隔のオペレータ１０４は、１つ以上のプロセッサを含むコンピュータベースのシステムであってもよい。図１は、遠隔操作可能な輸送手段１０２に関連付けられている輸送手段のプロセッサ１０６と、遠隔のオペレータ１０４に関連付けられているオペレータのプロセッサ１０８とを示している。遠隔操作可能な輸送手段１０２および遠隔のオペレータ１０４は、コンピュータ読み取り可能な記憶媒体の１つ以上の例を含んでいてもよく、これらが結合されてプロセッサと通信している。図１に示されているように、遠隔操作可能な輸送手段１０２は、輸送手段のコンピュータ読み取り可能な媒体１１０を含んでいてもよく、遠隔のオペレータ１０４は、オペレータのコンピュータ読み取り可能な媒体１１２を含んでいてもよい。コンピュータ読み取り可能な媒体１１０および１１２は、プロセッサにより実行されると、ここで説明するツールまたは関連機能のいずれかを行う命令を含んでいてもよい。プロセッサは、コンピュータ読み取り可能な媒体１１０および１１２に埋め込まれるか、または、コード化された命令にアクセスし、かつ／または、該命令を実行するよう構成されていてもよい。プロセッサはまた、所与のアーキテクチャを有するように分類されるか、または特徴付けられていてもよい。プロセッサは、遠隔操作可能な輸送手段１０２のアーキテクチャによって、異なる種類のプロセッサとすることができる。輸送手段１０２は、分配されてもよい、例えば、輸送手段のプロセッサ１０６および関連付けられたモジュールは、地上に存在するなど輸送手段プラットフォームに搭載されていなくてもよく、かつ、重量および輸送手段プラットフォームに対する電力制限などの条件により分配された輸送手段システム構成が求められるとき、レーザ、ＬＥＤ、赤外線、超音波、ＲＦタグまたは電磁気といった遠隔の追跡システムを用いて、輸送手段プラットフォームを追跡してもよいことは理解される。
【００１６】
通信回線１１４は、遠隔操作可能な輸送手段１０２と遠隔のオペレータ１０４との双方向通信を可能としてもよい。通信を示す矢印は１本しか示されていないが、複数の通信回線を設けることもできる。一実施構成において、通信回線１１４により、遠隔操作可能な輸送手段１０２が、中間ネットワークを通過する通信なしに遠隔のオペレータ１０４と通信可能となっていてもよい。そのような通信の実施に適した技術例として、限定はされないが、Ｂｌｕｅｔｏｏｔｈ技術およびＷｉＦｉ技術が挙げられる。代替の実施構成において、通信回線１１４により、遠隔操作可能な輸送手段１０２が、提供される何らかの中間ネットワークまたはサービスを介して、かつ／または、第三者により維持される何らかのサービスを介して遠隔のオペレータ１０４と通信可能となっていてもよい。
【００１７】
図１では輸送手段が１つしか示されていないが、複数の輸送手段が設けられていれば、通信回線１１４は、さまざまな輸送手段間の通信および遠隔のオペレータ１０４との通信を可能とすることもできる。
【００１８】
輸送手段のコンピュータ読み取り可能な媒体１１０は、輸送手段の位置を取得および通信する位置取得および通信モジュール１１６を含んでもよい。図２を参照して下でさらに説明するように、位置取得および通信モジュール１１６により、遠隔操作可能な輸送手段１０２からライブ映像を流す必要がなくなるので有利である。例えば、位置取得および通信モジュール１１６は、遠隔操作可能な輸送手段１０２の実際の位置が閾値より大きい量だけ遠隔操作可能な輸送手段１０２の推定位置と相違しているときにのみ、遠隔操作可能な輸送手段１０２の位置を通信する。位置取得および通信モジュール１１６は、輸送手段のプロセッサ１０６にロードされ、実行されると、遠隔操作可能な輸送手段１０２にここで説明されているさまざまな機能を行わせる１つ以上のソフトウェアモジュールとして実施されていてもよい。
【００１９】
輸送手段のコンピュータ読み取り可能な媒体１１０はまた、環境の測定値を保存する輸送手段測定値データベース１１８の１つ以上の例を含んでいてもよい。輸送手段測定値データベース１１８は、輸送手段のコンピュータ読み取り可能な媒体にあらかじめロードされていてもよく、または、セントラルリポジトリ１２０からダウンロードされてもよい。動作中に、遠隔操作可能な輸送手段１０２は、環境測定値を検知するために１つ以上の距離センサ（図示せず）を用いてもよい。測定値比較モジュール１２２は、検知された環境測定値を輸送手段測定値データベース１１８の１つ以上の測定値と比較することができる。遠隔操作可能な輸送手段１０２が、輸送手段測定値データベース１１８と相関しない環境測定値を検知した場合、距離センサは、センサの測定値と相関するように輸送手段測定値データベース１１８を更新してもよい。
【００２０】
例えば、距離センサ（図示せず）は、距離センサの方位角および仰角に沿った地形表面に対する距離が３７メートルであると示すかもしれないが、輸送手段測定値データベースにおける同じ方位角および仰角に沿った距離は、地形表面への距離が４０メートルであると示すかもしれないので、２つの距離は相関していない。輸送手段の地点およびセンサの向きが正確であれば、実際の地形は、輸送手段測定値データベースがその地点に対して保存した点において、より高い高度を有しているはずである。よって、その地点に対する地形等高線について最新の入手可能データを反映する点を地形高度データベースに挿入してもよい。同じ近傍で得られた追加の距離測定値は、輸送手段測定値データベースにおける地形の非常に正確な表現を提供可能な追加のデータ点を提供するだろう。用いることのできる挿入方法は数多くあり、例えば、データベースシステムが追加の詳細をサポート可能であればより多くの表面多角形を追加すること、または、データベースシステムが追加の表面詳細を受け入れ不可能であれば既存の表面多角形と関連付けられた座標系を修正して、よりタイムリーな地形表面データを反映することである。
【００２１】
別の実施例において、距離センサは、撮像装置（図示せず）を含んでもよい。測定値比較モジュール１２２は、撮像装置から得られた環境の画像を輸送手段測定値データベース１１８に保存されている１つ以上の画像と比較してもよい。一実施構成において、測定値比較モジュール１２２は、実世界で得られた環境画像を輸送手段測定値データベース１１８に保存されている実世界で得られた１つ以上の画像と比較する。あるいは、測定値比較モジュール１２２は、実世界で得られた環境画像を輸送手段測定値データベース１１８に保存されている１つ以上の仮想表現画像と比較してもよい。得られた画像が輸送手段測定値データベース１１８中の画像と相違する場合、または、得られた画像が輸送手段測定値データベース１１８中に存在しない場合、遠隔操作可能な輸送手段１０２は、輸送手段測定値データベース１１８に得られた画像を保存してもよい。一実施構成において、遠隔操作可能な輸送手段１０２は、実世界の画像として輸送手段測定値データベース１１８に得られた画像を保存する。あるいは、遠隔操作可能な輸送手段１０２は、距離センサの位置および向き、ならびに、視線に沿ったセンサの視野内の物体との交点に基づいて、輸送手段測定値データベース１１８に得られた画像の仮想表現を保存する。あるいは、遠隔操作可能な輸送手段１０２は、輸送手段測定値データベース１１８に実世界の画像と得られた画像の仮想表現との両方を保存してもよい。保存される測定値の種類に関わらず、一旦、遠隔操作可能な輸送手段１０２が輸送手段測定値データベース１１８を更新すると、遠隔操作可能な輸送手段１０２は、新たに追加された測定値を反映するようにセントラルリポジトリ１２０を更新してもよい。一実施構成において、遠隔操作可能な輸送手段１０２は、セントラルリポジトリ１２０が更新された測定値を収容していることを他のプラットフォームに通知するレポジトリ更新メッセージを送信することができる。例えば、遠隔操作可能な輸送手段１０２は、レポジトリ更新メッセージを遠隔のオペレータ１０４へ送信してもよい。遠隔操作可能な輸送手段１０２は、通信回線１１４を介してレポジトリ更新メッセージを遠隔のオペレータ１０４へ送信してもよい。あるいは、遠隔操作可能な輸送手段１０２は、通信回線１１４以外の通信技術を介してレポジトリ更新メッセージを遠隔のオペレータ１０４へ送信してもよい。図１では１つの輸送手段しか示していないが、複数の輸送手段を設ける場合、遠隔操作可能な輸送手段１０２は、レポジトリ更新メッセージを遠隔のオペレータ１０４へ送信することに加えて、または、これに代えて、レポジトリ更新メッセージをその他の輸送手段へ送信してもよい。
【００２２】
引き続き図１を参照して、オペレータのコンピュータ読み取り可能な媒体１１２は、位置追跡モジュール１２４を含んでもよい。図３を参照して下でさらに説明するように、位置追跡モジュール１２４は、遠隔操作可能な輸送手段１０２からライブ映像を流す必要なしに遠隔操作可能な輸送手段１０２の位置を追跡する。１つ以上のソフトウェアモジュールは、輸送手段のプロセッサ１０６にロードされ、実行されると、遠隔のオペレータ１０４がここに説明するさまざまな機能を行うように、位置追跡モジュール１２４を実施してもよい。
【００２３】
オペレータのコンピュータ読み取り可能な媒体１１２はまた、輸送手段の動作環境の測定値を保存する仮想環境データベース１２６の１つ以上の例を含んでもよい。仮想環境データベース１２６は、オペレータのコンピュータ読み取り可能な媒体にあらかじめロードしてもよく、または、セントラルリポジトリ１２０からダウンロードしてもよい。動作中に、遠隔のオペレータ１０４は、セントラルリポジトリ１２０からデータをダウンロードすることにより仮想環境データベース１２６を更新してもよい。例えば、遠隔のオペレータ１０４は、上で取り上げたように遠隔操作可能な輸送手段１０２からレポジトリ更新メッセージを受信し次第、動作中にセントラルリポジトリ１２０からデータをダウンロードしてもよい。
【００２４】
オペレータのコンピュータ読み取り可能な媒体１１２は、表示装置（図示せず）上に遠隔操作可能な輸送手段１０２の仮想表現を表示する表示モジュール１２８を追加で含んでもよい。表示モジュール１２８は、位置追跡モジュール１２４を介して求められた遠隔操作可能な輸送手段１０２の位置に基づいて遠隔操作可能な輸送手段１０２の仮想表現を表示してもよい。これに加えて、表示モジュール１２８は、遠隔操作可能な輸送手段１０２の仮想表現とともに表示装置上に表示すべき１つ以上の測定値を仮想環境データベース１２６から取り出してもよい。例えば、表示モジュール１２８は、位置追跡モジュール１２４を介して示された遠隔操作可能な輸送手段１０２の位置に基づいて、輸送手段の動作環境の表示すべき１つ以上の測定値を取り出してもよい。
【００２５】
輸送手段の動作環境の仮想表現とともに遠隔操作可能な輸送手段１０２の仮想表現を表示することにより、表示装置が、遠隔操作可能な輸送手段１０２からライブ映像を流す必要なしに遠隔操作可能な輸送手段１０２を表示できることは有利である。これに加えて、表示モジュール１２８により、表示装置が、遠隔操作可能な輸送手段１０２をあらゆる視点から表示できることは有利である。例えば、表示装置は、状況認識の視点のために遠方から、肩越しに、または、仮想「操縦士」のように遠隔操作可能な輸送手段１０２に搭載された視点から遠隔操作可能な輸送手段１０２を表示してもよい。図１には１つの輸送手段しか示していないが、複数の輸送手段を設けてもよい。複数の輸送手段を設ける場合、表示モジュール１２８は、複数の輸送手段のうちの１つ以上をまとめて同時に表示装置上に表示してもよい。あるいは、複数の表示装置が、該複数の輸送手段を表示することもできる。
【００２６】
図１を引き続き参照して、オペレータのコンピュータ読み取り可能な媒体１１２は、１つ以上の操作コマンドを遠隔操作可能な輸送手段１０２へ伝達するコマンドモジュール１３０を追加で含んでもよい。一実施構成において、表示装置のユーザは、遠隔操作可能な輸送手段１０２へ伝達すべきコマンドモジュール１３０のための１つ以上のコマンドを手入力する。例えば、表示装置のユーザは、遠隔操作可能な輸送手段を旋回、バンクおよび／または加速させる制御コマンドを伝達してもよい。代替の実施構成において、自動技術により、遠隔操作可能な輸送手段１０２へ伝達するための１つ以上のコマンドがコマンドモジュール１３０に提供される。
【００２７】
一実施構成において、コマンドモジュール１３０は、通信回線１１４を介してコマンドを遠隔操作可能な輸送手段１０２へ伝達する。図１では１つの輸送手段しか示していないが、複数の輸送手段を設けることもできる。複数の輸送手段を設ける場合、コマンドモジュール１３０は、コマンドを複数の輸送手段のうちの１つ以上に伝達してもよい。一実施構成において、コマンドモジュール１３０は、複数の輸送手段が互いに同期して移動するように、複数の輸送手段に１つ以上の同様のコマンドを伝達する。あるいは、コマンドモジュール１３０は、複数の輸送手段の各々を独立して制御するために、複数の輸送手段の各々へ特有のコマンドを伝達してもよい。これらの種類のコマンドは、輸送手段を直接操縦し、辿るべき一組の中間地点を更新するコマンド、または、自律または協調意思決定のために輸送手段が用いるかもしれない規則の組に対する更新を含む可能性がある。
【００２８】
１つ以上のソフトウェアモジュールは、遠隔のオペレータのプロセッサ１０８にロードされ、実行されると、遠隔のオペレータ１０４がここで説明するさまざまな機能を行うように、表示モジュール１２８およびコマンドモジュール１３０を実施してもよい。
【００２９】
位置取得および通信モジュール
図２は、遠隔操作可能な輸送手段のための位置取得および通信モジュール１１６のさらなる詳細２００を示している。上に触れたように、位置取得および通信モジュール１１６は、遠隔操作可能な輸送手段１０２の位置を繰り返し取得するが、遠隔操作可能な輸送手段１０２の実際の位置が閾値より大きい量だけ遠隔操作可能な輸送手段１０２の推定位置と相違するときにのみ遠隔操作可能な輸送手段１０２の位置を通信する。
【００３０】
図２に示すように、位置取得および通信モジュール１１６は、位置推定アルゴリズム２０４を利用して、輸送手段の位置を推定することができる輸送手段ベースの推定位置モジュール２０２を含んでもよい。位置取得および通信モジュール１１６は、位置取得技術２０８を利用して、輸送手段の実際の位置を取得することができる取得位置モジュール２０６をさらに含んでもよい。位置取得および通信モジュール１１６は、輸送手段の推定位置と実際の位置との比較に基づいて位置データパケット２１２を生成する位置比較モジュール２１０をさらに含んでもよい。位置取得および通信モジュール１１６は、位置データパケットを通信する通信モジュール２１４をさらに含んでもよい。
【００３１】
輸送手段ベースの推定位置モジュール２０２を参照すると、輸送手段の位置の推定にはいかなる位置推定アルゴリズム２０４を用いてもよい。非限定的な一実施構成では、位置推定アルゴリズム２０４は、推測航法アルゴリズムを用いて、遠隔操作可能な輸送手段１０２の位置を推定してもよい。そのような実施構成では、推測航法アルゴリズムは、輸送手段から得られる向きおよび運動学的データに基づいて遠隔操作可能な輸送手段の位置を推定することができる。一実施構成において、輸送手段ベースの推定位置モジュール２０２は、遠隔操作可能な輸送手段１０２の位置を推定し続ける。
【００３２】
取得位置モジュール２０６を参照すると、輸送手段の位置の取得にはいかなる位置取得技術２０８を用いてもよい。非限定的な一実施構成では、位置取得技術２０８は、輸送手段の位置の取得に全地球測位システム（ＧＰＳ）技術を用いることができる。
【００３３】
引き続き図２を参照して、位置比較モジュール２１０は、推定位置を取得位置と比較してもよい。推定位置と取得位置との相違が合意済みの閾値より大きければ、位置比較モジュール２１０は、位置データパケット２１２を生成してもよい。一実施構成において、位置データパケット２１２は、輸送手段の現在の向きと線速度および回転速度ならびに加速度データを含む運動学的データとを含んでもよい。位置データパケット２１２は、位置データパケット２１２が表そうとしている時刻を反映したタイムスタンプをさらに含んでもよい。これは、データパケットを生成している位置比較モジュールの現在時刻とすることもできるが、遠隔のオペレータ１０４といった受信者への到達の伝達遅延を補償するために、位置データパケットが位置データパケットの生成時よりわずかに先の輸送手段位置を表すような先見時差を含むことも可能である。
【００３４】
位置データパケット２１２が生成され次第、位置取得および通信モジュール１１６は、２１４において位置データパケットを通信してもよい。一実施構成において、位置取得および通信モジュール１１６は、２１４において位置データパケットを図１の遠隔のオペレータ１０４へ通信回線１１４（図１）を介して通信する。複数の輸送手段が設けられている場合、位置取得および通信モジュール１１６は、２１４において位置データパケットを１つ以上の他の輸送手段へ通信してもよい。例えば、位置取得および通信モジュール１１６は、位置データパケットを遠隔のオペレータへ通信しつつ、２１４において位置データパケットを１つ以上の他の輸送手段へ通信してもよい。
【００３５】
位置追跡モジュール
図３は、遠隔操作可能な輸送手段に対するシステムアーキテクチャを実施するための位置追跡モジュール１２４のさらなる詳細３００を示している。上で触れたように、位置追跡モジュール１２４は、遠隔操作可能な輸送手段１０２からのライブ映像を流す必要なしに遠隔操作可能な輸送手段１０２の位置を追跡する。
【００３６】
図３に示すように、位置追跡モジュール１２４は、オペレータベースの推定位置モジュール３０２を含んでいてもよい。オペレータベースの推定位置モジュール３０２は、位置推定アルゴリズム３０４を利用して、遠隔操作可能な輸送手段１０２の位置を推定してもよい。一実施構成において、オペレータベースの推定位置モジュール３０２は、図２を参照して説明した輸送手段ベースの推定位置モジュール２０２と同じアルゴリズムを利用して、遠隔操作可能な輸送手段１０２の位置を推定する。例えば、輸送手段ベースの推定位置モジュール２０２とオペレータベースの推定位置モジュール３０２との両方は、遠隔操作可能な輸送手段１０２の位置を推定するための同じ推測航法アルゴリズムを含んでいてもよい。両推定位置モジュール２０２および３０２において同じ位置推定アルゴリズムを用いることにより、表示モジュールが、遠隔操作可能な輸送手段１０２の動作環境においてその正確な表現を表示可能となり有利である。
【００３７】
位置追跡モジュール１２４は、遠隔操作可能な輸送手段の追跡位置を更新する位置更新モジュール３０６を含んでもよい。一実施構成において、位置更新モジュール３０６は、位置推定アルゴリズム３０４の変数を更新することにより、遠隔操作可能な輸送手段の追跡位置を更新してもよい。例えば、位置更新モジュール３０６は、遠隔操作可能な輸送手段１０２から受信した位置データパケットに保存されている位置および向きデータに基づいて推定輸送手段位置アルゴリズムの変数を更新してもよい。図２を参照して上で取り上げたように、遠隔操作可能な輸送手段１０２の位置取得および通信モジュール１１６は、遠隔操作可能な輸送手段の推定位置と遠隔操作可能な輸送手段の取得位置との相違が同意済みの誤差より大きいときに、位置、向きおよびタイムスタンプデータを含む位置データパケット２１２を遠隔のオペレータ１０４へ伝達してもよい。
【００３８】
位置更新モジュール３０６は、遠隔操作可能な輸送手段１０２から受信した位置データパケット２１２のタイムスタンプに基づいて遠隔操作可能な輸送手段の追跡位置をさらに更新してもよい。例えば、位置更新モジュール３０６は、位置データパケットのタイムスタンプ（すなわち、位置データパケットが有効な時刻）と位置データパケットが位置追跡モジュール１２４により受信された時刻とのあらゆる相違に基づいて位置データパケット２１２に保存されているデータを外挿することができる。データ分配待ち時間と一致する先見時間値を用いて位置データパケットが生成されている例において、位置データパケットの時間および位置は、推定位置モジュール３０２の時間および位置とぴったりと一致しているはずである。同意済みの誤差判定基準閾値を超過するのに十分な誤差が位置推定アルゴリズム２０４内に蓄積されたため、特に、遠隔のオペレータが、輸送手段１０２がその位置推定アルゴリズム２０４として用いていたのと同じ位置推定アルゴリズム３０４を用いていたため、その蓄積誤差もまた同意済み誤差判定基準閾値に近くまたはこれを超過する可能性が高いであろう場合、更新位置が遠隔のオペレータの位置追跡モジュール１２４により必要とされるだろうと輸送手段の位置比較モジュール２１０が示したことから位置データパケット２１２が生成されたかもしれないことに注目すべきである。
【００３９】
図３には１つの輸送手段しか示していないが、複数の輸送手段を設けてもよい。複数の輸送手段を設ける場合、位置更新モジュール３０６は、複数の輸送手段のうちの１つ以上の位置を追跡してもよい。一実施構成において、遠隔操作可能な輸送手段のすべておよびオペレータのすべてが、その他の遠隔操作可能な輸送手段のすべての正確な位置を認識しているように、複数の輸送手段のすべてが、同じアルゴリズムを利用して、その位置データパケット２１２を伝達してもよい。そのような実施構成において、さまざまなオペレータが、事実上あらゆる遠隔の輸送手段を制御し、かつ、複数の輸送手段間の協調した任務を計画および調整してもよい。あるいは、複数の輸送手段は、遠隔操作可能な輸送手段自身がオペレータからの介入なしに協調した動作を行うように、その他の輸送手段の位置を認識していてもよい。下の図７は、そのような協調動作を行うシステムアーキテクチャを示している。
【００４０】
一実施構成において、オペレータベースの推定位置モジュール３０２は、表示モジュールが遠隔操作可能な輸送手段の表示された仮想表現を更新し続けるように、遠隔操作可能な輸送手段の位置を推定し続ける。
【００４１】
プロセスの説明
図４〜図６は、遠隔制御可能な輸送手段に関するプロセスを示している。説明的なプロセスは、論理的流れ図におけるブロックの集合として描写されており、該ブロックの集合は、ハードウェア、ソフトウェアまたはそれらの組み合わせにおいて実施可能な一連の動作を表している。ソフトウェアの文脈の中で、ブロックは、１つ以上のプロセッサにより実行されると、該１つ以上のプロセッサに記載された動作を行わせるコンピュータ実行可能な命令を表している。一般に、コンピュータ実行可能な命令は、特定の機能を行うか、または、特定の抽象的データの種類を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記述されている順序は、限定として解釈されることを意図しておらず、あらゆる数の記述されたブロックをあらゆる順序で、かつ／または、プロセスの実施と並行して組み合わせることができる。
【００４２】
図４は、輸送手段の位置を通信するためのプロセス４００を示している。プロセス４００は、図１のシステムアーキテクチャにより少なくとも部分的に行われてもよい。例えば、プロセス４００は、図１の遠隔操作可能な輸送手段１０２のような輸送手段により行われて、該遠隔操作可能な輸送手段の位置を通信してもよい。４０２において、輸送手段は、輸送手段の地点、向きおよび運動学的データを得る。慣性航法システム（ＩＮＳ）により補完したＧＰＳを用いたような一実施構成において、輸送手段は、現在地点および向きの測定値とともに線速度および角速度ならびに加速度を得る。これに加えて、輸送手段は、地点、向きおよび運動学的データに対応する時刻を示すタイムスタンプを得てもよい。地点、向きおよび運動学的データは、タイムスタンプとともにデータパッケージとして保存されてもよく、かつ、４０４において用いられる位置推定アルゴリズムを初期化するために用いられてもよい。４０４において、輸送手段の位置を推定する。一実施構成において、上で説明した推測航法アルゴリズムといったアルゴリズムは、４０２において得られた地点、向きおよび運動学的データにはじめは基づいて、４０４において輸送手段の地点および向きを推定する。推定位置モジュール４０４を通じた各１回の実行とともに、前回の実行からの経過時間を位置推定アルゴリズムにおいて用いて、その時点で輸送手段が位置している可能性のある場所を推定する。４０６において、輸送手段の実際の位置を取得する。一実施構成において、ＩＮＳにより補完したＧＰＳは、上で説明したように４０６において輸送手段の実際の地点、向きおよび運動学的データを取得する。
【００４３】
４０８において、輸送手段の推定位置（すなわち、４０４）と取得された輸送手段の位置（すなわち、４０６）との相違が所定の閾値より大きいか否かについて決定する。輸送手段の推定位置と取得された輸送手段の位置との相違が所定の閾値より大きければ（すなわち、４０８からの「はい」の分岐）、４１０において輸送手段の更新された地点、向きおよび運動学的データを得る。４０２と４０６とにおいて利用された同じ技術により、４１０において更新された向きおよび運動学的データを得てもよい。例えば、４１０において、輸送手段の現在の地点および向きの測定値と、線速度および角速度ならびに加速度と、位置読み取り値の時刻を示すタイムスタンプとを得てもよい。別の実施例において、４０６において得られた更新データを直接用いてもよい。更新された地点、向きおよび運動学的データは、４１２においてデータパッケージとして保存してもよい。４１４において、更新された地点、向きおよび運動学的データパケット（すなわち、４１２）を伝達してもよい。
【００４４】
図４は、輸送手段の推定位置と取得された輸送手段の位置との相違が所定の閾値より大きいとき（すなわち、４０８からの「はい」の分岐）にデータパケットを伝達する輸送手段を示しているが、４０８に加えて他の方法を用いて、データパケットの伝達を引き起こしてもよい。例えば、データパケットはまた、ハートビートタイマーを含んでいてもよい。この結果、２秒といった特定の時間間隔内に輸送手段がデータパケットを送信していない場合、データパケットの受信者が、輸送手段が依然として生きていることが分かるように、輸送手段は、データパケットを自動的にとにかく送信し始めることができる。ハートビートタイマーとともに第２の特定の期間を用いて、輸送手段が非動作状態であることを示してもよい。例えば、オペレータが、例えばハートビート間隔の２．５倍以内にデータパケットを受信できない場合、オペレータは、輸送手段が非動作状態にあると考えることができる。
【００４５】
一実施構成において、更新された地点、向きおよび運動学的データパケットは、４１４において、上で説明し（かつ、図４において破線で描写し）た通信回線を介して遠隔のオペレータへ伝達される。更新された地点、向きおよび運動学的データパケットは、４１４において、図１の遠隔のオペレータ１０４のような遠隔のオペレータへ伝達されてもよい。複数の輸送手段が設けられている場合、４１２において生成された更新された地点、向きおよび運動学的データパケットは、データパケットの遠隔のオペレータへの伝達に加えて、４１４において１つ以上の他の輸送手段へ伝達されてもよい。
【００４６】
一旦、４１４において地点、向きおよび運動学的データパケットが伝達されると、輸送手段は、４１０からの更新された地点、向きおよび運動学的データを用いて、４０４における位置推定アルゴリズムをリセットおよび再初期化し、前回の実行からの経過時間に基づいて推定位置を更新する反復実行プロセスを続けてもよく、４０６において得られた輸送手段の更新された地点、向きおよび運動学的データを用いて、４０８において輸送手段の更新された推定位置と輸送手段の取得位置を比較する。
【００４７】
輸送手段の推定位置と取得された輸送手段の位置との相違が所定の閾値より大きくなければ（すなわち、４０８からの「いいえ」の分岐）、輸送手段は、前回の実行からの経過時間に基づいて推定位置を更新し、４０４において推定された地点および向きデータならびに４０６において新たに取得した輸送手段の位置を用いて、４０８において輸送手段の更新された推定位置と輸送手段の取得位置とを比較し続けてもよい。
【００４８】
図５は、輸送手段の位置を表示するためのプロセス５００を示している。プロセス５００は、図１のシステムアーキテクチャ１００により少なくとも部分的に行われてもよい。例えば、プロセス５００は、図１の遠隔のオペレータ１０４のようなオペレータにより行われて、輸送手段の仮想表現を表示してもよい。５０２において、推定技術は、輸送手段の位置を推定する。一実施構成において、上で説明した推測航法アルゴリズムといった推定アルゴリズムは、５０２において輸送手段の位置を推定してもよい。例えば、構成要素４０４を参照しつつ上で説明したものと同じ推測航法アルゴリズムが、５０２において輸送手段の位置を推定する。
【００４９】
５０４において、輸送手段の推定位置に基づいて輸送手段の仮想表現を表示する。一実施構成において、輸送手段の仮想表現は、上で説明したような１つ以上の仮想環境測定値とともに表示されてもよい。
【００５０】
５０６において、輸送手段からデータパケットが受信されたか否かについて決定する。一実施構成において、受信されたデータパケットは、図４に関して上の４１２において説明したデータパケットであってもよい。例えば、受信されたデータパッケージは、輸送手段の現在位置測定値と、線速度および角速度ならびに加速度と、位置読み取り値の時刻を示すタイムスタンプとからなっていてもよい。輸送手段からデータパケットが受信されていれば（すなわち、５０６からの「はい」の分岐）、５０２において輸送手段の位置の推定に用いられた技術を、受信されたデータパケットに保存されているデータに基づいて、５０８において更新してもよい。一実施構成において、受信されたデータパケットに保存されている輸送手段の位置測定値と、線速度および角速度ならびに加速度とを用いて、５０２の位置推定技術の１つ以上の変数を更新してもよい。さらなる実施構成において、受信されたデータパケットに保存されているタイムスタンプを用いて、５０２の位置推定技術をさらに更新してもよい。タイムスタンプを用いて５０２の位置推定技術を更新することは、受信されたデータパケットの伝達におけるあらゆる待ち時間に有利に対処する。
【００５１】
一旦、５０８において輸送手段の位置の推定に用いられる技術が更新されると、オペレータは、５０６の最新の受信データパケットに基づいて５０４において輸送手段を表示し続けてもよい。輸送手段からデータパケットが受信されていなければ（すなわち、５０６からの「いいえ」の分岐）、オペレータは、５０２の位置推定技術を更新することなく、５０４において輸送手段を表示し続けてもよい。
【００５２】
図６は、輸送手段を制御するためのプロセス６００を示している。プロセス６００は、図１のシステムアーキテクチャ１００により少なくとも部分的に行われてもよい。例えば、プロセス６００は、図１の遠隔のオペレータ１０４のようなオペレータにより行われて、図１の遠隔操作可能な輸送手段１０２を制御してもよい。６０２において、位置推定技術は、輸送手段の位置を推定する。一実施構成において、図４に関して上で説明したような推測航法アルゴリズムは、輸送手段から受信したデータパケットに保存されている地点、向きおよび運動学的データに基づいて、６０２において輸送手段の位置を推定する。推測航法アルゴリズムは、データパケットの生成時刻を反映するデータパケットタイムスタンプを用いて、データパケットの伝達待ち時間を考慮してもよい。
【００５３】
６０４において、６０２で推定した輸送手段の位置に基づいて輸送手段の仮想表現を表示する。一実施構成において、輸送手段の仮想表現は、上で説明したような１つ以上の仮想環境測定値とともに表示されてもよい。例えば、輸送手段の仮想表現とともに表示装置上に表示するために、１つ以上の測定値を仮想環境データベースから取り出してもよい。
【００５４】
６０６において、何らかの制御入力を輸送手段へ伝達すべきか否かについて決定する。一実施構成において、６０６の決定は、６０４の表示された輸送手段に基づいている。制御入力を輸送手段へ伝達すべきであれば（すなわち、６０６からの「はい」の分岐）、６０８において制御入力を輸送手段へ伝達する。一実施構成では、６０６において何らかの制御入力を輸送手段へ伝達すべきか否かについて、人間のオペレータが決定する。あるいは、６０６において何らかの制御入力を輸送手段へ伝達すべきか否かについて、自動化技術が決定する。一実施構成において、オペレータは、図１において上で説明し（かつ、図６において破線で描写し）た通信回線１１４を介して、６０８において制御入力を輸送手段へ伝達する。制御入力は、コントローラ装置を用いて取得してもよい。例えば、ビデオゲームにおいてよく用いられるように、オペレータは、ジョイスティックのようなコントローラ装置を操作してもよく、その結果、ジョイスティックの加速度計が、地点、向きおよび運動学的データのうちの１つ以上としてオペレータのコマンドを取り込む。あるいは、コンピュータが、ソフトウェアプログラムを用いて制御入力を生成してもよい。あるいは、ユーザが、地点、向きおよび運動学的データについて制御入力を直接入力してもよい。
【００５５】
一実施構成において、オペレータは、６０８において輸送手段へ送信するべき制御入力データパケット中に制御入力をまとめてもよい。制御入力データパケットは、さらに、制御入力が表そうとする時刻を反映するタイムスタンプを含んでもよい。タイムスタンプは、輸送手段へ送信するべき制御入力データパケットを生成するオペレータの現在時刻とすることもできるが、６０８における輸送手段といった受信者への到達の伝達遅延を補償するために、制御入力データパケットのデータが制御入力データパケットの生成時よりわずかに先のデータを表すような先見時差を含むことも可能である。タイムスタンプを含む制御入力データパケットを送信することにより、輸送手段が、推測航法アルゴリズムを用いて制御入力データパケットのデータを外挿することができるようになり有利である。例えば、制御入力データパケットのタイムスタンプに基づいて、輸送手段が、オペレータから輸送手段へ制御入力データパケットを伝達するのに１００ミリ秒かかったと算出する場合、輸送手段は、推測航法を用いて制御入力データパケットの１００ミリ秒分だけ古いデータを現在の入力データの組へ外挿してもよい。このことにより、たとえ制御入力を含むデータパケットに待ち時間があっても、所与の瞬間において輸送手段が維持しているオペレータのコントローラのモデルが、オペレータのコントローラの実際の地点とほぼ正確に一致することができるようになり有利である。そのような実施構成において、輸送手段は、オペレータにより送信された制御位置に直接応答するのではなく、むしろ、待ち時間に関して補償されたオペレータの制御入力の推測航法によるモデルの制御位置に応答する。
【００５６】
制御入力データメッセージの送信側と受信側との両方に対する推測航法による制御入力モデルを用いたように制御入力のモデルを使用すると、同意済みの誤差閾値を超過したときメッセージを送信するだけでネットワークの帯域幅利用を低減することができて有利である。上記超過したときに、制御入力データメッセージを伝達してもよく、両端に対する制御入力モデルは、制御入力の実際の位置にリセットされる。
【００５７】
制御入力データパケットが、制御入力が表そうとしている時刻を反映するタイムスタンプを含む場合、制御入力データパケットはまた、図４を参照して上で説明したようにハートビートタイマーをも含んでいてもよい。例えば、２秒といった特定の時間間隔内にオペレータが制御入力データパケットを送信していない場合、輸送手段がオペレータが依然として生きていることが分かるように、オペレータは、制御入力データパケットを自動的にとにかく送信し始めることができる。ハートビートタイマーとともに第２の特定の期間を用いて、オペレータが非動作状態であることを示してもよい。例えば、輸送手段が、例えばハートビート間隔の２．５倍以内に制御入力データパケットを受信できない場合、輸送手段は、オペレータが非動作状態にあると考えることができる。
【００５８】
複数の輸送手段を設けている場合、オペレータは、１つ以上の輸送手段へ制御入力を送信してもよい。一実施構成において、オペレータは、複数の輸送手段が互いに同期して動作するように、６０８において複数の輸送手段へ同じ制御入力を伝達してもよい。あるいは、オペレータは、複数の輸送手段を独立して操作するために、６０８において輸送手段の各々に特有の制御入力を伝達してもよい。
【００５９】
一旦、６０８において制御入力が輸送手段へ伝達されると、オペレータは、６０２において新たに推定された輸送手段の位置に基づいて６０４において輸送手段を表示し続けてもよい。制御入力が輸送手段へ伝達されないのであれば（すなわち、６０６からの「いいえ」の分岐）、オペレータは、６０２において新たに更新された輸送手段の推定位置に基づいて６０４において輸送手段を表示し続けてもよい。
【００６０】
協調システムアーキテクチャの説明
図７は、複数の遠隔制御可能な輸送手段を協調制御するためのシステムアーキテクチャ７００のブロック図とフロー図との組み合わせである。システムアーキテクチャ７００は、第１の遠隔操作可能な輸送手段７０２および第２の遠隔操作可能な輸送手段７０４を含んでもよい。図７は、遠隔操作可能な輸送手段７０４と同一の遠隔操作可能な輸送手段７０２を示しているが、遠隔操作可能な輸送手段７０２および７０４は、異なった輸送手段であってもよい。遠隔操作可能な輸送手段７０２および７０４は、航空機、船舶、宇宙機、自動車などといった遠隔操作可能ないかなる輸送手段であってもよい。
【００６１】
一般に、遠隔操作可能な輸送手段７０２および７０４は、図１の遠隔操作可能な輸送手段１０２を参照しつつ上で説明したように１つ以上のプロセッサを含んでもよい。例えば、図７は、遠隔操作可能な輸送手段７０２に対するプロセッサ７０６および遠隔操作可能な輸送手段７０４に対するプロセッサ７０８を示している。図１の遠隔操作可能な輸送手段１０２を参照しつつ上で説明したように、遠隔操作可能な輸送手段７０２および７０４は、コンピュータ読み取り可能な記憶媒体の１つ以上の例を含んでいてもよく、これらが結合されてプロセッサ７０６および７０８とそれぞれ通信している。例えば、図７は、遠隔操作可能な輸送手段７０２に対するコンピュータ読み取り可能な記憶媒体７１０および遠隔操作可能な輸送手段７０４に対するコンピュータ読み取り可能な記憶媒体７１２を示している。
【００６２】
コンピュータ読み取り可能な記憶媒体７１０および７１２は、推定位置モジュール７１４および７１６をそれぞれ含んでもよい。推定位置モジュール７１４は、第１の遠隔操作可能な輸送手段７０２の位置を推定するとともに、第２の遠隔操作可能な輸送手段７０４の位置を推定してもよい。同様に、推定位置モジュール７１６は、遠隔操作可能な輸送手段７０２と遠隔操作可能な輸送手段７０４との両方の位置を推定してもよい。図７は、２つの遠隔操作可能な輸送手段しか示していないが、推定位置モジュール７１４および７１６が遠隔操作可能な輸送手段の各々の位置を推定するように、３つ以上の遠隔操作可能な輸送手段を設けてもよい。
【００６３】
図２において輸送手段ベースの推定位置モジュール２０２を参照しつつ上で取り上げたように、推定位置モジュール７１４および７１６は、いかなる位置推定アルゴリズムを用いて遠隔操作可能な輸送手段７０２および７０４の位置を推定してもよい。非限定的な一実施構成において、推定位置モジュール７１４および７１６は、推測航法アルゴリズムを用いて遠隔操作可能な輸送手段７０２および７０４の位置を推定してもよい。そのような実施構成において、推測航法アルゴリズムは、輸送手段から得られる向きおよび運動学的データに基づいて遠隔操作可能な輸送手段の位置を推定することができる。一実施構成において、推定位置モジュール７１４および７１６は、遠隔操作可能な輸送手段７０２および７０４の位置を推定し続ける。
【００６４】
コンピュータ読み取り可能な記憶媒体７１０および７１２はさらに、取得位置モジュール７１８および７２０をそれぞれ含んでもよい。取得位置モジュール７１８は、遠隔操作可能な輸送手段７０２の位置を取得してもよく、取得位置モジュール７２０は、遠隔操作可能な輸送手段７０４の位置を取得してもよい。図２の取得位置モジュール２０６を参照しつつ上で取り上げたように、いかなる位置取得技術により、輸送手段の位置を取得してもよい。非限定的な一実施構成において、取得位置モジュール７１８および７２０は、ＩＮＳ技術で補強したＧＰＳを用いて輸送手段の位置を取得してもよい。
【００６５】
コンピュータ読み取り可能な記憶媒体７１０および７１２はさらに、輸送手段の推定位置と実際の位置との比較に基づいて位置データパケットを生成および通信する通信モジュール７２２および７２４をそれぞれ含んでもよい。例えば、遠隔操作可能な輸送手段７０２は、その推定位置を取得位置と比較してもよい。遠隔操作可能な輸送手段７０２の取得位置が閾値より大きい量だけ推定位置と相違するとき、通信モジュール７２２は、位置データパケットを生成してもよい。同様に、遠隔操作可能な輸送手段７０４は、その取得位置が閾値より大きい量だけ推定位置と相違するとき、位置データパケットを生成してもよい。ある例では、遠隔操作可能な輸送手段７０２に対する閾値は、遠隔操作可能な輸送手段７０４に対する閾値と等しくてもよいが、他の例では、両閾値は異なっていてもよい。
【００６６】
位置データパケットが生成され次第、通信モジュール７２２および７２４は、位置データパケットを通信してもよい。一実施構成において、通信モジュール７２２および７２４は、図１の遠隔のオペレータ１０４といった遠隔のオペレータへ位置データパケットを伝える。あるいは、通信モジュール７２２は、第２の遠隔操作可能な輸送手段７０４へ位置データパケットを伝えてもよい。例えば、通信モジュール７２２は、通信回線７２６を介して第２の遠隔操作可能な輸送手段へ位置データパケットを伝えてもよい。同様に、通信モジュール７２４は、通信回線７２６を介して遠隔操作可能な輸送手段７０２へ位置データパケットを伝えてもよい。図７は２つの遠隔操作可能な輸送手段しか示していないが、通信モジュール７２２および７２４がすべての遠隔操作可能な輸送手段間の通信回線を介してすべての遠隔操作可能な輸送手段へデータパケットを伝えるように、３つ以上の遠隔操作可能な輸送手段を設けてもよい。さらなる代替の実施形態において、通信モジュール７２２および７２４は、図１の遠隔のオペレータ１０４といった遠隔のオペレータとともに、その他のあらゆる遠隔操作可能な輸送手段へ位置データパケットを伝えてもよい。
【００６７】
図２の位置データパケット２１２を参照しつつ上で取り上げたように、図７の位置データパケットは、現在の地点と、向きと、線速度および回転速度ならびに加速度データを含む輸送手段の運動学的データとを含んでもよい。位置データパケットは、通信モジュール７２２および７２４が位置データパケットを生成する時刻を反映するタイムスタンプをさらに含んでもよい。
【００６８】
コンピュータ読み取り可能な記憶媒体７１０および７１２はさらに、遠隔操作可能な輸送手段７０２および７０４の推定位置を更新する位置更新モジュール７２８および７３０をそれぞれ含んでもよい。例えば、位置更新モジュール７２８は、遠隔操作可能な輸送手段７０２の取得位置が閾値より大きい量だけ遠隔操作可能な輸送手段７０２の推定位置と相違するとき、通信モジュール７２２の位置データパケットに基づいて遠隔操作可能な輸送手段７０２の推定位置を更新してもよい。これに加えて、位置更新モジュール７２８は、通信モジュール７２４からの位置データパケットの受信に基づいて第２の遠隔操作可能な輸送手段７０４の推定位置を更新してもよい。図７は２つの遠隔操作可能な輸送手段しか示していないが、遠隔操作可能な輸送手段の各々から位置データパケットが受信され次第、位置更新モジュール７２８および７３０が遠隔操作可能な輸送手段の各々の推定位置を更新するように、３つ以上の遠隔操作可能な輸送手段を設けてもよい。
【００６９】
コンピュータ読み取り可能な記憶媒体７１０および７１２は、１つ以上の操作コマンドを受信するコマンドモジュール７３２および７３４をさらに含んでもよい。一実施構成において、コマンドモジュール７３２および７３４は、他の遠隔操作可能な輸送手段から１つ以上の操作コマンドを受信する。例えば、コマンドモジュール７３２は、遠隔操作可能な輸送手段７０４から１つ以上の操作コマンドを受信してもよい。あるいは、コマンドモジュール７３２および７３４は、図１の遠隔のオペレータ１０４のような遠隔のオペレータから１つ以上の操作コマンドを受信する。さらなる代替の例示において、コマンドモジュール７３２および７３４は、別の遠隔操作可能な輸送手段および／または遠隔のオペレータのいずれかまたは両方から１つ以上の操作コマンドを受信してもよい。一実施構成において、コマンドモジュール７３２および７３４は、通信回線７２６を介して１つ以上の操作コマンドを受信する。あるいは、コマンドモジュール７３２および７３４は、別の経路を介して１つ以上の操作コマンドを受信してもよい。
【００７０】
コンピュータ読み取り可能な記憶媒体７１０および７１２は、遠隔操作可能な輸送手段の軌道を制御する制御モジュール７３６および７３８をさらに含んでもよい。例えば、制御モジュール７３６は、遠隔操作可能な輸送手段７０２の軌道を制御してもよい。これに加えて、制御モジュール７３６は、遠隔操作可能な輸送手段７０４のようなその他別の遠隔操作可能な輸送手段の軌道を制御してもよい。同様に、制御モジュール７３８は、遠隔操作可能な輸送手段７０２の軌道を制御するだけでなく、遠隔操作可能な輸送手段７０４の軌道の両方を制御してもよい。
【００７１】
一実施構成において、制御モジュール７３６および７３８は、仮想環境における遠隔操作可能な輸送手段の仮想表現内の軌道を演算することにより、遠隔操作可能な輸送手段の軌道を制御してもよい。例えば、制御モジュール７３６は、遠隔操作可能な輸送手段７０２および７０４が動作している環境の仮想表現とともに、遠隔操作可能な輸送手段７０２と遠隔操作可能な輸送手段７０４との両方の仮想表現内の軌道を演算してもよい。一実施構成において、制御モジュール７３６および７３８は、図１に関して上で取り上げた輸送手段測定値データベース１１８といった輸送手段測定値データベースから遠隔操作可能な輸送手段の仮想表現を得てもよい。
【００７２】
図７は２つの遠隔操作可能な輸送手段しか示していないが、制御モジュール７３６および７３８が遠隔操作可能な輸送手段のすべてをまとめて表示装置上に同時に表示するように、３つ以上の遠隔操作可能な輸送手段を設けてもよい。
【００７３】
結語
本開示の好適な実施形態および代替の実施形態を例示し、かつ、説明したが、上に触れたように、本開示の精神および範囲を逸脱することなく数多くの変更が可能である。したがって、本開示の範囲は、これら好適な実施形態および代替の実施形態の開示により限定されるものではない。その代わりに、本開示は、以下の請求項を参照することにより全体として範囲が定められるべきである。
また、本願は以下に記載する態様を含む。
（態様１）
輸送手段を遠隔制御する方法であって、
輸送手段の位置を推定すること、
輸送手段から位置データパケットを受信すると、輸送手段の推定位置を更新すること、
輸送手段の推定位置に基づいて輸送手段の仮想表現を表示装置上に表示すること、および、
表示された輸送手段の仮想表現に基づいて１つ以上のコマンド信号を輸送手段へ伝達すること
を含む方法。
（態様２）
輸送手段の位置を推定することが、推測航法アルゴリズムを用いて輸送手段の位置を推定することを含む、態様１に記載の方法。
（態様３）
１つ以上のコマンド信号を輸送手段へ伝達することが、制御信号データパケットを輸送手段へ伝達することを含み、制御信号データパケットは、制御入力の推定位置および制御入力の実際の位置が位置ずれ閾値を超過するときに伝達される、態様１に記載の方法。
（態様４）
制御信号データパケットが、制御信号データパケットが有効な時刻を示すタイムスタンプを含んでいる、態様３に記載の方法。
（態様５）
制御入力の実際の位置が制御入力装置上の加速度計を介して取得される態様４に記載の方法。
（態様６）
輸送手段の推定位置を更新することが、位置データパケットに保存された地点、向きおよび運動学的データに基づいて輸送手段の推定位置を更新することを含む、態様１に記載の方法。
（態様７）
輸送手段の推定位置を更新することが、位置データパケットに保存されたタイムスタンプに基づいて輸送手段の推定位置を更新することをさらに含む、態様６に記載の方法。
（態様８）
表示装置上に表示すべき１つ以上の仮想オブジェクトを取り出すことをさらに含み、１つ以上の仮想オブジェクトが、輸送手段に搭載された撮像センサから得られたテクスチャーパターン画像である、態様１に記載の方法。
（態様９）
１つ以上の撮像センサを介して１つ以上の実世界画像を検知することをさらに含む態様１に記載の方法。
（態様１０）
検知された実世界画像と仮想環境データベースに保存されている１つ以上の画像との間に差異があるとき、１つ以上の実世界画像を仮想環境データベースへ保存することをさらに含む、態様９に記載の方法。
（態様１１）
遠隔操作可能な輸送手段であって、
輸送手段の位置を推定する輸送手段ベースの推定位置モジュール、
輸送手段の位置を取得する取得位置モジュール、
輸送手段の推定位置と輸送手段の実際の位置との相違が位置ずれ閾値より大きいとき、位置データパケットを生成する位置比較モジュール、
位置データパケットを遠隔のオペレータプラットフォームへ伝える通信モジュール、および、
輸送手段の軌道を制御する制御モジュール
を含む遠隔操作可能な輸送手段と、
遠隔のオペレータであって、
輸送手段の位置を推定するオペレータベースの推定位置モジュール、
輸送手段から位置データパケットが伝えられると、輸送手段の推定位置を更新する位置更新モジュール、
更新された輸送手段の推定位置に基づいて表示装置上に輸送手段の仮想表現を表示する表示モジュール、および、
１つ以上の操作コマンドを輸送手段へ伝えるコマンドモジュール
を含む遠隔のオペレータと
を含む遠隔操作可能な輸送手段システムアーキテクチャ。
（態様１２）
制御モジュールが制御入力の推定位置を用いて輸送手段の軌道を制御する態様１１に記載のシステムアーキテクチャ。
（態様１３）
輸送手段ベースの推定位置モジュールおよびオペレータベースの推定位置モジュールが、同じ推測航法アルゴリズムを用いて輸送手段の位置を推定する、態様１１に記載のシステムアーキテクチャ。
（態様１４）
位置更新モジュールが、位置データパケットに保存された地点、向きおよび運動学的データに基づいて輸送手段の推定位置を更新する、態様１１に記載のシステムアーキテクチャ。
（態様１５）
位置更新モジュールが、位置データパケット内のタイムスタンプに基づいて輸送手段の推定位置をさらに更新する、態様１４に記載のシステムアーキテクチャ。
【図１】
0005632470.tif 000002
【図２】
0005632470.tif 000003
【図３】
0005632470.tif 000004
【図４】
0005632470.tif 000005
【図５】
0005632470.tif 000006
【図６】
0005632470.tif 000007
【図７】
0005632470.tif 000008