(57)【要約】      （修正有）【解決手段】ビークルの環境を表す合成画像を生成するシステム及び方法であって、赤外線（ＩＲ）カメラからの赤外線情報を使用して第１の画像を生成することと、ＬＩＤＡＲからのレーザ点群データを使用して第２の画像を生成することと、第１の画像及び第２の画像の組み合わせに基づいて、環境を表す組み込み点群を生成することと、ビークルの横断のナビゲーション情報を受信することと、ナビゲーション情報に基づいて、組み込み点群を地理参照座標空間に変換することと、変換された組み込み点群を環境の地形の画像と組み合わせ、ビークルの環境を表す合成画像を生成することと、を含む。【効果】地形の画像と組み合わせてビークルの環境を表す合成画像を生成する【選択図】図４
2016189184.tif 000002
【特許請求の範囲】
【請求項１】
ビークルの環境を表す合成画像を生成する方法（４００）であって、
前記ビークル上の赤外線（ＩＲ）カメラからの赤外線情報を使用して前記環境の第１の画像を生成する（４０２）ことと、
前記ビークル上のＬＩＤＡＲからのレーザ点群データを使用して前記環境の第２の画像を生成する（４０４）ことと、
追加のデータが前記レーザ点群データに組み込まれるように、前記第１の画像及び前記第２の画像の組み合わせに基づいて、前記環境を表す組み込み点群を生成する（４０６）ことと、
ナビゲーションデータベース内に記憶されたデータから前記ビークルが横断した前記環境のナビゲーション情報を受信する（４０８）ことと、
前記ナビゲーション情報に基づいて、前記組み込み点群を地理参照座標空間に変換する（４１０）ことと、
前記変換された組み込み点群を前記環境の地形の画像と組み合わせ、前記ビークルの前記環境を表す前記合成画像を生成する（４１２）ことと
を含む方法。
【請求項２】
前記第１の画像、前記第２の画像、及び前記ナビゲーション情報が、それぞれほぼ同一時点で生成且つ受信される、請求項１に記載の方法（４００）。
【請求項３】
前記第１の画像及び前記第２の画像の組み合わせに基づいて、前記環境を表す前記組み込み点群を生成することが、
前記ＬＩＤＡＲからの前記レーザ点群データの各レーザデータ点につき、前記レーザ点群データを前記第１の画像にマッピングするように、前記レーザデータ点を前記第１の画像の対応するピクセル位置に投影することを含む、請求項１又は２に記載の方法（４００）。
【請求項４】
前記ナビゲーション情報に基づいて、前記組み込み点群のデータを前記地理参照座標空間に変換することが、
前記ＩＲカメラ及び前記ＬＩＤＡＲの姿勢並びに前記ビークルのナビゲーションシステムに対するリニアオフセットに従って、前記組み込み点群データを調整することを含み、調整は、前記ビークルの前記ナビゲーションシステムからの緯度、経度、高度、進路、ピッチ、及びロールを含む６自由度（ＤＯＦ）プラットフォームデータを使用して行われる、請求項１から３のいずれか一項に記載の方法（４００）。
【請求項５】
前記変換された組み込み点群を前記環境の地形の画像と組み合わせることが、
前記地形の画像を前記変換された組み込み点群に重ね合わせることを含む、請求項１から４のいずれか一項に記載の方法（４００）。
【請求項６】
前記環境の前記地形の前記合成画像を前記ビークルの多機能ディスプレイ（ＭＦＤ）又はヘッドマウントディスプレイ（ＨＭＤ）上で表示することを更に含む、請求項１から５のいずれか一項に記載の方法（４００）。
【請求項７】
前記環境を横断している前記ビークルの動作の間、前記ＩＲカメラから前記赤外線情報を受信し、前記ＬＩＤＡＲから前記レーザ点群データを受信しているとき、前記方法をリアルタイムで実行することを更に含む、請求項１から６のいずれか一項に記載の方法（４００）。
【請求項８】
ビークルの環境の赤外線情報を収集する赤外線（ＩＲ）カメラ（１０４）、
前記ビークルの前記環境のレーザ点群データを収集するＬＩＤＡＲ（１０６）、
前記ビークルのナビゲーション情報を判定するように構成されているナビゲーションシステム（１１０）、
前記ＩＲカメラ（１０４）、前記ＬＩＤＡＲ（１０６）、及び前記ナビゲーションシステム（１１０）の出力に基づいて、前記ビークルが前記環境を横断している間にリアルタイムで前記ビークルの前記環境の合成表現（１１６）を生成するプロセッサ（１１２）であって、前記合成表現を生成することが、
追加のデータが前記レーザ点群データに組み込まれるように、前記赤外線情報及び前記レーザ点群データの組み合わせに基づいて、前記環境を表す組み込み点群を生成することと、
前記組み込み点群を前記環境の地形の画像と組み合わせることとを含む、プロセッサ（１１２）、及び
前記ビークルのディスプレイに前記環境の前記地形の合成画像を表示するディスプレイ（１２０）
を備えるシステム（１００）。
【請求項９】
前記プロセッサ（１１２）が、ゼロに近い状態からゼロ状態の視界条件を含む低視界環境（ＤＶＥ）で前記ビークルが動作することに基づいて、前記合成表現（１１６）を生成するように更に構成されている、請求項８に記載のシステム（１００）。
【請求項１０】
前記プロセッサ（１１２）が、
前記組み込み点群のオブスキュレーションレベルを判定し、且つ
センサパラメータの適応フィードバック制御のために、オブスキュレーションレベルに基づいて、前記ビークル上の前記ＩＲカメラ及び前記ＬＩＤＡＲのうちの１つ又は複数のパラメータを調整するように更に構成されている、請求項８又は９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、広く言えば、ビークルの多機能ディスプレイ（ＭＦＤ）及び／又はヘルメットマウント或いはヘッドマウントディスプレイ（ＨＭＤ）で表示され得る、複数のセンサからのリアルタイム融合データに基づくビークル周囲の合成三次元表現を生成することに関する。
【背景技術】
【０００２】
一部の運航時、雨、雪、埃、及び／又は砂のような大気中の視界を遮る要素（ｏｂｓｃｕｒａｎｔｓ）がパイロットの視界を制限する場合がある。したがって、あらゆる天候条件で航空機を操作するパイロットの能力が一部の運航状況では低下する場合がある。例えばレーダーのような一部の航空機システムは、航空機の周囲に関する追加情報をパイロットに供給する。しかしながら、かなりの量の視界を遮る要素が大気中に存在するとき、この追加情報は、パイロットによるあらゆる状況下での地上走行、離陸、及び／又は着陸を可能にするほど十分ではない場合がある。
【発明の概要】
【０００３】
一実施例では、ビークルの環境を表す合成画像を生成する方法が説明されている。この方法は、ビークル上の赤外線（ＩＲ）カメラからの赤外線情報を使用して環境の第１の画像を生成することと、ビークル上のＬＩＤＡＲからのレーザ点群データ（ｌａｓｅｒ  ｐｏｉｎｔ  ｃｌｏｕｄ  ｄａｔａ）を使用して環境の第２の画像を生成することと、追加のデータがレーザ点群データに組み込まれるように、第１の画像及び第２の画像の組み合わせに基づいて、環境を表す組み込み点群を生成することと、ナビゲーションデータベース内に記憶されたデータからビークルが横断した環境のナビゲーション情報を受信することと、ナビゲーション情報に基づいて、組み込み点群を地理参照座標空間（ｇｅｏ−ｒｅｆｅｒｅｎｃｅｄ  ｃｏｏｒｄｉｎａｔｅ  ｓｐａｃｅ）に変換することと、変換された組み込み点群を環境の地形の画像と組み合わせ、ビークルの環境を表す合成画像を生成することとを含む。
【０００４】
別の実施例では、非一時的なコンピュータ可読媒体が説明されている。この非一時的なコンピュータ可読媒体は、内部に命令を記憶しており、この命令は、演算装置によって実行されると演算装置に機能を実行させる。この機能は、ビークル上の赤外線（ＩＲ）カメラから収集された赤外線情報を使用して環境の第１の画像を生成することと、ビークル上のＬＩＤＡＲから収集されたレーザ点群データを使用して環境の第２の画像を生成することと、追加のデータがレーザ点群データに組み込まれるように、第１の画像及び第２の画像の組み合わせに基づいて、環境を表す組み込み点群を生成することと、ナビゲーションデータベース内に記憶されたデータからビークルが横断した環境のナビゲーション情報を受信することと、ナビゲーション情報に基づいて、組み込み点群を地理参照座標空間に変換することと、変換された組み込み点群を環境の地形の画像と組み合わせ、ビークルの環境を表す合成画像を生成することとを含む。
【０００５】
別の実施例では、ビークルの環境の赤外線情報を収集する赤外線（ＩＲ）カメラ、ビークルの環境のレーザ点群データを収集するＬＩＤＡＲ、ビークルのナビゲーション情報を判定するように構成されているナビゲーションシステム、並びにＩＲカメラ、ＬＩＤＡＲ、及びナビゲーションシステムの出力に基づいて、ビークルが環境を横断している間にリアルタイムでビークルの環境の合成表現を生成するプロセッサを備えるシステムが説明されている。合成表現を生成することは、追加のデータがレーザ点群データに組み込まれるように、赤外線情報及びレーザ点群データの組み合わせに基づいて、環境を表す組み込み点群を生成することと、組み込み点群を環境の地形の画像と組み合わせることとを含む。このシステムは、環境の地形の合成画像をビークルのディスプレイに表示するディスプレイを更に備える。
【０００６】
上述の特徴、機能、及び利点は、様々な実施形態において単独で実現することが可能であり、或いは、更に別の実施形態において組み合わせることが可能である。これらの実施形態は、以下の説明及び添付図面を参照することによって更に詳細に理解することができる。
【図面の簡単な説明】
【０００７】
例示の実施形態の特性と考えられる新規の特徴は、添付の特許請求の範囲に明記されている。しかしながら、例示の実施形態、好ましい使用モード、更なる目的、及びそれらの説明は、添付図面を参照しつつ、本開示の例示の実施形態の後述の詳細な説明を読むことにより、最もよく理解されるであろう。
【０００８】
【図１】例示の実施形態による、航空機などのビークルの環境を表す合成画像を生成する例示のシステムのブロック図である。
【図２】例示の実施形態による、ビークルの環境を表す合成画像を生成する機能的コンポーネントを有するシステムを示す図である。
【図３】例示の実施形態による、ビークルの環境を表す合成画像を生成する機能的コンポーネントを有する詳細なシステムを示す図である。
【図４】例示の実施形態による、ビークルの環境を表す合成画像を生成する例示の方法のフロー図を示す。
【図５】例示の実施形態による、ビークルの環境を表す例示の合成画像である。
【図６】例示の実施形態による、例示の演算装置の概略図を示す。
【発明を実施するための形態】
【０００９】
これより、添付図面を参照して開示の実施形態について更に詳細に説明するが、添付図面には、開示されるすべての実施形態が示されているわけではない。実際には、幾つかの異なる実施形態が説明される場合があり、これらの実施形態は、本明細書で明示されている実施形態に限定されると解釈するべきではない。むしろ、これらの実施形態は、この開示内容が包括的で完全であるように、且つ本開示の範囲が当業者に十分に伝わるように説明されている。
【００１０】
場合によっては、大気中の視界を遮る要素（例えば、雨、雪、埃、砂）の存在に起因するゼロに近い状態からゼロ状態の視界条件における運航の間、乗組員の視界が制限される。本明細書に記載されている例示のシステム及び方法は、航空機の多機能ディスプレイ及び／又はヘルメットマウントディスプレイに表示するための、視界を遮る要素の増加レベル及び／又は減少レベルに基づいて、合成して生成した画像を乗組員に提示するために使用してもよい。視界を遮る要素の密度が増加するにつれて合成画像の強度も増加させてもよく、視界を遮る要素が消散してその強度が減少するにつれて合成画像の強度も減少させてもよい。
【００１１】
したがって、例示のシステム及び方法は、ゼロに近い視界条件において操作する際にパイロットが視認し得る合成画像を生成することを含む。例示のシステムは、長波赤外線（ＩＲ）カメラ、点群データを生成するＬＩＤＡＲ（光検出及び測距）システム、三次元（３Ｄ）ナビゲーション情報を記憶するように構成されているシステム又はデータベース、並びに、ＩＲカメラ、ＬＩＤＡＲ、及び３Ｄナビゲーションデータベースからの出力に基づいて合成画像を生成するプロセッサを含む。
【００１２】
例示の方法は、合成画像を生成するために複数のセンサ出力から生成されたイメージとともに航空機の地形データベースの融合イメージを表示する。合成画像は、複数の（例えば３つの）重ね合わされた画像から構成されてもよい。複数の画像とは、赤外線（ＩＲ）カメラ（例えば、長波、中波、短波、又はその他のＩＲカメラ）によって生成された画像、（例えば、ＬＩＤＡＲから獲得された）点群データを生成するレーダー又はセンサによって生成された後続画像、並びに３Ｄナビゲーションデータベース内に記憶されたデータから獲得された地形画像などの他の画像を含む。これらの画像は、次いで、互いに重ね合わされ、合成画像すなわち合成表現を形成する。単一の合成画像を形成するように選択された３つの画像は、それぞれ、すべての画像がほぼ同一時点を表すようにタイムスタンプされてもよい。出力は、多機能ディスプレイ（ＭＦＤ）及びヘッドマウントディスプレイ（ＨＭＤ）の両方で表示し得る、リアルタイムで合成して生成した画像であり、乗組員又はオペレータがゼロに近い状態又はゼロ状態の視界条件で安全操作することを可能にする。
【００１３】
例示のシステム及び方法を使用することは、有視界飛行方式（ＶＦＲ）の条件よりも低い条件で、すなわち低視界環境（ＤＶＥ）で飛行する乗組員の安全と状況に対する意識を高めることができる。例えば、本明細書に記載されたシステム及び方法を利用することによって、状況を改善して、乗組員が、ゼロに近い状態又はゼロ状態の低視界条件でより安全に操作（例えば、地上走行、離陸、着陸など）することを可能にすることができる。
【００１４】
本明細書の一部の実施例は、航空機及び航空機の操作に関するが、このシステム及び方法は、視界が遮られた環境（ｏｂｓｃｕｒｅｄ  ａｔｍｏｓｐｈｅｒｅ）で操作されている任意のビークル、又は組み込み３Ｄ点群データ（ｅｍｂｅｄｄｅｄ  ３Ｄ  ｐｏｉｎｔ  ｃｌｏｕｄ  ｄａｔａ）が収集されてリアルタイムで点群を視覚化することに使用される任意の環境に適用される。この任意の環境とは、幾つか例を挙げると、自動車、採鉱、及び／又は航空機の用途などにおける環境を含む。更に、この方法は、環境の中に視界を遮る要素が存在する任意の用途或いはそれらが存在しない任意の用途で使用してもよい。更なる用途は、地上及び空中のビークルの障害物検出又は衝突回避のために本明細書に記載された方法を使用することを含む。
【００１５】
これより図面を参照すると、図１は、航空機などのビークルの環境を表す合成画像を生成する例示のシステム１００のブロック図である。システム１００は、赤外線（ＩＲ）カメラ１０４、ＬＩＤＡＲ（光検出及び測距）１０６、ＲＡＤＡＲ（無線検出及び測距）１０８、及び場合によってはプロセッサ１１２と通信する他のセンサ１１０などのセンサ１０２を含む。システム１００は、プロセッサ１１２と更に通信する三次元（３Ｄ）地形データベース１１４を更に含む。プロセッサ１１２は、センサ１０２及び３Ｄ地形データベース１１４の出力を受信し、その出力を処理してデータストレージ１１８内に記憶される出力画像１１６を生成してもよい。システム１００は、出力画像１１６を受信し表示するための、データストレージ１１８及び／又はプロセッサ１１２と通信するディスプレイ１２０を更に含んでもよい。
【００１６】
システム１００は、その全体がビークル又は航空機の中にあってもよく、或いは、システム１００の一部（例えばセンサ）が航空機上にあってもよく、システムの一部が他の場所又は他の演算装置（例えば、３Ｄ地形データベース）の中に配置されてもよい。
【００１７】
ＩＲカメラ１０４は、ビークルすなわち航空機の環境の赤外線情報を収集し、その赤外線情報を使用して画像を生成するように構成されている長波ＩＲカメラであってもよい。
【００１８】
ＬＩＤＡＲ１０６は、環境の中の反射面を示す「点群」を組み立てるためにシーン全体を走査しながら、環境的地物までの距離を推定することができる。点群の中の個別の点は、レーザパルスを伝送し、環境の中の物体から反射した回帰パルス（もしあるとすれば）を検出し、次にパルスの伝送と反射パルスの受信との間の時間遅延に従って物体までの距離を判定することによって判定し得る。レーザ又は一連のレーザは、環境の一部にわたって迅速且つ反復的に走査してもよい。それにより、環境の中の反射物体までの距離に関する継続的なリアルタイム情報が生成される。それぞれの距離を測定しながら１つ又は複数のレーザの測定距離と向きとを組み合わせることによって、三次元位置をそれぞれの回帰パルスに関連付けることが可能となる。このようにして、環境の中の反射地物の位置を示す点（例えば、点群）の三次元マップを走査領域全体に対して生成し得る。ＬＩＤＡＲ１０６は、点群データを出力してもよく、或いは、例えば点群データ使用して生成された画像を出力してもよい。したがって、ＬＩＤＡＲは、ビークルの環境のレーザ点群データを収集するように構成されてもよい。
【００１９】
ＲＡＤＡＲ１０８は、環境の中の物体の範囲、高度、方向、又は速度を判定するために電波を使用する物体検出センサである。例えば、ＲＡＤＡＲは、進路内のいかなる物体に対しても反射する電波又はマイクロ波のパルスを伝送するアンテナを含んでもよい。物体は、波のエネルギーの一部をＲＡＤＡＲの受信器に返し、それにより、物体の位置が推定又は判定される。
【００２０】
他の１つ又は複数のセンサ１１０は、他の画像カメラ、慣性測定ユニット（ＩＭＵ）、温度センサ、ソーナー、又はその他の任意のセンサ及び光学的コンポーネントのアレイなど、航法を目的としてビークル上に含まれる様々なセンサを含んでもよい。幾つかの実施例では、センサ１１０は、ビークルのナビゲーション情報を判定するように構成されている慣性ナビゲーションシステム（ＩＮＳ）、同じようにナビゲーション情報を判定するための全地球測位システム（ＧＰＳ）、又はその他のナビゲーションシステムを含んでもよい。
【００２１】
３Ｄ地形データベース１１４は、ビークル上のカメラによって撮影されたビークルの環境の視覚表現を生成するための地形画像を記憶してもよい。
【００２２】
プロセッサ１１２は、センサ１０２からの出力を受信し、システム１００が設置され得るビークルの環境、すなわち周囲の合成画像を生成してもよい。したがって、プロセッサは、ＩＲカメラ１０４、ＬＩＤＡＲ１０６、ＲＡＤＡＲ１０８、及びセンサ１１０の出力に基づいて、ビークルが環境を横断している間にリアルタイムでビークルの環境を表す合成画像を生成してもよい。そうするために、一実施例では、プロセッサ１１２は、ＩＲカメラ１０４からの赤外線情報とＬＩＤＡＲ１０６からのレーザ点群データとの組み合わせに基づいて、環境を表す組み込み点群を生成し、その組み込み点群を３Ｄ地形データベース１１４から読み出された環境の地形の画像と組み合わせてもよい。ＬＩＤＡＲデータは、ｘ、ｙ、ｚを有するボクセル及び高度座標を含む。これらの値は、カメラ１０４からの２Ｄセンサデータにマッピングされ、このマッピングが追加のメタデータとして点群データに組み込まれる。
【００２３】
３Ｄ地形データベース１１４からの地形画像は、組み込み点群に重ね合わされ、それにより、データストレージ１１８内に記憶するため、且つ表示するための出力画像１１６が生成されてもよい。
【００２４】
出力画像１１６は、リアルタイムで合成して生成された画像を含む。この画像は、多機能ディスプレイ（ＭＦＤ）及びヘッドマウントディスプレイ（ＨＭＤ）の両方を含み得るディスプレイ１２０に送信され、それにより、乗組員が合成画像を見ることが可能となる。ディスプレイ１２０は、ビークルのその他のディスプレイを同様に含んでもよい。
【００２５】
システム１００は、あらゆるときに動作可能であってもよく、或いは、ビークル内のオペレータの要求に応じて使用されてもよい。それにより、パイロットに二次画像（パイロットの視野の中の最初の視点に加えて）を示すビークルの環境の合成画像が生成され、或いは、操作の安全向上のため、ゼロに近い状態又はゼロ状態の視界条件のときにパイロットに代替仮想イメージが示される。
【００２６】
図２は、ビークルの環境を表す合成画像を生成する機能的コンポーネントを有するシステム２００を示す図である。システム２００は、ビデオを出力する視覚カメラ、ＩＲカメラ、又は受動ミリメートル波（ＰＭＭＷ）撮像装置などの１つ又は複数のカメラ２０２、点群データ出力用のＬＩＤＡＲ及びＲＡＤＡＲなどの１つ又は複数の３Ｄセンサ２０４、並びにビークル状態データ（例えば、位置、向き、速度、及び加速度）を融合アルゴリズム２０８へ出力するためのＧＰＳ及びナビゲーションシステムなどのナビゲーションセンサ２０６を含む。３Ｄセンサ２０４は、環境の３Ｄモデルを生成するための空間中の点（例えば、実世界の３Ｄ表現）を生成し、カメラ２０２は、ビークル状態データに基づいて、高フレームレート（すなわち、６０Ｈｚ以上）で画像化を行い、融合アルゴリズムによる組み合わせのための同時表示を生成し得る。それにより、例えば、パイロットの視点の三次元世界の仮想画像が生成される。融合アルゴリズム２０８は、点群データを受信し、生成された各点につき、ビデオからイメージの中の対応する点を判定し、画像を実世界の３Ｄ表現に埋め込む。
【００２７】
融合アルゴリズム２０８は、センサの姿勢（例えば、緯度、経度、及び高度）、ＬＩＤＡＲデータ（例えば、強度及び範囲）、ＲＡＤＡＲデータ（例えば、偏波、範囲、及び強度）、カメラのＲＧＢカラー、ＩＲ強度、及び他の組み込みメタデータを含む、点群組み込みビデオデータストリーム（ｐｏｉｎｔ  ｃｌｏｕｄ−ｅｍｂｅｄｄｅｄ  ｖｉｄｅｏ  ｄａｔａ  ｓｔｒｅａｍ）２１０を出力する。例えば、ＬＩＤＡＲは、反射率など点の追加情報を生成する。これらのすべてのメタデータは、所与の点に対して記憶され得る。その他の記憶されるメタデータは、その点の強度、（カラーカメラからの）点の色、範囲などを含む。したがって、リッチデータセット２１２を、例えば、３Ｄモデル内に組み込まれたマルチスペクトルデータを使用してパイロットのための視覚化のために生成してもよく、或いは、障害物又はターゲットの検出などの用途のために更に処理してもよい。リッチデータセット２１２は、内部に組み込まれたデータを含み、センサによって感知された物体の更なる詳細を提供する。
【００２８】
一実施例では、融合アルゴリズム２０８は、ゼロに近い視界条件において運航する際にパイロットが視認し得る合成画像を生成するために使用してもよい。ビークルの地形データベースのイメージは、複数のセンサ出力から生成されたイメージと融合してもよく、それにより、合成画像が生成される。合成画像は、３つの融合されたデータセットから構成されてもよい。３つのデータセットは、カメラ２０２によって生成された視覚画像、ＬＩＤＡＲ２０４から獲得された点群データを使用して生成された第２の画像、及び３Ｄナビゲーションデータベース内に記憶されたデータから獲得された地形画像である第３の画像を含む。出力は、多機能ディスプレイ（ＭＦＤ）及びヘッドマウントディスプレイ（ＨＭＤ）の両方で表示することができる、リアルタイムで合成して生成された画像であり、オペレータがゼロに近い状態又はゼロ状態の視界条件で安全操作することを可能にする。これらの３つの画像は、次いで、互いに重ね合わされ、合成画像を形成する。単一の合成画像を形成するために選択された３つの画像は、３つの画像すべてがほぼ同一時点を表すように、それぞれタイムスタンプされることを理解されたい。
【００２９】
図３は、ビークルの環境を表す合成画像を生成する機能的コンポーネントを有する詳細なシステム３００を示す図である。図２と同じように、図３のシステム３００は、ビデオ出力用の１つ又は複数のカメラ３０２、点群データ出力用の３Ｄセンサ３０４、及びビークル状態データ出力用のナビゲーションセンサ３０６を含む。このビデオは、ビデオ前処理モジュール３０８に送信される。ビデオ前処理モジュールは、光学的歪みを取り除き、カメラ出力を較正する。それにより、例えば、生画像に対する視差が補正される。
【００３０】
点群データは、ＬＩＤＡＲ／ＲＡＤＡＲの応答（ｒｅｔｕｒｎｓ）をプラットフォームに登録するため、登録モジュール３１０に送信される。この登録によって、（例えば、ビークルの運動に対する方位角の）センサの視差、センサの調整ミス、又は歪みが補正される。補正の後、点群データが投影モジュール３１２に送信され、それぞれの点がビデオの対応するピクセル位置に投影される。点群データをビデオに投影することは、同一の基準座標でデータを幾何学的にマッピング（ｇｅｏｍｅｔｒｙ  ｍａｐｐｉｎｇ）することを含む。例えば、複数のセンサが異なる角度でプラットフォーム上に配置され、データをリアルタイムで同じ空間にマッピングするためは、投影が必要である（例えば、１つのピクセルにマッピングされるＬＩＤＡＲのあらゆる方位角及びあらゆる仰角について、さらにはＲＡＤＡＲでも同様に、投影ではマッピングのためにピクセル間を補間することができる）。
【００３１】
投影は、カメラデータ（例えば、色又は強度）を利用することができるように、２Ｄ（角度−角度）情報を３Ｄ（角度−角度−範囲）点空間に組み込むことを含んでもよい。３Ｄセンサ３０４のセンサの姿勢、視界、及び角度分解能が考慮され、３Ｄセンサと２Ｄセンサが重複する領域に対しては、角度分解能に対する対処がなされる。例えば、ＲＡＤＡＲは、ＬＩＤＡＲ（両方とも画像化システムとは異なるであろう）、又はカメラよりも角度分解能が低い。これは、所与のカメラのピクセル視野に対して、その色又は強度のデータは、その情報が点群データに組み込まれる前に、例えば、ダウンサンプリング或いは更にアップサンプリングされてもよいことを示唆する。
【００３２】
データをビデオに投影した後、ブロック３１４で示されるように、組み込み点群が生成される。次に、ブロック３１６で示されるように、データを収集したときにビークルがどこに存在していたかを計算するため、ビークルのナビゲーションデータに基づいて、組み込み点群が緯度／経度／高度の空間にジオ登録（ｇｅｏ−ｒｅｇｉｓｔｅｒ）される。組み込み点群データは、プラットフォームに関連する、角度−角度−範囲又はＸＹＺ点を含む。角度−角度−範囲又はＸＹＺ点は、それぞれ、１つ又は複数のオンボードセンサからのデータを含むようにリアルタイムで解像度が上げられる。ＬＩＤＡＲ点群データを更に処理することができる前に、ジオ登録が実行され、それにより、３Ｄプラットフォームに関連する点群データが３Ｄジオ参照（例えば、緯度、経度、高度）情報に変換される。これは、ナビゲーションセンサ３０６からの正確なＧＰＳの６自由度プラットフォームデータ（例えば、緯度、経度、高度、進路、ピッチ、ロール）、並びに３Ｄ点群センサの姿勢及びナビゲーション参照点に対するリニアオフセットに関する知識を利用する。オンボードセンサ及び推測的地形高度データは、障害物とターゲットの分類及び衝突回避用途をサポートするため、ナビゲーション上のエラーを補正し、組み込み点群データのジオ登録の正確性を向上させるために使用してもよい。
【００３３】
次に、相関モジュール３１８が、点データベース３２０内に記憶するためにジオ登録データを最適化する。点群データセットは、効率良い３Ｄ表現（オクトトリー、ボクセルなど）で記憶される。データが収集されるにつれて、「最良の」センサメタデータ（以下に記載）が記憶され、３Ｄ点と相関される。リアルタイムで点がシステムの中へと流れ込むにつれて、センサからのデータ点が分析され、データ点が更なる空間分解能を示すかどうかが判定される。更なる空間分解能を示していると判定された場合、データセット内に新しい、より高い分解能の点が生成される。更なる空間分解能を示していないと判定された場合、センサデータが更新のために評価される。
【００３４】
相関モジュール３１８では、範囲、視点、ナビゲーションの正確性、及びセンサ測定の正確性など、最良のセンサデータを特定するために評価に様々な基準が用いられる。典型的にはセンサが測定点により近いほど、データがより正確になるため、範囲が使用される。したがって、評価のために距離／範囲に関する様々な閾値を設定し、それを更なる相関のための基準として使用してもよい。２Ｄデータを３Ｄ世界に適用することが実行されるために視点が使用され、同一物体に対して複数の視点を保つことが望ましい。ジオ登録に関する正確なデータのために、プラットフォームナビゲーションの正確性を同様に用いてもよい。最後に、どのデータが保持されているかを判定するためにセンサの属性がインポートされる。これらは、測定の正確性のような要因である（例えば、ＲＡＤＡＲ及びＬＩＤＡＲは、ターゲットに対するグレージング角が低い場合は上手く作動しない場合がある）。
【００３５】
更に、他のオンボードセンサの出力に基づいて、種々のレベルのオブスキュレーション（例えば、スモッグ、雨など）を判定してもよい。それにより、３Ｄセンサ３０４が何を認識しているかを判定し、データを清浄な空気条件で優先的に保持する。
【００３６】
したがって、所望の基準のいずれかに達するすべての点の相関を、有益とみなされるデータを維持するために用いてもよい。結果として、障害物検出、３Ｄ視覚化などのためのリッチデータセットが生じる。
【００３７】
システム３００は、センサ分析モジュール３２４、リアルタイムセンサ最適化モジュール３２６、及び適応センサ制御モジュール３２８を含むフィードバックループを更に含む。システム３００は、リアルタイムで作動し、データ点が収集されるにつれてリッチデータセット３２２を構築する。リアルタイムで適応センサ制御を実行する機会があり、それにより、センサパラメータが調整されてデータが最適化される。例えば、オンボードセンサの出力又は（例えば、センサ分析モジュール３２４による）センサデータの評価に基づいて、センサすなわち環境のオブスキュレーションレベル（例えば、雪の多い環境）が判定され得る。フィルター、コントラスト、ゲイン、飽和を避けるためにレーザ電力などを調整するなど、センサパラメータを調整するために様々なオブスキュレーションを判定し得る。具体的な例としては、雪の多い環境では、大気中の粒子／雪からの更なる不要波の応答を避け、ＲＡＤＡＲへの依存を高めるため、ＬＩＤＡＲのレーザ電力を低下させることが望まれる場合がある。
【００３８】
適応センサ制御モジュール３２８は、システム３００の動作条件に基づいてすべてのセンサの動作を最適化するため、カメラ３０２、３Ｄセンサ３０４、及びナビゲーションセンサ３０６をそれぞれ調整してもよい。
【００３９】
図４は、ビークルの環境を表す合成画像を生成する例示の方法４００のフロー図を示す。図４で示されている方法４００は、例えば、図１から図３で示されたシステムで使用することができる方法の実施形態を提示する。この実施形態は、クライアント装置又はサーバなどの演算装置（又は演算装置のコンポーネント）によって実行されてもよく、或いは、クライアント装置及びサーバの両方のコンポーネントによって実行されてもよい。例示の装置又はシステムは、図４で示されている論理的機能を実行するように使用してもよく、又は構成してもよい。場合によっては、装置及び／又はシステムのコンポーネントが機能を実行するように構成されてもよい。このように実行することを可能にするため、コンポーネントは、実際に（ハードウェア及び／又はソフトウェアで）構成されたり、構築されたりする。他の実施例では、装置及び／又はシステムのコンポーネントは、この機能の実行に適合するように構成されてもよく、この機能の実行が可能であるように構成されてもよく、この機能の実行が適切であるように構成されてもよい。方法４００は、ブロック４０２から４１２のうちの１つ又は複数で示されているように、１つ又は複数の動作、機能、又はアクションを含んでもよい。ブロックは順番に示されているが、これらのブロックは、更に、平行して実行してもよく、及び／又は、本明細書に記載されている順序とは異なる順序で実行してもよい。更に、様々なブロックを、組み合わせてブロックの数を減らしたり、分割してブロックを追加したり、所望の実装形態に基づいて取り除いたりしてもよい。
【００４０】
本明細書に開示されているこのプロセスと方法及びその他のプロセスと方法については、フロー図が本実施形態の１つの可能な実装形態の機能性及び動作を示すことを理解するべきである。これについて、各ブロックは、モジュール、セグメント、又はプログラムコードの一部を表してもよい。プログラムコードは、プロセスの中で特定の論理的機能又は工程を実装するプロセッサによって実行可能な１つ又は複数の命令を含む。プログラムコードは、例えば、ディスクドライブ又はハードドライブを含む記憶装置のような任意の種類のコンピュータ可読媒体又はデータストレージに記憶されてもよい。このコンピュータ可読媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ（ＲＡＭ）のようなデータを短期間記憶するコンピュータ可読媒体などの非一時的なコンピュータ可読媒体又はメモリを含んでもよい。コンピュータ可読媒体は、例えば、読み出し専用メモリ（ＲＯＭ）、光学又は磁気ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）のような二次的又は永続的な長期的ストレージなどの非一時的な媒体を更に含んでもよい。コンピュータ可読媒体は、更に、任意の他の揮発性又は非揮発性のストレージシステムであってもよい。コンピュータ可読媒体は、例えば、有形のコンピュータ可読記憶媒体とみなされてもよい。
【００４１】
更に、図４の各ブロックは、プロセスの中で特定の論理的機能を実行するために配線されている回路を表してもよい。代替的な実装形態は、本開示の例示の実施形態の範囲内に含まれる。本開示の例示の実施形態では、合理的な当業者によって理解されるように、関連する機能性に応じて、図示又は記載されている順序とは異なる順序（ほぼ並列順序又は逆順序を含む）で機能が実行されてもよい。
【００４２】
ブロック４０２では、方法４００は、ビークル上の赤外線（ＩＲ）カメラからの情報を使用して環境の第１の画像を生成することを含む。カメラは、例えば約６０Ｈｚの高レートでイメージングを行い、環境のストリーミングデータビデオを出力してもよい。環境の画像に応じてビデオのフレームを選択してもよい。カメラは、長波、短波、又は中波のＩＲカメラ、或いは、環境データを出力する他の種類の２Ｄセンサであってもよい。
【００４３】
ブロック４０４では、方法４００は、ビークル上のＬＩＤＡＲからのレーザ点群データを使用して環境の第２の画像を生成することを含む。幾つかの実施形態では、ＬＩＤＡＲによって生成された点群データの貢献度を、大気中のエアロゾル又はその他の視界を遮る要素の量に基づいて測ってもよい。例えば、ある事例では、空気中に視界を遮る要素が少ないか全くない場合、レーザの応答の量が少ないため、点群データは少ないか全くないことになる。したがって、ＬＩＤＡＲデータに基づいて生成された合成画像は、ＩＲカメラ及びその他のナビゲーション情報から獲得された情報から主に構成される。オプションとして、空気中に大量の視界を遮る要素があるとき、合成画像を生成するために、ＩＲカメラ及びナビゲーション情報から獲得された情報とともに完全な点群データセットを使用してもよい。したがって、点群データセットを生成するために利用されるＬＩＤＡＲ情報の量は、空気中の視界を遮る要素の量に基づいて測ってもよい。
【００４４】
ブロック４０６では、方法４００は、更なるデータがレーザ点群データに組み込まれるように、第１の画像及び第２の画像の組み合わせに基づいて、環境を表す組み込み点群を生成することを含む。ＬＩＤＡＲからのレーザ点群データの各レーザデータ点につき、レーザ点群データを第１の画像にマッピングするように、レーザデータ点を第１の画像の対応するピクセル位置に投影してもよい。マッピングは、ｘ、ｙ、ｚを含むレーザデータの座標値及び高度に基づいてもよい。カメラの２Ｄセンサ画像データに向かうこのようなマッピングが、レーザデータに組み込まれてもよい。
【００４５】
ブロック４０８では、方法４００は、ナビゲーションデータベース内に記憶されたデータからビークルが横断した環境のナビゲーション情報を受信することを含む。第１の画像、第２の画像、及びナビゲーション情報は、それぞれ、ほぼ同一時点で生成及び受信されてもよい。
【００４６】
ブロック４１０では、方法４００は、ナビゲーション情報に基づいて、組み込み点群を地理参照座標空間に変換することを含む。一実施例では、ＩＲカメラ及びＬＩＤＡＲの姿勢並びにビークルのナビゲーションシステムに対するリニアオフセットに従って組み込み点群データを調整することによって、組み込み点群データを変換してもよく、ビークルのナビゲーションシステムからの緯度、経度、高度、進路、ピッチ、及びロールを含む６自由度（ＤＯＦ）プラットフォームデータを使用して調整を行ってもよい。
【００４７】
ブロック４１２では、方法４００は、変換された組み込み点群を環境の地形の画像と組み合わせ、ビークルの環境を表す合成画像を生成することを含む。合成画像は、環境の合成表現又は仮想表現であってもよい。点群をイメージと組み合わせることは、ナビゲーション情報を使用して、地形の画像を変換された組み込み点群に重ね合せ、それにより、イメージを点群データの対応点にマッピングすること、又はその逆の手順を含んでもよい。データの組み合わせに続いて、環境の地形の合成画像は、ビークルの多機能ディスプレイ（ＭＦＤ）又はヘッドマウントディスプレイ（ＨＭＤ）上で表示してもよい。
【００４８】
実施例の中では、環境を横断しているビークルの動作の間、ＩＲカメラから赤外線情報を受信し、ＬＩＤＡＲからレーザ点群データを受信しているとき、方法４００がリアルタイムで実行される。したがって、ビークルが環境を横断している間、ＩＲカメラから赤外線情報が受信され、ＬＩＤＡＲからレーザ点群データが受信され、ビークル上のナビゲーションシステムからナビゲーション情報が受信され、且つ、ビークルの環境を表す合成画像が、表示のために生成され、（データ処理後に）データの受信とほぼ同時に表示のために提供される。リアルタイムで複数のセンサからリッチデータセットを展開することは、適応センサフィードバック及び複数回の測定にわたる地物の相関などの能力を向上させて、最適な３Ｄデータセットを保持することを可能とする。また、組み合わされた点群によって、視覚化改善、障害物検出、及びターゲット検出などのアルゴリズムが単一のマルチセンサデータセットで動作することが可能となり、それにより、より効率的な処理及びより優れたパフォーマンスが可能となる。
【００４９】
場合によっては、方法４００は、ビークルがゼロに近い状態からゼロ状態の視界条件を含む低視界環境（ＤＶＥ）で運航するときに開始又は使用されてもよい。一例として、天候によって航空機の特定の操作又は着陸の試みが制限されることがしばしばあり、民間航空機のためにＦＡＡが認可した改善された視覚システムは、接近点より約１００フィート上における、航空機のシンボルと組み合わされた何らかのカメラ画像をスクリーン上に表示するが、このような表示は、ゼロ状態の視界環境における着陸を可能にするわけではない。方法４００を使用して、航空機のナビゲーションの解決に対応するＬＩＤＡＲ統合データを有するカメラ画像をデジタル地形画像に重ね合せ、合成画像をリアルタイムで表示させてもよく、それにより、ゼロ状態の視界環境での着陸が可能となる。
【００５０】
方法４００において更なる機能を実行してもよい。一例として、方法４００は、組み込み点群のオブスキュレーションレベルを判定することと、センサパラメータの適応フィードバック制御（ａｄａｐｔｉｖｅ  ｆｅｅｄｂａｃｋ  ｃｏｎｔｒｏｌ）のために、オブスキュレーションレベルに基づいて、ビークル上のＩＲカメラ及びＬＩＤＡＲのうちの１つ又は複数のパラメータを調整することとを更に含んでもよい。オブスキュレーションレベルは、環境内の降水のレベルを示し得る他のオンボードセンサの出力に基づいて、或いは、点群データの分析に基づいて、判定されてもよい。１つの具体例としては、高いレベルの降水に基づき、ＬＩＤＡＲの電力を低減させ、大気中の雨／雪からの反射に起因する不要波の応答の量をより少なくしてもよい。
【００５１】
システムセンサからの赤外線情報及びＬＩＤＡＲからのレーザ点群データは、更に、データセット内に記憶してもよい。ＩＲカメラからの赤外線情報のデータ及びＬＩＤＡＲからのレーザ点群データを受信しているときに機能を実行して、データが環境を表す更なる空間分解能を示しているかどうかを判定してもよい。例えば、清浄な環境では、よりリッチな高分解能画像を構築するために更なるデータを受信してもよく、曇りが多い環境では、データは、より高い分解能を示すことに役立たない場合があるが、例えば、代替的な視点の更新のために評価してもよい。データが環境を表す更なる空間分解能を示すかどうかは、データがターゲットである物体又は領域に対して代替的な範囲又は視点を有するかどうかに基づいてもよく、或いは、センサ測定の正確性に更に基づいてもよい。
【００５２】
図５は、ビークルの環境を表す例示の合成画像である。図５の画像は、複数のセンサの融合の例示的な画像を示す。３つの異なるセンサ（例えば、ＬＩＤＡＲ、ＲＡＤＡＲ、及びＩＲカメラ）の出力が共に融合されて改善された画像が生成される。この能力は、「ｎ」の数の３Ｄセンサ及び２Ｄセンサに上位概念化し得る。
【００５３】
図５では、赤外線情報を使用して基礎画像が決定される。基礎情報は、道路、木、自動車を含む物体の数々の詳細、及びそれぞれの互いに対する配置を示す。ＬＩＤＡＲデータは、人物又は頭上の吊り下がった電線のような物体を表す点群を示し得る。ＲＡＤＡＲデータは、幾つかのビークルの偏波データを示し得る。データの図を更に示すため、すべてのデータを地形画像にマッピングし、重ね合わせてもよい。このリッチデータセットを利用することによって、物体を検出すること、並びにリアルタイムで環境の３Ｄ視覚化表現を生成することを改善し得る。
【００５４】
上述のように、本明細書に記載されている任意の方法の一部（例えば、方法４００）は、演算装置（又は演算装置のコンポーネント）、及び図１で示されたエレメントのコンポーネントによって実行されてもよい。図６は、例示的な演算装置６００の概略図を示す。図６の演算装置６００は、プロセッサ、融合アルゴリズム、又は図３の演算コンポーネントを概念的に示す任意のブロックを含む、図１から図３に示されている装置を表してもよく、或いは、演算装置６００は、図１から図３のシステムを一般的に表してもよい。幾つかの実施例では、図６で示された幾つかのコンポーネントは、複数の演算装置にわたって分散されてもよい。しかしながら、例示のため、コンポーネントは、１つの例示的な装置６００の一部として示され、説明されている。演算装置６００は、本明細書に記載されている機能を実行するように構成され得る、モバイル装置、デスクトップコンピュータ、Ｅメール／メッセージ送信装置、タブレットコンピュータ、又は類似の装置であってもよく、又はそれらを含んでもよい。
【００５５】
演算装置６００は、インターフェース６０２、無線通信コンポーネント６０４、１つ又は複数のセンサ６０６、データストレージ６０８、及びプロセッサ６１０を含んでもよい。図６で示されているコンポーネントは、通信リンク６１２によって共にリンクされてもよい。演算装置６００は、演算装置６００内の通信及び演算装置６００とサーバーエンティティなどの別の演算装置（図示せず）との間の通信を可能にするハードウェアを更に含んでもよい。ハードウェアは、例えば、送信器、受信器、及びアンテナを含んでもよい。
【００５６】
インターフェース６０２は、演算装置６００がサーバなどの別の演算装置（図示せず）と通信することを可能にするように構成されてもよい。したがって、インターフェース６０２は、１つ又は複数の演算装置から入力データを受信するように構成されてもよく、更に、１つ又は複数の演算装置に出力データを送信するように構成されてもよい。幾つかの実施例では、インターフェース６０２は、更に、演算装置６００によって送受信されたデータの記録を維持及び管理し得る。インターフェース６０２は、データを送受信するための受信器及び送信器を更に含んでもよい。他の実施例では、インターフェース６０２は、同様に入力値を受信するためのキーボード、マイクロフォン、タッチスクリーンなどのユーザインターフェースを更に含んでもよい。
【００５７】
無線通信コンポーネント６０４は、１つ又は複数の無線通信規格に従って、演算装置６００のための無線データ通信を促進するように構成されている通信インターフェースであってもよい。例えば、無線通信コンポーネント６０４は、１つ又は複数のＩＥＥＥ８０２．１１規格に従って無線データ通信を促進するように構成されているＷｉ−Ｆｉ通信コンポーネントを含んでもよい。別の実施例としては、無線通信コンポーネント６０４は、１つ又は複数のＢｌｕｅｔｏｏｔｈ規格に従って無線データ通信を促進するように構成されているＢｌｕｅｔｏｏｔｈ通信コンポーネントを含んでもよい。他の実施例も更に可能である。
【００５８】
センサ６０６は、１つ又は複数のセンサを含んでもよく、或いは、演算装置６００内に含まれる１つ又は複数のセンサを表してもよい。例示的なセンサは、加速度計、ジャイロスコープ、歩数計、光センサ、マイクロフォン、カメラ、又はその他のロケーション及び／又はコンテキストアウェアセンサを含む。
【００５９】
データストレージ６０８は、プロセッサ６１０によってアクセス且つ実行し得るプログラム論理６１４を記憶し得る。データストレージ６０８は、更に、収集されたセンサデータ又は画像データ６１６を記憶してもよい。
【００６０】
更に、本開示は、下記の条項による実施形態を含む。
【００６１】
条項１：
ビークルの環境を表す合成画像を生成する方法であって、
ビークル上の赤外線（ＩＲ）カメラからの赤外線情報を使用して環境の第１の画像を生成することと、
ビークル上のＬＩＤＡＲからのレーザ点群データを使用して環境の第２の画像を生成することと、
追加のデータがレーザ点群データに組み込まれるように、第１の画像及び第２の画像の組み合わせに基づいて、環境を表す組み込み点群を生成することと、
ナビゲーションデータベース内に記憶されたデータからビークルが横断した環境のナビゲーション情報を受信することと、
ナビゲーション情報に基づいて、組み込み点群を地理参照座標空間に変換することと、
変換された組み込み点群を環境の地形の画像と組み合わせ、ビークルの環境を表す合成画像を生成することと
を含む方法。
【００６２】
条項２：
第１の画像、第２の画像、及びナビゲーション情報が、それぞれほぼ同一時点で生成且つ受信される、条項１に記載の方法。
【００６３】
条項３：
第１の画像及び第２の画像の組み合わせに基づいて、環境を表す組み込み点群を生成することが、
ＬＩＤＡＲからのレーザ点群データの各レーザデータ点につき、レーザ点群データを第１の画像にマッピングするように、レーザデータ点を第１の画像の対応するピクセル位置に投影することを含む、条項１に記載の方法。
【００６４】
条項４：
ナビゲーション情報に基づいて、組み込み点群データを地理参照座標空間に変換することが、
ＩＲカメラ及びＬＩＤＡＲの姿勢並びにビークルのナビゲーションシステムに対するリニアオフセットに従って、組み込み点群データを調整することを含み、調整は、ビークルのナビゲーションシステムからの緯度、経度、高度、進路、ピッチ、及びロールを含む６自由度（ＤＯＦ）プラットフォームデータを使用して行われる、条項１に記載の方法。
【００６５】
条項５：
変換された組み込み点群を環境の地形の画像と組み合わせることが、
地形の画像を変換された組み込み点群に重ね合わせることを含む、条項１に記載の方法。
【００６６】
条項６：
環境の地形の合成画像をビークルの多機能ディスプレイ（ＭＦＤ）上で表示することを更に含む、条項１に記載の方法。
【００６７】
条項７：
環境の地形の合成画像をヘッドマウントディスプレイ（ＨＭＤ）上で表示することを更に含む、条項１に記載の方法。
【００６８】
条項８：
環境を横断しているビークルの動作の間、ＩＲカメラから赤外線情報を受信し、ＬＩＤＡＲからレーザ点群データを受信しているとき、前記方法をリアルタイムで実行することを更に含む、条項１に記載の方法。
【００６９】
条項９：
ビークルが環境を横断している間に、
ＩＲカメラから赤外線情報を受信することと、
ＬＩＤＡＲからレーザ点群データを受信することと、
ビークル上のナビゲーションシステムからナビゲーション情報を受信することと、
ビークルが環境を横断している間にビークルの環境を表す合成画像を生成するためにリアルタイムで前記方法を実行することと、
環境の地形の合成画像をビークルのディスプレイに表示することと
を更に含む、条項１に記載の方法。
【００７０】
条項１０：
ゼロに近い状態からゼロ状態の視界条件を含む低視界環境（ＤＶＥ）でビークルが動作することに基づいて、合成画像を生成すること
を更に含む、条項１に記載の方法。
【００７１】
条項１１：
組み込み点群のオブスキュレーションレベルを判定すること、及び
センサパラメータの適応フィードバック制御のために、オブスキュレーションレベルに基づいて、ビークル上のＩＲカメラ及びＬＩＤＡＲのうちの１つ又は複数のパラメータを調整すること
を更に含む、条項１に記載の方法。
【００７２】
条項１２：
ＩＲカメラからの赤外線情報及びＬＩＤＡＲからのレーザ点群データをデータセット内に記憶することと、
ＩＲカメラからの赤外線情報のデータ及びＬＩＤＡＲからのレーザ点群データを受信しているとき、データが環境を表す更なる空間分解能を示しているかどうかを判定することと、
更なる空間分解能を示しているデータに基づいて、データセット内に新しくてより高い分解能のデータ点を生成することと、
更なる空間分解能を示していないデータに基づいて、更新のためにデータを評価することと、
を更に含む、条項１に記載の方法。
【００７３】
条項１３；
データが環境を表す更なる空間分解能を示しているかどうかを判定することが、
データがターゲットである物体又は領域に対して代替的な範囲又は視点を有するどうかを判定することを含む、条項１２に記載の方法。
【００７４】
条項１４：
データが環境を表す更なる空間分解能を示しているかどうかを判定することが、
環境のオブスキュレーションレベルに基づくセンサ測定の正確性を判定することを含む、条項１２に記載の方法。
【００７５】
条項１５：
非一時的なコンピュータ可読媒体であって、演算装置によって実行されたとき、演算装置に対して、
ビークル上の赤外線（ＩＲ）カメラから収集された赤外線情報を使用して環境の第１の画像を生成することと、
ビークル上のＬＩＤＡＲから収集されたレーザ点群データを使用して環境の第２の画像を生成することと、
追加のデータがレーザ点群データに組み込まれるように、第１の画像及び第２の画像の組み合わせに基づいて、環境を表す組み込み点群を生成することと、
ナビゲーションデータベース内に記憶されたデータからビークルが横断した環境のナビゲーション情報を受信することと、
ナビゲーション情報に基づいて、組み込み点群を地理参照座標空間に変換することと、
変換された組み込み点群を環境の地形の画像と組み合わせ、ビークルの環境を表す合成画像を生成することと
を含む機能を実行させる命令が内部に記憶されている非一時的なコンピュータ可読媒体。
【００７６】
条項１６：
変換された組み込み点群を環境の地形の画像と組み合わせることが、
地形の画像を変換された組み込み点群に重ね合わせることを含む、条項１５に記載の非一時的なコンピュータ可読媒体。
【００７７】
条項１７：
環境を横断しているビークルの動作の間、ＩＲカメラから赤外線情報を受信し、ＬＩＤＡＲからレーザ点群データを受信しているとき、前記機能をリアルタイムで実行することを更に含む、条項１５に記載の非一時的なコンピュータ可読媒体。
【００７８】
条項１８：
ビークルの環境の赤外線情報を収集する赤外線（ＩＲ）カメラ、
ビークルの環境のレーザ点群データを収集するＬＩＤＡＲ、
ビークルのナビゲーション情報を判定するように構成されているナビゲーションシステム、
ＩＲカメラ、ＬＩＤＡＲ、及びナビゲーションシステムの出力に基づいて、ビークルが環境を横断している間にリアルタイムでビークルの環境の合成表現を生成するプロセッサであって、合成表現を生成することが、
追加のデータがレーザ点群データに組み込まれるように、赤外線情報及びレーザ点群データの組み合わせに基づいて、環境を表す組み込み点群を生成することと、
組み込み点群を環境の地形の画像と組み合わせることとを含む、プロセッサ、及び
環境の地形の合成画像をビークルのディスプレイに表示するディスプレイ
を備えるシステム１００。
【００７９】
条項１９：
前記プロセッサが、
ゼロに近い状態からゼロ状態の視界条件を含む低視界環境（ＤＶＥ）でビークルが動作することに基づいて、合成表現を生成するように更に構成されている、条項１８に記載のシステム。  
【００８０】
条項２０：
前記プロセッサが、
組み込み点群のオブスキュレーションレベルを判定し、且つ
センサパラメータの適応フィードバック制御のために、オブスキュレーションレベルに基づいて、ビークル上のＩＲカメラ及びＬＩＤＡＲのうちの１つ又は複数のパラメータを調整するように更に構成されている、条項１８に記載の方法。
【００８１】
種々の有利な構成の説明は、例示及び説明を目的として提示されており、完全であること、又は開示された形態の実施形態に限定されることを意図するものではない。当業者には、多くの修正例及び変形例が明らかになるであろう。更に、種々の有利な実施形態は、他の有利な実施形態と比べて異なる利点を説明し得る。選択された１つ又は複数の実施形態は、実施形態の原理、実際の適用を最もよく説明するため、及び、他の当業者が、想定される特定の用途に適する様々な修正例を伴う様々な実施形態の開示内容を理解することを可能にするために、選択且つ説明されている。
【図１】
2016189184.tif 000003
【図２】
2016189184.tif 000004
【図３】
2016189184.tif 000005
【図４】
2016189184.tif 000006
【図５】
2016189184.tif 000007
【図６】
2016189184.tif 000008
【外国語明細書】
2016189184000001.pdf
2016189184000002.pdf
2016189184000003.pdf
2016189184000004.pdf