(57)【要約】  １つまたは複数の移動ビークル（１０）の周囲の環境のグローバル３次元マップを動的に生成および更新するための方法および装置である。当該ビークルには、中央処理ユニット（２２）と通信するＮ個の３次元センサ（２１）が搭載されている。各センサ（２１）は、その他のセンサと並列的かつ非同期的に、ポイントクラウドフレームの連続ストリームを生成する。当該ポイントクラウドフレームは、各センサの周囲の環境のローカルボリューム内に位置する物体の表面を表す。中央処理ユニットは、センサから連続ストリームを連続的に受信し、メモリに格納する。中央処理ユニットは、各ストリームの新たに受信されたポイントクラウドフレームのそれぞれに対し、（ｉ）環境のグローバル座標系におけるアライメント後ポイントクラウドフレームを決定し、かつ、アライメント後ポイントクラウドフレームを併合することによってグローバル累積３次元マップを更新することにより、少なくとも１つのビークルの環境のグローバル累積３次元マップを生成または更新する。
2019537138.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの移動ビークルの周囲の環境のグローバル３次元マップを動的に生成および更新する方法であって、
Ｎ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）は、前記少なくとも１つの移動ビークルに搭載されており、かつ、少なくとも１つの中央処理ユニットと通信し、
ａ）前記Ｎ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）に含まれる各センサ（３ＤＳｉ）は、前記複数の３次元センサに含まれるその他のセンサと並列的かつ非同期的に、ポイントクラウドフレーム（ＰＣＦ０ｉ，ＰＣＦ１ｉ，…）の連続ストリーム（ＳＴｉ）を生成し、
前記ストリーム（ＳＴｉ）の各ポイントクラウドフレーム（ＰＣＦｊｉ）は、時点（ｔｊｉ）において前記センサ（３ＤＳｉ）によって取得された、前記センサのローカル座標系（ＣＳｉ）における３次元データポイントのセットを含んでおり、
前記３次元データポイントは、前記時点（ｔｊｉ）において、前記センサ（３ＤＳｉ）の周囲の前記環境のローカルボリューム（Ｌｊｉ）内に位置する物体の表面を表し、
ｂ）前記中央処理ユニットは、前記Ｎ個の３次元センサ（３ＤＳ１，…，３ＤＳＮ）からＮ個の複数の連続ストリーム（ＳＴ１，…，ＳＴＮ）を連続的に受信し、かつ、前記複数のストリームをメモリに格納し、
前記中央処理ユニットは、以下のステップｂ１）およびステップｂ２）を実行することにより、前記複数のストリームに含まれる各ストリーム（ＳＴｉ）の新たに受信されたポイントクラウドフレーム（ＰＣＦｊｉ）のそれぞれに対し、前記少なくとも１つのビークルの前記環境のグローバル累積３次元マップを生成または更新する、方法；
ｂ１）前記ポイントクラウドフレーム（ＰＣＦｊｉ）を前記環境の前記グローバル累積３次元マップと比較することによって、前記少なくとも１つのビークルの前記環境のグローバル座標系（ＧＣＳ）におけるアライメント後ポイントクラウドフレーム（
2019537138.tif 000019
）を決定するステップ；
ｂ２）前記アライメント後ポイントクラウドフレーム（
2019537138.tif 000020
）を、前記グローバル累積３次元マップとマージすることによって、前記グローバル累積３次元マップを更新するステップ。
【請求項２】
請求項１に記載の方法であって、
前記グローバル累積３次元マップは、（ｉ）少なくとも１つのグローバル座標系（ＧＣＳ１）と、（ｉｉ）前記グローバル座標系内の複数のデータポイントを含む少なくとも１つの関連サブエリア（ＳＡ１）と、を含んでおり、
アライメント後ポイントクラウドフレーム（
2019537138.tif 000021
）を決定する前記ステップｂ１）は、以下のステップｂ１−１）を含んでおり、
ｂ１−１）前記ポイントクラウドフレーム（ＰＣＦｊｉ）を、前記環境（Ｅ）の前記グローバル累積３次元マップのそれぞれのサブエリアと比較することによって、前記アライメント後ポイントクラウドフレーム（
2019537138.tif 000022
）の少なくとも一部が、前記グローバル累積３次元マップの前記少なくとも１つのサブエリアの少なくとも一部と一致するように、前記ポイントクラウドフレーム（ＰＣＦｊｉ）をアライメントしようと試みるステップ；
前記環境（Ｅ）の前記グローバル累積３次元マップを更新する前記ステップｂ２）は、以下のステップｂ２−１）およびステップｂ２−２）を含んでおり、
ｂ２−１）前記ポイントクラウドフレーム（ＰＣＦｊｉ）が、前記環境（Ｅ）の前記グローバル累積３次元マップの前記少なくとも１つのサブエリアとアライメント可能である場合、前記アライメント後ポイントクラウドフレーム（
2019537138.tif 000023
）を前記グローバル累積３次元マップの前記少なくとも１つのサブエリア（ＳＡｋ）とマージするステップ；
ｂ２−２）前記ポイントクラウドフレーム（ＰＣＦｊｉ）が、前記環境の前記グローバル累積３次元マップの前記少なくとも１つのサブエリアとアライメント可能でない場合、前記グローバル累積３次元マップの追加グローバル座標系（ＧＣＳ２）および関連する追加サブエリア（ＳＡ２）を生成するステップ；
前記グローバル累積３次元マップの前記追加サブエリアは、前記グローバル累積３次元マップに既に含まれていた前記サブエリアから分離されており、かつ、前記ポイントクラウドフレーム（ＰＣＦｊｉ）を含んでいる、方法。
【請求項３】
請求項２に記載の方法であって、
前記グローバル累積３次元マップが複数のサブエリア（ＳＡ１，…，ＳＡＭ）を含んでいる場合、
ポイントクラウドフレーム（ＰＣＦｊｉ）をアライメントしようと試みる前記ステップｂ１−１）は、
前記アライメント後ポイントクラウドフレーム（
2019537138.tif 000024
）の少なくとも一部が、前記グローバル累積３次元マップの少なくとも１つのサブエリア（ＳＡ１，…，ＳＡＭ）と一致するように、マルチスキャンアライメントステップにおいて、前記サブエリア（ＳＡ１，…，ＳＡＭ）および前記ポイントクラウドフレーム（ＰＣＦｊｉ）を共にアライメントしようと試みるステップをさらに含んでおり、
前記ポイントクラウドフレーム（ＰＣＦｊｉ）が、前記グローバル累積３次元マップの複数のサブエリア（ＳＡｍ，ＳＡｍ’）とアライメント可能である場合、
前記複数のサブエリア（ＳＡｍ，ＳＡｍ’）および前記ポイントクラウドフレーム（
2019537138.tif 000025
）は、単一グローバル座標系（ＧＣＳｍ’’）に関連付けられた前記グローバル累積３次元マップの単一サブエリア（ＳＡｍｍ’’）において、アライメントおよびマージされる、方法。
【請求項４】
請求項１から３のいずれか１項に記載の方法であって、
前記Ｎ個の３次元センサ（３ＤＳ１，…，３ＤＳＮ）は、
第１移動ビークルに搭載された、少なくとも１つの第１の３次元センサ（３ＤＳｉ）と、
第２移動ビークルに搭載された、少なくとも１つの第２の３次元センサ（３ＤＳｉ’）と、を含んでおり、
前記少なくとも１つの第１の３次元センサ（３ＤＳｉ）および前記少なくとも１つの第２の３次元センサ（３ＤＳｉ’）は、共通の中央処理ユニット（２２）とワイヤレス通信し、
前記グローバル累積３次元マップは、前記第１移動ビークルの周囲の前記環境（Ｅ）および前記第２移動ビークルの周囲の前記環境を表す、共通サブエリア（ＳＡｋ）を含んでいる、方法。
【請求項５】
請求項１から４のいずれか１項に記載の方法であって、
前記グローバル累積３次元マップは、前記第１移動ビークルの周囲の前記環境（Ｅ）および前記第２移動ビークルの周囲の前記環境を表す前記共通サブエリア（ＳＡｋ）に関連付けられた共通グローバル座標系（ＧＣＳｋ）を含んでおり、
前記共通グローバル座標系において、（ｉ）前記少なくとも１つの第１の３次元センサ（３ＤＳｉ）によって生成されたポイントクラウドフレーム（ＰＣＦｊｉ）と、（ｉｉ）前記少なくとも１つの第２の３次元センサ（３ＤＳｉ’）によって生成されたポイントクラウドフレーム（ＰＣＦｊｉ’）とが変換されている、方法。
【請求項６】
請求項１から５のいずれか１項に記載の方法であって、
前記Ｎ個の複数の連続ストリームに含まれるストリーム（ＳＴｉ）の、新たに受信されたポイントクラウドフレーム（ＰＣＦｊｉ）に対して、アライメント後ポイントクラウドフレーム（
2019537138.tif 000026
）を決定する前記ステップｂ１）は、
前記ストリーム（ＳＴｉ）を生成するセンサ（３ＤＳｉ）の、少なくとも１つの時点（ｔｊｉ）における前記環境の前記グローバル座標系内の３次元位置および方向を決定するステップを含む、方法。
【請求項７】
請求項６に記載の方法であって、
少なくとも１つの時点（ｔｊｉ）における前記センサ（３ＤＳｉ）の３次元位置および方向の決定は、
前記少なくとも１つのビークルまたは前記複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）についての追加の位置情報を用いずに、前記ストリーム（ＳＴｉ）の新たに受信された前記ポイントクラウドフレーム（ＰＣＦｊｉ）および前記グローバル累積３次元マップのみに基づいてなされる、方法。
【請求項８】
請求項１から７のいずれか１項に記載の方法であって、
前記Ｎ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）に含まれる第１のセンサ（３ＤＳｉ）および第２のセンサ（３ＤＳｉ’）は、少なくとも時間Ｔに亘り、非同期である；
具体的には、前記時間Ｔに亘り取得された前記第１のセンサ（３ＤＳｉ）および第２のセンサ（３ＤＳｉ’）のそれぞれのストリーム（ＳＴｉ，ＳＴｉ’）のポイントクラウドフレーム（ＰＣＦｊｉ，ＰＣＦｊ’ｉ’）は、
2019537138.tif 000027
を満たす、異なる時点において取得されている、方法。
【請求項９】
請求項１から８のいずれか１項に記載の方法であって、
前記Ｎ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）に含まれる第１のセンサ（３ＤＳｉ）および第２のセンサ（３ＤＳｉ’）は、少なくとも時間Ｔに亘り、オーバーラップしないそれぞれの視野を有している；
具体的には、前記時間Ｔに亘り取得された前記第１のセンサ（３ＤＳｉ）および前記第２のセンサ（３ＤＳｉ’）のそれぞれのストリーム（ＳＴｉ，ＳＴｉ’）のポイントクラウドフレーム（ＰＣＦｊｉ，ＰＣＦｊ’ｉ’）は、
2019537138.tif 000028
を満たす、オーバーラップしないそれぞれのローカルボリュームをカバーする、方法。
【請求項１０】
請求項１から９のいずれか１項に記載の方法であって、
前記環境のグローバル座標系におけるアライメント後ポイントクラウドフレーム（
2019537138.tif 000029
（ｉ）前記環境（Ｅ）を表すデータポイントと、（ｉｉ）前記ポイントクラウドフレーム（ＰＣＦｊｉ）を取得した前記センサ（３ＤＳｉ）が搭載されている前記ビークル（１０）を表すデータポイントとに対して、識別およびフラグ設定を行うために、前記ポイントクラウドフレーム（ＰＣＦｊｉ）のデータポイントをセグメント化するステップを含んでおり、
具体的には、前記アライメント後ポイントクラウドフレーム（
2019537138.tif 000030
）は、前記環境（Ｅ）を表すデータポイントに制限されている、方法。
【請求項１１】
少なくとも１つのビークル（１０）のためのグローバル３次元マップ生成・更新システム（２）であって、
前記少なくとも１つのビークル１０に搭載されたＮ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）と、
中央処理ユニット（２２）と、を備えており、
前記Ｎ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）に含まれる各センサ（３ＤＳｉ）は、前記複数の３次元センサに含まれるその他のセンサと並列的かつ非同期的に、ポイントクラウドフレーム（ＰＣＦ０ｉ，ＰＣＦ１ｉ，…）の連続ストリーム（ＳＴｉ）を生成し、
前記ストリーム（ＳＴｉ）の各ポイントクラウドフレーム（ＰＣＦｊｉ）は、時点（ｔｊｉ）において前記センサ（３ＤＳｉ）によって取得された、前記センサのローカル座標系（ＣＳｉ）における３次元データポイントのセットを含んでおり、
前記３次元データポイントは、前記時点（ｔｊｉ）において、前記センサ（３ＤＳｉ）の周囲の前記環境のローカルボリューム（Ｌｊｉ）内に位置する物体の表面を表し、
前記中央処理ユニットは、前記複数のセンサに含まれる各３次元センサと通信し、前記Ｎ個の３次元センサ（３ＤＳ１，…，３ＤＳＮ）からＮ個の複数の連続ストリーム（ＳＴ１，…，ＳＴＮ）を連続的に受信するとともに、前記複数のストリームをメモリ（２３）に格納し、
前記中央処理ユニットは、以下のステップ（ｉ）および（ｉｉ）を実行することによって、前記少なくとも１つのビークル（１０）の周囲の前記環境の前記グローバル累積３次元マップを更新する、グローバル３次元マップ生成・更新システム（２）；
（ｉ）前記複数のストリームに含まれる各ストリーム（ＳＴｉ）の新たに受信されたポイントクラウドフレーム（ＰＣＦｊｉ）のそれぞれに対し、前記ポイントクラウドフレーム（ＰＣＦｊｉ）を前記環境の前記グローバル累積３次元マップと比較することによって、前記少なくとも１つのビークル（１０）の前記環境（Ｅ）のグローバル座標系におけるアライメント後ポイントクラウドフレーム（
2019537138.tif 000031
）を決定するステップ；
（ｉｉ）前記アライメント後ポイントクラウドフレーム（
2019537138.tif 000032
）を、前記グローバル累積３次元マップとマージすることによって、前記グローバル累積３次元マップを更新するステップ。
【請求項１２】
請求項１１に記載のグローバル３次元マップ生成・更新システム（２）を備えた自律的または半自律的なビークル（１０）であって、
前記システムのＮ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）は、前記ビークル（１０）に搭載されており、
前記ビークル（１０）は、ビークル処理ユニット（１８）を備えており、
前記ビークル処理ユニット（１８）は、
前記システム（２）によって生成および更新された前記グローバル累積３次元マップを受信しおよび格納し、
少なくとも前記グローバル累積３次元マップに基づいて、前記ビークル（１０）の駆動を支援または制御する、自律的または半自律的なビークル（１０）。
【請求項１３】
自律的または半自律的なビークル（１０）のコンボイ（１）であって、
複数の自律的または半自律的なビークル（１０）と、
請求項１１に記載のグローバル３次元マップ生成・更新システム（２）と、を備えており、
前記Ｎ個の複数の３次元センサ（３ＤＳ１，…，３ＤＳＮ）に含まれる少なくとも１つの３次元センサは、前記コンボイの前記ビークル（１０）のそれぞれに搭載されており、
前記コンボイの前記ビークル（１０）のそれぞれは、ビークル処理ユニット（１８）を備えており、
前記ビークル処理ユニット（１８）は、
前記システム（２）によって生成および更新された前記グローバル累積３次元マップを受信しおよび格納し、
少なくとも前記グローバル累積３次元マップに基づいて、前記ビークル（１０）の駆動を支援または制御する、コンボイ（１）。
【請求項１４】
請求項１３に記載のコンボイであって、
前記コンボイの各ビークルの前記ビークル処理ユニット（１８）は、前記システム（２）の中央処理ユニット（２２）であり、
前記ビークル処理ユニット（１８）は、
前記複数のセンサに含まれるそれぞれの３次元センサと通信して、前記Ｎ個の３次元センサ（３ＤＳ１，…，３ＤＳＮ）から前記複数のＮ個の連続ストリーム（ＳＴ１，…，ＳＴＮ）を連続的に受信し、
前記複数のストリームをメモリ（２３）に格納し、
前記ビークルの前記コンボイの周囲の前記環境のグローバル累積３次元マップを更新する、コンボイ。
【請求項１５】
プログラム命令を含むコンピュータプログラムが格納された、コンピュータ可読な非一時的記憶媒体であって、
前記コンピュータプログラムは、請求項１１に記載のグローバル３次元マップ生成・更新システム（２）の中央処理ユニット（２２）においてロード可能であり、
前記コンピュータプログラムは、前記中央処理ユニットによって起動された場合に、前記中央処理ユニットに、請求項１から１０のいずれか１項に記載の方法の前記ステップを実行させる、コンピュータ可読な非一時的記憶媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
〔本発明の分野〕
本発明は、少なくとも１つの移動ビークル（移動中の輸送機器）の周囲の環境のグローバル３次元マップを動的に生成および更新する方法に関する。本発明はまた、（ｉ）ビークルのコンボイ（集団，隊列）のためのグローバル３次元マップ生成・更新システムと、（ｉｉ）当該システムを備えた自律的または半自律的なビークルのコンボイと、に関する。
【０００２】
〔本発明の背景〕
本出願は、１つまたは複数の移動ビークルの周囲を示す３次元環境マップの生成の分野に属する。これらのマップは、前記ビークルに搭載された３次元センサを用いて、動的に生成および更新される。
【０００３】
３次元センサは、当該センサの周囲の環境のローカルボリューム（ローカル空間，ローカル体積）内に位置する物体を示す、データポイント（データ点）のセット（ポイントクラウド（点群）と称される）を取得する。一般に使用される３次元センサの一例は、回転レーザ光線を使用して自身の周囲を周期的にスキャン（走査）するレーザ測距器（例：光検知・測距（light detection and ranging，ＬＩＤＡＲ）モジュール）である。
【０００４】
単一のビークルまたはビークルのコンボイに３次元センサを提供することは、多くの興味深い用途を含んでいる。
【０００５】
取得されたポイントクラウドは、マッピングの目的での移動中に、ビークルによって視認（認識）される環境の３Ｄマップを生成するために使用されてよい。また、３Ｄマップは、ビークルの運転（駆動，ドライビング）を支援（補助）または自動化するために（特に、単一またはコンボイの自律ビークルの運転を自動化するために）使用されてもよい。
【０００６】
複数の３次元センサを使用することは、地図の範囲および解像度（分解能）を増大させるとともに、シャドーイング効果を回避することによって、前記ポイントクラウドから生成されうる地図のカバレージ（カバー範囲）および精度を大幅に改善する。センサは、１つのビークルおよび／または複数のビークルのコンボイ内の各ビークル上のボディの様々な位置に取り付けられてよい。
【０００７】
但し、個別の３次元センサによって生成されたポイントクラウドを組み合わせる（結合する）ことは、重要な処理である。各３次元センサによって生成されたローデータ（生データ，未加工データ）は、まばらであり、ノイズが多く、かつ、離散的であるためである。
【０００８】
ＵＳ７，６５２，２３８およびＵＳ９，１５１，４４６には、複数の３Ｄセンサから到来した情報を組み合わせるように設計されたシステムおよび装置が記載されている。これらの装置では、システムの全ての３Ｄセンサに対して一様な（同一の）座標系が定義されており、センサの位置および向き（方位）は、この共通の座標系において較正される。
【０００９】
このようなシステムでは、信頼できる方法で測定値（測定結果）をマージ（併合）できるように、各センサのそれぞれの位置は、長期に亘り、固定され、かつ、安定していなければならない。このことは、（ｉ）こうした複数のセンサシステムの有用性を、単一のリジッドな（剛性が高い）構造物に取り付けられたセンサに限定し、かつ、（ｉｉ）独立して移動するビークルのコンボイの場合におけるセンサの使用を妨げる。さらに、センサの相対的な位置および向きを正確に決定することは、３Ｄ測定ツールおよび３Ｄ入力インターフェースを要する。当該３Ｄ測定ツールおよび３Ｄ入力インターフェースは、専門家ではない（素人の）オペレータにとっては、取扱い（運用）が難しい。その結果、例えば、衝撃、経年変化、または天候に関連する条件に起因して、センサがミスアライメントされた場合、（ｉ）センサと共に取付台を交換するか、または、（ｉｉ）再較正のためにビークルを工場に返送する以外には、ミスアライメントを較正する簡便な方法は存在しないことが一般的である。
【００１０】
ＵＳ出願２０１３／０２４２２８５Ａは、特に、１つのセンサの位置または向きが変更され、上述のように当該センサがミスアライメントされた場合に、２つの３次元センサの相対的な較正を自動的に調整する方法について説明している。当該方法によれば、２つの３次元センサによって同時に取得された２つのポイントクラウドは、互いに比較される。これにより、これら２つのセンサのローカル座標系間の変換関数（transformation function）が更新（アップデート）され、他方のセンサに対しての、一方のセンサの潜在的な変位が決定される。
【００１１】
しかし、このような方法を使用可能とするためには、比較されるポイントクラウドフレームが同時に取得されるように、センサを注意深く同期させなければならない。そのようにしなければ、センサを搭載したビークルが移動を開始するとすぐに、各センサについての異なる取得時間が、センサ間の誤った変位の計算をもたらすであろう。さらに、取得されたポイントクラウドを比較できるように、２つのセンサの視野は、オーバラップして（重なり合って）いなければならない。但し、実際には、特に、ビークルのコンボイ内の遠隔ビークルに搭載されたセンサの場合には、これらの２つの条件を満たすことは困難である。
【００１２】
特に、ビークルのコンボイ内の遠隔ビークルでは、走行中にかなりの相対運動が生じることが通常である。このため、多くの場合、異なるビークルに搭載されたセンサの視野は、オーバーラップしない。一般的な非オーバーラップ状態は、第１ビークルがコーナーを通過したが、後続の第２ビークルが同コーナーを通過しなかった場合に生じる。この場合、通常、第１ビークルおよび第２ビークルに搭載されたセンサの視野は、オーバーラップしない。それゆえ、センサが注意深く同期させられていたとしても、取得されたポイントクラウドを組み合せることができない。
【００１３】
次いで、１つの解決策は、別個のセンサによって取得されたポイントクラウドを組み合わせるために、他のローカリゼーション（位置特定）デバイスを使用することであろう。付加的なローカリゼーションデバイスの一実施例は、グローバルポジショニングシステム（全地球測位システム，ＧＰＳ）である。これらの予備的な（fallback）解決策は、システムにさらなる複雑性をもたらすだけでなく、誤差およびコーナーケース（特別なケース）のさらなる原因をもたらすので、満足のいくものではない（ＧＰＳは、例えばトンネルおよび地下では機能せず、その精度は限られている）。
【００１４】
本発明は、こうした状況の改善を目的としている。
【００１５】
この目的のために、本発明の第１の目的は、少なくとも１つの移動ビークルの周囲の環境のグローバル３次元マップを生成および更新するための方法である。当該方法では、Ｎ個の複数の３次元センサは、前記少なくとも１つの移動車両に搭載され、かつ、少なくとも１つの中央処理ユニットと通信する。当該方法では、ａ）前記Ｎ個の複数の３次元センサに含まれる各センサは、前記複数の３次元センサに含まれるその他のセンサと並列的かつ非同期的に、ポイントクラウドフレームの連続ストリームを生成する。前記ストリームの各ポイントクラウドフレームは、ある時点において前記センサによって取得された、前記センサのローカル座標系における３次元データポイントのセットを含んでいる。前記３次元データポイントは、前記時点において、前記センサの周囲の前記環境のローカルボリューム内に位置する物体の表面を表す。そして、当該方法では、ｂ）前記中央処理ユニットは、前記Ｎ個の３次元センサからＮ個の複数の連続ストリームを連続的に受信し、かつ、前記複数のストリームをメモリに格納する。そして、前記中央処理ユニットは、以下のステップｂ１）およびステップｂ２）を実行することにより、前記複数のストリームに含まれる各ストリームの新たに受信されたポイントクラウドフレームのそれぞれに対し、前記少なくとも１つのビークルの前記環境のグローバル累積３次元マップを生成または更新する。
ｂ１）前記ポイントクラウドフレームを前記環境の前記グローバル累積３次元マップと比較することによって、前記少なくとも１つのビークルの前記環境のグローバル座標系におけるアライメント後ポイントクラウドフレームを決定するステップ；
ｂ２）前記アライメント後ポイントクラウドフレームを、前記グローバル累積３次元マップとマージすることによって、前記グローバル累積３次元マップを更新するステップ。
【００１６】
一部の実施形態では、以下の構成のうちの１つまたは複数を使用することもできる。
【００１７】
−前記グローバル累積３次元マップは、（ｉ）少なくとも１つのグローバル座標系と、（ｉｉ）前記グローバル座標系内の複数のデータポイントを含む少なくとも１つの関連サブエリアと、を含んでいる。アライメント後ポイントクラウドフレームを決定する前記ステップｂ１）は、以下のステップｂ１１）を含んでいる。
ｂ１１）前記ポイントクラウドフレームを、前記環境の前記グローバル累積３次元マップのそれぞれのサブエリアと比較することによって、前記アライメント後ポイントクラウドフレームの少なくとも一部が、前記グローバル累積３次元マップの前記少なくとも１つのサブエリアの少なくとも一部と一致するように、前記ポイントクラウドフレームをアライメントしようとするステップ。
そして、前記環境の前記グローバル累積３次元マップを更新する前記ステップｂ２）は、以下のステップｂ２１）およびステップｂ２２）を含んでいる。
ｂ２１）前記ポイントクラウドフレームが、前記環境の前記グローバル累積３次元マップの前記少なくとも１つのサブエリアとアライメント可能である場合、前記アライメント後ポイントクラウドフレームを前記グローバル累積３次元マップの前記少なくとも１つのサブエリアとマージするステップ；
ｂ２２）前記ポイントクラウドフレームが、前記環境の前記グローバル累積３次元マップの前記少なくとも１つのサブエリアとアライメント可能でない場合、前記グローバル累積３次元マップの追加グローバル座標系および関連する追加サブエリアを生成するステップ。当該ステップにおける前記グローバル累積３次元マップの前記追加サブエリアは、前記グローバル累積３次元マップに既に含まれていた前記サブエリアから分離されており、かつ、前記ポイントクラウドフレームを含んでいる。
【００１８】
−前記グローバル累積３次元マップが複数のサブエリアを含んでいる場合、ポイントクラウドフレームをアライメントしようと試みる前記ステップｂ１１）は、前記アライメント後ポイントクラウドフレームの少なくとも一部が、前記グローバル累積３次元マップの少なくとも１つのサブエリアと一致するように、マルチスキャンアライメントステップにおいて、前記サブエリアおよび前記ポイントクラウドフレームを共にアライメントしようと試みるステップをさらに含んでいる。そして、前記ポイントクラウドフレームが、前記グローバル累積３次元マップの複数のサブエリアとアライメント可能である場合、前記複数のサブエリアおよび前記ポイントクラウドフレームは、単一グローバル座標系に関連付けられた前記グローバル累積３次元マップの単一サブエリアにおいて、アライメントおよびマージされる。
【００１９】
−前記Ｎ個の３次元センサは、（ｉ）第１移動ビークルに搭載された、少なくとも１つの第１の３次元センサと、（ｉｉ）第２移動ビークルに搭載された、少なくとも１つの第２の３次元センサと、を含んでいる。前記少なくとも１つの第１の３次元センサおよび前記少なくとも１つの第２の３次元センサは、共通の中央処理ユニットとワイヤレス通信する。前記グローバル累積３次元マップは、共通サブエリアを含んでいる。前記共通サブエリアは、（ｉ）前記第１移動ビークルの周囲の前記環境と、（ｉｉ）前記第２移動ビークルの周囲の前記環境とを表す。
【００２０】
−前記グローバル累積３次元マップは、共通グローバル座標系を含んでいる。前記共通グローバル座標系は、前記第１移動ビークルの周囲の前記環境と前記第２移動ビークルの周囲の前記環境とを表す前記共通サブエリアに関連付けられている。そして、前記共通グローバル座標系では、（ｉ）前記少なくとも１つの第１の３次元センサによって生成されたポイントクラウドフレームと、（ｉｉ）前記少なくとも１つの第２の３次元センサによって生成されたポイントクラウドフレームとが変換されている。
【００２１】
−前記Ｎ個の複数の連続ストリームに含まれるストリームの、新たに受信されたポイントクラウドフレームに対して、アライメント後ポイントクラウドフレームを決定する前記ステップｂ１）は、前記ストリームを生成するセンサの、少なくとも１つの時点における前記環境の前記グローバル座標系内の３次元位置・方向（３次元位置および方向）を決定するステップを含む。
【００２２】
−少なくとも１つの時点における前記センサの３次元位置・方向の決定は、前記少なくとも１つのビークルまたは前記複数の３次元センサについての追加の位置情報を用いずに、前記ストリームの新たに受信された前記ポイントクラウドフレームおよび前記グローバル累積３次元マップのみに基づいてなされる。
【００２３】
−前記Ｎ個の複数の３次元センサに含まれる第１のセンサおよび第２のセンサは、少なくとも時間Ｔに亘り、非同期である。具体的には、前記時間Ｔに亘り取得された前記第１のセンサおよび第２のセンサのそれぞれのストリームのポイントクラウドフレームは、
2019537138.tif 000003
【００２４】
を満たす、異なる時点において取得されている。
【００２５】
−前記Ｎ個の複数の３次元センサに含まれる第１のセンサおよび第２のセンサは、少なくとも時間Ｔに亘り、オーバーラップしないそれぞれの視野を有している。
【００２６】
具体的には、前記時間Ｔに亘り取得された前記第１のセンサおよび前記第２のセンサのそれぞれのストリームのポイントクラウドフレームは、
2019537138.tif 000004
【００２７】
を満たす、オーバーラップしないそれぞれのローカルボリュームをカバーする。
【００２８】
−前記環境のグローバル座標系におけるアライメント後ポイントクラウドフレームを決定する前記ステップは、（ｉ）前記環境を表すデータポイントと、（ｉｉ）前記ポイントクラウドフレームを取得した前記センサが搭載されている前記ビークルを表すデータポイントとに対して、識別およびフラグ設定を行うために、前記ポイントクラウドフレームのデータポイントをセグメント化するステップを含んでいる。具体的には、前記アライメント後ポイントクラウドフレームは、前記環境を表すデータポイントに制限されている。
【００２９】
本発明の別の目的は、少なくとも１つのビークルのためのグローバル３次元マップ生成・更新システムである。前記システムは、前記少なくとも１つのビークルに搭載されたＮ個の複数の３次元センサと、中央処理ユニットと、を備えている。前記Ｎ個の複数の３次元センサに含まれる各センサは、前記複数の３次元センサに含まれるその他のセンサと並列的かつ非同期的に、ポイントクラウドフレームの連続ストリームを生成する。前記ストリームの各ポイントクラウドフレームは、ある時点において前記センサによって取得された、前記センサのローカル座標系における３次元データポイントのセットを含んでいる。前記３次元データポイントは、前記時点において、前記センサの周囲の前記環境のローカルボリューム内に位置する物体の表面を表す。前記中央処理ユニットは、前記複数のセンサに含まれる各３次元センサと通信し、前記Ｎ個の３次元センサからＮ個の複数の連続ストリームを連続的に受信するとともに、前記複数のストリームをメモリに格納する。そして、前記中央処理ユニットは、以下のステップ（ｉ）および（ｉｉ）を実行することによって、前記少なくとも１つのビークルの周囲の前記環境の前記グローバル累積３次元マップを更新する。
（ｉ）前記複数のストリームに含まれる各ストリームの新たに受信されたポイントクラウドフレームのそれぞれに対し、前記ポイントクラウドフレームを前記環境の前記グローバル累積３次元マップと比較することによって、前記少なくとも１つのビークルの前記環境のグローバル座標系におけるアライメント後ポイントクラウドフレームを決定するステップ；
（ｉｉ）前記アライメント後ポイントクラウドフレームを、前記グローバル累積３次元マップとマージすることによって、前記グローバル累積３次元マップを更新するステップ。
【００３０】
本発明の別の目的は、上述のグローバル３次元マップ生成・更新システムを備えた、自律的または半自律的なビークルである。前記システムのＮ個の複数の３次元センサは、前記ビークルに搭載されている。前記ビークルは、ビークル処理ユニットを備えている。前記ビークル処理ユニットは、（ｉ）前記システムによって生成および更新された前記グローバル累積３次元マップを受信しおよび格納し、（ｉｉ）少なくとも前記グローバル累積３次元マップに基づいて、前記ビークルの駆動を支援または制御する。
【００３１】
本発明のさらに別の目的は、自律的または半自律的なビークルのコンボイである。前記コンボイは、複数の自律的または半自律的なビークルと、上述のグローバル３次元マップ生成・更新システムとを備えている。前記Ｎ個の複数の３次元センサに含まれる少なくとも少なくとも１つの３次元センサは、前記コンボイの前記ビークルのそれぞれに搭載されている。前記コンボイの前記ビークルのそれぞれは、ビークル処理ユニットを備えている。前記ビークル処理ユニットは、（ｉ）前記システムによって生成および更新された前記グローバル累積３次元マップを受信しおよび格納し、（ｉｉ）少なくとも前記グローバル累積３次元マップに基づいて、前記ビークルの駆動を支援または制御する。
【００３２】
一実施形態では、前記コンボイの各ビークルの前記ビークル処理ユニットは、前記システムの中央処理ユニットである。前記ビークル処理ユニットは、（ｉ）前記複数のセンサに含まれるそれぞれの３次元センサと通信して、前記Ｎ個の３次元センサから前記複数のＮ個の連続ストリームを連続的に受信し、（ｉｉ）前記複数のストリームをメモリに格納し、（ｉｉｉ）前記ビークルの前記コンボイの周囲の前記環境のグローバル累積３次元マップを更新する。
【００３３】
本発明のさらに別の目的は、プログラム命令を含むコンピュータプログラムが格納された非一時的なコンピュータ可読記憶媒体である。前記コンピュータプログラムは、上述のグローバル３次元マップ生成・更新システムの中央処理ユニットにおいてロード可能である。前記コンピュータプログラムは、前記中央処理ユニットによって起動（実行）された場合に、前記中央処理ユニットに、上述の方法の前記ステップを実行させる。
【００３４】
〔図面の簡単な説明〕
本発明の他の特徴および利点は、非限定的な実施例として提供される本発明の実施形態の一部、および添付の図面の以下の説明から、容易に明らかになるであろう。図面は、次の通りである。
【００３５】
図１は、本発明の一実施形態に係るグローバル３次元マップ生成・更新システムを備えるビークルのコンボイの概略的な斜視図である。
【００３６】
図２は、本発明の一実施形態に係るグローバル３次元マップ生成・更新システムを備える単一のビークルの概略的な斜視図である。
【００３７】
図３は、本発明の複数の実施形態に係る、環境のグローバル３次元マップを動的に生成および更新するための方法を詳述するフローチャートである。
【００３８】
図４は、本発明の複数の実施形態に係る、図３の方法のグローバル累積３次元マップを生成または更新するステップを詳述するフローチャートである。
【００３９】
異なる図において、同じ参照符号は、同様または類似の要素を示す。
【００４０】
〔詳細な説明〕
図１は、本発明の一実施形態に係るビークル１０のコンボイ１を示す。
【００４１】
ビークル１０（ビークルのコンボイ１の一部であってよい）は、図２により詳細に示されている。以下にさらに詳述するように、このようなビークル１０もまた、本発明自体の目的である。
【００４２】
本発明は、車輪付きビークル（車両）だけでなく、飛行、航行、ダイビング、または宇宙船（スペースビークル）を含む広範囲のビークル（輸送機器）に適用できる。本発明に係るビークルの具体例としては、自動車、ロボット、ドローン等が挙げられる。
【００４３】
本発明に特に有益なビークルの１つのクラスは、自己推進操舵可能ビークルのクラスであり、特に、例えば、自走車（自動運転車）または自走トラック等の自律的または半自律的なビークルである。
【００４４】
図２に示すように、ビークル１０には、ボディ１１が設けられている。ボディ１１は、ビークル１０の環境（周囲環境）Ｅから、当該ビークルの内部を区切る。
【００４５】
図１の例では、ビークル１０は、シャーシと複数のホイール（車輪）１２とが設けられたトラックである。ホイール１２の方向は、所定の経路をたどるように制御可能であり、例えば、道路に沿って一列に駆動（走行）可能である。
【００４６】
単一のビークル１０、および／または、ビークル１０のコンボイ１には、図１および図２に示すグローバル３次元マップ生成・更新システム２０が設けられている。
【００４７】
グローバル３次元マップ生成・更新システム２０は、Ｎ個の複数の３次元センサ２１を含む。当該３次元センサは、１つのビークルしか考慮されていない場合には、ビークル１０のボディ１１上または当該ボディの内側に搭載される。また、本発明がビークルのコンボイ１に適用される場合には、当該３次元センサは、コンボイ１の各ビークル１０のボディ１１上または当該ボディの内側に搭載される、
例えば、図２に示すように、単一のビークル１０には、ビークル１０の前部（フロント）および後部（バック）にそれぞれ搭載された、２つの３次元センサが設けられてよい。
【００４８】
図１に示すように、別の実施形態では、ビークルのコンボイ１のそれぞれのビークル１０に、３次元センサが設けられてよい。
【００４９】
本明細書では、３次元センサは、一般的には参照番号２１によって、具体的には参照番号３ＤＳｉによって参照される。ｉは、１からＮ（システム２０内の３次元センサ２１の個数）までの範囲に亘るインデックス（添字）である。
【００５０】
Ｎ個の複数Ｎ個の３次元センサのそれぞれの３次元センサ３ＤＳｉは、データの連続的なストリーム（連続ストリーム）ＳＴｉを生成する。
【００５１】
データは、アナログデータであることが好ましい。このことは、本発明に係るグローバル３次元マップの良好な精度および良好な解像度を実現する。
【００５２】
Ｎ個の複数の３次元センサのそれぞれの３次元センサ３ＤＳｉは、ポイントクラウドフレーム（ＰＣＦ０ｉ，ＰＣＦ１ｉ，…）の連続ストリームＳＴｉを生成する。ポイントクラウドフレーム（ＰＣＦ０ｉ，ＰＣＦ１ｉ，…）は、例えば、グローバル３次元マップの解像度を低下させうるサンプリンググリッドに適合（準拠）するようにサンプリングされないことが好ましい。
【００５３】
センサ３ＤＳ１，…，３ＤＳＮによりそれぞれ取得される連続ストリームＳＴ１，…，ＳＴＮは、並列して非同期的に（並列的かつ非同期的に）生成される。
【００５４】
「並列して非同期的に」（in parallel and asynchronously）とは、センサが一般に互いを認識しておらず、当該センサによる取得が特段には共に同期されないことを意味する。
【００５５】
さらに、「並列かつ非同期的に」とは、センサの位置および／またはセンサの取得時間が、本発明の方法において、特定されていない、または、既知ではないことを意味しうる。
【００５６】
より正確には、センサのそれぞれの位置は必要とされない。これらのセンサのそれぞれの位置は、グローバル３次元マップの精度および／または解像度に影響を及ぼすことなく、本発明の方法において経時的に変化さえしうる。
【００５７】
このことは、以下のように述べることもできる。Ｎ個の複数の３次元センサ３ＤＳ１，…，３ＤＳＮは、少なくとも時間Ｔに亘り非同期である第１のセンサ３ＤＳｋおよび第２のセンサ３ＤＳｌを少なくとも備える。従って、前記時間Ｔにおいて取得される、第１のセンサ３ＤＳｋおよび第２のセンサ３ＤＳｌのそれぞれのストリームＳＴｋおよびＳＴｌについての、２つのポイントクラウドフレームＰＣＦｊｋおよびＰＣＦｊ’ｌが、それぞれ異なる時点（時刻）ｔｊｋおよびｔｊ’ｌにおいて取得される。従って、２つのセンサ３ＤＳｋおよび３ＤＳｌのポイントクラウドフレームＰＣＦｊｋおよびＰＣＦｊ’ｌの取得タイミングは、
2019537138.tif 000005
【００５８】
の通りである。
【００５９】
ストリームＳＴｉのポイントクラウドフレームＰＣＦｊｉのそれぞれは、時刻ｔｊｉにおいてセンサ３ＤＳｉによって取得された、当該センサのローカル座標系ＣＳｉにおける３次元データポイントのセットを含んでいる。
【００６０】
３次元データポイントは、前記時刻ｔｊｉにおいてセンサ３ＤＳｉの周囲の環境のローカルボリュームＬｊｉ内に位置する物体の表面を表す。
【００６１】
Ｎ個の３次元センサは、オーバーラップ視野（重なり合う視野）を有する必要はない。
【００６２】
「３次元センサは、オーバーラップ視野を有する必要はない」とは、複数センサが互いに独立して移動し、その結果、当該複数センサが、（ｉ）ある時点ｔにおいて重なり合う視野を有し、（ｉｉ）その後（またはその以前に）、幅がある時間Ｔにおいて重なり合わない視野を有しうることを意味する。
【００６３】
特に、この場合にも、Ｎ個の３次元センサ３ＤＳ１，…，３ＤＳＮに含まれる第１のセンサ３ＤＳｋおよび第２のセンサ３ＤＳｌは、少なくとも時間Ｔに亘り、非オーバーラップ視野（オーバーラップしない視野）を有しうる。従って、前記時間Ｔにおいて取得される第１のセンサ３ＤＳｋおよび第２のセンサ３ＤＳｌのそれぞれのストリームＳＴｋおよびＳＴｌについての２つのポイントクラウドフレームＰＣＦｊｋおよびＰＣＦｊ’ｌは、それぞれの非オーバーラップローカルボリュームＬｊｋおよびＬｊ’ｌをカバーする（覆う）。このことは、
2019537138.tif 000006
【００６４】
という記述によって表現することもできる。
【００６５】
本明細書では、特定のセンサ３ＤＳｉによって取得されたポイントクラウドフレームを、ＰＣＦｊｉと表記する。また、当該ポイントクラウドフレームＰＣＦｊｉの取得時点を、ｔｊｉと表記する。また、当該取得時点ｔｊｉにおけるセンサ３ＤＳｉの周囲の環境のローカルボリュームを、Ｌｊｉと表記する。これらの表記において、上付き文字ｉは、関連するセンサ３ＤＳｉのインデックスである、ｉは、１からＮ（３次元センサの個数）までの範囲に亘る。下付き文字ｊは、連続ストリームＳＴｉにおけるフレームのインデックスである。ｊは、新たに取得され各フレームに伴い経時的に増加する。
【００６６】
「３次元データポイント」とは、座標系におけるセンサの環境（周囲環境）の点についての少なくとも３次元の座標（例：以下に詳述するセンサのローカル座標系ＣＳｉ）であると理解される。３次元データポイントは、付加的な特徴量（指標）（例：前記点においてセンサによって検出された信号の強度）を含みうる。
【００６７】
「ポイントクラウドフレーム」とは、特定の時点において、または短い取得期間（ＬＩＤＡＲのレーザビームによる周囲の完全なスキャンに必要とされる時間）に亘り、取得されたポイントクラウドを意味する。
【００６８】
「ポイントクラウドフレームの連続ストリーム」とは、データのストリームにおいて体系化（組織化）された一連のポイントクラウドフレームを意味する。
【００６９】
特に、ポイントクラウドは、それぞれのセンサＳＴｉに関連するローカル座標系ＣＳｉにおいて取得されてもよい。
【００７０】
ローカル座標系ＣＳｉは、センサＳＴｉに関連する座標系であり、例えばセンサの位置に配置された（位置付けられた）原点を有する。ローカル座標系ＣＳｉは、直交座標系（デカルト座標系）であってもよいし、あるいは円筒座標系または極座標系であってもよい。
【００７１】
３次元センサ２１は、レーザ測距器を含みうる。当該レーザ測距器は、例えば、光検知・測距（ＬＩＤＡＲ）モジュール、レーダモジュール、超音波測距モジュール、ソナーモジュール、または三角測量を使用する測距モジュールであってよい。あるいは、当該レーザ測距器は、センサＳＴｉのローカル座標系ＣＳｉ内の環境における単一または複数の点Ｐの位置を取得できる他の任意の装置であってもよい。
【００７２】
好適な実施形態では、３次元センサ２１は、初期的な物理信号（初期物理信号）を出射（発信）し、ローカル座標系の制御された方向に沿って反射された物理信号を受信（取得）する。出射および反射される物理信号は、例えば、光ビーム、電磁波、または音波であってよい。
【００７３】
次いで、センサ２１は、当該センサ２１から点Ｐ（当該センサ２１の周囲のボリューム内に位置する物体の表面上における、初期信号の反射点）までの距離に対応する範囲を算出（算定）する。前記範囲は、初期信号と反射信号とを比較することによって（例：発信および受信の時間または位相を比較することによって）、算出されてよい。
【００７４】
次いで、センサ２１のローカル座標系における３次元データポイントの座標は、前記距離および前記制御された方向から計算されてよい。
【００７５】
一例として、センサ２１は、一定のタイムレート（時間速度）によって光パルスを出射するレーザを備える。前記光パルスは、２つの方向に沿って回転する可動ミラーによって偏向させられる。反射された光パルスは、センサによって収集される。出射されたパルスと受信されたパルスとの間の時間差は、センサ２１の環境における物体の反射面の距離を与える。次いで、センサ２１のプロセッサ（または別個の処理ユニット）が、簡易な三角公式を使用して、当該センサによって取得されたそれぞれの測定値（測定結果）を、３次元データポイントＤに変換する。
【００７６】
センサ２１のローカル環境のフルスキャンを含むポイントクラウドは、周期的に取得される。当該ポイントクラウドは、センサ２１の周囲のボリューム内の物体を表す３次元データポイントＤのセットを含む。
【００７７】
「ローカル環境のフルスキャン」とは、センサ２１が、当該センサの完全な視野をカバーしたことを意味する。例えば、ローカル環境のフルスキャンの後、レーザベースのセンサの可動ミラーは、元の位置へと戻され、新たな回転運動期間を開始するように準備される。従って、センサによるローカル環境のフルスキャンは、２次元カメラによって取得された画像についての、３次元的な等価物である。
【００７８】
センサ２１のローカル環境のフルスキャンによって取得された３次元データポイントＤのセットは、ポイントクラウドである。センサ２１は、所与のフレームレートによって、ポイントクラウドフレームを周期的に取得できる。
【００７９】
センサは移動ビークルに搭載されているので、当該ビークルの周囲の環境は経時的に変化する。従って、前記時刻ｔｊｉにおいてセンサ３ＤＳｉによって取得されたポイントクラウドＰＣＦｊｉは、当該時刻ｔｊｉにおけるセンサ３ＤＳｉの周囲の環境のローカルボリュームＬｊｉのフルスキャンを含む。
【００８０】
グローバル３次元マップ生成・更新システム２は、中央処理ユニット（ＣＰＵ）２２をさらに含む。中央処理ユニット２２は、複数の３次元センサ２１のそれぞれに接続されており、かつ、当該複数の３次元センサのそれぞれと通信可能である。
【００８１】
中央処理ユニット２２は、無線通信（例：無線または光通信）によって、３次元センサ２１と通信してよい。あるいは、例えば、中央処理ユニット２２および３次元センサ２１が同じビークル１０に搭載されている場合、中央処理ユニット２２は、有線通信によって、３次元センサ２１と通信してもよい。中央処理ユニット２２は、特に長距離通信のために、何らかの中間装置（中継装置）を使用することによって、３次元センサ２１と通信してもよい。
【００８２】
中央処理ユニット２２は、Ｎ個の３次元センサ３ＤＳ１，…，３ＤＳＮから、Ｎ個の複数の連続ストリームＳＴ１，…，ＳＴＮを連続的に受信する。
【００８３】
「連続的に受信する」とは、例えば、センサが新規のポイントクラウドフレーム、またはポイントクラウドフレームの短いシーケンスを取得するたびに、ビークルの移動（トリップ）の終了を待つ必要なく、当該ポイントクラウドフレームまたは当該短いシーケンスが中央処理ユニット２２に送信されることを意味する。
【００８４】
中央処理ユニット２２は、単一のユニット内の複数のセンサ２１に含まれる特定のセンサの内部に一体化（統合）されていてもよい。あるいは、中央処理ユニット２２は、ビークル１の内部に固定された別個のユニットであってもよい。一部の実施形態では、中央処理ユニット２２は、ビークル１０のビークル処理ユニット１８の一部であってもよい。
【００８５】
ビークル処理ユニット１８は、特に、本発明に係るシステムおよび方法によって提供されるマップを使用することによって、ビークル１０の運転を推進または支援するために、自走アルゴリズムまたは運転支援アルゴリズムを動作させることができる。
【００８６】
従って、本発明の一実施形態では、コンボイ１内のビークル１０のビークル処理ユニット１８は、本発明のシステムおよび方法によって生成および更新されたグローバル累積３次元マップ（global cumulated tridimensional map）を使用することによって、コンボイ１の先行するビークルの経路を自律的にたどる（追従する）ことができる。
【００８７】
ある実施形態では、本発明に係るグローバル３次元マップ生成・更新システム２は、複数の中央処理ユニット２２を含んでいてもよい。特に、各ビークル１０または各センサ２１には、関連する中央処理ユニット２２が設けられてもよい。この例では、各中央処理ユニット２２は、複数のセンサ２１に含まれる３次元センサのそれぞれと、直接的に、または何らかの中継を介して、通信できる。
【００８８】
処理ユニット２２は、センサ２１から受信したポイントクラウドおよびポイントクラウドフレームを処理して、移動ビークル１０の周囲の環境Ｅのグローバル累積３次元マップＣＭを動的に生成および更新できる。
【００８９】
以下では、簡単のため、グローバル累積３次元マップは、グローバル３次元マップ、グローバル３Ｄマップ、または３Ｄマップとも称される場合がある。これらの表現は、本発明の同一のコンセプトおよび同一の構成をカバーする。
【００９０】
「移動ビークルの周囲の環境のグローバル３次元マップを動的に生成および更新する」とは、ビークルの移動中にグローバル３次元マップの生成および更新が実行されることを意味する。
【００９１】
図３および図４には、本発明の実施形態に係る少なくとも１つの移動ビークル１０の周囲の環境Ｅのグローバル３次元マップＣＭを動的に生成および更新するための方法が例示されている。当該方法について、より詳細に説明する。
【００９２】
当該方法は、（ｉ）少なくとも１つの移動ビークルに搭載されており、かつ、（ｉｉ）少なくとも１つの中央処理ユニットと通信する、Ｎ個の複数の３次元センサ２１を使用して実施される。
【００９３】
図１の例では、Ｎ個の３次元センサ２１はそれぞれ、Ｎ個のビークルによって構成されたコンボイ１のそれぞれのビークル１０に搭載されている。
【００９４】
さらに、Ｎ個のビークルによって構成されたコンボイ１の各ビークル１０は、中央処理ユニット２２を担持している（携行している）。中央処理ユニット２２は、Ｎ個の複数の３次元センサに含まれるセンサ２１のそれぞれと通信して、当該センサによって生成されたポイントクラウドフレームの連続ストリームを受信できる。
【００９５】
特に、コンボイのビークルｉに搭載された中央処理ユニット２２は、センサｊ（ｊ≠ｉ）によって生成されたポイントクラウドフレームの連続ストリームＳＴｊを、ビークルｊに搭載された中央処理ユニット２２を介して受信できる。従って、コンボイの各ビークルｊに搭載された中央処理ユニット２２は、センサ３ＤＳｊからのポイントクラウドフレームの連続ストリームを受信し、かつ、コンボイ１の各ビークルの各中央処理ユニット２２に当該連続ストリームを送信できる。この目的のために、コンボイ１のビークルの中央処理ユニット２２は、例えば無線通信によって、共に通信可能であってもよい。
【００９６】
上述のように、上記方法の動作中、Ｎ個の複数の３次元センサ３ＤＳ１，…，３ＤＳＮに含まれるそれぞれのセンサ３ＤＳｉは、当該複数の３次元センサに含まれるその他のセンサと並列して非同期的に、ポイントクラウドフレームＰＣＦ０ｉ，ＰＣＦ１ｉ，…，の連続ストリームＳＴｉを生成する。
【００９７】
ストリームＳＴｉのそれぞれのポイントクラウドフレームＰＣＦｊｉは、時刻ｔｊｉにおいてセンサ３ＤＳｉによって取得された、当該センサのローカル座標系ＣＳｉにおける３次元データポイントのセットを含む。当該３次元データポイントは、時刻ｔｊｉにおけるセンサ３ＤＳｉの周囲の環境のローカルボリュームＬｊｉ内に位置する物体の表面を表す。
【００９８】
中央処理ユニット２２は、Ｎ個の３次元センサ３ＤＳ１，…，３ＤＳＮからＮ個の複数の連続ストリームＳＴ１，…，ＳＴＮを連続的に受信し、当該複数のストリームをメモリ２３に格納（記憶）する。
【００９９】
メモリ２３は、中央処理ユニット２２に統合されていてもよい。
【０１００】
以下にさらに詳細に説明するように、中央処理ユニット２２は、連続的に受信されたポイントクラウドのストリームから、移動ビークル１０または移動ビークルのコンボイ１の周囲の環境Ｅのグローバル累積３次元マップＣＭを、動的に生成および更新する。
【０１０１】
より具体的には、中央処理ユニット２２は、複数のストリーム内のそれぞれのストリームＳＴｉについて、新たに受信したそれぞれのポイントクラウドフレームＰＣＦｊｉに対して、後述する動作を行うことにより、少なくとも１つのビークルの環境のグローバル積算３次元マップＣＭを生成または更新する。
【０１０２】
「新たに受信されたポイントクラウドフレーム」とは、所与のタイムステップにおいて最も最近に受信されたポイントクラウドフレーム（受信された最新のポイントクラウドフレーム）を意味する。
【０１０３】
有利には、本発明の方法は、ビークルの移動中およびポイントクラウドフレームのストリーミングの発生中に、動的に実行される。
【０１０４】
グローバル累積３次元マップＣＭは、１つのサブエリアＳＡ１、または、複数のサブエリアＳＡ１，…，ＳＡＭを含んでいてよい。Ｍは、サブエリアの総数である。
【０１０５】
グローバル累積３次元マップＣＭのそれぞれのサブエリアＳＡｋ（１≦ｋ≦Ｍ）は、関連グローバル座標系ＧＣＳｋを有する。当該関連グローバル座標系では、当該サブエリアＳＡｋに含まれるデータポイントが定義（規定）されている。
【０１０６】
それぞれのサブエリアＳＡｋに関連付けられたグローバル座標系ＧＣＳｋは、特に、ビークルおよび当該ビークルの動き自体とは無関係であってもよい。それぞれのサブエリアＳＡｋに関連付けられたグローバル座標系ＧＣＳｋは、移動ビークルの環境内におけるオブジェクトの位置のみに関連付けられてよい。
【０１０７】
本発明の特定の実施形態では、環境のグローバル累積３次元マップＣＭは、単一のサブエリアＳＡ１と、単一の関連グローバル座標系ＧＣＳ１とを含む。
【０１０８】
なお、グローバル座標系ＧＣＳｋは、通常、コンボイ１またはビークル１０の実際の物理的な環境に関し、特に較正（キャリブレーション）されていない。各々のサブエリアＳＡｋに関連するグローバル座標系ＧＣＳｋは、例えば、任意のキャリブレーション装置またはツールとは無関係に、ポイントクラウドフレームを共にアライメント（配列，調整）することによって得られる仮想座標系である。
【０１０９】
図１に示す実施形態では、複数の３次元センサ３ＤＳ１，…，３ＤＳＮは、（ｉ）第１移動ビークルＶｉに搭載された少なくとも１つの第１の３次元センサ３ＤＳｉと、（ｉｉ）第２移動ビークルＶｉ’に搭載された少なくとも１つの第２の３次元センサ３ＤＳｉ’と、を含む。上述の通り、第１の３次元センサ３ＤＳｉおよび第２の３次元センサ３ＤＳｉ’は、共通の中央処理ユニット２２と無線によって通信（ワイヤレス通信）する。次いで、グローバル累積３次元マップは、有利であることに、第１移動ビークルＶｉの周囲の環境と第２移動ビークルＶｉ’の周囲の環境とを同時に表す、共通サブエリアＳＡｋを含んでいる。
【０１１０】
共通グローバル座標系ＧＣＳｋは、第１移動ビークルＶ１の周囲の環境と第２移動ビークルＶ２の周囲の環境とを表す前記共通サブエリアＳＡｋに関連付けられている。第１の３次元センサ３ＤＳｉによって生成されたポイントクラウドフレームと、第２の３次元センサ３ＤＳｉ’によって生成されたポイントクラウドフレームとは、当該ポイントクラウドフレームが共通サブエリアＳＡｋにアライメントされた場合、当該共通グローバル座標系ＧＣＳｋにおいて変換されている。
【０１１１】
この共通サブエリアＳＡｋと、グローバル累積３次元マップＣＭの共通グローバル座標系ＧＣＳｋとを使用して、第２移動ビークルＶｉ’の運転／運転支援システム（運転システムまたは運転支援システム）は、例えば、第１移動ビークルＶｉの周囲の環境を容易に考慮に入れることができる。第２移動ビークルＶｉ’の前方を走行する第１移動ビークルＶｉが障害物に遭遇した場合、当該第２移動ビークルＶｉ’は、当該第１移動ビークルＶｉの環境を考慮に入れて、自身の挙動を調整できる。この具体的な状況は、例示的な事項として与えられているにすぎない。本発明から、コンボイ内のビークルの他のスマート挙動も実現されうることが容易に理解できるであろう。
【０１１２】
図３および図４に示された方法に戻る。動作ｂ１）において、中央処理ユニット２２は、ポイントクラウドフレームＰＣＦｊｉを環境のグローバル累積３次元マップＣＭと比較することによって、少なくとも１つのビークルの環境のグローバル座標系ＧＣＳ内のアライメント後ポイントクラウドフレーム（アライメントされた後のポイントクラウドフレーム）
2019537138.tif 000007
環境のグローバル累積３次元マップＣＭが、（ｉ）未だ存在していない、または、（ｉｉ）何らデータを含んでいない場合、中央処理ユニット２２は、ポイントクラウドフレームＰＣＦｊｉからグローバル累積３次元マップＣＭを生成してよい。例えば、当該ポイントクラウドフレームは、中央処理ユニット２２に送信するために、第１のセンサから最初に受信されたポイントクラウドフレームＰＣＦ００であってもよい。次いで、例えば、前記センサＳＴ０に関連付けられたローカル座標系ＣＳ０から、環境のグローバル座標系ＧＣＳ０が定義されてよい。アライメント後ポイントクラウドフレーム
2019537138.tif 000008
は、ポイントクラウドフレームＰＣＦｊｉから直接的に定義されてよい。
【０１１３】
環境のグローバル累積３次元マップＣＭが既に存在しており、かつ、何らかのデータを含んでいる場合、動作ｂ１）は、ポイントクラウドフレームを、少なくとも１つのビークルの環境のグローバル座標系ＧＣＳにおけるアライメント後ポイントクラウドフレーム
2019537138.tif 000009
へとアライメントするステップを含む。
【０１１４】
このアライメントは、新たに受信されたポイントクラウドフレームＰＣＦｊｉを、環境のグローバル累積３次元マップＣＭと比較することによって実行される。
【０１１５】
アライメント後ポイントクラウドフレーム
2019537138.tif 000010
は、追加の位置情報を用いることなく、センサ２１によって取得されたポイントクラウドからのみ、算出可能である。
【０１１６】
「追加の位置情報を用いることなく」とは、特に、アライメント後ポイントクラウドフレーム
2019537138.tif 000011
の算出が、センサ２１によって取得されたポイントクラウドおよびグローバル累積３次元マップＣＭ以外の他の入力データを必要としないことを意味する。例えば、方位装置（例：ＧＰＳまたは加速度計）の付加的な位置特定は必要とされない。さらに、センサの位置または移動についての推定（仮定）がなされる必要もない。
【０１１７】
アラインメントは、例えば、反復最近接点（Iterative Closet Point，ＩＣＰ）アルゴリズムを使用することによって実行されてよい。このことは、（ｉ）P.J. BeslおよびN.D.McKayによる「“A method for registration of 3-d shapes” published in IEEE Transactions on Pattern Analysis and MachineIntelligence, 14(2):239 - 256, 1992」または、（ｉｉ）「“Objectmodelling by registration of multiple range images” byYang Chen and Gerard Medioni published in Image VisionComput., 10(3), 1992.」に、詳述されている。
【０１１８】
ＩＣＰアルゴリズムは、変換空間において定義された関数を最適化することによってスキャンのペアワイズ変換（ペアごとの変換）のセットを発見しようと試行する、当該変換空間内のサーチ（探索，検索）を含む。ＩＣＰの変形例は、（ｉ）「最小２乗距離の和」等のエラーメトリックから、（ｉｉ）「画像距離」または確率的メトリック等の品質（クオリティ）メトリックまでの範囲に亘る、最適化関数を含む。この実施形態では、中央処理ユニット３は、それぞれのポイントクラウドＣの変換空間において定義された関数を最適化することにより、センサ２の更新された３次元位置・方向（３次元位置および方向）を決定できる。
【０１１９】
このようにして、アライメント後ポイントクラウドフレーム
2019537138.tif 000012
を容易かつ効率的に計算できる。
【０１２０】
アライメント処理は、考慮対象となっているポイントクラウドフレームＰＣＦｊｉが受信される場合のグローバル累積３次元マップＣＭのカバレージに応じて、様々な方法によって実行されてよい。
【０１２１】
ここでは、グローバル累積３次元マップＣＭが、既に、（ｉ）少なくとも１つのグローバル座標系ＧＣＳ１と、（ｉｉ）当該グローバル座標系内のデータポイントが存在する少なくとも１つの関連サブエリアＳＡｋと、を含んでいると仮定しよう。そうでない場合、上述の通り、グローバル累積３次元マップＣＭは、受信されたポイントクラウドから単純に生成される。
【０１２２】
次いで、アライメント後ポイントクラウドフレーム
2019537138.tif 000013
を決定する前記ステップｂ１）は、当該アライメント後ポイントクラウドフレーム
2019537138.tif 000014
の少なくとも一部が、グローバル累積３次元マップＣＭの少なくとも１つのサブエリアの少なくとも一部と一致するように、ポイントクラウドフレームＰＣＦｊｉをアライメントしようと試みる第１サブステップｂ１−１）を含む。
【０１２３】
上述したように、このサブステップは、ポイントクラウドフレームＰＣＦｊｉを、環境Ｖのグローバル累積３次元マップＣＭのそれぞれのサブエリアＳＡｋと比較することによって実行されてよい。
【０１２４】
次いで、ステップｂ２）において、グローバル累積３次元マップＣＭは、アライメント後ポイントクラウドフレーム
2019537138.tif 000015
をグローバル累積３次元マップＣＭとマージすることによって更新される。
【０１２５】
より正確には、ポイントクラウドフレームＰＣＦｊｉが環境Ｖのグローバル累積３次元マップＣＭの少なくとも１つのサブエリアＳＡｋとアライメント可能である場合、ステップｂ２）は、アライメント後ポイントクラウドフレーム
2019537138.tif 000016
をグローバル累積３次元マップＣＭの少なくとも１つのサブエリアＳＡｋとマージするサブステップｂ２−１）を含む。
【０１２６】
一方、ポイントクラウドフレームＰＣＦｊｉがグローバル累積３次元マップＣＭの少なくとも１つのサブエリアとアライメント不能である（アライメント可能ではない）場合、ステップｂ２）は、サブステップｂ２−２）を有利に含みうる。当該サブステップｂ２−２）では、グローバル累積３次元マップＣＭにおける追加グローバル座標系ＧＣＳＭ＋１および関連する追加サブエリアＳＡＭ＋１が生成される。ここで、数ｍは、追加サブエリアＳＡＭ＋１が生成される前の、グローバル累積３次元マップＣＭにおけるサブエリアＳＡｋ（１≦ｋ≦Ｍ）の数である。
【０１２７】
グローバル累積３次元マップＣＭの追加サブエリアＳＡＭ＋１は、グローバル累積３次元マップに既に含まれていたサブエリアＳＡｋｋ（１≦ｋ≦Ｍ）から分離されている。追加サブエリアＳＡＭ＋１は、新たに受信されたポイントクラウドフレームＰＣＦｊｉを含む。
【０１２８】
「追加サブエリアＳＡＭ＋１が、他のサブエリアＳＡｋ（１≦ｋ≦Ｍ）から分離されている」とは、当該追加サブエリア内のデータポイントが、その他のサブエリアＳＡｋ（１≦ｋ≦Ｍ）のデータポイントに接続されていないか、またはオーバーラップしていないことを意味する。このことは、例えば、別個のサブエリアＳＡｋに属するデータポイントを区別できるように、（ｉ）当該別個のサブエリアＳＡｋを遠隔グローバル座標系ＧＣＳｋに関連付けることによって、（ｉｉ）またはサブエリアＳＡｋのデータポイントを、当該データポイントが属するサブエリアのインデックスｋにより索引（対応）付けることによって、実現されうる。
【０１２９】
グローバル累積３次元マップＣＭが複数のサブエリアＳＡ１，…，ＳＡＭを含んでいる場合、グローバル累積３次元マップＣＭを更新するステップは、以下に詳述する、わずかに異なった方法によって実行されてよい。
【０１３０】
実際には、新たに受信されたポイントクラウドフレームＰＣＦｊｉは、グローバル累積３次元マップＣＭのサブエリアのカバレージを向上（充実化）および増大させるためだけでなく、以前に分離されたサブエリア間の接続を発見しようとする試み（試行）のためにも使用されうる。
【０１３１】
例えば、ビークルを移動させることにより、当該ビークルに搭載されたセンサを、別のビークルに搭載されたセンサによって事前にマッピングされた領域内に移動させることができる。この場合、２つのサブエリアにオーバーラップする新たに取得されたデータポイントを使用して、前記２つのセンサによってそれぞれ記録された、元々は分離されていた２つのサブエリアを、単一のマップとマージすることが特に興味深い。
【０１３２】
同様のことは、同じビークルに搭載された２つのセンサ、例えば、（ｉ）ビークルの前方に配置されたセンサと、（ｉｉ）ビークルが静止しているときに２つのセンサの視野がオーバーラップしないようにビークルの後方に配置された別のセンサと、についても起こりうる。例えば、ビークルが前方に移動し始めるとすぐに、当該ビークルの前方に位置しているために、フロントセンサ（前方センサ）にしかアクセスできなかった環境のエリアは、当該ビークルの後方へと通り過ぎるであろう。従って、前記エリアは、リアセンサ（後方センサ）によってアクセス可能となる。次いで、元々は別個であった２つの環境のサブエリアは、接続可能となり、ビークルの周囲の単一のサブエリア（単一サブエリア）へとマージ可能となる。当該単一サブエリアでは、フロントセンサおよびリアセンサの両方によって取得されたポイントクラウドがアライメントされ、単一サブエリアおよび単一のグローバル座標系（単一グローバル座標系）においてマージされる、
この目的のために、新たに受信されたポイントクラウドフレームＰＣＦｊｉをアライメントしようと試みるステップは、当該新たに受信されたポイントクラウドフレームＰＣＦｊｉを、グローバル累積３次元マップＣＭのそれぞれのサブエリアＳＡｋとともに、同時マルチスキャンアライメントするステップを含みうる。
【０１３３】
ポイントクラウドフレームＰＣＦｊが複数のサブエリアとアライメントできる場合、当該複数のサブエリアも共にマージ可能であるべきである。例えば、ポイントクラウドフレームＰＣＦｊｉは、グローバル累積３次元マップＣＭの２つのサブエリアＳＡｍおよびＳＡｍ’とアライメントされてよい。次いで、複数のサブエリアＳＡｍおよびＳＡｍ’とポイントクラウドフレーム
2019537138.tif 000017
とは、単一グローバル座標系ＧＣＳｍ’’に関連付けられたグローバル累積３次元マップＣＭの単一サブエリアＳＡｍ’’においてアライメントおよびマージされる。
【０１３４】
「同時マルチスキャンアライメント」（simultaneous multi-scansalignment）とは、グローバル累積３次元マップＣＭのサブエリアＳＡｋと共に、新たに受信されたポイントクラウドフレームＰＣＦｊｉが、同時に共にアライメントされる必要があるスキャンであると考慮されることを意味する。
【０１３５】
同時マルチスキャンアライメントは、例えば、上述した反復最近接点（ＩＣＰ）アルゴリズムを使用することによって実行されてよい。
【０１３６】
そして、中央処理ユニット３は、取得したポイントクラウドＣのそれぞれに対応する、アライメントされたローカルポイントクラウド（アライメント後ローカルポイントクラウド）Ａを生成する。アライメント後ローカルポイントクラウドＡでは、ポイントクラウドＣのデータポイントＤが、ローカル座標系Ｓからグローバル３次元マップＣＭのグローバル座標系Ｇへと移行（変換）されている。アライメント後ローカルポイントクラウドＡは、センサ２の更新された３次元位置・方向に基づいて決定される。
【０１３７】
３次元センサ２１によって取得されたポイントクラウドは、ビークル１０の環境Ｅの点Ｐ＿Ｅを表すデータポイントＤＰ＿Ｅだけでなく、当該ビークル１０の点Ｐ＿Ｖを表すデータポイントＤＰ＿Ｖを含みうることに留意されたい。例えば、センサ２１がビークル１０のルーフに搭載された場合、当該センサ２１によって取得されるポイントクラウドは、当該ビークルのルーフの複数の点をキャプチャ（捕捉）できる。
【０１３８】
この場合、ビークル１の環境Ｅを表すデータポイントＤＰ＿Ｅに、特に関心が高い。
【０１３９】
従って、各ポイントクラウドフレームは、環境Ｅを表すデータポイントＤＰ＿Ｅと、ビークル１０を表すデータポイントＤＰ＿Ｖとに対して、それぞれ識別およびフラグ設定を行うことができるように、セグメント化（分割）されてよい。このセグメント化は、静止点またはポイントクラウドの領域を識別するために、連続するポイントクラウドフレームＰＣＦｊ−１ｉおよびＰＣＦｊｉを共に比較することによって実行されてもよい。ポイントクラウドフレームＰＣＦｊｉがセグメント化されると、ビークル１０を表すデータポイントＤＰ＿Ｖは、ポイントクラウドフレームＰＣＦｊｉから無視されうる。この処理は、ノイズを低減し、生成されるグローバルマップの精度を高めるために、ポイントクラウドフレームをグローバル累積マップＣＭにアライメントしようとする試みに先立って実行されてよい。
【０１４０】
本発明の一部の実施形態では、環境のグローバル座標系におけるアライメント後ポイントクラウドフレーム
2019537138.tif 000018
を決定するステップは、時刻ｔｊｉにおけるグローバル座標系ＧＣＳにおけるセンサｉの３次元位置・方向を同時に算出するステップをも含みうる。
【０１４１】
時刻ｔｊｉにおけるセンサｉの３次元位置・方向は、グローバル座標系ＧＣＳにおけるセンサｉのローカル座標系ＣＳｉの原点の等価位置を決定することによって、簡単な方法で得られる。この決定は、ローカル座標系ＣＳｉの原点に関連するポイントクラウドの特定のデータポイントの位置を追跡（トラッキング）するステップを含んでいてもよい。または、この決定は、時刻ｔｊｉに対応するグローバル座標系ＧＣＳとセンサｉのローカル座標系ＣＳｉ間の変換関数を計算することによって実行されてもよい。
【０１４２】
当業者であれば十分に理解できる通り、本明細書において説明した複数の様々なステップおよびプロセスは、コンピュータ、プロセッサ、または電気現象を使用してデータを処理および／または変換する他の電子計算デバイスによって実行される動作についても言及しうる。これらのコンピュータおよび電子デバイスは、コンピュータまたはプロセッサによって実行可能な様々なコードまたは実行可能命令を含む実行可能プログラムが格納された不一時的コンピュータ可読媒体を含む様々な揮発性および／または不揮発性メモリを使用することができる。メモリおよび／またはコンピュータ可読媒体は、全ての形態およびタイプのメモリおよび他のコンピュータ可読媒体を含みうる。
【０１４３】
上述の説明は、本発明の例示的な実施形態を開示し、説明しているに過ぎない。当業者は、そのような議論から、ならびに添付の図面および特許請求の範囲から、以下の特許請求の範囲において規定されている本発明の精神および範囲から逸脱することなく、様々な変更、修正、および変形を行われてよいことを容易に認識するであろう。
【図面の簡単な説明】
【０１４４】
【図１】本発明の一実施形態に係るグローバル３次元マップ生成・更新システムを備えるビークルのコンボイの概略的な斜視図である。
【図２】本発明の一実施形態に係るグローバル３次元マップ生成・更新システムを備える単一のビークルの概略的な斜視図である。
【図３】本発明の複数の実施形態に係る、環境のグローバル３次元マップを動的に生成および更新するための方法を詳述するフローチャートである。
【図４】本発明の複数の実施形態に係る、図３の方法のグローバル累積３次元マップを生成または更新するステップを詳述するフローチャートである。
【図１】
2019537138.tif 000033
【図２】
2019537138.tif 000034
【図３】
2019537138.tif 000035
【図４】
2019537138.tif 000036
【国際調査報告】
2019537138.tif 000037
2019537138.tif 000038