(57)【要約】  少なくとも１つのセンサ（１１）が装置（１）に取り付けられて少なくとも１つの中央処理装置（１２）と通信するようになっている少なくとも１つの装置（１）を取り囲む環境（Ｅ）内に位置するとともに前記装置（１）に対して移動する物体（２０）の組成材料を識別する方法。
2021518557.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのセンサ（１１）が装置（１）に取り付けられて少なくとも１つの中央処理装置（１２）と通信するようになっている少なくとも１つの装置（１）を取り囲む環境（Ｅ）内に位置するとともに前記装置（１）に対して移動する物体（２０）の組成材料を識別する方法であって、
（ステップＡ）前記センサ（１１）は、ある第１の波長（λｅｊ）で物理信号（１６）を送信することによって連続ストリーム（ＳＴ）の点群フレーム（ＰＣＦｊ）を生成し、前記点群フレーム（ＰＣＦｊ）は、データ点（Ｍｉ）の集合を含み、少なくとも１つの前記データ点（Ｍｉ）は、前記センサ（１１）のローカル座標系（ＣＳ）において、時刻ｔｊに前記センサ（１１）を取り囲むローカル体積（Ｌｊ）における前記物体（２０）の座標（φｉ，θｉ，ｄｉ）ＬＣＳを含み、前記データ点（Ｍｉ）は、前記物体（２０）上で一旦反射された送信された物理信号（１６）に対応する反射された物理信号（１７）の強度値（Ｉｉ）も含み、
（ステップＢ）前記中央処理装置（１２）は、前記点群フレーム（ＰＣＦｊ）を受信し、前記装置（１）を取り囲む前記環境（Ｅ）のグローバル座標系（ＧＣＳ）における前記点群フレーム（ＰＣＦｊ）の各データ点（Ｍｉ）の座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定し、前記強度値（Ｉｉ）は、前記グローバル座標系（ＧＣＳ）における各データ点（Ｍｉ）の前記座標（φｉ，θｉ，ｄｉ）ＧＣＳに関連付けられ、
（ステップＣ）前記中央処理装置（１２）は、前記グローバル座標系（ＧＣＳ）における時刻ｔｊにおける前記物体（２０）の前記座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定し、
（ステップＤ）前記中央処理装置（１２）は、時刻ｔｊにおける前記グローバル座標系（ＧＣＳ）における前記物体（２０）の前記座標（φｉ，θｉ，ｄｉ）ＧＣＳをメモリ（１３）に記憶し、
前記ステップＡ〜Ｄは、時刻ｔｊ＋１において、前記センサ（１１）にて、または、別の波長（λｅｊ＋１）で別の物理信号を送信することによって別の点群フレーム（ＰＣＦｅｊ＋１）を生成する別のセンサ（１１）にて、繰り返され、その結果、２つの異なる時刻ｔｊ、ｔｊ＋１において、前記グローバル座標系（ＧＣＳ）における前記物体（２０）の前記座標（φｉ，θｉ，ｄｉ）ＧＣＳに、少なくとも２つの強度値（Ｉｉ，ｊ、Ｉｉ，ｊ＋１）が関連付けられ、
（ステップＥ）前記中央処理装置（１２）は、少なくとも２つの前記強度値（Ｉｉ，ｊ、Ｉｉ，ｊ＋１）から前記物体（２０）の反射率応答（３０）を決定し、
（ステップＦ）前記中央処理装置は、前記物体（２０）の組成材料を識別する
ことを特徴とする方法。
【請求項２】
前記中央処理装置（１２）は、
前記点群フレーム（ＰＣＦｊ）を前記環境（Ｅ）のグローバル累積三次元マップ（ＣＭ）と比較して、前記グローバル座標系（ＧＣＳ）における調整された点群フレーム（ＰＣＦｊ，ａｌｉｇｎ）を決定することと、
前記調整された点群フレーム（ＰＣＦｊ，ａｌｉｇｎ）を前記グローバル累積三次元マップ（ＣＭ）とマージすることによって前記グローバル累積三次元マップを更新することと、
によって、前記装置（１）を取り囲む前記環境（Ｅ）の前記グローバル座標系（ＧＣＳ）における前記点群フレーム（ＰＣＦｊ）の前記各データ点（Ｍｉ）の座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定することを特徴とする、請求項１に記載の方法。
【請求項３】
前記中央処理装置（１２）は、
前記点群フレーム（ＰＣＦｊ）を前記環境（Ｅ）のグローバル累積三次元マップ（ＣＭ）と比較して、前記グローバル座標系（ＧＣＳ）における調整された点群フレーム（ＰＣＦｊ，ａｌｉｇｎ）を決定することと、
前記グローバル座標系（ＧＣＳ）に調整されることができない前記点群フレーム（ＰＣＦｊ）のデータ点の集合が移動する前記物体（２０）に対応するように、前記データ点の集合を識別することと、
によって、前記グローバル座標系（ＧＣＳ）における時刻ｔｊにおける前記物体（２０）の前記座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定することを特徴とする、請求項１または２に記載の方法。
【請求項４】
少なくとも２つの異なる時刻（ｔｊ、ｔｊ＋１）に生成された、前記グローバル座標系（ＧＣＳ）における前記物体（２０）の前記座標（φｉ，θｉ，ｄｉ）ＧＣＳから、前記物体（２０）の三次元再構成物を得る追加のステップを含むことを特徴とする、請求項１ないし３のいずれか１項に記載の方法。
【請求項５】
前記センサ（１１）は少なくとも１つの送信器（１４）および少なくとも１つの受信器（１５）を備え、前記送信器（１４）は物理信号を送信するように構成され、前記受信器（１５）は、前記物体上で一旦反射された送信された物理信号を受信するように構成されることを特徴とする、請求項１ないし４のいずれか１項に記載の方法。
【請求項６】
前記センサ（１１）は、前記送信器（１４）と前記受信器（１５）とを単一のユニットとして備えることを特徴とする、請求項５に記載の方法。
【請求項７】
前記中央処理装置（１２）は、前記ステップＥで決定された前記反射率応答（３０）を、ライブラリに記憶された既知の材料の基準反射率応答と比較することによって、前記物体（２０）の前記組成材料を識別することを特徴とする、請求項１ないし６のいずれか１項に記載の方法。
【請求項８】
前記点群フレーム（ＰＣＦｊ）に対して送信される前記物理信号（１６）の波長は、ランダムな方法で選択されることを特徴とする、請求項１ないし７のいずれか１項に記載の方法。
【請求項９】
前記点群フレーム（ＰＣＦｊ）に対して送信される前記物理信号（１６）の波長は、所定の順序で選択されることを特徴とする、請求項１ないし７のいずれか１項に記載の方法。
【請求項１０】
前記装置（１）は複数のセンサ（１１）を備え、前記センサ（１１）はそれぞれ、異なるスペクトル領域に含まれる波長で物理信号（１６）を送信することによって、点群フレーム（ＰＣＦｊ）を生成することができることを特徴とする、請求項１ないし９のいずれか１項に記載の方法。
【請求項１１】
前記センサは全て、前記中央処理装置（１２）と無線で通信することを特徴とする、請求項１０に記載の方法。
【請求項１２】
点群フレーム（ＰＣＦｊ）は、前記センサ（１１）のローカル体積（Ｌｊ）のフルスキャンに対応することを特徴とする、請求項１ないし１１のいずれか１項に記載の方法。
【請求項１３】
前記センサ（１１）の前記ローカル座標系（ＬＣＳ）における前記物体（２０）の前記座標（φｉ，θｉ，ｄｉ）ＬＣＳは、２つの角度座標（θｉ、φｉ）および１つの半径方向座標（ｄｉ）を含むことを特徴とする、請求項１ないし１２のいずれか１項に記載の方法。
【請求項１４】
前記半径方向座標（ｄ）は、前記センサ（１１）から前記データ点（Ｍｉ）までの距離に対応し、前記距離（ｄｉ）は、前記送信された物理信号（１６）と前記反射された物理信号（１７）とのタイミングを比較することによって計算されることを特徴とする、請求項１３に記載の方法。
【請求項１５】
前記ステップＡ〜Ｄは、少なくとも４回繰り返され、その結果、少なくとも４つの強度値（Ｉｉ，ｊ、Ｉｉ，ｊ＋１）が、前記グローバル座標系（ＧＣＳ）における前記物体（２０）の座標（φｉ，θｉ，ｄｉ）ＧＣＳに関連付けられることを特徴とする、請求項１ないし１４のいずれか１項に記載の方法。
【請求項１６】
前記物理信号（１６）は、レーザ信号であることを特徴とする、請求項１ないし１５のいずれか１項に記載の方法。
【請求項１７】
前記装置（１）は、前記環境（Ｅ）内を移動可能な乗り物であることを特徴とする、請求項１ないし１６のいずれか１項に記載の方法。
【請求項１８】
少なくとも１つの装置（１）を取り囲む環境（Ｅ）内に位置するとともに前記装置（１）に対して移動する物体（２０）の組成材料を識別するためのシステム（１０）であって、
前記少なくとも１つの装置（１）に取り付けられるように構成された複数のセンサ（１１）であって、各センサ（１１ｉ）は、ある第１の波長（λｅｊ）で物理的信号を送信することによって、他のセンサ（１１）と並列かつ非同期に点群フレーム（ＰＣＦｊ）の連続ストリーム（ＳＴ）を生成するように構成され、前記点群フレーム（ＰＣＦｊ）は、１組のデータ点（Ｍｉ）の集合を含み、各データ点（Ｍｉ）は、前記センサ（１１）のローカル座標系（ＣＳ）において、時刻ｔｊに前記センサ（１１）を取り囲む前記環境のローカル体積（Ｌｊ）における前記物体（２０）の座標（φｉ，θｉ，ｄｉ）ＬＣＳを含み、各データ点（Ｍｉ）は、前記物体（２０）上で一旦反射された送信された物理信号に対応する反射された物理信号（１７）の強度値（Ｉｉ）も含む、センサ（１１）と、
中央処理装置（１２）であって、前記各センサ（１１）と通信して前記センサ（１１）から前記連続ストリーム（ＳＴ）を連続的に受信し、前記装置（１）を取り囲む前記環境（Ｅ）のグローバル座標系（ＧＣＳ）における前記点群フレーム（ＰＣＦｊ）の各データ点（Ｍｉ）の座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定し、時刻ｔｊにおける前記グローバル座標系（ＧＣＳ）における前記物体（２０）の前記座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定し、前記強度値（Ｉｉ）および前記グローバル座標系における前記座標（φｉ，θｉ，ｄｉ）ＧＣＳをメモリ（１３）に記憶するように構成された中央処理装置（１２）であって、前記中央処理装置（１２）は、前記強度値から前記物体（２０）の反射率応答を決定し、前記物体（２０）の組成材料を識別するように構成されている、中央処理装置（１２）と、
を含むことを特徴とする、システム（１０）。
【請求項１９】
請求項１８に記載のシステム（１０）を含むことを特徴とする、自律のまたは半自律の乗り物（１０）。
【請求項２０】
プログラム命令を含むコンピュータプログラムを記憶した非一時的なコンピュータ可読記憶媒体であって、
コンピュータプログラムは、
請求項１８に記載のシステム（１０）の中央処理装置（１２）にロード可能であり、
コンピュータプログラムが中央処理装置（１２）によって実行されるときに、中央処理装置（１２）に、請求項１ないし１７のいずれか１項に記載の方法の各ステップを実行させるように構成されている
ことを特徴とする、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、三次元（３Ｄ）体積または空間における移動する物体の材料組成を識別するための方法およびシステムに関する。
【０００２】
また、本開示は、移動する物体の三次元ビューを再構成するための方法およびシステムに関する。
【０００３】
また、本開示は、乗り物などの装置に搭載される三次元センサの分野に関する。
【背景技術】
【０００４】
装置の周囲の三次元点群を生成することができるセンサを備えた装置を提供することは、多くの興味深い応用を有する。
【０００５】
生成された点群は例えば、乗り物が走行するエリアをマッピングするために使用されてもよい。
【０００６】
生成された点群はまた、乗り物の運転システムを支援または自動化するために使用されてもよい。
【０００７】
運転支援のための用途の実施例は衝突警告または衝突回避をトリガするための物体検出であるが、センサは、乗り物の運転システムを自動化するために、完全自律（ｆｕｌｌｙ  ａｕｔｏｎｏｍｏｕｓ）の乗り物で使用することもできる。
【０００８】
しかしながら、多くの状況では、適切な運転応答で乗り物を制御するために、乗り物が検出することができる、または衝突することができる物体のタイプを決定することが必要な場合がある。
【０００９】
一例として、検出された物体が、道路を不注意に横切る子供または乗り物の経路上の道路上に残されたゴミ箱である場合、乗り物は異なるように動作することができる。状況に応じて、乗り物は、衝突を回避するか否かを決定することができる。
【００１０】
２つの異なる物体を区別するために、これらの物体の材料組成を知ることが必要であり得る。子供の場合には検出された材料組成はおそらく、自分の衣類の布地または自分の皮膚であり、一方、ゴミ箱の場合には材料組成は例えば、硬質金属またはプラスチックである。
【００１１】
この目的のために、複数の光波長で物理信号を送信できるセンサを使用することが知られている。次いで、センサは、これらの異なる波長について、物体によって反射される信号を受信することができる。この反射率応答（ｒｅｆｌｅｃｔｉｖｉｔｙ  ｒｅｓｐｏｎｓｅ）から、受信した反射率応答を、既知の材料に対する基準反射率応答を含むデータベースと比較することによって、物体の材料組成を識別することが可能である。
【００１２】
しかしながら、これは受信された情報をリアルタイムで計算し、その結果、乗り物の適切なコマンドは物体が検出された直後または少し後に、より詳細には乗り物が移動している間に、取られることができることを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
いくつかの従来技術のシステムは複数の光波長で同時に送信し、異なる波長で反射率応答を逐次受信することによって動作する。
【００１４】
しかしながら、このようなシステムは、動的環境で使用するには遅すぎる。また、乗り物が移動している場合には、受信器の異なる場所に応じて各波長を受信し、波長数が増えるにつれて反射信号を集約（ａｇｇｒｅｇａｔｅ）するのは複雑すぎるようになる。
【００１５】
別の変形例として、いくつかのシステムは、複数の波長で同時に送信することができる単一の送信器と、複数の受信器とを備え、各受信器は特定の波長で１つの反射された物理信号を受信するように構成される。このようにして、全体から見て、受信器は、全ての異なる送信波長に対する反射信号を同時に受信することができる。
【００１６】
しかしながら、このようなシステムは、多数の受信器を必要とするため、複雑である。さらに、効果的に実行するためには、送信器および受信器は乗り物に関して高い精度で調整および位置決めされなければならない。送信器または受信器のいずれかが不用意に調整不良になると、受信した信号が正確でなくなり、乗り物が重大なリスク状況を認識しなくなる可能性がある。
【００１７】
各々が専用の電子機器を有しているいくつかの受信器を有することは、特に高価な解決策である。
【００１８】
さらに、各受信器は、特定の波長または波長範囲に割り当てられる。したがって、このシステムは容易に調整できないため、将来同じ受信器で他の波長を使用しなければならない場合には、柔軟性が低くなる。
【００１９】
最後に、検出される物体が乗り物の環境の中へ移動するときには、これはますます困難である。この場合、連続的な物理信号が送信されるときには、物体は、乗り物に対して、異なる位置または方向を有し得る。
【００２０】
本開示は、この状況を改善することを目的とする。
【００２１】
本開示の目的は、装置の環境の中へ移動する物体について、複数の光波長における物体の反射率応答をリアルタイムで提供することである。
【課題を解決するための手段】
【００２２】
少なくとも１つのセンサが装置に取り付けられて少なくとも１つの中央処理装置と通信するようになっている少なくとも１つの装置を取り囲む環境内に位置するとともに前記装置に対して移動する物体の組成材料を識別する方法であって、以下のステップ：
（ステップＡ）前記センサは、ある第１の波長で物理信号を送信することによって連続ストリームの点群フレームを生成し、前記点群フレームは、データ点の集合を含み、少なくとも１つの前記データ点は、前記センサのローカル座標系において、時刻ｔｊに前記センサを取り囲むローカル体積における前記物体の座標を含み、前記データ点は、前記物体上で一旦反射された送信された物理信号に対応する反射された物理信号の強度値も含み、
（ステップＢ）前記中央処理装置は、前記点群フレームを受信し、前記装置を取り囲む前記環境のグローバル座標系における前記点群フレームの各データ点の座標を決定し、前記強度値は、前記グローバル座標系における各データ点の前記座標に関連付けられ、
（ステップＣ）前記中央処理装置は、前記グローバル座標系における時刻ｔｊにおける前記物体の前記座標を決定し、
（ステップＤ）前記中央処理装置は、時刻ｔｊにおける前記グローバル座標系における前記物体の前記座標をメモリに記憶し、
前記ステップＡ〜Ｄは、時刻ｔｊ＋１において、前記センサにて、または、別の波長で別の物理信号を送信することによって別の点群フレームを生成する別のセンサにて、繰り返され、その結果、２つの異なる時刻において、前記グローバル座標系における前記物体の前記座標に、少なくとも２つの強度値が関連付けられ、
（ステップＥ）前記中央処理装置は、少なくとも２つの前記強度値から前記物体の反射率応答を決定し、
（ステップＦ）前記中央処理装置は、前記物体の組成材料を識別する
を含む方法が提案される。
【００２３】
以下の特徴は任意選択で、別々に、または他の特徴と組み合わせて実施することができる。
【００２４】
前記中央処理装置は、
前記点群フレームを前記環境のグローバル累積三次元マップと比較して、前記グローバル座標系における調整された点群フレームを決定することと、
前記調整された点群フレームを前記グローバル累積三次元マップとマージすることによって前記グローバル累積三次元マップを更新することと、
によって、前記装置を取り囲む前記環境の前記グローバル座標系における前記点群フレームの前記各データ点の前記座標を決定する。
【００２５】
前記中央処理装置は、
前記点群フレームを前記環境のグローバル累積三次元マップと比較して、前記グローバル座標系における調整された点群フレームを決定することと、
前記グローバル座標系に調整されることができない前記点群フレームのデータ点の集合を、データ点の集合が移動する前記物体に対応するように、前記データ点の集合を決定することと、
によって、前記グローバル座標系における時刻ｔｊにおける前記物体の前記座標を決定する。
【００２６】
本方法は、少なくとも２つの異なる時刻に生成された、前記グローバル座標系における前記物体の前記座標から、前記物体の三次元再構成物（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を得る追加のステップを含む。
【００２７】
前記センサは少なくとも１つの送信器および少なくとも１つの受信器を備え、前記送信器は物理信号を送信するように構成され、前記受信器は、前記物体上で一旦反射された送信された物理信号を受信するように構成される。
【００２８】
前記センサは、前記送信器と前記受信器とを単一のユニットとして備える。
【００２９】
前記中央処理装置は、ステップＥで決定された前記反射率応答を、ライブラリに記憶された既知の材料の基準反射率応答と比較することによって、前記物体の前記組成材料を識別する。
【００３０】
前記点群フレームに対して送信される物理信号の波長は、ランダムに選択される。
【００３１】
前記点群フレームに対して送信される物理信号の波長は、所定の順序で選択される。
【００３２】
前記装置は複数のセンサを備え、センサはそれぞれ、異なるスペクトル領域に含まれる波長で物理信号を送信することによって、点群フレームを生成することができる。
【００３３】
前記センサは全て、前記中央処理装置と無線で通信する。
【００３４】
前記点群フレームは、前記センサのローカル体積のフルスキャンに対応する。
【００３５】
前記センサの前記ローカル座標系における前記物体の前記座標は、２つの角度座標と１つの半径方向座標を含む。
【００３６】
前記半径方向座標は、前記センサから前記データ点までの距離に対応し、前記距離は、前記送信された物理信号と前記反射された物理信号とのタイミングを比較することによって計算される。
【００３７】
前記ステップＡ〜Ｄは、少なくとも４回繰り返され、その結果、少なくとも４つの強度値が、前記グローバル座標系における前記物体の座標に関連付けられる。
【００３８】
物理信号は、レーザ信号である。
【００３９】
前記装置は、前記環境中を移動可能な乗り物である。
【００４０】
別の態様では、少なくとも１つの装置を取り囲む環境内に位置するとともに前記装置に対して移動する物体の組成材料を識別するためのシステムであって、
前記少なくとも１つの装置に取り付けられるように構成された複数のセンサであって、各センサは、ある第１の波長で物理的信号を送信することによって、他のセンサと並列かつ非同期に点群フレームの連続ストリームを生成するように構成され、前記点群フレームは、データ点の集合を含み、各データ点は、前記センサのローカル座標系において、時刻ｔｊに前記センサを取り囲む前記環境のローカル体積における前記物体の座標を含み、各データ点は、前記物体上で一旦反射された送信された物理信号に対応する反射された物理信号の強度値も含む、センサと、
中央処理装置であって、前記各センサと通信して前記センサから前記連続ストリームを連続的に受信し、前記装置を取り囲む前記環境のグローバル座標系における前記点群フレームの各データ点の座標を決定し、時刻ｔｊにおける前記グローバル座標系における前記物体の前記座標を決定し、前記強度値および前記グローバル座標系における前記座標をメモリに記憶するように構成された中央処理装置であって、前記中央処理装置は、前記強度値から前記物体の反射率応答を決定し、前記物体の組成材料を識別するように構成されている、中央処理装置と、
を含むシステムが提案される。
【００４１】
別の態様では、本開示によるシステムを備える自律のまたは半自律の乗り物が提案される。
【００４２】
別の態様では、プログラム命令を含むコンピュータプログラムを記憶した非一時的なコンピュータ可読記憶媒体であって、
コンピュータプログラムは、
本開示によるシステムの中央処理装置にロード可能であり、
コンピュータプログラムが中央処理装置によって実行されるときに、中央処理装置に、本開示による方法の各ステップを実行させるように構成されている
ことを特徴とする、非一時的なコンピュータ可読記憶媒体が提案される。
【００４３】
他の特徴、詳細および利点は、以下の詳細な説明および図面に示される。
【図面の簡単な説明】
【００４４】
【図１】本開示の実施形態による、車によって示される、移動する物体を含む環境における乗り物の概略側面図である。
【図２】図１の乗り物の概略上面図である。
【図３】乗り物の環境に位置する物体の材料組成を識別するための、図１および図２の乗り物のシステムの概略図である。
【図４】いくつかの異なる波長における図１および図２の乗り物のセンサのローカル体積のフルスキャンの図形的表現である。
【図５】いくつかの異なる波長で送信された各物理信号について受信された反射信号をグラフで表したものであり、反射信号は集約して物体の反射率応答を得る。
【図６】装置と、車にて示される物体との概略図であり、装置は、物体が装置に対して移動する間に、２つの異なる時刻に２つの点群フレームを生成する。
【図７】本開示の一実施形態による、乗り物の環境内の物体の材料組成を動的に識別するための方法を示すフローチャートである。
【発明を実施するための形態】
【００４５】
図面および以下の詳細な説明は本質的に、いくつかの正確な要素を含む。それらは、本開示の理解を強化するために、また、必要に応じて本開示を定義するために使用することができる。
【００４６】
〔乗り物〕
本開示は装置に関する。この装置は有利には環境Ｅ内で移動可能である。この装置は、ハンドヘルド装置のような任意のタイプの装置であってもよく、または比較的大きな素子上に取り付けることができる。
【００４７】
一実施形態によれば、装置は例えば、人が手で持ち運ぶことができる。
【００４８】
以下に詳述する別の特定の非限定的な実施形態によれば、装置は、環境Ｅ内の乗り物１である。
【００４９】
乗り物は、環境Ｅの中で動くように構成されたあらゆる種類の乗り物であり得る。乗り物には、自動車（自動二輪車、乗用車、トラック、およびバス）、鉄道車両（列車、路面電車）、水上艇（船舶、ボート）、水陸両用車両（スクリュー推進式車両、ホバークラフト）、航空機（飛行機、ヘリコプター、ドローン）および宇宙船が含まれる。
【００５０】
より具体的には、図１および図２は、本開示の一実施形態による乗り物１を示す。
【００５１】
乗り物１は、特定の経路Ｐに追従するように方向を制御することができる車輪車（車両）である。本開示は、広範囲の車輪車、後輪ステアリング車、トラック、オートバイなどに適用できることに留意されたい。
【００５２】
図１に示すように、乗り物１は、乗り物１の環境Ｅから乗り物の内部を区切る、少なくとも１つの車輪３を軸受するボディ２を備えている。
【００５３】
〔センサ〕
乗り物１は、乗り物１の環境Ｅ内に位置する物体２０の材料組成（ｍａｔｅｒｉａｌ  ｃｏｍｐｏｓｉｔｉｏｎ）を識別するためのシステム１０を備える。
【００５４】
システム１０は、少なくとも１つのセンサ１１を備える。有利には、システム１０は、乗り物１のボディ２の上または内側に取り付けられた複数のセンサ１１ａ、１１ｂ、１１ｃを備える。
【００５５】
例えば、乗り物１には、図１に示すように、乗り物１の背面、上面および前面にそれぞれ取り付けられた３つのセンサ１１ａ、１１ｂ、１１ｃが設けられていてもよい。しかしながら、乗り物１は、２つのセンサ１１のみ、またはより多数のセンサ１１を備えていてもよい。
【００５６】
各センサ１１は、センサ１１を取り囲むローカル体積（ｌｏｃａｌ  ｖｏｌｕｍｅ）Ｌｊの点群フレーム（ｐｏｉｎｔ  ｃｌｏｕｄ  ｆｒａｍｅ）の連続ストリーム（ｃｏｎｔｉｎｕｏｕｓ  ｓｔｒｅａｍ）を生成する。
【００５７】
「点群フレーム」によって、特定の時間に、または短い取得間隔の間に生成されるフレームであることが理解される。
【００５８】
「点群フレームの連続ストリーム」によって、周期的に生成されるまたは周期的に生成されない一連の点群フレームがデータストリームに編成されたものであることが理解される。
【００５９】
例えば、センサ１１は、連続ストリームの所与のフレームレートを有する点群フレームを周期的に生成することができる。フレームレートは２０Ｈｚ（ヘルツ）以上にすることができる。フレームレートは例えば、２０Ｈｚよりも低く、１０Ｈｚよりも低く、または５Ｈｚよりもさらに低くすることもできる。
【００６０】
以下の明細書では、センサ１１によって生成された点群フレームをＰＣＦｊと呼び、
この点群フレームＰＣＦｊの取得時刻をｔｊと呼び、
この時刻ｔｊにおけるセンサ１１のローカル体積ＬｊをＬｊと呼ぶ。
これに関して、添え字ｊは、連続ストリームＳＴ内のフレームのインデックスであり、ｊは、新しく生成される各フレームと共に時間と共に増加する。
【００６１】
点群フレームＰＣＦｊは、他のセンサ１１からの他の点群フレームと並列かつ非同期に生成することもできる。
【００６２】
「並列および非同期で」によって、センサ１１が一般に互いに気付かず、センサ１１による点群フレームＰＣＦｊの生成が特に一緒に同期されないことが理解される。
【００６３】
これにより、センサ１１ａ，１１ｂ，１１ｃのそれぞれの連続ストリームＳＴａ、ＳＴｂ、ＳＴｃの点群フレームＰＣＦｊａ、ＰＣＦｊｂ，ＰＣＦｊｃが、それぞれ異なった時刻ｔｊａ、ｔｊｂ、ｔｊｃで生成されてもよい。
【００６４】
〔点群フレーム〕
ストリームＳＴのそれぞれの点群フレームＰＣＦｊは、センサ１１のローカル座標系（ｌｏｃａｌ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）ＬＣＳにおけるデータ点Ｍｉの集合（ｓｅｔ）を構成する。データ点Ｍｉは、ローカル体積Ｌｊのボクセルなどの三次元部分に対応する。
【００６５】
点群フレームは、１０，０００または１００，００００個のデータ点、あるいはそれ以上のデータ点などの多数のデータ点を含むことができる。データ点の数は、乗り物１の環境Ｅをセンサ１１でスキャンする際に所望の解像度に応じて変化させることができる。また、点群フレームのデータ点の数は、使用されるフレームレートに応じて変化してもよく、フレームレートが高い場合、必要とされる点群フレームのデータ点の数はより少なくてもよい。
【００６６】
より正確には、１つのデータ点Ｍｉが、乗り物１の環境Ｅに位置する物体２０または物体２０の一部分に対応することができる。
【００６７】
ローカル座標系ＬＣＳは乗り物１に関連した座標系であり、より詳細には、例えば、センサ位置に原点が位置する、センサ１１に関連した座標系である。ローカル座標系ＬＣＳは、デカルト座標系、円筒座標系または極座標系であってもよい。
【００６８】
各データ点Ｍｉは、特にセンサのローカル座標系ＬＣＳにおいて、三次元座標（φｉ，θｉ，ｄｉ）ＬＣＳを含む。
【００６９】
座標（φｉ，θｉ，ｄｉ）ＬＣＳは、時刻ｔｊにおけるセンサ１１のローカル体積Ｌｊにおけるデータ点Ｍｉの位置を表す。
【００７０】
各データ点Ｍｉはまた、データ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＬＣＳに関連する強度値Ｉｉを含む。
【００７１】
強度値Ｉｉは、以下に詳述するように、データ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＬＣＳに位置する物体２０に関連する物理的特徴を表す。
【００７２】
物体２０は、乗り物１の環境Ｅ内で移動可能であるかまたは移動している。
【００７３】
「移動可能であるかまたは移動している」によって、物体２０が、装置１に対して移動可能であるかまたは移動していることが理解される。また、物体２０は、乗り物１が移動していないときでも、乗り物１も移動しているときでも、移動可能である。乗り物１も移動している場合、物体２０は、乗り物１の基準フレームに対して移動する。
【００７４】
また、「移動可能であるかまたは移動している」によって、物体２０が、環境Ｅ中に任意の経路を有することができることが理解される。例えば、物体２０は、任意の方向に、まっすぐまたは曲がった経路を有することができる。物体はまた、旋回したり方向転換したりできる。
【００７５】
しかしながら、点群フレームは非常に短い取得時間中に生成されるという事実から、このような取得時間中には物体は乗り物１に対して静止したままであることが考慮される。
【００７６】
このような物体２０は、種々のタイプをとりうる。図１に示されるように、物体２０の非限定的な例は、動物、歩行者または乗り物１の環境Ｅの中へ移動可能な乗り物を含む。
【００７７】
このリストは非限定的なものであり、移動可能と思われる任意の物体が本開示の一部分である。
【００７８】
〔点群フレームの生成〕
点群フレームＰＣＦｊの連続ストリームＳＴを生成するために、センサ１１は、少なくとも１つの送信器１４と、少なくとも１つの受信器１５とを備える。
【００７９】
有利には、センサ１１は、図３に例示されているように、単一の送信器１４と単一の受信器１５とを、好ましくは単一のユニットとして備える。
【００８０】
送信器１４は、物理信号１６を送信するように構成される。
【００８１】
物理信号は、光ビーム、電磁波または音波であり得る。
【００８２】
受信器１５は、乗り物１の環境Ｅに一旦反射された送信された物理信号１６に対応する、反射された物理信号１７を受信するように構成される。
【００８３】
「反射」によって、鏡面反射（ミラー状）または拡散反射のいずれかであることが理解される。
【００８４】
センサ１１は例えば、光検出および測距（Ｌｉｄａｒ）モジュール、レーダモジュール、超音波測距モジュール、ソナーモジュール、三角測量を使用する測距モジュール、または、点群フレームを生成することができる任意の他の素子などのレーザ測距器を備えることができる。
【００８５】
〔座標〕
点群フレームＰＣＦｊは、センサ１１のローカル体積Ｌｊのフルスキャンに対応する。
【００８６】
「ローカル体積のフルスキャン」によって、センサ１１がその完全な視野をカバーしていることが理解される。例えば、送信器１４は、２方向に沿って回転する移動ミラーによって偏向される物理信号を送信する。ローカル体積のフルスキャンの後、センサ１１の移動ミラーは元の位置に戻り、新しい回転運動の周期を開始する準備が整う。したがって、センサ１１によるローカル体積Ｌｊのフルスキャンは、二次元カメラによって取得された画像の三次元等価物である。
【００８７】
図１および図２に示すように、センサ１１は、センサ１１のローカル座標系ＬＣＳ内の２つの角度方向θ、φに沿って移動することによってフルスキャンを動作させることができる。
【００８８】
したがって、この実施形態によれば、点群フレームＰＣＦｊの各データ点Ｍｉは、２つの角度座標（θｉ、φｉ）を含む。
【００８９】
ローカル座標系ＬＣＳにおけるデータ点Ｍｉの座標はまた、センサ１１からデータ点Ｍｉまでの距離ｄｉに対応する半径方向座標を構成する。
【００９０】
前記距離ｄｉは、送信された物理信号１６と反射された物理信号１７とのタイミングを比較することによって、例えば、送信器１４と受信器１５との間の送信および受信の時刻または位相を比較することによって、計算することができる。例えば、時間−ディジタル変換器（ＴＤＣ）は、点Ｍｉまでの距離ｄｉを提供するために、物理信号の飛行時間（ＴＯＦ）を測定することができる。
【００９１】
〔強度値〕
連続ストリームＳＴの各点群フレームＰＣＦｊは、与えられた波長λｅｊで生成される。
【００９２】
この目的のために、センサ１１の送信器１４は、様々なスペクトル領域（ｓｐｅｃｔｒａｌ  ｄｏｍａｉｎｓ）において物理信号を送信することができる。物理信号１６は、紫外、可視または赤外スペクトルのような電磁スペクトルに属することができる。
【００９３】
より詳細には、センサ１１の送信器１４は、点群フレームＰＣＦｊごとに、単一波長λｅｊまたは単一波長λｅｊ付近の物理信号１６を送信するように構成されている。
【００９４】
「単一波長付近」によって、物理信号１６は、単一波長で送信されると考えられるが、使用される送信器１４に固有の単一波長λｅｊの付近の特定のスペクトル幅または範囲を有することができることが理解される。
【００９５】
また、この連続ストリームＳＴは、第１の波長λ１で生成された第１の点群フレームＰＣＦ１と、第２の波長λ２で生成された第２の点群フレームＰＣＦ２と、第３の波長λ３で生成された第３の点群フレームＰＣＦ３などを含むことができる。
【００９６】
一実施形態によれば、点群フレームＰＣＦｊごとの送信された物理信号１６の波長λｅｊは、全て異なっていても異なっていなくてもよい。
【００９７】
一実施形態によれば、点群フレームＰＣＦｊごとの送信された物理信号１６の波長λｅｊは、所定の順序で選択することができる。
【００９８】
例えば、１つの点群フレームＰＣＦｊ用の送信された物理信号１６の波長λｅｊは、前の点群フレームＰＣＦｊ−１用の送信された物理信号１６の波長λｅｊ−１と比べて増加するように選択することができる。
【００９９】
変形例として、点群フレームＰＣＦｊごとの送信された物理信号１６の波長λｅｊは、ランダムな方法で選択することができる。
【０１００】
受信器１５は、波長範囲Δλｒにおける点群フレームＰＣＦｊのデータ点Ｍｉごとの反射された物理信号１７を受信するように構成されている。
【０１０１】
反射された物理信号１７の波長範囲Δλｒは例えば、１０ｎｍ（ナノメートル）〜２５０ｎｍに含まれ得る。
【０１０２】
反射された物理信号１７は、時間間隔にわたって受信されることができる。
【０１０３】
受信器１５によって受信された反射信号１７から、所与の波長λｅｊで送信された物理信号１６に対する点群フレームＰＣＦｊの各データ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＬＣＳに関連する強度値Ｉｉを決定することができる。
【０１０４】
強度値Ｉｉは、受信された反射された物理信号１７の最大振幅、または所与の波長に対する物理信号１６の減衰に対応し得る。しかしながら、強度値の他の計算または測定も可能である。
【０１０５】
また、この強度値は、波長λｅｊで送信される物理信号１６に関するデータ点Ｍｉにおける反射率応答に関する情報を提供する。
【０１０６】
センサ１１は移動中の乗り物１に搭載されているので、乗り物１を取り囲む環境Ｅは経時的に変化する。時刻ｔｊにセンサ１１によって生成された点群フレームＰＣＦｊは、センサ１１のローカル体積Ｌｊのフルスキャンを含んでおり、該フルスキャンは、
同じセンサ１１によって異なる別の時刻ｔｊ＋１に生成された、
または、
別のセンサ１１によって生成された、
別の点群フレームＰＣＦｊ＋１
とは異なっているが、該フルスキャンは、そのような別の点群フレームＰＣＦｊ＋１と重なっていてもよい。
【０１０７】
例えば、図２および図４に示すように、同一の所与のデータ点Ｍを２つの異なる時刻ｔｊ、ｔｊ＋１でスキャンすると、センサ１１のローカル座標系ＬＣＳにおけるデータ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＬＣＳ同士が異なることになる。
【０１０８】
したがって、異なる波長λｅｊで送信される物理信号１６を用いて各点群フレームが生成されるような、異なる点群フレームに、同じ物体２０が属する場合には、同じ物体２０に対して異なる強度値を得ることができる。
【０１０９】
しかしながら、異なる点群フレームで得られた強度値が実際には同じ移動する物体２０に対応するという事実を確認する必要がある。
【０１１０】
したがって、異なる時刻ｔｊ、ｔｊ＋１に当該１つまたは複数のセンサ１１によって生成された点群フレームＰＣＦｊとＰＣＦｊ＋１とを相関させることができること、および、
互いに異なる波長λｅｊで送信される複数の物理信号１６に対して同じ物体２０の反射信号１７を表す強度値同士Ｉｉを集約することができること
が必要である。
【０１１１】
〔移動する物体〕
システム１０は、物体２０の一部分または全体に対応して、点群フレームのデータ点の集合が環境Ｅの中で移動していることを決定することができる。
【０１１２】
例えば、システム１０は、時刻ｔｊに任意の物体から明らかとなった（およびそれゆえ任意のデータ点から明らかとなった）、センサ１１のローカル体積Ｌｊが、今は、別の時刻ｔｊ＋１にデータ点の集合を含んでいることを観察することができる。システムは、その後、時刻ｔｊ＋１にローカル体積Ｌｊで観察された物体２０が、時刻ｔｊとｔｊ＋１との間に移動した、移動する物体であることを推論する。
【０１１３】
データ点の集合が、移動する物体２０に対応していることを決定する、他の手段も可能である。この目的のために、システム１０を用いることができる。あるいは、例えば、別の光源などの他の任意の外部素子を用いることができる。
【０１１４】
〔中央処理装置〕
システム１０はさらに、１つのセンサ１１または複数のセンサ１１に接続された中央処理装置１２を含む。
【０１１５】
中央処理装置１２は単一のユニットとしてセンサ１１の内部に統合することができ、または代替的に、乗り物１の内部に固定された区別可能なユニットとすることができる。いくつかの実施形態では、中央処理装置１２は、乗り物処理ユニットの一部分であってもよい。
【０１１６】
乗り物は、特に、システム１０によって提供される情報を使用することによって、乗り物１０を運転するためにまたは運転を補助するために、自己運転または運転補助のアルゴリズムを操作することができる。この目的のために、システム１０は、駆動系やブレーキなどのようないくつかの乗り物要素５ａ、５ｂ、５ｃ、５ｃに接続された、いくつかのアクチュエータ４を制御することができる。
【０１１７】
中央処理装置１２は、例えば中央処理装置１２とセンサ１１が同じ乗り物１に搭載されている場合、無線または光通信のような無線通信によって、または有線通信によって、センサ１１と通信することができる。中央処理装置１２は、特に長距離通信のための、何らかの仲介素子を使用することによってセンサ１１と通信してもよい。
【０１１８】
中央処理装置１２は、連続ストリームＳＴをセンサ１１から連続的に受信するように構成される。
【０１１９】
「継続的に受信する」ことによって、センサ１１が新しい点群フレームまたは点群フレームのショートシーケンス（ｓｈｏｒｔ  ｓｅｑｕｅｎｃｅ）を生成するたびに、乗り物が移動している間、前記点群フレームまたはショートシーケンスが中央処理装置１２に送られることが理解される。
【０１２０】
中央処理装置１２は、連続ストリームをメモリ１３に記憶する。メモリ１３は、中央処理装置１２に統合されてもよい。
【０１２１】
中央処理装置１２は、乗り物１を取り囲む環境Ｅのグローバル座標系（ｇｌｏｂａｌ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）ＧＣＳにおいて、点群フレームＰＣＦｊの各データ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＧＣＳを動的に決定するように構成されている。
【０１２２】
グローバル座標系ＧＣＳは特に、乗り物１および乗り物１の運動とは独立していてもよい。グローバル座標系ＧＣＳは例えば、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｒｒｅｓｔｒｉａｌ  Ｒｅｆｅｒｅｎｃｅ  Ｆｒａｍｅ（ＩＴＲＦ）に関連し得る。
【０１２３】
あるいは、グローバル座標系ＧＣＳは、例えばセンサ１１に関連付けられたローカル座標系ＬＣＳから定義されることによって、乗り物１のローカル基準フレーム（局所参照フレーム、局所参照座標系）（ｌｏｃａｌ  ｒｅｆｅｒｅｎｃｅ  ｆｒａｍｅ）に依存してもよい。
【０１２４】
「座標を動的に決定する」ことによって、乗り物１が移動している間に、有利には、センサ１１によって次の点群フレームが生成される前に、点群フレームＰＣＦｊの各データ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＧＣＳの決定が行われることが理解される。
【０１２５】
次に、中央処理装置１２は、物体２０の反射率応答３０を決定し、反射率応答３０から環境Ｅ内に位置する物体２０の材料組成を識別するように構成される。
【０１２６】
「材料組成」によって、物体２０または物体２０の表面を形成する材料の組成が理解される。
【０１２７】
材料組成の非限定的な例としては、金属、プラスチック、ガラス、皮膚、植物材料、氷、雪、アスファルト、セメント、水などが挙げられる。より一般的には、材料組成は、乗り物１の環境Ｅに位置する任意の物体であってよい。
【０１２８】
〔材料組成の同定方法〕
次に、三次元体積または空間内の物体の材料組成を識別する方法を、図７に関連してより詳細に説明する。
【０１２９】
第１のステップＡでは、与えられた波長λｅｊで物理信号１６を送信することによって、連続ストリームＳＴの点群フレームＰＣＦｊが生成される。
【０１３０】
点群フレームＰＣＦｊは、ローカル座標系ＬＣＳにおけるデータ点Ｍｉの集合を含む。
【０１３１】
データ点Ｍｉは、ローカル座標系ＬＣＳにおける時刻ｔｊにおけるローカル体積Ｌｊにおける物体２０の座標（φｉ，θｉ，ｄｉ）ＬＣＳを含む。
【０１３２】
データ点Ｍｉはまた、物体２０で反射された物理信号１７を表す強度値Ｉｉを含む。
【０１３３】
第２のステップＢでは、中央処理装置１２が、点群フレームＰＣＦｊから、点群フレームＰＣＦｊのデータ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＧＣＳをグローバル座標系ＧＣＳ内で動的に決定する。
【０１３４】
この目的のために、中央処理装置１２は、点群フレームＰＣＦｊをグローバル累積三次元マップ（ｇｌｏｂａｌ  ｃｕｍｕｌａｔｅｄ  ｔｒｉｄｉｍｅｎｓｉｏｎａｌ  ｍａｐ）ＣＭと比較することによって、グローバル座標系ＧＣＳ内で調整された点群フレームＰＣＦｊ，ａｌｉｇｎを決定する。
【０１３５】
グローバル累積三次元マップＣＭは、グローバル三次元マップ、グローバル３Ｄマップ、または３Ｄマップとも呼ばれることがある。これらの表現は、本開示の同じ概念および同じ特徴をカバーする。
【０１３６】
グローバル累積三次元マップＣＭは、グローバル座標系ＧＣＳにおける乗り物１の環境Ｅのマップである。
【０１３７】
環境のグローバル累積三次元マップＣＭがまだ存在しないか、データを含まない場合、第２のステップＢは、点群フレームＰＣＦｊからグローバル累積三次元マップＣＭを作成する操作を含む。
【０１３８】
例えば、点群フレームＰＣＦｊは、センサ１１から最初に受信された点群フレームＰＣＦ１であってもよい。次いで、環境のグローバル座標系ＧＣＳを、例えば、センサ１１に関連するローカル座標系ＬＣＳから定義することができる。
【０１３９】
代替的に、環境のグローバル累積三次元マップがすでに存在し、何らかのデータを含む場合、第２のステップＢは、乗り物の環境Ｅのグローバル座標系ＧＣＳにおける調整された点群フレームＰＣＦｊ，ａｌｉｇｎを決定する動作を含む。
【０１４０】
調整は例えば、特許文献ＷＯ２０１８／０９１６５１に開示されている方法のような、画像レジストレーション、または、同時ローカライゼーションおよびマッピング（ＳＬＡＭ）を使用することによって実行されてもよい。
【０１４１】
この方法によれば、調整された点群フレームＰＣＦｊ，ａｌｉｇｎを決定することは、生成された点群フレームＰＣＦｊを環境Ｅのグローバル累積三次元マップＣＭと比較することにより行われる。
【０１４２】
調整された点群フレームＰＣＦｊ，ａｌｉｇｎは、１つまたは複数のセンサ１１によって生成された点群からのみで、追加の位置決め情報なしで、計算されてもよい。
【０１４３】
「追加の位置決め情報なし」とは、特に、調整された点群フレームＰＣＦｊ，ａｌｉｇｎの計算が、センサ１１によって生成された点群フレームとグローバル累積三次元マップＣＭと以外の他の入力データを必要としないことを意味する。例えば、ＧＰＳまたは加速度計のような追加の位置決めまたは方向付け（ｏｒｉｅｎｔａｔｉｏｎ）の素子は必要とされない。さらに、センサの位置または移動について仮定を行う必要はない。
【０１４４】
中央処理装置１２は、調整された点群フレームの少なくとも一部分がグローバル累積三次元マップＣＭの少なくとも一部分と一致（ｍａｔｃｈ）するように、前記点群フレームＰＣＦｊの調整を試みる。
【０１４５】
これは、前記点群フレームＰＣＦｊを環境Ｅのグローバル累積三次元マップＣＭと比較することによって達成することができる。
【０１４６】
次いで、グローバル累積三次元マップＣＭは、前記調整された点群フレームＰＣＦｊ，ａｌｉｇｎをマージ（ｍｅｒｇｅ）することによって更新される。
【０１４７】
より正確には、点群フレームＰＣＦｊが環境Ｅのグローバル累積三次元マップＣＭの少なくとも一部分に調整することができる場合、調整された点群フレームＰＣＦｊ，ａｌｉｇｎは、グローバル累積三次元マップＣＭの前記少なくとも１つの部分とマージされる。
【０１４８】
中央処理装置は、グローバル累積三次元マップＣＭ内の調整された点群フレームＰＣＦｊ，ａｌｉｇｎから、グローバル座標系ＧＣＳ内の物体のデータ点Ｍｉの座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定することができる。
【０１４９】
第３のステップＣでは、中央処理装置１２が、グローバル座標系ＧＣＳにおけるデータ点Ｍｉの強度値Ｉｉと座標（φｉ，θｉ，ｄｉ）ＧＣＳとをメモリ１３に記憶する。
【０１５０】
後続の点群フレームを環境Ｅのグローバル累積三次元マップＣＭに合うように調整すると、調整された点群フレームのデータ点の一部分は、グローバル累積三次元マップＣＭと一致しうる。データ点のこの一致した部分は、時間と共に移動しなかった、環境Ｅの一部分（ビルや道路などのマッピングなど）に対応する。
【０１５１】
しかしながら、物体２０に対応するデータ点の集合は、グローバル累積三次元マップＣＭと一致し得ない。なぜなら、グローバル累積三次元マップＣＭは、移動する物体が環境Ｅ中に存在していなかったときに、または、環境Ｅ中の他の場所に位置していたときに、より早期の点群フレームから生成されたという事実があるからである。
【０１５２】
それゆえ、物体２０に対応するデータ点の集合は、環境Ｅの残りの部分からのデータ点に合うように調整することができない。
【０１５３】
それゆえ、ステップＤにおいて、各点群フレームに対するデータ点のどの集合が、移動する物体２０に実際に対応するかを、識別することができる。
【０１５４】
各点群フレームに対してそのように行うことによって、その後、システム１０は、与えられた時刻にグローバル座標系ＧＣＳにおける物体２０のデータ点Ｍｉの集合の座標（φｉ，θｉ，ｄｉ）ＧＣＳを決定することができる。したがって、各点群フレームに対する異なる時刻における物体２０の位置および／または方向を知ることができる。
【０１５５】
これらの位置および／または方向から、軌道や速度などの、物体２０についての新しい運動学的な情報を導き出すことができる。
【０１５６】
ステップＡ〜Ｄは、センサ１１の１つが、第２の波長λｅｊ＋１で物理信号１６を送信することによって、連続ストリームの第２の点群フレームを生成することによって繰り返される。
【０１５７】
より正確には、物理信号をいくつかの他の波長で送信することによっていくつかの点群フレームが生成されるように、ステップＡ〜Ｄが数回、より詳細には２回より多く繰り返されることができる。
【０１５８】
後続の点群フレームの一部分は、同じセンサまたは複数のセンサから送信することができる。
【０１５９】
ステップＡ〜Ｄが繰り返されるという事実が与えられると、少なくとも２つ、好ましくはより多くの強度値が、グローバル座標系ＧＣＳ内の同じ物体２０に関連付けられ得る。
【０１６０】
点群フレームが複数のセンサによって送信される場合、対応する送信された物理信号同士の波長は互いに異なるスペクトル領域に属することができ、これは、様々な種類の物理信号（赤外線、可視光線、紫外線など）の強度値を取得するのに有用であり得る。
【０１６１】
また、ステップＥにおいて、中央処理装置１２は、各点群フレームＰＣＦｊを用いて物体２０について取得された強度値から、物体２０の反射率応答３０を決定する。
【０１６２】
図５に示すように、反射率応答３０は、いくつかの異なる波長λｅｊで取得された強度値Ｉを集約することによって得られる。
【０１６３】
より正確には、図５の実施例では、反射率応答３０は、物体２０で一旦反射された、いくつかの異なる波長λｅ１、λｅ２、λｅ３、λｅ４、λｅ５で送信された物理信号に対応する、反射された物理信号１７１、１７２、１７３、１７４、１７５から得られる。この反射された物理信号１７１、１７２、１７３、１７４、１７５から、最大振幅値などの強度値Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５を求めることができる。
【０１６４】
ステップＦにおいて、中央処理装置１２は、物体２０の材料組成を識別する。
【０１６５】
このステップＦでは、反射率応答３０を、ライブラリに記憶された既知の材料の基準反射率応答と比較することができる。ライブラリは、中央処理装置１２のメモリ１３に記憶されることができる。
【０１６６】
〔移動する物体の３Ｄ再構成（３Ｄ  ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ）〕
物体２０が乗り物１に対して移動するにつれて、乗り物１の１つまたはいくつかのセンサ１１は、異なる視角（ｖｉｅｗ  ａｎｇｌｅ）に従って、物体２０からデータ点の集合を取得することができる。いくつかの点群フレームＰＣＦｊｊは、これらの異なる視角を得ることを可能にする。
【０１６７】
一例として、図６は、乗り物１に対して移動する車２０を示している。それゆえ、乗り物１は、異なる時刻に異なる点群フレームに対する車２０のデータ点の異なる集合を取得することができる（図６では、２つの点群フレームが車２０と乗り物１とでそれぞれ実線と破線で示されている）。
【０１６８】
異なるビュー（視野、視界）（ｖｉｅｗ）に従って物体２０のデータ点を取得することによって、物体２０の三次元（３Ｄ）再構成物（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  （３Ｄ）  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）の、部分的なもの、あるいは全体的なものでさえ、得ることができる。
【０１６９】
３Ｄ再構成物は、物体２０に関するさらに詳細な情報または特徴を得るのに有用でありうる。
【０１７０】
したがって、このような３Ｄ再構成物情報は、上述の方法によって得られた物体２０の材料組成と組み合わされまたは比較されることができる。
【０１７１】
一例として、もし物体２０の３Ｄ再構成物が、その物体が車であると決定することを可能にすれば、この車のボディは主に金属で出来ていると予測できる。その後、この情報が、物体の反射率応答から得られる材料組成と一致するかどうかをチェックすることができる。
【０１７２】
同様に、結局物体が車であるということになると、物体の異なる部分、すなわち、タイヤ、ボディ、窓などの間の区別をするのに、追加の情報が有用でありうる。
【０１７３】
〔利点〕
上記の結果、本方法の実施中に乗り物１が物体２０に対して移動しているにもかかわらず、物体２０の組成材料（ｃｏｍｐｏｓｉｔｉｏｎ  ｍａｔｅｒｉａｌ）を得ることが可能である。これにより、マルチスペクトル物理信号の反射を時間多重化し、リアルタイムで効率的に処理することができる。
【０１７４】
これは物体が移動していても可能であり、なぜなら、本開示に係る方法は、異なる時刻（点群フレームの生成に対応する各時刻）に、グローバル累積マップにおける物体の位置を決定することを可能にするからである。
【０１７５】
この方法は、センサ間の相対的な位置および方向が未知であるにもかかわらず、実施することができる。
【０１７６】
乗り物１は、任意の公知の運転条件、例えば昼間または夜間、様々な気象条件、様々な道路状態などにおいて本方法を実施することができる。
【０１７７】
上述したように、点群フレームの時間フレームは、中央処理装置１３によって決定および／または管理される。このようにして、例えば乗り物１の外部に位置するリモートサーバと通信する必要がない。
【０１７８】
また、各点群フレームに対してセンサ１１が送信した連続的な物理信号を、ランダムに選択することができる。
【０１７９】
ランダム選択は、環境Ｅ内の他の乗り物または装置によって送信され得る他の物理信号１６とのいかなる干渉も防止することを可能にする。したがって、システム１０は、例えば、乗り物のセキュリティおよび完全性を損なう可能性のある偽信号に対して、より安全かつ堅牢である。
【０１８０】
変形例として、センサ１１がそれぞれの点群フレームに対して送信した連続物理信号１６を、所定の順序で選択することができる。
【０１８１】
例えば、或る点群フレームについての送信された物理信号１６の波長は、前の点群フレームについての取得された反射された物理信号１７に依存することができる。一例として、前の点群フレームについての取得された反射率応答１７が紙または織物の何れかで作られた物体の特徴を示す場合には、上記或る点群フレームについての送信された物理信号１６の波長は、これら２つの材料の間を特に区別するように選択されるべきである。
【０１８２】
より一般的には、連続的に送信される信号１６の波長は、物体２０の、ある確率閾値より大きい値の場合に材料組成が決定されると考えられる当該確率閾値に向かって収束するように選択することができる。このような収束は、決定木などの任意の分類方法を使用することによって実施することができる。
【０１８３】
当業者によってよく理解されるように、開示を説明するために本明細書で説明されるいくつかのおよび様々なステップおよびプロセスは、電気現象を使用してデータを操作および／または変換する、コンピュータ、プロセッサ、または他の電子計算要素によって実行される動作を参照することができる。それらのコンピュータおよび電子要素は、コンピュータまたはプロセッサによって実行される様々なコードまたは実行可能な命令を含む実行可能プログラムが格納された、非一時的コンピュータ可読媒体を含む様々な揮発性および／または不揮発性メモリを使用することができ、メモリおよび／またはコンピュータ可読媒体は、すべての形式およびタイプのメモリおよびその他のコンピュータ可読媒体を含むことができる。
【０１８４】
前述の議論は本開示の例示的な実施形態のみを開示し、説明している。当業者はそのような議論から、および添付の図面および特許請求の範囲から、様々な変更、修正、および変形が、以下の特許請求の範囲に定義される開示の精神および範囲から逸脱することなくその中でなされ得ることを容易に認識するであろう。
【図１】
2021518557.tif 000003
【図２】
2021518557.tif 000004
【図３】
2021518557.tif 000005
【図４】
2021518557.tif 000006
【図５】
2021518557.tif 000007
【図６】
2021518557.tif 000008
【図７】
2021518557.tif 000009
【国際調査報告】
2021518557.tif 000010
2021518557.tif 000011
2021518557.tif 000012