(57)【要約】周囲のオブジェクトを検出するためのシステムは、カメラから、１つ以上のオブジェクトに関する複数の画素を含む第一画像を受信し、１つ以上のＬｉＤＡＲから、該複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信することができる。また、本システムは、第一ポイントセットに基づいて、複数のポイントの３Ｄ座標および反射強度を算定することが可能で、それら座標および反射強度に基づき、本システムは、複数のポイントを分類することによって区分結果生成することが可能である。本システムは、さらに、これら複数のポイントの３Ｄ座標を２Ｄ座標に変換し、２Ｄ座標と、３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断することができる。【選択図】図４
2019533133.tif 000002
【特許請求の範囲】
【請求項１】
命令のセットを格納するストレージデバイスと、
前記ストレージデバイスと通信するように構成された１つ以上のプロセッサと、
を含むシステムであって、
前記命令のセットを実行したとき、前記１つ以上のプロセッサは、前記システムに、
カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信させ、
１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信させ、
前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定させ、
前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成させ、
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換させ、
前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断させる、
ように構成される、
システム。
【請求項２】
前記１つ以上のプロセッサは、前記システムに、
前記オブジェクト種類に基づいて、前記１つ以上のオブジェクトに関する環境情報を判断させる、
ようにさらに構成される、
請求項１に記載のシステム。
【請求項３】
前記１つ以上のオブジェクトに関する前記環境情報は、
前記１つ以上のオブジェクトの前記オブジェクト種類と、
前記１つ以上のオブジェクトの少なくとも１つの運動状態と、
前記１つ以上のＬｉＤＡＲおよび前記カメラを含む車両に対する、前記１つ以上のオブジェクトの少なくとも１つの速度と、
前記１つ以上のオブジェクトの少なくとも１つの前記車両に対する加速度と、
前記１つ以上のオブジェクトの少なくとも１つの運動方向と、
前記１つ以上のオブジェクトの少なくとも１つと前記車両との間の距離と、
のうちの少なくとも１つを含む、請求項２に記載のシステム。
【請求項４】
前記第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含む、請求項１に記載のシステム。
【請求項５】
前記複数のポイントの前記第一３Ｄ座標を算定するために、前記１つ以上のプロセッサは、前記システムに、
前記第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する前記第一ポイントサブセットの第二３Ｄ座標を算定させ、
前記第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する前記第二ポイントサブセットの第三３Ｄ座標を算定させ、
前記第三３Ｄ座標を、前記第一３Ｄ座標系に対応する、前記第二ポイントサブセットの第四３Ｄ座標に変換させ、
前記第一ポイントサブセットの前記第二３Ｄ座標および前記第二ポイントサブセットの前記第四３Ｄ座標に基づいて、前記第一３Ｄ座標を算定させる、
ように構成される、請求項４に記載のシステム。
【請求項６】
前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換するために、前記１つ以上のプロセッサは、前記システムに、
変換マトリックスを得させ、
前記変換マトリックスに基づいて、前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換させる、
ように構成される、請求項１に記載のシステム。
【請求項７】
前記変換マトリックスを得るために、前記１つ以上のプロセッサは、前記システムに、
前記１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信させ、
前記カメラから、前記ターゲットに関する複数の画素を含む第二画像を受信させ、
前記ターゲットに関する前記複数のポイントの第二３Ｄ座標を算定させ、
前記ターゲットに関する前記複数の画素の第二２Ｄ座標を算定させ、
前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて前記変換マトリックスを算定させる、
ように構成される、請求項６に記載のシステム。
【請求項８】
前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて前記変換マトリックスを算定するために、前記１つ以上のプロセッサは、前記システムに、
最小二乗法によって前記変換マトリックスを算定させる、
ように構成される、請求項７に記載のシステム。
【請求項９】
前記ターゲットは、各々が円の中心である１つ以上のポイントを有する２Ｄパターンを含む、請求項７に記載のシステム。
【請求項１０】
前記１つ以上のオブジェクトの前記オブジェクト種類を判断するために、前記１つ以上のプロセッサは、前記システムに、
Ｆａｓｔｅｒ−ＲＣＮＮモデルによって前記１つ以上のオブジェクトの前記オブジェクト種類を判断させる、
ように構成される、請求項１に記載のシステム。
【請求項１１】
１つ以上のプロセッサ、およびストレージデバイスを有するコンピューティングデバイス上に実装された方法であって、
カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するステップと、
１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するステップと、
前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定するステップと、
前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成するステップと、
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換するステップと、
前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断するステップと、
を含む、方法。
【請求項１２】
前記方法は、
前記オブジェクト種類に基づいて、前記１つ以上のオブジェクトに関する環境情報を判断するステップ、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記１つ以上のオブジェクトに関する前記環境情報は、
前記１つ以上のオブジェクトの前記オブジェクト種類と、
前記１つ以上のオブジェクトの少なくとも１つの運動状態と、
前記１つ以上のＬｉＤＡＲおよび前記カメラを含む車両に対する、前記１つ以上のオブジェクトの少なくとも１つの速度と、
前記１つ以上のオブジェクトの少なくとも１つの前記車両に対する加速度と、
前記１つ以上のオブジェクトの少なくとも１つの運動方向と、
前記１つ以上のオブジェクトの少なくとも１つと前記車両との間の距離と、
のうちの少なくとも１つを含む、請求項１２に記載の方法。
【請求項１４】
前記第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含む、請求項１１に記載の方法。
【請求項１５】
前記複数のポイントの前記第一３Ｄ座標を前記算定するステップは、
前記第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する前記第一ポイントサブセットの第二３Ｄ座標を算定するステップと、
前記第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する前記第二ポイントサブセットの第三３Ｄ座標を算定するステップと、
前記第三３Ｄ座標を、前記第一３Ｄ座標系に対応する、前記第二ポイントサブセットの第四３Ｄ座標に変換するステップと、
前記第一ポイントサブセットの前記第二３Ｄ座標および前記第二ポイントサブセットの前記第四３Ｄ座標に基づいて、前記第一３Ｄ座標を算定するステップと、
を含む、請求項１４に記載の方法。
【請求項１６】
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの前記第一２Ｄ座標に前記変換するステップは、
変換マトリックスを得るステップと、
前記変換マトリックスに基づいて、前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換するステップと、
を含む、請求項１１に記載の方法。
【請求項１７】
前記変換マトリックスを前記得るステップは、
前記１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信するステップと、
前記カメラから、前記ターゲットに関する複数の画素を含む第二画像を受信するステップと、
前記ターゲットに関する前記複数のポイントの第二３Ｄ座標を算定するステップと、
前記ターゲットに関する前記複数の画素の第二２Ｄ座標を算定するステップと、
前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて、前記変換マトリックスを算定するステップと、
を含む、請求項１６に記載の方法。
【請求項１８】
前記ターゲットは、各々が円の中心である１つ以上のポイントを有する２Ｄパターンを含む、請求項１７に記載の方法。
【請求項１９】
前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて前記変換マトリックスを前記算定するステップは、
最小二乗法に基づいて前記変換マトリックスを算定するステップ、
を含む、請求項１７に記載の方法。
【請求項２０】
少なくとも一つの命令のセットを含む非一時的コンピュータ可読媒体であって、コンピューティングデバイスの１つ以上のプロセッサによって実行されると、前記少なくとも一組の命令のセットは、前記コンピューティングデバイスに方法を実行させ、前記方法は、
カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するステップと、
１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するステップと、
前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定するステップと、
前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成するステップと、
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換するステップと、
前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断するステップと、
を含む、非一時的コンピュータ可読媒体。
【請求項２１】
カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するように構成された画像受信モジュールと、
１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するように構成されたポイント受信モジュールと、
前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定するように構成されたポイント情報判断モジュールと、
前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成するように構成された区分結果生成モジュールと、
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換するように構成された変換モジュールと、
前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断するように構成された種類判断モジュールと、
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に車両に関し、さらに具体的には、車両の環境情報を検出するための方法およびシステムに関する。
【背景技術】
【０００２】
マイクロ電子技術およびロボット技術の進歩とともに、近年、ドライバレス技術が急速に発展している。車両の環境情報の検出は、ドライバレスシステムの重要な技術であり得る。環境情報を検出するための既存の方法およびシステムでは、環境情報を正確に且つタイミングよく判断することは困難であり、ドライバレスシステムによって検出ができない可能性のある、視野のブラインド領域がある。したがって、車両の環境情報を正確に且つタイミングよく検出するための方法およびシステムの提供が望まれている。
【発明の概要】
【０００３】
付加された特徴は、１つには、以降の説明の中で述べられ、１つには、当業者には、以降の添付の図面を考察することによって明らかになり、または実施例の製作および作動によって習得できよう。本開示の特徴は、以下に説明する詳細な例の中で述べる諸々の方法、手段および組合せの様々な態様を実践または使用することによって認識し、獲得することが可能であろう。
【０００４】
本開示の一態様によれば、システムは、１つ以上のプロセッサ、および該１つ以上のプロセッサと通信するように構成されたストレージデバイスを含むことができる。このストレージデバイスは命令のセットを含むことが可能である。１つ以上のプロセッサがこの命令のセットを実行すると、該１つ以上のプロセッサは、以下の動作の１つ以上を実施するよう命令されてよい。１つ以上のプロセッサが、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信することができる。１つ以上のプロセッサが、１つ以上の光検知および測距装置（ＬｉＤＡＲ：ｌｉｇｈｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｒａｎｇｉｎｇ  ｅｑｕｉｐｍｅｎｔ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信することができる。１つ以上のプロセッサが、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいてこれら複数のポイントを分類することによって、区分結果を生成することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換することができる。１つ以上のプロセッサが、これら複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断することができる。
【０００５】
いくつかの実施形態において、１つ以上のプロセッサは、このオブジェクト種類に基づいて、１つ以上のオブジェクトに関する環境情報を判断することができる。
【０００６】
いくつかの実施形態において、この１つ以上のオブジェクトに関する環境情報は、１つ以上のオブジェクトのオブジェクト種類の少なくとも１つ、１つ以上のオブジェクトの少なくとも１つの運動状態、１つ以上のＬｉＤＡＲおよび該カメラを含む車両に対する１つ以上のオブジェクトの少なくとも１つの速度、車両に対する１つ以上のオブジェクトの少なくとも１つの加速度、１つ以上のオブジェクトの少なくとも１つの運動方向、または１つ以上のオブジェクトの少なくとも１つと車両との間の距離、を含むことが可能である。
【０００７】
いくつかの実施形態において、第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含んでよい。
【０００８】
いくつかの実施形態において、複数のポイントの第一３Ｄ座標を算定するために、１つ以上のプロセッサは、第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する第一ポイントサブセットの第二３Ｄ座標を算定することが可能である。１つ以上のプロセッサは、第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する第二ポイントサブセットの第三３Ｄ座標を算定することが可能である。１つ以上のプロセッサは、第三３Ｄ座標を、第一３Ｄ座標系に対応する第二ポイントサブセットの第四３Ｄ座標に変換することができる。１つ以上のプロセッサは、第一ポイントサブセットの第二３Ｄ座標および第二ポイントサブセットの第四３Ｄ座標に基づいて、第一３Ｄ座標を算定することが可能である。
【０００９】
いくつかの実施形態において、複数のポイントの第一３Ｄ座標を複数のポイントの第一２Ｄ座標に変換するために、１つ以上のプロセッサは変換マトリックスを得ることができる。１つ以上のプロセッサは、この変換マトリックスに基づいて、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換することが可能である。
【００１０】
いくつかの実施形態において、変換マトリックスを得るために、１つ以上のプロセッサは、１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信することができる。１つ以上のプロセッサは、カメラから、ターゲットに関する複数の画素を含む第二画像を受信することが可能である。１つ以上のプロセッサは、ターゲットに関する複数のポイントの第二３Ｄ座標を算定することができる。１つ以上のプロセッサは、ターゲットに関する複数の画素の第二２Ｄ座標を算定することが可能である。１つ以上のプロセッサは、第二３Ｄ座標および第二２Ｄ座標に基づいて変換マトリックスを算定することができる。
【００１１】
いくつかの実施形態において、第二３Ｄ座標および第二２Ｄ座標に基づいて変換マトリックスを算定するために、１つ以上のプロセッサは、最小二乗法によって該変換マトリックスを算定してよい。
【００１２】
いくつかの実施形態において、ターゲットは、各々が円の中心であってよい１つ以上のポイントを有する２Ｄパターンを含むことが可能である。
【００１３】
いくつかの実施形態では、１つ以上のオブジェクトのオブジェクト種類を判断するために、１つ以上のプロセッサは、Ｆａｓｔｅｒ−ＲＣＮＮモデルに基づいてそれら１つ以上のオブジェクトのオブジェクト種類を判断することができる。
【００１４】
本開示の別の態様によれば、方法は、以下のオペレーションの１つ以上を含むことができる。１つ以上のプロセッサが、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信することができる。該１つ以上のプロセッサが、１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信することができる。１つ以上のプロセッサが、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいて、これら複数のポイントを分類することによって、区分結果を生成することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換することができる。１つ以上のプロセッサが、これら複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断することができる。
【００１５】
本開示のさらに別の態様によれば、非一時的コンピュータ可読媒体は少なくとも一組の命令のセットを含むことができる。この少なくとも一組の命令のセットは、コンピュータデバイスの１つ以上のプロセッサによって実行されてよい。該少なくとも一組の命令のセットは、コンピュータデバイスに方法を実行させることができる。この方法は、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するステップと、１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するステップと、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定するステップと、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいて、これら複数のポイントを分類することによって、区分結果を生成するステップと、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換するステップと、これら複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断するステップと、を含む。
【００１６】
本開示のさらに別の態様によれば、システムは、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するように構成された画像受信モジュールと、１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するように構成されたポイント受信モジュールと、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定するように構成されたポイント情報判断モジュールと、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいて、これら複数のポイントを分類することによって、区分結果を生成するように構成された区分結果生成モジュールと、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換するように構成された変換モジュールと、複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断するように構成された種類判断モジュールと、を含んでよい。
【００１７】
本開示を、概略的な実施形態に関連させてさらに説明する。これらの概略的実施形態は図面を参照しながら詳細に説明される。これら図面は正確な縮尺ではない。これらの実施形態は非限定の概略的実施形態であり、これら図面のいくつかの図を通して、同じ参照符号は類似の構造体表す。
【図面の簡単な説明】
【００１８】
【図１】本開示のいくつかの実施形態による、例示的な環境情報検出システムを示す概略図である。
【図２】本開示のいくつかの実施形態による、コンピューティングデバイスの例示的なハードウェアおよびソフトウェアコンポーネントを示す概略的なブロック図である。
【図３】本開示のいくつかの実施形態による、例示的な処理デバイスを示すブロック図である。
【図４】本開示のいくつかの実施形態による、環境情報を判断するための例示的なプロセスを示すフローチャートである。
【図５】本開示のいくつかの実施形態による、第一３Ｄ座標を算定するための例示的なプロセスを示すフローチャートである。
【図６】本開示のいくつかの実施形態による、第一３Ｄ座標を第一２Ｄ座標に変換するための例示的なプロセスを示すフローチャートである。
【図７】本開示のいくつかの実施形態による、変換マトリックスを算定するための例示的なプロセスを示すフローチャートである。
【発明を実施するための形態】
【００１９】
本開示の実施形態に関連する技術的ソリューションを解説するために、実施形態の説明の中で参照される図面の簡単な紹介を以下に提示する。当然ながら、以下に示される図面は、本開示の単なる一部の例または実施形態である。当業者は、追加的な創造努力を要せずに、これらの図面に従って、本開示を他の類似のシナリオに適用することができよう。別途に記載がある場合、または文脈から明らかな場合を除き、図面中の同じ参照符号は、同じ構造およびオペレーションを指す。
【００２０】
本開示および添付の特許請求の範囲中での使用において、単数形「或る（ａ、ａｎ）」および「該（ｔｈｅ）」は、文脈状明らかに別段に指示されているのでなければ、複数の指示対象も含む。さらに当然のことながら、本開示で使用される場合、用語「含む」、「含んでいる」、「包含する」、および／または「包含している」は、述べられたステップまたは要素の存在を明示するが、１つ以上の他のステップおよび要素の存在または追加を排除するものではない。
【００２１】
本開示のいくつかの実施形態によって、システムによって行われるオペレーションを解説するためにフローチャートが用いられる。明らかに理解されるように、上記または下記のこれらオペレーションは、順序通りに実施されてもされなくてもよい。逆に言えば、これらオペレーションは、逆の順序で、または同時に行われてもよい。また、１つ以上の他のオペレーションがこれらフローチャートに追加されてもよく、１つ以上のオペレーションがフローチャートから省かれてもよい。
【００２２】
本開示の実施形態は、ロボットの分野、および、以下に限らないが、陸上輸送環境、海上輸送環境、空中輸送環境、宇宙輸送環境または同様のもの、あるいはこれらの任意の組合せ含む各種の輸送状態に適用することができる。これら輸送状態における車両は、馬、四輪馬車、人力車（例えば、自転車、三輪車）、電気自動車（例えば、電気二輪車、電気三輪車）、自動車（例えば、タクシー、バス、自家用車）、列車、地下鉄、船舶、航空機（例えば、飛行機、ヘリコプタ、スペースシャトル、ロケット、熱気球）、ドライバレス車両または同様のもの、あるいはこれらの任意の組合せを含んでよい。当然のことながら、本明細書で開示するシステムおよび方法の応用シナリオは、単なる一部の例または実施形態である。当業者は、追加的な創造努力を要せずに、これらの図面を他の応用シナリオに適用することができよう。
【００２３】
図１は、本開示のいくつかの実施形態による、例示的な環境情報検出システム１００を示す概略図である。環境情報検出システム１００は、車両（例えば、ドライバレス車両）の周りの環境的な情報を検出するように構成することができる。車両の周りの環境的な情報（例えば、環境情報とも言う）は、当該車両から或る距離（例えば、５００メートル）内にあるオブジェクトのオブジェクト種類（例えば、人間、動物、樹木、バリケード、建物、または車両）、オブジェクトの運動状態、当車両に対するオブジェクトの速度、当車両に対するオブジェクトの加速度、オブジェクトの運動方向、当車両とそれらオブジェクトとの間の距離または同様のもの、あるいはこれらに任意の組合せを含んでよい。運動状態は、静的状態および動いている状態を含み得る。処理デバイス１３０は、この環境情報に基づいて、車両に障害物を回避するよう命令することが可能である。例えば、処理デバイス１３０が、環境情報に基づいて、当車両とオブジェクトとの間の距離が距離閾値より小さいと判断すると、処理デバイス１３０は、車両にそのオブジェクトを回避するために、例えば、ブレーキをかける、車両の速度を低下させる、車両の運動方向を変更させる、または、バックさせるなどの命令を送信し、当車両を制御することができる。
【００２４】
環境情報検出システム１００は、１つ以上の光検知および測距装置（ＬｉＤＡＲ）（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、またはＬｉＤＡＲ１１６）、カメラ１２０、処理デバイス１３０、ネットワーク１４０、およびストレージデバイス１５０を含んでよい。
【００２５】
１つ以上のＬｉＤＡＲは、該１つ以上のＬｉＤＡＲの有効範囲内（当車両から、例えば５００メートルの距離）にあるオブジェクト（例えば、人間、動物、樹木、バリケード、建物、または車両）に関する複数のポイントを含むポイントセットを取得するように構成することが可能である。ポイントセット中のポイントは、該ポイントの３Ｄ座標および該ポイントの反射強度を含むことができる。ポイントの反射強度とは、そのポイントによって反射されたレーザビームの強度を指すとしてよい。
【００２６】
いくつかの実施形態において、ＬｉＤＡＲは、レーザエミッタと、スキャニングおよび光学コンポーネントと、感光性コンポーネントとを含んでよい。このレーザエミッタは、或る特定波長のレーザビームを放射するように構成することができる。例えば、該レーザエミッタは、６００ｎｍ〜１０００ｎｍの範囲の波長のレーザビームを放射することが可能である。
【００２７】
例としてレーザビームを挙げると、レーザビームが或るオブジェクトのポイントを照射すると、そのポイントは、レーザビームの一部を反射することが可能で、ＬｉＤＡＲによってその反射されたレーザビームを受信することができる。スキャニングおよび光学コンポーネントは、レーザビームの放射時点、および反射されたレーザビームの受信時点を認知し、放射時点と受信時点と間の間隔を測定するように構成することができる。また、スキャニングおよび光学コンポーネントは、反射されたレーザビームと地面との間の角度を測定するように構成することが可能である。ＬｉＤＡＲは、放射時点と受信時点との間の間隔、および反射されたレーザビームと地面との間の角度に基づいて、当該ポイントの３Ｄ座標を算定することができる。また、ＬｉＤＡＲは、放射時点と受信時点との間の間隔、および光の速度（≒３×１０８ｍ／ｓ）に基づいて、ＬｉＤＡＲとポイントとの間の距離を算定することも可能である。ＬｉＤＡＲは、ＬｉＤＡＲと該ポイントとの間の距離、および反射されたレーザビームと地面との間の角度に基づいて、該ポイントの３Ｄ座標を算定することができる。いくつかの実施形態において、ＬｉＤＡＲは、そのＬｉＤＡＲに対応する３Ｄ座標系の下におけるそのポイントの３Ｄ座標を算定することが可能である。
【００２８】
放射から受信までのプロセスの過程で、例えば、レーザビームの一部がオブジェクトのポイントに吸収される可能性があるので、レーザビームの強度は低減され得る。感光性コンポーネントは、反射されたレーザビームの強度を検出するように構成されてよい。反射されるレーザビームの強度は、オブジェクトの材質に影響され得る。反射されたビームの強度は、どれらのポイントが同じオブジェクトに属するかを大まかに判断するために使用することが可能である。
【００２９】
いくつかの実施形態において、ＬｉＤＡＲは、該ＬｉＤＡＲが、オブジェクトに関する複数のポイントを含むポイントセットを取得できるように、車両から或る距離（例えば、５００メートル）内にあるそれらオブジェクト上に複数のレーザビームを照らすべく、複数のレーザビームを照射しながら或る特定の角速度で回転することができる。例えば、ＬｉＤＡＲは、該ＬｉＤＡＲが３６０°の回転を完了したとき、ポイントセットを取得することが可能である。
【００３０】
いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、ＬｉＤＡＲは、絶えずレーザビームを放射し、車両を囲むオブジェクトに関するポイントセットを絶えず取得していてよい。いくつかの実施形態では、ＬｉＤＡＲは、このポイントセットをストレージデバイス１５０および／または処理デバイス１３０に送信することが可能である。
【００３１】
いくつかの実施形態において、１つ以上のＬｉＤＡＲは、車両の任意の位置に設置されてよい。例えば、車両は１つのＬｉＤＡＲを備えるように構成することが可能である。ＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２）は、車両の最上部に組み付けることができる。別の例として、車両は３つのＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６）を備えるように構成することも可能である。３つのＬｉＤＡＲの１つ（例えば、ＬｉＤＡＲ１１２）は、車両の最上部に組み付けることが可能で、他の２つのＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６）は、それぞれ、車両の両側面に組み付けることができる。これらＬｉＤＡＲの数および位置は、視野のブラインド領域ゼロの原則に基づいて決定すればよい。いくつかの実施形態において、車両上に複数のＬｉＤＡＲが設置された場合、それら複数のＬｉＤＡＲは、ポイントを同時に取得することができる。ポイントセットは、該複数のＬｉＤＡＲによって取得されたポイントを含んでよい。
【００３２】
カメラ１２０は、該カメラ１２０の視野（例えば、車両からの距離が大体５００メートルくらい）内にあるオブジェクト（例えば、人間、動物、樹木、バリケード、建物、または車両）に関する１つ以上の画像を取得するように構成することができる。本出願の中で用いられる画像は、静止画像、ビデオ、ストリーミングビデオ、またはビデオから得られたビデオフレームであってよい。いくつかの実施形態において、カメラ１２０は、デジタルカメラ、ウェブカメラ、スマートフォン、ウェブカメラを備えた、タブレット、ラップトップ、ビデオゲームコンソール、複数のレンズを備えたカメラなどであってよい。いくつかの実施形態では、カメラ１２０は、二次元（２Ｄ）画像および／または三次元（３Ｄ）画像をキャプチャするように構成することが可能である。例えば、カメラ１２０は、静的カメラ、パン・チルト・ズーム式カメラ、移動カメラ、ステレオカメラ、構造化光カメラ、飛行時間カメラなどであってよい。また、いくつかの実施形態において、カメラ１２０は、飛行時間デバイス、キネクトセンサ、３Ｄレーザスキャナ、写真スキャナなどを備えたカメラであってもよい。いくつかの実施形態では、カメラ１２０は、車両を囲むオブジェクトを含む画像をキャプチャするために回転することができる。例えば、カメラ１２０は、該カメラ１２０が３６０°の回転を完了したときに一画像を取得することが可能である。
【００３３】
いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、カメラ１２０は、車両を囲むオブジェクトに関する画像を絶えずキャプチャしていてよい。いくつかの実施形態では、１つ以上のＬｉＤＡＲのポイントセットの取得と、カメラ１２０の画像のキャプチャとは、ポイントセット中のポイントが画像中の画素に対応可能なように、同時に行うことができる。いくつかの実施形態において、カメラ１２０は、この画像をストレージデバイス１５０および／または処理デバイス１３０に送信することが可能である。
【００３４】
いくつかの実施形態において、カメラ１２０は、車両の任意の部分に組み付けることができる。例えば、カメラ１２０は、図１に示されるように、車両の前面に設置されてよい。
【００３５】
処理デバイス１３０は、１つ以上のＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、もしくはＬｉＤＡＲ１１６）、カメラ１２０、またはストレージデバイス１５０から得たデータおよび／または情報を処理することができる。例えば、処理デバイス１３０は、ＬｉＤＡＲ１１２から得たポイントセットを処理することが可能である。別の例として、処理デバイス１３０は、カメラ１２０から得た画像を処理することが可能である。いくつかの実施形態において、処理デバイス１３０は、単一のサーバまたはサーバ群であってよい。このサーバ群は、集合化されていても分散化されていてもよい。いくつかの実施形態では、処理デバイス１３０はローカルであってもリモートであってもよい。例えば、処理デバイス１３０は、ネットワーク１４０を介して、１つ以上のＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、もしくはＬｉＤＡＲ１１６）、カメラ１２０、またはストレージデバイス１５０に格納された情報および／またはデータにアクセスすることが可能である。別の例として、処理デバイス１３０は、格納された情報および／またはデータにアクセスするために、１つ以上のＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、もしくはＬｉＤＡＲ１１６）、カメラ１２０、またはストレージデバイス１５０に直接接続されてもよい。いくつかの実施形態において、処理デバイス１３０は、クラウドプラットフォーム上に実装することも可能である。単なる例示であるが、このクラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウドまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。いくつかの実施形態では、処理デバイス１３０は、図２に示されるような、１つ以上のコンポーネントを有するコンピューティングデバイス２００によって実装することが可能である。
【００３６】
ネットワーク１４０は、環境情報検出システム１００のために、情報および／またはデータの交換を円滑にすることが可能な任意の適切なネットワークを含んでよい。いくつかの実施形態において、環境情報検出システム１００の１つ以上のコンポーネント（例えば、１つ以上のＬｉＤＡＲ、カメラ１２０、処理デバイス１３０、またはストレージデバイス１５０）は、ネットワーク１４０を介して、環境情報検出システム１００の１つ以上の他のコンポーネントに情報および／またはデータを通信することができる。例えば、処理デバイス１３０は、ネットワーク１４０を介してカメラ１２０から画像を得ることが可能である。別の例として、処理デバイス１３０は、ネットワーク１４０を介してＬｉＤＡＲ１１２からポイントセットを得ることが可能である。ネットワーク１４０は、パブリックネットワーク（例えば、インターネット）、プライベートネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：ｗｉｄｅ  ａｒｅａ  ｎｅｔｗｏｒｋ）など）、有線ネットワーク（例えば、イーサネット（登録商標）ネットワーク）、ワイヤレスネットワーク（例えば、８０２．１１ネットワーク、Ｗｉ−Ｆｉネットワークなど）、セルラネットワーク（例えば、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）ネットワーク）、フレーム中継ネットワーク、仮想プライベートネットワーク（“ＶＰＮ”：ｖｉｒｔｕａｌ  ｐｒｉｖａｔｅ  ｎｅｔｗｏｒｋ）、サテライトネットワーク、電話ネットワーク、ルータ、ハブ、スイッチ、サーバコンピュータ、および／またはこれらの任意の組合せであっても、および／またはこれらを含んでもよい。単なる例示であるが、ネットワーク１４０は、ケーブルネットワーク、有線ネットワーク、光ファイバネットワーク、電気通信ネットワーク、イントラネット、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ  ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、メトロポリタンエリアネットワーク（ＭＡＮ：ｍｅｔｒｏｐｏｌｉｔａｎ  ａｒｅａ  ｎｅｔｗｏｒｋ）、公衆交換電話ネットワーク（ＰＳＴＮ：ｐｕｂｌｉｃ  ｔｅｌｅｐｈｏｎｅ  ｓｗｉｔｃｈｅｄ  ｎｅｔｗｏｒｋ）、ブルートゥース（登録商標）ネットワーク、ジグビー（登録商標）ネットワーク、近距離無線通信（ＮＦＣ：ｎｅａｒ  ｆｉｅｌｄ  ｃｏｍｍｕｎｉｃａｔｉｏｎ）ネットワークまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。いくつかの実施形態において、ネットワーク１４０は１つ以上のネットワークアクセスポイントを含むことができる。例えば、ネットワーク１４０は、環境情報検出システム１００の１つ以上のコンポーネントが、データおよび／または情報を交換するために、以下を通してネットワーク１４０に接続できる、基地局および／またはインターネット交換ポイントなどの有線および／またはワイヤレスのネットワークアクセスポイントを含むことが可能である。
【００３７】
ストレージデバイス１５０は、データ、命令、および／または任意の他の情報を格納することができる。いくつかの実施形態において、ストレージデバイス１５０は、１つ以上のＬｉＤＡＲ、カメラ１２０、または処理デバイス１３０から得たデータを格納することが可能である。いくつかの実施形態では、ストレージデバイス１５０は、処理デバイス１３０が、本開示に記載の例示的な方法を遂行するため実行または使用が可能なデータおよび／または命令を格納することができる。いくつかの実施形態において、ストレージデバイス１５０は、大容量ストレージ、着脱可能ストレージ、揮発性読み取り書込みメモリ、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）または同様のもの、あるいはこれらの任意の組合せを含んでよい。例示的な大容量ストレージには、磁気ディスク、光ディスク、固体ドライブなどが含まれてよい。例示的な着脱可能ストレージには、フラッシュドライブ、フロッピーディスク、光ディスク、メモリカード、ジップディスク、磁気テープなどが含まれてよい。例示的な揮発性読み取り書込みメモリには、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）が含まれてよい。例示的なＲＡＭには、ダイナミックＲＡＭ（ＤＲＡＭ：ｄｙｎａｍｉｃ  ＲＡＭ）、ダブルデータレート同期式ダイナミックＲＡＭ（ＤＤＲ  ＳＤＲＡＭ：ｄｏｕｂｌｅ  ｄａｔｅ  ｒａｔｅ  ｓｙｎｃｈｒｏｎｏｕｓ  ｄｙｎａｍｉｃ  ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ：ｓｔａｔｉｃ  ＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ：ｔｈｙｒｉｓｔｏｒ  ＲＡＭ）、およびゼロキャパシタＲＡＭ（Ｚ−ＲＡＭ：ｚｅｒｏ−ｃａｐａｃｉｔｏｒ  ＲＡＭ）などが含まれてよい。例示的なＲＯＭには、マスクＲＯＭ（ＭＲＯＭ：ｍａｓｋ  ＲＯＭ）、プログラム可能型ＲＯＭ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、消去書込み可能型ＲＯＭ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、電気的消去書込み可能型ＲＯＭ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ−ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ  ｄｉｓｋ  ＲＯＭ）、およびデジタル多用途ディスクＲＯＭなどが含まれてよい。いくつかの実施形態では、ストレージデバイス１５０は、クラウドプラットフォーム上に実装することができる。単なる例示であるが、このクラウドプラットフォームには、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウドまたは同様のもの、あるいはこれらの任意の組合せが含まれてよい。
【００３８】
いくつかの実施形態において、ストレージデバイス１５０は、環境情報検出システム１００中の１つ以上の他のコンポーネント（例えば、処理デバイス１３０、１つ以上のＬｉＤＡＲ、またはカメラ１２０）と通信するために、ネットワーク１４０に接続されてよい。環境情報検出システム１００の１つ以上のコンポーネントは、ネットワーク１４０を介してストレージデバイス１５０中に格納されたデータまたは命令にアクセスすることが可能である。いくつかの実施形態では、ストレージデバイス１５０は、環境情報検出システム１００中の１つ以上の他のコンポーネント（例えば、処理デバイス１３０、１つ以上のＬｉＤＡＲ、またはカメラ１２０）と、直接に接続され、または通信することが可能である。いくつかの実施形態において、ストレージデバイス１５０は、処理デバイス１３０の一部であってもよい。
【００３９】
この説明は、例証を意図したものであり、本開示の範囲を限定することを意図したものではない。当業者には、数多くの代案、変更、および変形が明らかであろう。本明細書で説明する例示的な実施形態の特質、構造、方法、または他の特徴は、追加的なおよび／または代替的な例示的な実施形態を得るため、様々な仕方で組合せることが可能である。例えば、ストレージデバイス１５０は、パブリッククラウド、プライベートクラウド、コミュニティクラウドおよびハイブリッドクラウドなどの、クラウドコンピューティングプラットフォームを含むデータストレージであってよい。但し、それらの変形および変更は本開示の範囲を外れるものではない。
【００４０】
図２は、本開示のいくつかの実施形態による、処理デバイス１３０が実装可能な例示的なコンピューティングデバイス２００の、例示的なハードウェアおよび／またはソフトウェアコンポーネントを示す概略図である。図２に示されるように、コンピューティングデバイス２００は、プロセッサ２１０、ストレージ２２０、入力／出力部（Ｉ／Ｏ）２３０、および通信ポート２４０を含むことができる。
【００４１】
プロセッサ２１０（例えば、論理回路）は、コンピュータ命令（例えば、プログラムコード）を実行し、本明細書に記載の技法に従って、処理デバイス１３０の機能を遂行することができる。例えば、プロセッサ２１０は、その中にインターフェース回路２１０−ａおよび処理回路２１０−ｂ含むことが可能である。これらインターフェース回路は、バス（図２には示さず）から電子信号を受信するように構成することができ、該電子信号には、処理回路が処理するための構造化データおよび／または命令が符号化されている。この処理回路は、論理演算を行い、次いで、電子信号として符号化された結論、結果、および／または命令を決定することができる。続いて、インターフェース回路が、処理回路からの電子信号をバスを経由して送信することが可能である。
【００４２】
コンピュータ命令は、例えば、ルーティン、プログラム、オブジェクト、コンポーネント、データ構造体、プロシージャ、モジュール、および関数を含むことができ、これらは、本明細書に記載の特定の機能を遂行する。例えば、プロセッサ２１０は、１つ以上のＬｉＤＡＲ、ストレージデバイス１５０、および／または環境情報検出システム１００の任意の他のコンポーネントから得たポイントセットを処理することができる。いくつかの実施形態において、プロセッサ２１０は、マイクロコントローラ、マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ  ｉｎｓｔｒｕｃｔｉｏｎ  ｓｅｔ  ｃｏｍｐｕｔｅｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｓｔｒｕｃｔｉｏｎ−ｓｅｔ  ｐｒｏｃｅｓｓｏｒ）、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、グラフィック処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、物理処理ユニット（ＰＰＵ：ｐｈｙｓｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、マイクロコントローラユニット、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、アドバンストＲＩＳＣマシン（ＡＲＭ：ａｄｖａｎｃｅｄ  ＲＩＳＣ  ｍａｃｈｉｎｅ）、プログラマブル論理デバイス（ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ）、１つ以上の機能を実行できる任意の回路またはプロセッサまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。
【００４３】
単に例示として、コンピューティングデバイス２００中には、１つだけのプロセッサが表されている。但し、当然のことながら、本開示の中のコンピューティングデバイス２００は、複数のプロセッサを含むことが可能である。しかして、本開示中に記述の１つのプロセッサによって行われるオペレーションおよび／または方法のステップは、複数のプロセッサによって共同でまたは個々に行うこともできる。例えば、本開示において、コンピューティングデバイス２００のプロセッサがステップＡおよびステップＢの両方を実行する場合、ステップＡおよびステップＢは、コンピューティングデバイス２００中で、２つ以上の異なるプロセッサによって、共同でまたは個々に実行することも可能である（例えば、第一プロセッサがステップＡを実行し、第二プロセッサがステップＢを実行する、または、第一および第二プロセッサが共同で、ステップＡおよびステップＢ実行する）。
【００４４】
ストレージ２２０は、１つ以上のＬｉＤＡＲ、カメラ１２０、ストレージデバイス１５０、および／または環境情報検出システム１００の任意の他のコンポーネントから得たデータ／情報を格納することができる。いくつかの実施形態において、ストレージ２２０は、大容量ストレージ、着脱可能ストレージ、揮発性読み取り書込みメモリ、読み取り専用メモリ（ＲＯＭ）または同様のもの、あるいはこれらの任意の組合せを含んでよい。例えば、この大容量ストレージは、磁気ディスク、光ディスク、固体ドライブなどを含んでよい。この着脱可能ストレージは、フラッシュドライブ、フロッピーディスク、光ディスク、メモリカード、ジップディスク、磁気テープなどを含んでよい。この揮発性読み取り書込みメモリは、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）を含んでよい。このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルデータレート同期式ダイナミックＲＡＭ（ＤＤＲ  ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ）、およびゼロキャパシタＲＡＭ（Ｚ−ＲＡＭ）などを含んでよい。このＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラム可能型ＲＯＭ（ＰＲＯＭ）、消去書込み可能型ＲＯＭ（ＥＰＲＯＭ）、電気的消去書込み可能型ＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、およびデジタル多用途ディスクＲＯＭなどを含んでよい。いくつかの実施形態において、ストレージ２２０は、本開示に記載された例示的な方法を実行するための１つ以上のプログラムおよび／または命令を格納することができる。例えば、ストレージ２２０は、処理デバイス１３０が車両の環境情報を判断するためのプログラムを格納することが可能である。
【００４５】
Ｉ／Ｏ２３０は、信号、データ、情報などを入力および／または出力することができる。いくつかの実施形態において、Ｉ／Ｏ２３０は、ユーザの、処理デバイス１３０とのやり取りを可能にする。いくつかの実施形態では、Ｉ／Ｏ２３０は、入力デバイスおよび出力デバイスを含んでよい。入力デバイスの例には、キーボード、マウス、タッチスクリーン、マイクロフォンまたは同様のもの、あるいはこれらの組合せが含まれてよい。出力デバイスの例には、ディスプレイデバイス、ラウドスピーカ、プリンタ、プロジェクタまたは同様のもの、あるいはこれらの組合せが含まれてよい。ディスプレイデバイスの例には、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ）ベースのディスプレイ、平面パネルディスプレイ、曲面スクリーン、テレビジョンデバイス、ブラウン管（ＣＲＴ：ｃａｔｈｏｄｅ  ｒａｙ  ｔｕｂｅ）、タッチスクリーンまたは同様のもの、あるいはこれらの組合せが含まれてよい。
【００４６】
通信ポート２４０は、データ通信を円滑にするため、ネットワーク（例えば、ネットワーク１４０）に接続することができる。通信ポート２４０は、処理デバイス１３０と、１つ以上のＬｉＤＡＲ、カメラ１２０、またはストレージデバイス１５０と、の間の接続を設定することができる。この接続は、有線接続、ワイヤレス接続、データ送信および／または受信を可能にできる任意の他の通信接続、および／またはこれらの接続の任意の組合せであってよい。この有線接続は、例えば、電気ケーブル、光ケーブル、電話線または同様のもの、あるいはこれらの組合せを含んでよい。このワイヤレス接続は、ブルートゥース（登録商標）リンク、Ｗｉ−Ｆｉ（登録商標）リンク、ＷｉＭａｘ（登録商標）リンク、ＷＬＡＮリンク、ジグビーリンク、移動ネットワークリンク（例えば、３Ｇ、４Ｇ、５Ｇ等）または同様のもの、あるいはこれらの組合せを含んでよい。いくつかの実施形態において、通信ポート２４０は、ＲＳ２３２、ＲＳ４８５など、標準化された通信ポートであるか、および／またはそれらを含んでよい。
【００４７】
当業者は、環境情報検出システム１００の構成素子が機能する際、その構成素子は電気信号および／または電磁気信号を介して機能できることを理解していよう。例えば、処理デバイス１３０が、決定を行うまたは情報を識別するなどのタスクを処理する際に、処理デバイス１３０は、かかるタスクを処理するために、そのプロセッサ中の論理回路を作動することができる。１つ以上のＬｉＤＡＲおよび／またはカメラ１２０が、処理デバイス１３０にデータ（例えば、ポイントセットおよび／または画像）を送信する際に、該１つ以上のＬｉＤＡＲおよび／またはカメラ１２０は、データを符号化している電気信号を生成することが可能である。次いで、１つ以上のＬｉＤＡＲおよび／またはカメラ１２０は、その電気信号を処理デバイス１３０の入力ポートに送信することができる。１つ以上のＬｉＤＡＲおよび／またはカメラ１２０が、有線ネットワークを介して処理デバイス１３０と通信する場合、この入力ポートは、ケーブルに物理的に接続されてよい。１つ以上のＬｉＤＡＲおよび／またはカメラ１２０が、ワイヤレスネットワークを介して処理デバイス１３０と通信する場合、処理デバイス１３０の入力ポートは１つ以上のアンテナであってよく、これらは、電気信号を電磁気信号に変換することができる。１つ以上のＬｉＤＡＲ、カメラ１２０、または処理デバイス１３０などの電子デバイス内で、それらデバイスのプロセッサが、命令を処理する、命令を送信する、および／または或る動作を実行するとき、それらの命令および／または動作は電気信号を介して行われる。例えば、プロセッサが、ストレージ媒体（例えば、ストレージデバイス１５０）からデータを読出す、または該媒体にデータを保存する場合、プロセッサは、ストレージ媒体の読出し／書込みデバイスに電気信号を送信することができ、そのデバイスがストレージ媒体中の構造化データを読出しおよび書込むことが可能である。電子デバイスのバスを介し、その構造化データを、電気信号の形でプロセッサに送信することができる。ここで、電気信号とは、１つの電気信号、一連の電気信号、および／または複数の離散電気信号を指すとしてよい。
【００４８】
図３は、本開示のいくつかの実施形態による、例示的な処理デバイス１３０を示すブロック図である。処理デバイス１３０は、画像受信モジュール３１０、ポイント受信モジュール３２０、ポイント情報判断モジュール３３０、区分結果生成モジュール３４０、変換モジュール３５０、種類判断モジュール３６０、および環境判断モジュール３７０を含むことができる。
【００４９】
画像受信モジュール３１０は、カメラ１２０から画像を受信するように構成されてよい。この画像は、カメラ１２０の視野内（例えば、車両からの距離がおよそ５００メートル）内にある１つ以上のオブジェクトに関する複数の画素を含むことができる。いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、カメラ１２０は、車両を囲むオブジェクトに関する画像を絶えずキャプチャし、その画像をリアルタイムで画像受信モジュール３１０に送信していてよい。
【００５０】
ポイント受信モジュール３２０は、１つ以上のＬｉＤＡＲからポイントセットを受信先するように構成されてよい。このポイントセットは、該ポイントセットと同時にキャプチャされた画像の画素に対応する複数のポイントを含むことができる。いくつかの実施形態において、２つ以上のＬｉＤＡＲが車両上に設置される場合、ポイントセットは、それら２つ以上のＬｉＤＡＲによって取得されたポイントを含んでよい。例えば、車両上には、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６を設置することができる。ポイントセットは、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６によって取得されたポイントを含むことが可能である。
【００５１】
いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、１つ以上のＬｉＤＡＲは、車両を囲んでいるオブジェクトに関するポイントセットを絶えず取得し、それらポイントセットをリアルタイムでポイント受信モジュール３２０に送信していてよい。
【００５２】
ポイント情報判断モジュール３３０は、ポイントセットに基づいて、複数のポイントの３Ｄ座標、および複数のポイントの反射強度を算定するように構成されてよい。ＬｉＤＡＲによって取得されたポイントは、それらポイントの反射強度、およびそのＬｉＤＡＲに対応する３Ｄ座標系の下で算定されたポイントの３Ｄ座標を含むことが可能である。いくつかの実施形態において、ポイントセットが１つのＬｉＤＡＲによって取得されたポイントを含む場合、ポイント情報判断モジュール３３０は、複数のポイントに基づいてその３Ｄ座標を直接算定することができる。いくつかの実施形態では、相異なるＬｉＤＡＲは相異なる３Ｄ座標系に対応し得る。ポイントセットが、複数のＬｉＤＡＲによって取得されたポイントを含む場合、相異なるＬｉＤＡＲによって取得されたポイントの３Ｄ座標は、相異なった３Ｄ座標系に対応し得る。ポイント情報判断モジュール３３０は、（例えば、後記で図５に関連して詳しく説明するように）ＬｉＤＡＲの１つに対応する３Ｄ座標系を基準３Ｄ座標系として定め、他の３Ｄ座標系に対応する３Ｄ座標を、基準座標系の下での３Ｄ座標に変換することができる。
【００５３】
区分結果生成モジュール３４０は、複数のポイントの３Ｄ座標および複数のポイントの反射強度に基づいてこれら複数のポイントを分類することによって、区分結果を生成するように構成されてよい。例えば、区分結果生成モジュール３４０は、３Ｄ座標がおおよそ近似しているポイントを同じグループに分類することができる。別の例として、区分結果生成モジュール３４０は、反射強度がおおよそ近似しているポイントを同じグループに分類することが可能である。ポイントセット中のポイントは、区分結果に基づいて、概略的にいくつかのグループに分類されてよい。
【００５４】
区分結果生成モジュール３４０は、これらポイントを分類できるアルゴリズムに従って、区分結果を生成してよい。例えば、このアルゴリズムは、クラスタリングアルゴリズムであってよい。このクラスタリングアルゴリズムは、区分化法、階層化法、密度ベース法、グリッドベース法、モデルベース法または同様のもの、あるいはこれらの任意の組合せを含むことが可能である。
【００５５】
変換モジュール３５０は、複数のポイントの３Ｄ座標を該複数のポイントの２Ｄ座標に変換するように構成されてよい。変換モジュール３５０は、（例えば、後記で図７および８に関連して詳しく説明するように）変換マトリックスを用いて２Ｄ座標を算定することができる。
【００５６】
種類判断モジュール３６０は、複数のポイントの２Ｄ座標と、複数のポイントの３Ｄ座標と、区分結果と、画像とに基づいて、画像中の１つ以上のオブジェクトのオブジェクト種類を判断するように構成されてよい。種類判断モジュール３６０は、区分結果と、複数のポイントの２Ｄ座標とに基づいて１つ以上のオブジェクトの各々に対する境界ボックスを算定することによって、画像中の１つ以上のオブジェクトを識別することができる。１つ以上のオブジェクトの１つに対し、種類判断モジュール３６０は、そのオブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、オブジェクトのポイントの数または同様のもの、あるいはこれらの任意の組合せに基づいて、オブジェクトの種類を判断することが可能である。オブジェクトの中心ポイントとは、オブジェクトの境界ボックスの中心の画素（またはボクセル）を指すとしてよい。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックスの中心の画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、中心ポイントの３Ｄ座標を算定することが可能である。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックス中に含まれる画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、当該オブジェクトの長さ、幅、および高さを算定することが可能である。オブジェクトのポイントの数は、ポイントの２Ｄ座標が、境界ボックスの中に含まれる画素の２Ｄ座標に近似している、ポイントの数としてよい。
【００５７】
種類判断モジュール３６０は、オブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、およびオブジェクトのポイントの数を、例えばＦａｓｔｅｒ−ＲＣＮＮモデルに入力することが可能である。Ｆａｓｔｅｒ−ＲＣＮＮモデルは、当該オブジェクトが各種のオブジェクト種類に属する確率を出力し、オブジェクトのオブジェクト種類として、最高の確率を有するオブジェクト種類を採ることができる。例として、Ｆａｓｔｅｒ−ＲＣＮＮモデルは、車両に属する確率が４５％、人間に属する確率が６０％、および建物に属する確率が１０％であることを算定することができる。この場合、Ｆａｓｔｅｒ−ＲＣＮＮモデルは、オブジェクトを人間として判断することになろう。
【００５８】
環境判断モジュール３８０は、オブジェクト種類に基づいて、１つ以上のオブジェクトに関する環境情報を判断するように構成されてよい。いくつかの実施形態において、この１つ以上のオブジェクトに関する環境情報は、１つ以上のオブジェクトのオブジェクト種類、１つ以上のオブジェクトの少なくとも１つの運動状態、１つ以上のオブジェクトの少なくとも１つの、当車両に対する速度、１つ以上のオブジェクトの少なくとも１つの、当車両に対する加速度、１つ以上のオブジェクトの少なくとも１つの運動方向、当車両と１つ以上のオブジェクトの少なくとも１つとの間の距離または同様のもの、あるいはこれらの任意の組合せを含んでよい。運動状態は、静的状態および動いている状態を含み得る。
【００５９】
上記においてまた本開示全体を通して、モジュールは、多くの異なる仕方で、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとのいろいろな組合せで実装することが可能である。例えば、モジュールの実装の全部または一部は、中央処理装置（ＣＰＵ）、マイクロコントローラ、マイクロプロセッサなどの、命令処理装置の一部または全部、または、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、その他の電子コンポーネント、あるいは、アナログ回路コンポーネント、デジタル回路コンポーネントまたはその両方を含め、個別論理または他の回路コンポーネントを包含する回路構成、またはこれらの任意の組合せを含むことの可能な処理回路構成であってよい。この回路構成は、例として、個別の相互接続されたハードウェアコンポーネントを含んでよく、または単一の集積回路ダイに組み合わされても、複数の集積回路ダイに亘って分散されてもよく、もしくは、共通パッケージ中の複数の集積回路ダイのマルチチップモジュール（ＭＣＭ：Ｍｕｌｔｉｐｌｅ  Ｃｈｉｐ  Ｍｏｄｕｌｅ）の中に実装されてもよい。
【００６０】
処理デバイス１３０中のモジュールは、有線接続またはワイヤレス接続を介して、相互に接続されまたは通信することが可能である。この有線接続は、金属ケーブル、光ケーブル、ハイブリッドケーブルまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。このワイヤレス接続は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ），ブルートゥース、ジグビー、近距離無線通信（ＮＦＣ）など、またはこれらの任意の組合せを含んでよい。モジュールの２つ以上を単一のモジュールに組合せることが可能で、モジュールのどの１つも、２つ以上のユニットに分割することが可能である。例えば、画像受信モジュール３１０は、画像およびポイントセットの両方を受信することが可能な単一のモジュールとして、ポイント受信モジュール３２０の中に統合することができる。
【００６１】
なお、前述の説明は単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、処理デバイス１３０は、ストレージモジュール（図３には示さず）をさらに含むことが可能である。このストレージモジュールは、処理デバイス１３０の何れかのコンポーネントによって実行された何らかのプロセスの過程で生成されたデータを格納するように構成されてよい。別の例として、処理デバイス１３０のコンポーネントの各々が１つのストレージモジュールに対応することが可能である。これに加えてまたは換えて、処理デバイス１３０のコンポーネントが共通のストレージモジュールを共用してもよい。
【００６２】
図４は、本開示のいくつかの実施形態による、環境情報を判断するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス４００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス４００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納され、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出されおよび／または実行されてよい。以下に提示する例示のプロセス４００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス４００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図４に示され、以下に説明する、プロセス４００のオペレーションの順序は、これに限定することは意図されていない。
【００６３】
いくつかの実施形態において、カメラ１２０は、画像を絶えずキャプチャし、それら画像をリアルタイムで処理デバイス１３０に送信してよい。１つ以上のＬｉＤＡＲは、ポイントセットを絶えず取得し、それらポイントセットをリアルタイムで処理デバイス１３０に送信してよい。処理デバイス１３０は、これら画像およびポイントセットを絶えず処理することが可能である。簡明化のため、プロセス４００を、画像およびその画像に対応するポイントセットを処理するためのプロセスとして説明することが可能である。なお、このプロセス４００の説明は単に例証のために提示されるものであり、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。処理デバイス１３０は、プロセス４００を反復することによって、画像およびポイントセットを処理することができる。
【００６４】
４１０において、画像受信モジュール３１０は、カメラ１２０から、該カメラ１２０の視野（例えば、車両からの距離がおよそ５００メートル）内にある１つ以上のオブジェクトに関する複数の画素を含む第一画像を受信することができる。
【００６５】
４２０において、ポイント受信モジュール３２０は、１つ以上のＬｉＤＡＲから、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信することが可能である。いくつかの実施形態において、この第一ポイントセットは、第一画像と同時に取得することができる。
【００６６】
いくつかの実施形態において、２つ以上のＬｉＤＡＲが車両上に設置されている場合、第一ポイントセットは、該２つ以上のＬｉＤＡＲによって取得されたポイントを含んでよい。例えば、車両上に、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６を設置することが可能である。第一ポイントセットは、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６によって取得されたポイントを含んでよい。
【００６７】
４３０において、ポイント情報判断モジュール３３０は、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定することが可能である。或るＬｉＤＡＲによって取得されたポイントは、それらポイントの反射強度、およびそのＬｉＤＡＲに対応する３Ｄ座標系の下で算定された該ポイントの３Ｄ座標を含み得る。いくつかの実施形態において、第一ポイントセットが単一のＬｉＤＡＲによって取得されたポイントを含む場合、ポイント情報判断モジュール３３０は、複数のポイントに基づいてそれらの第一３Ｄ座標を直接算定することができる。いくつかの実施形態では、相異なるＬｉＤＡＲは相異なる３Ｄ座標系に対応し得る。第一ポイントセットが、複数のＬｉＤＡＲによって取得されたポイントを含む場合、相異なるＬｉＤＡＲによって取得されたポイントの３Ｄ座標は、相異なった３Ｄ座標系に対応し得る。ポイント情報判断モジュール３３０は、（例えば、後記で図５に関連して詳しく説明するように）ＬｉＤＡＲの１つに対応する３Ｄ座標系を基準３Ｄ座標系として定め、他の３Ｄ座標系に対応する３Ｄ座標を、基準座標系の下での３Ｄ座標に変換することができる。
【００６８】
４４０において、区分結果生成モジュール３４０は、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいてこれら複数のポイントを分類することによって、区分結果を生成することが可能である。例えば、区分結果生成モジュール３４０は、３Ｄ座標がおおよそ近似しているポイントを同じグループに分類することができる。別の例として、区分結果生成モジュール３４０は、反射強度がおおよそ近似しているポイントを同じグループに分類することもできる。第一ポイントセット中のポイントは、区分結果に基づいて、概略的に数グループに分類されてよい。
【００６９】
区分結果生成モジュール３４０は、ポイントを分類できるアルゴリズムに従って、区分結果を生成することが可能である。例えば、このアルゴリズムは、クラスタリングアルゴリズムであってよい。このクラスタリングアルゴリズムは、区分化法、階層化法、密度ベース法、グリッドベース法、モデルベース法または同様のもの、あるいはこれらの任意の組合せを含んでよい。
【００７０】
４５０において、変換モジュール３５０は、複数のポイントの第一３Ｄ座標を該複数のポイントの第一２Ｄ座標に変換することが可能である。変換モジュール３５０は、（例えば、後記で図７および８に関連して詳しく説明するように）変換マトリックスを用いて複数のポイントの２Ｄ座標を算定することができる。
【００７１】
４６０において、種類判断モジュール３６０は、複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断することが可能である。種類判断モジュール３６０は、区分結果、および複数のポイントの第一２Ｄ座標に基づいて１つ以上のオブジェクトの各々に対する境界ボックスを算定することによって、第一画像中の１つ以上のオブジェクトを識別することができる。１つ以上のオブジェクトの１つに対し、種類判断モジュール３６０は、そのオブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、オブジェクトのポイントの数または同様のもの、あるいはこれらの任意の組合せに基づいて、オブジェクトの種類を判断することが可能である。オブジェクトの中心ポイントとは、オブジェクトの境界ボックスの中心の画素を指すとしてよい。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックスの中心の画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、中心ポイントの３Ｄ座標を算定することが可能である。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックス中に含まれる画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、当該オブジェクトの長さ、幅、および高さを算定することができる。オブジェクトのポイントの数は、ポイントの２Ｄ座標が境界ボックス中に含まれる画素の２Ｄ座標に近似している該ポイントのポイントの数としてよい。
【００７２】
種類判断モジュール３６０は、オブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、およびオブジェクトのポイントの数を、例えばＦａｓｔｅｒ−ＲＣＮＮモデルに入力することができる。Ｆａｓｔｅｒ−ＲＣＮＮモデルは、当該オブジェクトが各種のオブジェクト種類に属する確率を出力し、オブジェクトのオブジェクト種類として、最高の確率を有するオブジェクト種類を採ることができる。Ｆａｓｔｅｒ−ＲＣＮＮモデルは、例えば、車両に属する確率が４５％、人間に属する確率が６０％、および建物に属する確率が１０％であることを算定することができる。この場合、Ｆａｓｔｅｒ−ＲＣＮＮモデルは、オブジェクトを人間として判断することになろう。
【００７３】
４７０において、環境判断モジュール３７０は、オブジェクト種類に基づいて、第一画像中の１つ以上のオブジェクトに関する環境情報を判断することが可能である。いくつかの実施形態において、この１つ以上のオブジェクトに関する環境情報は、１つ以上のオブジェクトのオブジェクト種類、１つ以上のオブジェクトの少なくとも１つの運動状態、１つ以上のオブジェクトの少なくとも１つの、当車両に対する速度、１つ以上のオブジェクトの少なくとも１つの、当車両に対する加速度、１つ以上のオブジェクトの少なくとも１つの運動方向、当車両と１つ以上のオブジェクトの少なくとも１つとの間の距離または同様のもの、あるいはこれらの任意の組合せを含んでよい。運動状態は、静的状態および動いている状態を含み得る。
【００７４】
環境判断モジュール３７０は、２つの連続的な画像（例えば、カメラ１２０によってキャプチャされた第一画像の最初の画像および最後の画像）に基づいて環境情報を判断することが可能である。これら２つの連続的な画像中の同じオブジェクト種類のオブジェクトは、例えばデータ結合を用い、同じＩＤによって標識することができる。このデータ結合は、異なるノードからのデータの２つのセットが同じターゲットに属するかどうかを見分けるように構成されてよい。本開示において、データ結合は、２つのオブジェクトの特徴を照合することによって、２つの連続的な画像中の該２つのオブジェクトが同じオブジェクト種類に属するかどうかを見分けるために用いることができる。オブジェクトの特徴は、オブジェクトの中心ポイントの３Ｄ座標、オブジェクトの形状、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、オブジェクトのポイントの数または同様のもの、あるいはこれらの任意の組合せを含んでよい。
【００７５】
環境判断モジュール３７０は、第一画像中のオブジェクトの中心ポイントの３Ｄ座標に基づいて、該オブジェクトと当車両との間の距離を算定することができる。環境判断モジュール３７０は、第一画像の最初の画像と最後の画像との間の時間間隔、最初の画像中の車両とオブジェクトとの間の距離、および、最初の画像中のオブジェクトと同じオブジェクト種類（最後の画像中のオブジェクトをも指す）の、最後の画像中での当車両とそのオブジェクトとの間の距離に基づいて、最初の画像に関連する該オブジェクトの速度を算定することが可能である。例えば、最初の画像中の車両とオブジェクトとの間の距離がｄ１であり、最後の画像中の車両とオブジェクトとの間の距離がｄ２であり、最初の画像と最後の画像との間の時間間隔がｔ１であるとき、環境判断モジュール３７０は、最初の画像に関連するオブジェクトの速度を、｜ｄ１−ｄ２｜／ｔ１として算定することができる。環境判断モジュール３７０は、最初の画像と最後の画像との間の時間間隔、最初の画像に関連するオブジェクトの速度、および最後の画像に関連するオブジェクトの速度に基づいて、最初の画像に関連する該オブジェクトの加速度を算定することが可能である。例えば、最初の画像に関連するオブジェクトの速度がν１であり、最後の画像に関連するオブジェクトの速度がν２であり、最初の画像と最後の画像との間の時間間隔がｔ１であるとき、環境判断モジュール３７０は、最初の画像に関連するオブジェクトの加速度を、｜ν１−ν２｜／ｔ１として算定することができる。環境判断モジュール３７０は、最初の画像中のオブジェクトの中心ポイントの３Ｄ座標、および最後の画像中のオブジェクトの中心ポイントの３Ｄ座標に基づいて、最初の画像に関連するオブジェクトの運動方向を判断することが可能である。
【００７６】
当車両に対するオブジェクトの速度が、速度閾値（例えば、０．１ｍ／ｓ）以下であれば、環境判断モジュール３７０は、そのオブジェクトは、車両に対して静的であると判断してよい。当車両に対するオブジェクトの速度が、速度閾値（例えば、０．１ｍ／ｓ）よりも速い場合、環境判断モジュール３７０は、そのオブジェクトは、車両に対して動いていると判断してよい。
【００７７】
なお、前述の説明は単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス４００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。別の例として、処理デバイス１３０は、４１０と４２０とを同時に実行することができる。さらなる別の例として、処理デバイス１３０は、４５０の前、後、または４５０と同時に４４０を実行することが可能である。図５は、本開示のいくつかの実施形態による、第一ポイントセット中の複数のポイントの第一３Ｄ座標を算定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス５００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス５００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納し、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出しおよび／または実行することができる。以下に提示する例示のプロセス５００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス５００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図５に示され、以下に説明する、プロセス５００のオペレーションの順序は、これに限定することは意図されていない。いくつかの実施形態では、処理デバイス１３０は、プロセス５００に基づいてプロセス４００の４３０を実行してよい。
【００７８】
簡明化のため、第一ポイントセットが、第一ＬｉＤＡＲおよび第二ＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２およびＬｉＤＡＲ１１４）を包含する２つのＬｉＤＡＲから得たポイントを含むと仮定する。なお、このプロセス５００の説明は単に例証のために提示されるものであり、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。プロセス５００は、第一ポイントセットが２つより多いＬｉＤＡＲから得られたポイントを含む状態に対しても適用が可能である。
【００７９】
いくつかの実施形態において、第一ＬｉＤＡＲは第一３Ｄ座標系に対応することが可能である。第二ＬｉＤＡＲは、第一３Ｄ座標系とは異なる第二３Ｄ座標系に対応することが可能である。ポイント情報判断モジュール３３０は、基準３Ｄ座標系として第一３Ｄ座標系を選択してよい。
【００８０】
５１０において、ポイント情報判断モジュール３３０は、第一３Ｄ座標系に対応する第一ＬｉＤＡＲから得た第一ポイントサブセットの第二３Ｄ座標を算定することができる。いくつかの実施形態において、ポイント情報判断モジュール３３０は、第一ポイントサブセット中に含まれるポイントに基づいて、第一ポイントサブセットの第二３Ｄ座標を直接算定することが可能である。
【００８１】
５２０において、ポイント情報判断モジュール３３０は、第二３Ｄ座標系に対応する第二ＬｉＤＡＲから得た第二ポイントサブセットの第三３Ｄ座標を算定することができる。いくつかの実施形態において、ポイント情報判断モジュール３３０は、第二ポイントサブセット中に含まれるポイントに基づいて、第二ポイントサブセットの第三３Ｄ座標を直接算定することが可能である。
【００８２】
５３０において、ポイント情報判断モジュール３３０は、該第三３Ｄ座標を、第一３Ｄ座標系に対応する、第二ポイントサブセットの第四３Ｄ座標に変換することができる。
【００８３】
いくつかの実施形態において、ポイント情報判断モジュール３３０は、第一変換マトリックスを用いて、第三３Ｄ座標を第四３Ｄ座標に変換することが可能である。例えば、ポイント情報判断モジュール３３０は、下記の式（１）に基づいて第四３Ｄ座標を算定することができる。
【００８４】
【数１】
2019533133.tif 000003
【００８５】
上式のｘ１、ｙ１、およびｚ１は、第一３Ｄ座標系の下でのポイントの３Ｄ座標を示す。ｘ２、ｙ２、およびｚ２は、第二３Ｄ座標系の下でのポイントの３Ｄ座標を示す。Ｒ１Ｔ１は第一変換マトリックスを示す。Ｒ１は、回転マトリックスを示し、第二３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、第二３Ｄ座標系に対する第一３Ｄ座標系の回転角度を表す。Ｒ１は、下記の式（２）によって表すことができる。
【００８６】
【数２】
2019533133.tif 000004
【００８７】
上式のｒｏｌｌ１、ｐｉｔｃｈ１、およびｙａｗ１は、それぞれ、第二３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、第二３Ｄ座標系に対する第一３Ｄ座標系の回転角度を示す。Ｔ１は、転換マトリックスを示し、第一３Ｄ座標系の原点の第二３Ｄ座標系中の３Ｄ座標を表す。Ｔ１は、下記の式（３）によって表すことができる。
【００８８】
【数３】
2019533133.tif 000005
【００８９】
上式のΔｘ１、Δｙ１、およびΔｚ１は、第二３Ｄ座標系の下での第一３Ｄ座標系の原点の３Ｄ座標を示す。
【００９０】
いくつかの実施形態において、処理デバイス１３０は、前もってオフラインで、第一変換マトリックスを算定することができる。第一変換マトリックスを算定した後、処理デバイス１３０は、その第一変換マトリックスをストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）の中に格納することが可能である。ポイント情報判断モジュール３３０は、第一変換マトリックスを得るためそのストレージ媒体にアクセスすればよい。処理デバイス１３０は、以下の（ａ１）および（ｂ１）のオペレーションに基づいて第一変換マトリックスを算定することができる。
【００９１】
（ａ１）処理デバイス１３０は、第一ＬｉＤＡＲから第一ポイントを、第二ＬｉＤＡＲから第二ポイントを得ることが可能である。これら第一ポイントおよび第二ポイントは、同じオブジェクトに関するものとしてよい。
【００９２】
（ｂ１）処理デバイス１３０は、第一ポイントの３Ｄ座標と第二ポイントの３Ｄ座標とを照合することによって第一変換マトリックスを算定することができる。例えば、処理デバイス１３０は、ポイントクラウド照合法を用いて、第一ポイントの３Ｄ座標と第二ポイントの３Ｄ座標とを照合してよい。このポイントクラウド照合法は、反復最近傍ポイント（ＩＣＰ：ｉｔｅｒａｔｉｖｅ  ｃｌｏｓｅｓｔ  ｐｏｉｎｔ）法を含んでよい。
【００９３】
いくつかの実施形態において、第一ＬｉＤＡＲと第二ＬｉＤＡＲとの間の相対位置が一定の場合、この第一変換マトリックス（例えば、Ｒ１およびＴ１）も一定であり得る。
【００９４】
５４０において、ポイント情報判断モジュール３３０は、第二３Ｄ座標および第四３Ｄ座標に基づいて、第一３Ｄ座標を算定することができる。
【００９５】
なお、前述の説明は単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス５００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。別の例として、ポイント情報判断モジュール３３０は、５２０、５３０、または５４０の前に５１０を実行することが可能である。さらなる別の例として、ポイント情報判断モジュール３３０は、５１０と５２０とを同時に実行してもよい。
【００９６】
図６は、本開示のいくつかの実施形態による、第一３Ｄ座標を第一２Ｄ座標に変換するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス６００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス６００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納し、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出しおよび／または実行することができる。以下に提示する例示のプロセス６００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス６００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図６に示され、以下に説明する、プロセス６００のオペレーションの順序は、これに限定することは意図されていない。いくつかの実施形態では、処理デバイス１３０は、プロセス６００に基づいてプロセス４００の４５０を実行してよい。
【００９７】
６１０において、変換モジュール３５０は、第二変換マトリックスを得ることができる。いくつかの実施形態において、処理デバイス１３０は、（例えば、図７に関連して詳しく説明するように）前もってオフラインで、第二変換マトリックスを算定することが可能である。第二変換マトリックスを算定した後、処理デバイス１３０は、その第二変換マトリックスをストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）の中に格納することが可能である。変換モジュール３５０は、第二変換マトリックスを得るためそのストレージ媒体にアクセスすればよい。
【００９８】
６２０において、変換モジュール３５０は、第二変換マトリックスに基づいて、複数のポイントの第一３Ｄ座標を複数のポイントの第一２Ｄ座標に変換することができる。例えば、変換モジュール３５０は、下記の式（４）に基づいてこれら２Ｄ座標を算定することが可能である。
【００９９】
【数４】
2019533133.tif 000006
【０１００】
上式のｕ１およびｖ１は、第一ポイントセット中のポイントの２Ｄ座標を示す。ｘ、ｙ、およびｚは、その点の３Ｄ座標を示す。Ｒ２Ｔ２は第二変換マトリックスを示す。Ｒ２は、回転マトリックスを示し、３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、第一３Ｄ座標に対応する３Ｄ座標系に対する、第一画像に対応する２Ｄ座標系の回転角度を表す。Ｒ２は、下記の式（５）によって表すことができる。
【０１０１】
【数５】
2019533133.tif 000007
【０１０２】
上式のｒｏｌｌ２、ｐｉｔｃｈ２、およびｙａｗ２は、それぞれ、３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、３Ｄ座標系に対する２Ｄ座標系の回転角度を示す。Ｔ２は、変換マトリックスを示し、３Ｄ座標系の下での２Ｄ座標系の原点の３Ｄ座標を表す。Ｔ２は、下記の式（６）によって表すことができる。
【０１０３】
【数６】
2019533133.tif 000008
【０１０４】
上式のΔｘ１、Δｙ１、およびΔｚ１は、３Ｄ座標系の下での２Ｄ座標系の原点の３Ｄ座標を示す。
【０１０５】
なお、前述の説明は、単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス６００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。
【０１０６】
図７は、本開示のいくつかの実施形態による、第二変換マトリックスを算定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス７００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス７００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納し、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出しおよび／または実行することができる。以下に提示する例示のプロセス７００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス７００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図７に示され、以下に説明する、プロセス７００のオペレーションの順序はこれに限定することは意図されていない。いくつかの実施形態において、処理デバイス１３０は、プロセス７００に基づいてプロセス６００の６１０を実行することができる。
【０１０７】
７１０において、処理デバイス１３０は、ＬｉＤＡＲから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信することができる。このターゲットは、静的２Ｄパターンを含んでよい。この静的２Ｄパターンは、１つ以上のポイントを含んでよく、その各々は円の中心であってよい。例えば、このターゲットは、それぞれが円の中心であってよい、６つのポイントを有する静的２Ｄパターンであり得る。これら１つ以上のポイントはどのような順序で配置されてもよい。１つ以上のＬｉＤＡＲは、これら６つの中心にレーザビームを放射することができる。この第二ポイントセットは、６つの円の中心に対応する６つのポイントを含むことが可能である。いくつかの実施形態において、当該ＬｉＤＡＲは基準３Ｄ座標系に対応することができる。例えば、３つのＬｉＤＡＲが車両上に設置されている場合、処理デバイス１３０は、カメラ１２０と、ＬｉＤＡＲに対応して３Ｄ座標系が基準３Ｄ座標系として選択された該ＬｉＤＡＲと、の間の変換マトリックスを算定することが可能である。
【０１０８】
７２０において、処理デバイス１３０は、カメラ１２０から、ターゲットに関する複数の画素を含む第二画像を受信することができる。例えば、ターゲットが６つそれぞれの円の６つの中心である場合、カメラ１２０は、それら６つの中心を含む第二画像をキャプチャすることが可能である。
【０１０９】
７３０において、処理デバイス１３０は、第二ポイントセットの第五３Ｄ座標を算定することができる。いくつかの実施形態において、処理デバイス１３０は、第二ポイントセット中のポイントに基づいて第五３Ｄ座標を直接算定することが可能である。
【０１１０】
７４０において、処理デバイス１３０は、ターゲットに関する第二画像の画素の第二２Ｄ座標を算定することができる。いくつかの実施形態において、処理デバイス１３０は、ターゲットに関する画素（例えば、６つそれぞれの円の６つの中心に対応する６つの画素）を識別し、それら画素の第二２Ｄ座標を算定することが可能である。例えば、第二画像をキャプチャした後、カメラ１２０は、その第二画像を処理デバイス１３０に送信することができる。第二画像を受信した後、処理デバイス１３０は、その第二画像をスクリーン上に表示してよい。ユーザ（例えば、技術者）は、そのスクリーンを介し、手またはマウスを使い画素をクリックすることによって、ターゲットに関連する画素を選択することが可能である。別の例として、処理デバイス１３０は、画像認識技術（例えば、テンプレート照合、ＳＶＭ分類、または濃淡値ベースの方法）に基づいて、それら画素を自動的に判定することができる。
【０１１１】
７５０において、処理デバイス１３０は、第五３Ｄ座標および第二２Ｄ座標に基づいて、第二変換マトリックスを算定することができる。いくつかの実施形態において、処理デバイス１３０は、最小二乗法に基づいて第二変換マトリックスを算定することが可能である。処理デバイス１３０は、下記の（ａ２）〜（ｄ２）のオペレーションに基づいて、第二変換マトリックスを算定すればよい。
【０１１２】
（ａ２）処理デバイス１３０は、予備変換マトリックスを設定することができる。この予備変換マトリックスは、ユーザ（例えば、技術者）の経験、または環境情報検出システム１００によるデフォルト設定に基づいて算定されてよい。
【０１１３】
（ｂ２）処理デバイス１３０は、予備変換マトリックスおよび第二ポイントセット中のポイントの第五３Ｄ座標に基づいて、該第二ポイントセット中のポイントの見積り２Ｄ座標を算定することができる。
【０１１４】
（ｃ２）処理デバイス１３０は、第二ポイントセット中のポイントのこれら推定２Ｄ座標を、ターゲットに関連する画素の第二２Ｄ座標と対比することができる。また、処理デバイス１３０は、第二ポイントセット中のポイントの推定２Ｄ座標とターゲットに関連する画素の第二２Ｄ座標との間の偏差平方和を算定することが可能である。
【０１１５】
（ｄ２）処理デバイス１３０は、この偏差平方和が域値（例えば、０．０１）より小さいかどうかを判断することができる。処理デバイス１３０は、該偏差平方和が域値（例えば、０．０１）より小さいとの判断に応じて、該予備変換マトリックスを第二変換マトリックスとして決定する。処理デバイス１３０は、該偏差平方和が域値（例えば、０．０１）以上であるとの判断に応じて、（ａ２）〜（ｄ２）を繰り返してよい。
【０１１６】
単なる例示であるが、処理デバイス１３０は、下記の式（７）および（８）に基づいて、第二変換マトリックスを算定することが可能である。
【０１１７】
【数７】
2019533133.tif 000009
【０１１８】
および
【０１１９】
【数８】
2019533133.tif 000010
【０１２０】
上式のｘ３、ｙ３、およびｚ３は、第二ポイントセット中のポイントの３Ｄ座標を示す。ｕ’およびν’は、そのポイントの推定２Ｄ座標を示す。Ｒ’２Ｔ’２は、予備変換マトリックスを示す。ｕ２およびν２は、該ポイントに対応する、第二画像中の画素の２Ｄ座標を示す。ｎは、第二ポイントセット中のポイントの数を示す。例えば、ターゲットが６つの円の６つの中心である場合、第二ポイントセット中のポイントの数は６（ｎ＝６）であってよい。φは、第二ポイントセット中のポイントの推定２Ｄ座標と、ターゲットに関連する画素の第二２Ｄ座標との間の偏差平方和を示す。
【０１２１】
いくつかの実施形態において、ＬｉＤＡＲとカメラ１２０との間の相対位置が一定の場合、この第二変換マトリックス（例えば、Ｒ２およびＴ２）も一定であり得る。
【０１２２】
なお、前述の説明は、単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス７００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。別の例として、処理デバイス１３０は、７２０の前、後、または７２０と同時に７１０を実行することができる。さらなる別の例として、処理デバイス１３０は、７４０の前、後、または７４０と同時に７３０を実行することが可能である。
【０１２３】
基本的な構想を上記で説明してきたが、当業者には、本詳細な開示を読了した後、前述した詳細な開示が単なる例示のための提示を意図されたものであり、限定でないことは十分に明らかであろう。本明細書には明示で述べられてはいないが、様々な変形、改良、および変更を行うことが可能で、それらは当業者のため意図されている。これらの変形、改良、および変更は、本開示によって示唆するように意図されたものであり、本開示の例示的な諸実施形態の趣旨および範囲内にある。
【０１２４】
さらに、本開示の諸実施形態を説明するために特定の用語を用いてきた。例えば、用語「一実施形態」、「或る実施形態」、および／または「いくつかの実施形態」は、その実施形態に関連して説明された或る特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態中に含まれることを意味する。従って、本明細書の様々な部分における「或る実施形態」または「一実施形態」または「別の実施形態」は、必ずしも、それらの全てが同一の実施形態を指すものではない。加えて、これら特定の特徴、構造、または特性は、適切な場合、本開示の１つ以上の実施形態の中で組合せられてよい。
【０１２５】
さらに、当業者には当然のことながら、本開示の態様は、一切の新規且つ有用なプロセス、機械、製造、もしくは合成物、またはそれらの一切の新規且つ有用な改良を含め、数多くの特許性のある部類およびコンテキストにいずれかで、本明細書中に例証し説明することが可能である。したがって、本開示の態様は、全体をハードウェアで、全体をソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で、もしくは、ソフトウェアおよびハードウェア実装を組み合わせ実装することができ、これらの全ては、一般に本明細書では「ユニット」、「モジュール」、または「システム」と称することがある。さらに、本開示の態様は、具現化されたコンピュータ可読プログラムコードを有する一つ以上のコンピュータ可読媒体中に具現化された、コンピュータプログラム製品の形を取ることも可能である。
【０１２６】
コンピュータ可読信号媒体は、例えばベースバンド中にまたは搬送波の一部として具現化されたコンピュータ可読プログラムコードを有する、伝播データ信号を含んでよい。かかる伝播信号は、電磁気的、光学的または同様の、さまざまな形態、あるいはこれらの任意の適切な組合せを含め、任意の形を取ることが可能である。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではないが、命令実行システム、装置、もしくはデバイスによって、またはこれらに関連させて使用するためのプログラムの通信、伝播、または伝送が可能な任意のコンピュータ可読媒体であってよい。コンピュータ可読信号媒体上に具現化されたプログラムコードは、ワイヤレス、有線、光ファイバケーブル、ＲＦまたは同様のもの、あるいは前述の任意の適した組み合わせを含め、任意の適切な媒体を用いて送信することができる。
【０１２７】
本開示の態様のオペレーションを実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｅｉｆｆｅｌ、ＪＡＤＥ、Ｅｍｅｒａｌｄ、Ｃ＋＋、Ｃ＃、ＶＢ．ＮＥＴ、Ｐｙｔｈｏｎまたは同様のものなどのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｆｏｒｔｒａｎ２００３、Ｐｅｒｌ、ＣＯＢＯＬ２００２、ＰＨＰ、ＡＢＡＰなどの従来式手続き型プログラミング言語、Ｐｙｔｈｏｎ、ＲｕｂｙおよびＧｒｏｏｖｙなどの動的プログラミング言語、または他のプログラミング言語を含む、一つ以上のプログラミング言語の任意の組み合わせで記述することができる。このプログラムコードは、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータで専ら実行しても、ユーザのコンピュータで部分的に実行してもよく、一部をユーザのコンピュータで一部を遠隔コンピュータで実行してもよく、あるいは遠隔のコンピュータまたはサーバで専ら実行してもよい。後者の場合は、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、遠隔コンピュータをユーザのコンピュータに接続することもでき、もしくは（例えばインターネット・サービス・プロバイダを使いインターネットを介し）外部のコンピュータに、またはクラウドコンピューティング環境に接続を行うことも、あるいはソフトウェアアズサービス（ＳａａＳ：Ｓｏｆｔｗａｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ）などのサービスの提供を受けることも可能である。
【０１２８】
さらに、処理要素またはシーケンスの記載された順序、あるいは、数字、文字、または他の称号の使用は、したがって、特許請求の範囲に指定されている場合を除き、請求されるプロセスおよび方法をいかなる順序に限定することも意図されていない。上記の開示は、現在、本開示の種々の有用な実施形態と考えられる様々な例を通して説明しているが、当然のことながら、かかる詳細は説明目的だけのためであり、添付の特許請求の範囲は開示された実施形態に限定されるものでなく、それとは逆に、開示された実施形態の趣旨と範囲内にある諸々の変更および等価のアレンジメントを網羅することが意図されている。例えば、前述の様々なコンポーネントの実装は、ハードウェアデバイスで具現化できるが、ソフトウェアだけのソリューション、例えば既存のサーバまたは携帯デバイスへのインストールとして実装することも可能である。
【０１２９】
同様に、当然ながら、本開示の実施形態の前述の説明では、本開示を簡明化し、様々な実施形態の１つ以上の理解を助力するために、時として様々な特徴を一緒に単一の実施形態、図、説明にまとめている。しかしながら、この開示の仕方が、請求される主題が各請求項に明示で記載されたものより多くの特徴を必要とするとの意図を反映している、と解釈されるべきではない。それどころか、請求される主題は、前述で開示された単一の実施形態の部分的な特徴の中にあり得る。
【図１】
2019533133.tif 000011
【図２】
2019533133.tif 000012
【図３】
2019533133.tif 000013
【図４】
2019533133.tif 000014
【図５】
2019533133.tif 000015
【図６】
2019533133.tif 000016
【図７】
2019533133.tif 000017
【手続補正書】
【提出日】平成31年2月25日(2019.2.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
命令のセットを格納するストレージデバイスと、
前記ストレージデバイスと通信するように構成された１つ以上のプロセッサと、
を含むシステムであって、
前記命令のセットを実行したとき、前記１つ以上のプロセッサは、前記システムに、
カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信させ、
１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信させ、
前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定させ、
前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成させ、
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換させ、
前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断させる、
ように構成される、
システム。
【請求項２】
前記１つ以上のプロセッサは、前記システムに、
前記オブジェクト種類に基づいて、前記１つ以上のオブジェクトに関する環境情報を判断させる、
ようにさらに構成される、
請求項１に記載のシステム。
【請求項３】
前記１つ以上のオブジェクトに関する前記環境情報は、
前記１つ以上のオブジェクトの前記オブジェクト種類と、
前記１つ以上のオブジェクトの少なくとも１つの運動状態と、
前記１つ以上のＬｉＤＡＲおよび前記カメラを含む車両に対する、前記１つ以上のオブジェクトの少なくとも１つの速度と、
前記１つ以上のオブジェクトの少なくとも１つの前記車両に対する加速度と、
前記１つ以上のオブジェクトの少なくとも１つの運動方向と、
前記１つ以上のオブジェクトの少なくとも１つと前記車両との間の距離と、
のうちの少なくとも１つを含む、請求項２に記載のシステム。
【請求項４】
前記第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含む、請求項１に記載のシステム。
【請求項５】
前記複数のポイントの前記第一３Ｄ座標を算定するために、前記１つ以上のプロセッサは、前記システムに、
前記第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する前記第一ポイントサブセットの第二３Ｄ座標を算定させ、
前記第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する前記第二ポイントサブセットの第三３Ｄ座標を算定させ、
前記第三３Ｄ座標を、前記第一３Ｄ座標系に対応する、前記第二ポイントサブセットの第四３Ｄ座標に変換させ、
前記第一ポイントサブセットの前記第二３Ｄ座標および前記第二ポイントサブセットの前記第四３Ｄ座標に基づいて、前記第一３Ｄ座標を算定させる、
ように構成される、請求項４に記載のシステム。
【請求項６】
前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換するために、前記１つ以上のプロセッサは、前記システムに、
変換マトリックスを得させ、
前記変換マトリックスに基づいて、前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換させる、
ように構成される、請求項１に記載のシステム。
【請求項７】
前記変換マトリックスを得るために、前記１つ以上のプロセッサは、前記システムに、
前記１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信させ、
前記カメラから、前記ターゲットに関する複数の画素を含む第二画像を受信させ、
前記ターゲットに関する前記複数のポイントの第二３Ｄ座標を算定させ、
前記ターゲットに関する前記複数の画素の第二２Ｄ座標を算定させ、
前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて前記変換マトリックスを算定させる、
ように構成される、請求項６に記載のシステム。
【請求項８】
前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて前記変換マトリックスを算定するために、前記１つ以上のプロセッサは、前記システムに、
最小二乗法によって前記変換マトリックスを算定させる、
ように構成される、請求項７に記載のシステム。
【請求項９】
前記ターゲットは、各々が円の中心である１つ以上のポイントを有する２Ｄパターンを含む、請求項７に記載のシステム。
【請求項１０】
前記１つ以上のオブジェクトの前記オブジェクト種類を判断するために、前記１つ以上のプロセッサは、前記システムに、
Ｆａｓｔｅｒ−ＲＣＮＮモデルによって前記１つ以上のオブジェクトの前記オブジェクト種類を判断させる、
ように構成される、請求項１に記載のシステム。
【請求項１１】
１つ以上のプロセッサ、およびストレージデバイスを有するコンピューティングデバイス上に実装された方法であって、
カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するステップと、
１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するステップと、
前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定するステップと、
前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成するステップと、
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換するステップと、
前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断するステップと、
を含む、方法。
【請求項１２】
前記方法は、
前記オブジェクト種類に基づいて、前記１つ以上のオブジェクトに関する環境情報を判断するステップ、
をさらに含み、
前記１つ以上のオブジェクトに関する前記環境情報は、
前記１つ以上のオブジェクトの前記オブジェクト種類と、
前記１つ以上のオブジェクトの少なくとも１つの運動状態と、
前記１つ以上のＬｉＤＡＲおよび前記カメラを含む車両に対する、前記１つ以上のオブジェクトの少なくとも１つの速度と、
前記１つ以上のオブジェクトの少なくとも１つの前記車両に対する加速度と、
前記１つ以上のオブジェクトの少なくとも１つの運動方向と、
前記１つ以上のオブジェクトの少なくとも１つと前記車両との間の距離と、
のうちの少なくとも１つを含む、
請求項１１に記載の方法。
【請求項１３】
前記第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含み、
前記複数のポイントの前記第一３Ｄ座標を前記算定するステップは、
前記第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する前記第一ポイントサブセットの第二３Ｄ座標を算定するステップと、
前記第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する前記第二ポイントサブセットの第三３Ｄ座標を算定するステップと、
前記第三３Ｄ座標を、前記第一３Ｄ座標系に対応する、前記第二ポイントサブセットの第四３Ｄ座標に変換するステップと、
前記第一ポイントサブセットの前記第二３Ｄ座標および前記第二ポイントサブセットの前記第四３Ｄ座標に基づいて、前記第一３Ｄ座標を算定するステップと、
を含む、
請求項１１に記載の方法。
【請求項１４】
前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの前記第一２Ｄ座標に前記変換するステップは、
変換マトリックスを得るステップと、
前記変換マトリックスに基づいて、前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換するステップと、
を含む、請求項１１に記載の方法。
【請求項１５】
前記変換マトリックスを前記得るステップは、
前記１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信するステップと、
前記カメラから、前記ターゲットに関する複数の画素を含む第二画像を受信するステップと、
前記ターゲットに関する前記複数のポイントの第二３Ｄ座標を算定するステップと、
前記ターゲットに関する前記複数の画素の第二２Ｄ座標を算定するステップと、
前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて、前記変換マトリックスを算定するステップと、
を含む、請求項１４に記載の方法。
【国際調査報告】
2019533133.tif 000018
2019533133.tif 000019