(57)【特許請求の範囲】
【請求項１】
第１のフレームレートで車両の周囲環境を表示するセンサーデータの第１の複数のフレームを、演算装置にて受け取るステップと、
第２のフレームレートで前記車両の前記周囲環境を表示するセンサーデータの第２の複数のフレームを、前記演算装置にて受け取るステップと、
第１の時間における周囲環境を表示する前記第１の複数のフレーム中の第１のフレームと、前記第２の複数のフレーム中の第１のフレームの前記第１の時間に対応する部分とに基づき、前記車両の前記周囲環境にある１つ以上の物体の複数のパラメータを判断するステップと、
第２の時間における前記周囲環境を表示する前記第１の複数のフレーム中の後続のフレームと、前記第２の複数のフレーム中の第１のフレームの少なくとも前記第２の時間に対応する後続の部分とに基づき、前記１つ以上の物体の前記複数のパラメータを修正するステップと、
前記１つ以上の物体の前記複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供するステップと、
を具備する方法。
【請求項２】
前記演算装置は、第１のセンサーからセンサーデータの前記第１の複数のフレームを受け取り、第２のセンサーからセンサーデータの前記第２の複数のフレームを受け取ることを特徴とする請求項１に記載の方法。
【請求項３】
前記第１のセンサーは、カメラシステムであり、前記第２のセンサーは、ＬＩＤＡＲであることを特徴とする請求項２に記載の方法。
【請求項４】
前記１つ以上の物体の前記複数の修正されたパラメータに基づき、前記車両の１つ以上のシステムに障害物を回避する命令を提供するステップをさらに具備することを特徴とする請求項１に記載の方法。
【請求項５】
前記第２のフレームレートは、前記第１のフレームレートより低いことを特徴とする請求項１に記載の方法。
【請求項６】
前記車両の前記周囲環境にある前記１つ以上の物体の前記複数のパラメータを判断するステップは、
前記周囲環境にある前記１つ以上の物体のそれぞれの物体に対応する位置、速度、大きさ、及び加速度のうちの１つ以上を示す情報を推定するステップを具備することを特徴とする請求項１に記載の方法。
【請求項７】
前記１つ以上の物体の前記複数のパラメータを修正するステップは、
前記周囲環境にある前記１つ以上の物体のそれぞれの物体に対応する位置、速度、大きさ、及び加速度のうちの１つ以上の変化を示す情報を推定するステップを具備することを特徴とする請求項１に記載の方法。
【請求項８】
前記車両の前記周囲環境にある前記１つ以上の物体の前記複数のパラメータを判断するステップは、
前記１つ以上の物体のそれぞれの１つ以上の軌道を推定するステップであって、前記１つ以上の軌道は、それぞれの物体のその後の位置パターンを示すものであることを特徴とする請求項１に記載の方法。
【請求項９】
前記１つ以上の物体の前記複数のパラメータを修正するステップは、
前記１つ以上の物体の前記複数のパラメータにおける１つ以上の変化に基づき、ぞれぞれの物体の前記１つ以上の軌道を調整するステップをさらに具備することを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１の時間における前記周囲環境を表示する前記第１の複数のフレーム中の第１のフレームと、前記第２の複数のフレーム中の第１のフレームの前記第１の時間に対応する部分とに基づき、前記車両の前記周囲環境にある１つ以上の物体の前記複数のパラメータを判断するステップは、
前記第１の複数のフレーム中の第１のフレームにデータ分析を行い、前記第２の複数のフレーム中の第１のフレームにデータ分析を行うステップであって、前記データ分析を行うステップは、前記演算装置が確率論的ゲーティングを用いて、所定のフレーム内の計測値を前記周囲環境にあるそれぞれの物体に関連付けるステップと、
前記第１の複数のフレーム中の第１のフレームについての前記データ分析、及び、前記第２の複数のフレーム中の第１のフレームについての前記データ分析の前記第１の時間に対応する部分に基づき、前記車両の前記周囲環境の１つ以上の物体の複数のパラメータを判断するステップと、
を具備することを特徴とする請求項１に記載の方法。
【請求項１１】
前記１つ以上の物体の前記複数のパラメータを修正するステップは、
第２の時間における前記周囲環境を表示する前記第１の複数のフレーム中の後続のフレームについて後続のデータ分析を行うステップであって、後続のデータ分析を行うステップは、前記演算装置が確率論的ゲーティングを用いて、前記後続のフレーム内の計測値を前記周囲環境にあるそれぞれの物体に関連付けるステップを具備することを特徴とする、ステップと、
前記第１の複数のフレーム中の後続のフレームについての後続のデータ分析、及び、前記第２の複数のフレーム中の第１のフレームについての前記データ分析の前記第２の時間に対応する後続の部分に基づき、前記１つ以上の物体の前記複数のパラメータを修正するステップと、
を具備することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記車両の前記１つ以上のシステムに、前記１つ以上の物体の前記修正した複数のパラメータを提供するステップには、前記周囲環境中の前記１つ以上の物体のそれぞれの物体の概要を描く１つ以上の概念的ゲートを提供するステップが含まれることを特徴とする請求項１に記載の方法。
【請求項１３】
少なくとも１つのプロセッサーと、
命令が保存されたメモリーと、
を具備するシステムであって、前記命令が前記少なくとも１つのプロセッサーで実行されたとき、システムに、
第１のフレームレートで車両の周囲環境を表示するセンサーデータの第１の複数のフレームを受け取るステップと、
第２のフレームレートで前記車両の前記周囲環境を表示するセンサーデータの第２の複数のフレームを受け取るステップと、
第１の時間における周囲環境を表示する前記第１の複数のフレーム中の第１のフレームと、前記第２の複数のフレーム中の第１のフレームの前記第１の時間に対応する部分とに基づき、前記車両の前記周囲環境にある１つ以上の物体の複数のパラメータを判断するステップと、
第２の時間における前記周囲環境を表示する前記第１の複数のフレーム中の後続のフレームと、前記第２の複数のフレーム中の第１のフレームの少なくとも前記第２の時間に対応する後続の部分とに基づき、前記１つ以上の物体の前記複数のパラメータを修正するステップと、
前記１つ以上の物体の前記複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供するステップと、
を具備する機能を実行させることを特徴とするシステム。
【請求項１４】
前記第１のフレームレートで前記車両の前記周囲環境を表示するセンサーデータの第１の複数のフレームを受け取るステップは、第１のレイテンシーレベルで前記第１の複数のフレームのそれぞれのフレームを受け取るステップを具備し、
前記第２のフレームレートで前記車両の前記周囲環境を表示するセンサーデータの前記第２の複数のフレームを受け取るステップは、閾値が前記第１のレイテンシーレベルより高い第２のレイテンシーレベルで前記第２の複数のフレームのそれぞれのフレームを受け取るステップを具備することを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記第１の時間における前記周囲環境を表示する前記第１の複数のフレーム中の第１のフレームと、前記第２の複数のフレーム中の第１のフレームの前記第１の時間に対応する部分とに基づき、前記車両の前記周囲環境にある１つ以上の物体の前記複数のパラメータを判断するステップは、
前記第１の複数のフレーム中の第１のフレームの受け取りに応答して、前記１つ以上の物体中のそれぞれの物体の１つ以上の軌道を推定するステップであって、前記１つ以上の軌道は、それぞれの物体のその後の位置パターンを示すものであることを特徴とするステップと、
前記第２の複数のフレーム中の第１のフレームの受け取りに応答して、前記１つ以上の物体中の前記それぞれの物体の前記１つ以上の軌道を調整するステップと、
を具備することを特徴とする請求項１３に記載のシステム。
【請求項１６】
前記１つ以上の物体の前記複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供するステップは、
前記１つ以上の物体中の前記それぞれの物体の前記１つ以上の調整済みの軌道を、前記車両の１つ以上のシステムに提供するステップを具備することを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記第１の時間における前記周囲環境を表示する前記第１の複数のフレーム中の第１のフレームと、前記第２の複数のフレーム中の第１のフレームの前記第１の時間に対応する部分とに基づき、前記車両の前記周囲環境にある１つ以上の物体の前記複数のパラメータを判断するステップは、
前記第１の複数のフレーム中の第１のフレームの受け取りに応答して、前記車両の前記周囲環境にある１つ以上の物体の前記複数のパラメータを判断するステップと、
前記第１の複数のフレーム中の第１のフレームを受け取った後に、前記第２の複数のフレーム中の第１のフレームの受け取りに応答して、前記車両の前記周囲環境にある１つ以上の物体の前記複数のパラメータを調整するステップと、
を具備することを特徴とする請求項１３に記載のシステム。
【請求項１８】
命令を記憶させた非一時的なコンピュータ読み取り可能媒体であって、該命令は、演算装置で実行させたとき、演算装置に、
第１のフレームレートで車両の周囲環境を表示するセンサーデータの第１の複数のフレームを受け取るステップと、
第２のフレームレートで前記車両の前記周囲環境を表示するセンサーデータの第２の複数のフレームを受け取るステップと、
第１の時間における周囲環境を表示する前記第１の複数のフレーム中の第１のフレームと、前記第２の複数のフレーム中の第１のフレームの前記第１の時間に対応する部分とに基づき、前記車両の前記周囲環境にある１つ以上の物体の複数のパラメータを判断するステップと、
第２の時間における前記周囲環境を表示する前記第１の複数のフレーム中の後続のフレームと、前記第２の複数のフレーム中の第１のフレームの少なくとも前記第２の時間に対応する後続の部分とに基づき、前記１つ以上の物体の前記複数のパラメータを修正するステップと、
前記１つ以上の物体の前記複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供するステップと、
を具備する機能を実行させることを特徴とする非一時的なコンピュータ読み取り可能媒体。
【請求項１９】
前記第２の複数のフレーム中の第１のフレームの少なくとも前記第２の時間に対応する後続の部分は、
前記第２の複数のフレーム中の第１のフレームの残りの部分と、
前記第２の複数の後続のフレームの前記第２の時間に対応する部分と、
を具備することを特徴とする請求項１８に記載の非一時的なコンピュータ読み取り可能媒体。
【請求項２０】
前記車両の前記周囲環境にある１つ以上の物体の前記複数のパラメータを判断するステップは、さらに、前記第１の時間における前記周囲環境を表示する第３の複数のフレーム中の第１のフレームの少なくとも１部に基づき、前記第３の複数のフレームは、第３のセンサーから受け取ったデータに対応することを特徴とする、請求項１８に記載の非一時的なコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
この出願は、２０１４年４月２５日に出願された米国特許出願番号１４/２６２，２６９に基づく優先権を主張するものであり、この米国特許出願の開示内容を本出願にすべて組み込むものとする。
【背景技術】
【０００２】
本明細書に別段の記載がない限り、ここに記載された材料は本願の特許請求の範囲に対する先行技術とはならず、ここに記載されていることを以って、先行技術であるとされることを認めるものではない。
【０００３】
車両は、車両のセンサーにより周囲状況について集めた情報を用いて走行経路を走行することができる。そして、車両の演算装置は、交通規則に従い、障害物を避けて走行経路を走行するために、車両センサーから提供された情報を受け取り、処理することができる。自律走行車両は、車両の周辺を走査しデータを記録するために、レーザー、ソナー、レーダー、カメラ、その他のような、センサーを用いて、動作することができる。
【発明の概要】
【０００４】
本願は、複数のセンサーを用いて物体を検出するための方法及びシステムに関する実施の形態を開示する。
【０００５】
１つの例によれば、本願は、方法について記載する。この方法は、演算装置にて、第１のフレームレートで車両の周囲環境を表示するセンサーデータの第１の複数のフレームを受け取るステップを具備することができる。この方法は、また、演算装置にて、第２のフレームレートで車両の周囲環境を表示するセンサーデータの第２の複数のフレームを受け取るステップを含むことができる。この方法は、さらに、第１の時間に周囲環境を表示する第１の複数のフレーム中の第１のフレームと、第１の時間に対応する、第２の複数のフレーム中の第１のフレームの部分とに基づき、前記車両の周囲環境にある１つ以上の物体の複数のパラメータを判断するステップを含むことができる。加えて、この方法は、第２の時間に周囲環境を表示する第１の複数のフレーム中の後続のフレームと、第２の時間に対応する、第２の複数のフレーム中の第１のフレームの少なくとも後続の部分とに基づき、前記１つ以上の物体の複数のパラメータを修正し、前記１つ以上の物体の複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供するステップを含むことができる。
【０００６】
別の例では、本願は、演算装置により実行することによりその演算装置に機能を発揮させる、実行可能な命令を格納する、非一時的なコンピュータ読み取り可能媒体について記載する。この機能は、第１のフレームレートで、車両の周囲環境を表示するセンサーデータの第１の複数のフレームを受け取る機能を具備することができる。この機能は、また、第２のフレームレートで車両の周囲環境を表示するセンサーデータの第２の複数のフレームを受け取る機能を含むことができる。この機能は、さらに、第１の時間に周囲環境を表示する第１の複数のフレーム中の第１のフレームと、第１の時間に対応する、第２の複数のフレーム中の第１のフレームの部分とに基づき、前記車両の周囲環境にある１つ以上の物体の複数のパラメータを判断する機能を含むことができる。加えて、この機能は、第２の時間に周囲環境を表示する第１の複数のフレーム中の後続のフレームと、第２の時間に対応する、第２の複数のフレーム中の第１のフレームの少なくとも後続の部分とに基づき、前記１つ以上の物体の複数のパラメータを修正し、前記１つ以上の物体の複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供する機能を含むことができる。
【０００７】
さらに別の例では、本願は、システムについて記載する。このシステムは、少なくとも１つのプロセッサーを具備する。このシステムは、また、少なくとも１つのプロセッサーにより実行されることにより、第１のフレームレートで車両の周囲環境を表示するセンサーデータの第１の複数のフレームを受け取る機能をシステムに実行させる実行可能な命令を格納したメモリーを具備する。この機能は、また、第２のフレームレートで車両の周囲環境を表示するセンサーデータの第２の複数のフレームを受け取る機能を含むことができる。この機能は、さらに、第１の時間に周囲環境を表示する第１の複数のフレーム中の第１のフレームと、第１の時間に対応する、第２の複数のフレーム中の第１のフレームの部分とに基づき、前記車両の周囲環境にある１つ以上の物体の複数のパラメータを判断する機能を含むことができる。加えて、この機能は、第２の時間に周囲環境を表示する第１の複数のフレーム中の後続のフレームと、第２の時間に対応する、第２の複数のフレーム中の第１のフレームの少なくとも後続の部分とに基づき、前記１つ以上の物体の複数のパラメータを修正し、前記１つ以上の物体の複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供する機能を含むことができる。
【０００８】
別の例では、複数のセンサーを用いて物体検出する方法からなるシステムが提供される。このシステムは、また、第１のフレームレートで車両の周囲環境を表示するセンサーデータの第１の複数のフレームを受け取り、第２のフレームレートで車両の周囲環境を表示するセンサーデータの第２の複数のフレームを受け取る手段を具備することができる。このシステムは、また、第１の時間に周囲環境を表示する第１の複数のフレーム中の第１のフレームと、第１の時間に対応する、第２の複数のフレーム中の第１のフレームの部分とに基づき、前記車両の周囲環境にある１つ以上の物体の複数のパラメータを判断する手段を具備することができる。さらに、このシステムは、また、第２の時間に周囲環境を表示する第１の複数のフレーム中の後続のフレームと、第２の時間に対応する、第２の複数のフレーム中の第１のフレームの少なくとも後続の部分とに基づき、前記１つ以上の物体の複数のパラメータを修正する手段と、前記１つ以上の物体の複数の修正されたパラメータを、前記車両の１つ以上のシステムに提供する手段とを具備することができる。
【０００９】
先に記載の概要は解説のためのものであり、あらゆる意味で発明を限定することを意味するものではない。上述の、解説のための形態、実施の形態、及び特徴に加え、更なる形態、実施の形態、及び特徴が図及び下記詳細な説明を参照することにより明らかになる。
【図面の簡単な説明】
【００１０】
【図１】例示的な実施の形態による、例示的な車両における簡略化したブロック図である。
【図２】例示的な実施の形態による、例示的な車両を示す。
【図３】複数のセンサーを用いて物体を検出するための例示的な方法のフローチャートである。
【図４】ある時間にわたって、車両のセンサーから出力されたデータの概念を示す例示的な図である。
【図５】ある時間にわたって、車両のセンサーから出力されたデータの概念を示す別の例示的な図である。
【図６】ある時間にわたって、車両のセンサーから出力されたデータの概念を示す更なる例示的な図である。
【図７】演算装置でコンピュータ処理を行わせるコンピュータプログラムを含む例示的なコンピュータプログラム製品の概念的部分投影図の概略を示す。
【発明を実施するための形態】
【００１１】
以下の詳細な説明では、添付図面を参照して、開示するシステム及び方法の種々の形態及び機能について説明する。図面において、特に記載がない限り、類似の記号は類似の構成要素を示す。図解したシステム及び方法についてここに記載した実施の形態は、限定することを意図するものではない。開示したシステム及び方法が種々の異なった構成で配置し及び組み合わせることができることは明らかであり、これらの構成はすべてここで是認されるものである。
【００１２】
自律走行車両又は運転手のいらない車両のような車両は、ドライバーが指図したりコントロールしたりすることを必要とせずに走行経路を走行することができる。安全な走行、交通規則の順守、周囲の障害物の回避のため、車両は、車両の周囲環境の計測を行うために構成された単一形式センサー又は複数形式のセンサーを備えた車両センサーシステムにより提供されるデータを用いることができる。このセンサーシステムに加えて、車両には、車両センサーから受け取ったセンサーデータを処理し、他の車両システムと共に処理したデータを用いて、物体を検出し、経路を走行し、安全で自律的な走行のために必要な他の動作を行うよう構成された、１つの又は複数の演算システム（すなわち、演算装置）を含めることができる。
【００１３】
動作中、種々のセンサーは、車両の周囲環境の計測を行うことができ、種々の形式のセンサーデータを異なるレートで車両の演算装置に提供する。例えば、演算装置は、センサーにより動作する特定の回数で周囲環境の１つまたは複数の計測値を各フレームが含んでいるセンサーデータフレームの形式で、センサー計測値を受け取ることができる。従って、センサーは、車両が動作中に、車両の演算装置に、周囲環境の変化を反映していると思われる複数のセンサーデータフレーム（例えば、一連のセンサーデータフレーム）を提供することができる。
【００１４】
車両の演算装置は、周囲環境の情報を包含する特徴状態を構築するために、１つのセンサー又は複数のセンサーから入ってきたセンサーデータフレームを用いることができる。例えば、演算装置は、周囲環境にある物体のパラメータ（例えば、位置、速度、大きさ、加速度）を反映する特徴状態、及び、物体に対する可能な軌道を判断することができる。演算装置は、周囲環境の物体と軌道とを関連付けて、この物体の車両に対するする相対的な極めて近い将来の位置を予測することができる。その結果、障害物を回避し、普通の走行を行うために物体の軌道を予測することを含む、その特徴状態を用いることができる。車両の動作時、演算装置は、周囲環境の変化を判断し、この変化に基づきその特徴状態を更新し、走行中に用いるために、新たに受け取ったセンサーデータフレームを連続的に処理することができる。さらに、センサーデータフレームは、演算装置が周囲環境に散らばる物体を認識しできる限り分類することを手助けすることができる。いくつかの例では、センサーデータフレームにより、演算装置が他の情報について判断することも可能になる。
【００１５】
しかし、演算装置は、複数のセンサーから異なるレート（例えば、種々のレイテンシーレベル）でセンサーデータフレームを受け取ることがある。例えば、演算装置は、高いレイテンシーレベルで１つのセンサーからセンサーデータフレームを受け取ることができ、低いか又は中ぐらいのレイテンシーレベルで別のセンサーからセンサーデータフレームを受け取ることができる。従って、複数のセンサーデータフレームから周囲環境の情報を判断する前に、演算装置は、速いレート（例えば、低いレイテンシーレベル）で受け取ったセンサーデータフレーム（例えば、計測値）を、同時に、他のセンサーにより遅いレート（例えば、高いレイテンシーレベル）で提供された周囲環境を表示する他のセンサーデータフレームを受け取るまで保持するために、バッファを用いることができる。これにより、周囲環境に対応するすべてのセンサーデータフレームを入手するために待つことで演算装置を遅らせる可能性があり、同時に、演算装置が分析を完了させるのを妨げ、自律的走行に対して問題を生じさせる可能性がある。
【００１６】
起こりうる時間遅れに打ち勝つために、演算装置は、車両の動作時に周囲環境の変化に関して物体が検出した情報を演算装置がより早く効率的に判断することができるような、ロールバック技術その他の類似する方法を用いて、センサーデータフレームを処理することができる。ロールバック技術を用いることで、演算装置がセンサーによる計測を待機してバッファリングすることを避けることができる。特に、演算装置は、新しく受け取ったセンサーデータを用い車両の周辺の周囲環境について表示する特徴状態を判断し更新し、古い無効となったセンサー計測値が演算装置に到達したとき、古いキャッシュ位置にある、周囲環境について収集した先の情報にまでロールバックすることができる。周囲環境についてキャッシュした情報にロールバックすることで、バッファリングレイテンシーを減少させることができ、メモリーと計算力を保持したまま、物体の予想軌道を含む、周囲環境における物体と関連付けられたパラメータを演算装置が更新することができるようにする。
【００１７】
さらに、グローバルニアレストネイバー（ＧＮＮ）機能のような、１つ又は複数のデータ関連付け技法を用いて、演算装置は、加えてセンサーデータフレームを処理することができる。演算装置は、各センサーデータフレームに対してデータ関連付け技法を個々に実行することができ、センサーデータフレーム内の計測値と、同じ期間に相当する他のセンサーデータフレームの一部の計測値とを用いて、それぞれのセンサーデータフレームの後のすぐ隣の周囲環境についての情報を更新することができる。
【００１８】
例示的な実施の形態において、演算装置は、車両の複数のセンサーから周囲環境について表示するセンサーデータフレームを受け取ることができる。演算装置は、センサーから完全に受け取った第１のセンサーデータフレームと、他のセンサーから受け取った第１のセンサーデータフレームと同じ時間における周囲環境に対応する他のセンサーデータフレームの一部とを用いて、１つ又は複数の物体のパラメータを含む周囲環境についての情報を判断することができる。従って、演算装置は、演算装置が処理の前にセンサーデータフレームの受け取りを遅いレートで完了するまで待つよう構成されているときに必要とされるかもしれないバッファリングを必要とせず、受け取ったセンサーデータフレームとセンサーデータフレームの一部とを用いて、周囲環境についての情報の処理及び判断を開始することができる。
【００１９】
加えて、演算装置は、新しいセンサーデータフレームまたは、先に処理したセンサーデータフレームの後続の部分を車両センサーから受け取ったとき、周囲環境についての情報を更新することができる。例えば、演算装置は、先に検出した物体又は検出した新たな物体のパラメータの変化を特定することを含んで周囲環境についての計測値を修正するために、遅いレートで受け取ったすでに部分的に用いられたセンサーデータフレームの新たに受け取った部分を含む、後続の時間での周囲環境について表示するセンサーから受け取った後続のセンサーデータフレーム、及び、前記後続の時間に対応する他のセンサーデータフレームの任意の部分を用いることができる。演算装置は、走行中に用いるために、新たな時間における周囲環境についての修正された情報を、車両のシステムに提供することができる。
【００２０】
本開示の技術的範囲の例示的システムを詳細に記載する。一般に、例示的システムは自動車に組み込むことができ又は自動車の形状とすることができる。また一方、例示的システムは、乗用車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、ＲＶ車、遊園地の乗り物、農機具、建設用機械、市街電車、ゴルフカート、列車、及び路面電車の中に組み込むこと、或いは、そのような形状とすることができる。加えて、ロボットのような装置もここに記載した方法及びシステムを実行するために構成することができる。他の車両に対しても可能である。
【００２１】
ここで、図面を参照して、図１は、例示的な実施の形態による、車両１００の例における簡略化したブロック図である。車両１００につながった、又は車両１００内に組み込まれた構成要素として、推進システム１０２、センサーシステム１０４、コントロールシステム１０６、周辺装置１０８、電源１１０、演算装置１１１、及び、ユーザーインターフェース１１２を含むことができる。演算装置１１１は、プロセッサー１１３、及びメモリー１１４を含むことができる。演算装置１１１は、車両１００のコントローラ又はコントローラの一部とすることができる。メモリー１１４は、プロセッサー１１３で実行可能な命令１１５を含むことができ、地図データ１１６を格納することもできる。車両１００の構成要素は、お互いに相互に連結するような形態で動作するようにすることもでき、及び／又は、他のそれぞれのシステムと連結するような形態で動作するようにすることもできる。例えば、電源１１０は、車両１００のすべての構成要素に電源を供給することができる。演算装置１１１は、推進システム１０２、センサーシステム１０４、コントロールシステム１０６、及び周辺装置１０８から情報を受け取り、これらのシステムをコントロールするよう構成することができる。演算装置１１１は、ユーザーインターフェース１１２上に画像を表示し、ユーザーインターフェース１１２から入力を受け取ることができる。
【００２２】
他の実施の形態によれば、車両１００は、それ以上の、又はそれ以下の、又は異なるシステムを含むことができ、各システムは、それ以上の、又はそれ以下の、又は異なる構成要素を含むことができる。加えて、図示したシステム及び構成要素は、組み合わせることも、様々な方法で分割することもできる。
【００２３】
推進システム１０２は、車両１００に推進力を与えるよう構成することができる。図示の通り、推進システム１０２には、エンジン／モーター１１８、エネルギー源１２０、トランスミッション１２２、及びホイール／タイヤ１２４が含まれる。
【００２４】
エンジン／モーター１１８は、内燃機関、電動機、蒸気機関、および、スターリングエンジン等とすることができ、或いは、これらの組み合わせを含むことができる。他のモーターやエンジンも同様である。いくつかの実施の形態では、推進システム１０２は、複数のタイプのエンジン及び／又はモーターを含むことができる。例えば、ガス電気ハイブリッド乗用車には、ガソリンエンジン及び電動機が含まれる。他の実施例も可能である。
【００２５】
エネルギー源１２０は、エンジン／モーター１１８のすべて又は一部に動力を供給するエネルギーの供給源である。すなわち、エンジン／モーター１１８は、エネルギー源１２０を機械的エネルギーに変換するよう構成することができる。エネルギー源１２０の例として、ガソリン、ディーゼル、その他の石油をベースとする燃料、プロパン、他の圧縮ガスをベースとする燃料、エタノール、ソーラーパネル、バッテリー、及び他の電力原が含まれる。エネルギー源１２０は、さらに、或いは代替的に、タンク、バッテリー、キャパシター、及び／又は、フライホイールの種々の組み合わせを含むことができる。いくつかの実施の形態では、エネルギー源１２０はまた、車両１００の他のシステムにエネルギーを供給することもできる。
【００２６】
トランスミッション１２２は、エンジン／モーター１１８からの機械的動力をホイール／タイヤ１２４に伝達するよう構成することができる。このために、トランスミッション１２２には、ギアボックス、クラッチ、ディファレンシャル、ドライブシャフト、及び／又は、他の要素を含めることができる。トランスミッション１２２の例として、ドライブシャフトが含まれ、ドライブシャフトには、ホイール／タイヤ１２４と連結するよう構成された１つ以上の車軸が含まれる。
【００２７】
車両１００のホイール／タイヤ１２４は、一輪車、自転車／オートバイ、三輪車、又は四輪式の乗用車／トラックを含む種々の形式で構成することができる。六輪又はそれ以上のものを含む、他のホイール／タイヤ形式も可能である。車両１００のホイール／タイヤ１２４は、他のホイール／タイヤ１２４とは差をつけて回転するよう構成することができる。いくつかの実施の形態で、ホイール／タイヤ１２４は、トランスミッション１２２に固着した少なくとも１つのホイールと、駆動面と接触することのできるホイールのリムと結合した少なくとも１つのタイヤとを含むことができる。ホイール／タイヤ１２４は、金属とゴムの種々の組み合わせ、又は他の材料とも組み合わせを含むことができる。
【００２８】
推進システム１０２は、図示したこれらの構成要素以外の構成要素をさらに、又は代替的に含むことができる。
【００２９】
センサーシステム１０４は、車両１００が位置する周囲状況についての情報を検出するよう構成した多数のセンサーを含むことができる。図示の通り、センサーシステムのセンサーには、全地球測位システム（ＧＰＳ）モジュール１２６、慣性計測装置（ＩＭＵ）１２８、レーダー（ＲＡＤＡＲ）装置１３０、レーザー距離計、及び／又は、ライダー（ＬＩＤＡＲ）１３２、カメラ１３４、及び、センサーの位置及び／又は方向を修正するアクチュエータ１３６が含まれる。センサーシステム１０４は、追加のセンサーも含むことができる。例えば、車両１００の内部システムを監視するセンサー（例えばＯ２モニター、燃料計、エンジンオイル温度、等）も含むことができる。他のセンサーも同様に可能である。
【００３０】
ＧＰＳモジュール１２６は、車両１００の地理的位置を推定するよう構成したどのようなセンサーでもよい。このために、ＧＰＳモジュール１２６は、衛星に基づく位置データに基づき、地球上での車両１００の位置を推定するために構成したトランシーバーを含むことができる。１つの例において、演算装置１１１は、車両１００が走行する道路のレーンの境界の位置を推定するために、地図データ１１６と組み合わせてＧＰＳモジュール１２６を用いるよう構成することができる。このＧＰＳモジュール１２６は他の形式とすることもできる。
【００３１】
ＩＭＵ１２８は、慣性加速度に基づき車両１００の位置と方向とを検出するよう構成したセンサーの種々の組み合わせとすることができる。いくつかの実施の形態では、センサー組み合わせとして、例えば、加速度計及びジャイロスコープを含むことができる。センサーの他の組み合わせも同様に可能である。
【００３２】
レーダーユニット１３０は、物体の範囲、高さ、方向、速度のような物体の特性を判断するために電波を用いるよう構成した物体検出システムと考えることができる。レーダーユニット１３０は、経路中の物体で反射される、電波、又はマイクロ波のパルスを発信するように構成することができる。物体は波のエネルギーの一部を、レーダーユニット１３０の一部となることもできる受信機（例えば、パラボラアンテナ、又は、アンテナ）に返送することができる。レーダーユニット１３０は、（物体から跳ね返されて）受信した信号のディジタル信号処理を行うよう構成し、物体を識別するように構成することもできる。
【００３３】
レーダーに似た他のシステムが電磁スペクトルの他の部分に用いられてきた。１つの例が、電波ではなくレーザーからの可視光を用いるよう構成した、ＬＩＤＡＲ（航空レーザ測量）である。
【００３４】
ＬＩＤＡＲユニット１３２は、光を使って、車両１００が存在する周辺の物体を検知又は検出するよう構成したセンサーを含むことができる。一般に、ＬＩＤＡＲは、対象に光を照射して、対象までの距離又は他の特性を測定する、光学的遠隔探査技術である。１つの例として、ＬＩＤＡＲユニット１３２は、レーザーパルスを放射するよう構成したレーザー源及び／又はレーザースキャナと、レーザーパルスの反射光を受信するよう構成した検出器とを含むことができる。例えば、ＬＩＤＡＲユニット１３２は、回転ミラーに反射されるレーザー距離計を含むことができ、レーザーは、１次元又は２次元でディジタル化された場面の周りをスキャンし、特定の角度毎に測定した距離を集める。実施例では、ＬＩＤＡＲユニット１３２は、光源（例えばレーザー）、スキャナー及び光学系、光検出器及び受信電子装置、及び、位置及びナビゲーションシステムのような構成要素を含むことができる。
【００３５】
１つの実施例では、ＬＩＤＡＲユニット１３２は、紫外線（ＵＶ）、可視光線、又は赤外線を物体を描くために用いよう構成することができ、金属でない物体を含む広い範囲の対象物に用いることができる。１つの例によれば、狭いレーザービームを、物理的な物体の形状を高い解像度で描くために用いることができる。
【００３６】
実施例では、約１０マイクロメーター（赤外線）から約２５０ｎｍ（紫外線）の波長の範囲で使用することができる。一般に、光は後方散乱により反射される。レーリー散乱、ミー散乱及びラマン散乱、及び、蛍光のような、異なったタイプの散乱が異なったＬＩＤＡＲアプリケーションに用いられる。異なったタイプの後方散乱に基づき、例えば、ＬＩＤＡＲは、レーリーＬＩＤＡＲ、ミーＬＩＤＡＲ、ラマンＬＩＤＡＲ、及び、Ｎａ／Ｆｅ／Ｋ蛍光ＬＩＤＡＲと呼ばれる。波長の適切な組み合わせにより、例えば、反射信号の波長に依存する変化をみることにより、物体を遠隔からマッピング（ｍａｐｐｉｎｇ）することができる。
【００３７】
３次元（３Ｄ）描画は、スキャニングするＬＩＤＡＲシステムを用いてもスキャニングしないＬＩＤＡＲシステムを用いてもどちらでも実行することができる。「３Ｄゲート観測レーザーレーダー」はパルスレーザーと高速ゲーティッドカメラに適用するスキャニングを行わないレーザー距離計測システムの例である。描画用ＬＩＤＡＲは、高速検出器の配列及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）及びＣＭＯＳ/ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）を用いた単一のチップに一般的に組み込まれる可変感度検出器の配列を用いて行うことができる。このような装置において、各画素はこの配列がカメラからの像を表すように処理することができるような復調又は高速度でのゲーティングによりその場で処理することができる。この技術を用いて、数千もの画素を同時に取得し、ＬＩＤＡＲユニット１３２により検出された物体又は場面を表現する３Ｄの点群（ｐｏｉｎｔ  ｃｌｏｕｄ）を同時に生成することができる。
【００３８】
点群は、３Ｄ座標系の頂点のセットを含むことがある。これらの頂点は、Ｘ、Ｙ、Ｚ座標で表すことができ、例えば物体の外面を表すことができる。ＬＩＤＡＲユニット１３２は、物体の表面の多くの点を計測することで点群を作るように構成することができ、点群をデータファイルとして出力することができる。ＬＩＤＡＲユニット１３２による物体の３Ｄスキャニング処理の結果として、点群を物体を識別し可視化するために用いることができる。
【００３９】
１つの例によれば、物体を可視化するために点群を直接的に表示する。別の例では、点群は、表面再構成と呼ばれる処理によりポリゴン又は三角形メッシュモデルに変換することができる。点群を３Ｄの上面に変換する技術の例として、ドロネー三角形分割、アルファシェイプ、及び、ボールピボッティング（ｂａｌｌ  ｐｉｖｏｔｉｎｇ）を含むことができる。これらの技術には、点群の既存の頂点に三角形のネットワークを構築するステップを含む。他の技術の例では、点群を３次元距離場（ｖｏｌｕｍｅｔｒｉｃ  ｄｉｓｔａｎｃｅ  ｆｉｅｌｄ）に変換するステップと、マーチングキューブアルゴリズム（ｍａｒｃｈｉｎｇ  ｃｕｂｅｓ  ａｌｇｏｒｉｔｈｍ）で定義される陰的表面（ｉｍｐｌｉｃｉｔ  ｓｕｒｆａｃｅ）を再構成するステップとを含めることができる。
【００４０】
カメラ１３４は、車両１００が位置する周囲環境の画像をとらえるよう構成したどのようなカメラ（例えば、静止カメラ、ビデオカメラ、等）であってもよい。このために、カメラは可視光線を検出するよう構成することができ、又は、赤外線又は紫外線のような他のスペクトル部分の光線を検出するよう構成することができる。他のタイプのカメラも可能である。カメラ１３４は、２次元検出器となることができ、或いは、３次元空間範囲を有することができる。いくつかの実施の形態では、カメラ１３４は、例えば、カメラ１３４から周囲の多くの点までの距離を示す２次元像を生じさせるよう構成した領域検出器となることができる。このために、カメラ１３４は、１つ以上の領域検出技術を用いることができる。例えば、カメラ１３４は、格子やチェッカーボードパターンのような所定の光パターンで周囲にある物体を車両１００が照らし、カメラ１３４を用いて、物体からの所定のパターンの光の反射を検出するような構造化光技法を用いるよう構成することができる。反射した光のパターンのゆがみに基づき、車両１００は、物体上の各点までの距離を計測するよう構成することができる。所定の光パターンは、赤外線、又は、他の波長の光とすることができる。
【００４１】
アクチュエータ１３６は、例えば、センサーの位置及び／又は方向を修正するように構成することができる。
【００４２】
センサーシステム１０４は、付加的に、又は代替的に、これらの図示したものとは別の構成要素を含むことができる。
【００４３】
コントロールシステム１０６は、車両１００及びその構成要素の動作をコントロールするように構成することができる。このため、コントロールシステム１０６は、ステアリングユニット１３８、スロットル１４０、ブレーキユニット１４２、センサー統合アルゴリズム１４４、コンピュータ・ビジョン・システム１４６、ナビゲーション又は進路システム１４８、及び障害物回避システム１５０を含むことができる。
【００４４】
ステアリングユニット１３８は、車両１００の進む向きすなわち方向を調整するよう構成した機械装置のどのような組み合わせでもよい。
【００４５】
スロットル１４０は、エンジン／モーター１１８の速度及び加速度、言い換えると、車両１００の速度及び加速度をコントロールするよう構成した機械装置のどのような組み合わせでもよい。
【００４６】
ブレーキユニット１４２は、車両１００を減速させるために構成した機械装置のどのような組み合わせでもよい。例えば、ブレーキユニット１４２は、摩擦を使ってホイール／タイヤ１２４の速度を落とすものでもよい。他の例として、ブレーキユニット１４２は、ホイール／タイヤ１２４の機械的エネルギーを再生させ電流に変換するよう構成することもできる。ブレーキユニット１４２は、他の形式とすることも可能である。
【００４７】
センサー統合アルゴリズム１４４は、例えば、演算装置１１１により実行可能なアルゴリズム（または、アルゴリズムを格納しているコンピュータプログラム製品）を含むことができる。センサー統合アルゴリズム１４４は、入力としてセンサーシステム１０４からのデータを受け取るよう構成することができる。データは、例えば、センサーシステム１０４のセンサーで検出した情報を表すデータを含むことができる。センサー統合アルゴリズム１４４は、例えば、カルマンフィルタ、ベイジアンネットワーク、その他のアルゴリズムを含むことができる。センサー統合アルゴリズム１４４はさらに、例えば、車両１００が存在する周辺の個々の物体及び／又は特徴の評価、特定の状況の評価、及び／又は、特定の状況に基づく影響の可能性の評価を含む、センサーシステム１０４からのデータに基づく種々の予想を提示するよう構成することができる。その他の予想も可能である。
【００４８】
コンピュータ・ビジョン・システム１４６は、例えば、レーン情報、交通信号、及び障害物を含む、車両１００が置かれている周辺での物体及び／又は地形を識別するために、カメラ１３４でとらえた画像を処理し分析するよう構成したどのようなシステムでもよい。このために、コンピュータ・ビジョン・システム１４６は、物体識別アルゴリズム、ストラクチャ・フロム・モーション（ＳＦＭ）アルゴリズム、ビデオトラッキング、又は、他のコンピュータ・ビジョン・技法を用いることができる。いくつかの実施の形態では、コンピュータ・ビジョン・システム１４６は、周囲の描画、物体の追跡、物体の速度の推定、等を行うことを追加して構成することもできる。
【００４９】
ナビゲーション及び進路システム１４８は、車両１００の運転経路を決定するよう構成したどのようなシステムでもよい。ナビゲーション及び進路システム１４８は、車両１００の運転中に、運転経路を動的に変更することを追加する構成とすることができる。いくつかの例では、ナビゲーション及び進路システム１４８は、車両１００の運転経路を決定するために、センサー統合アルゴリズム１４４、ＧＰＳモジュール１２６、及び、１つ以上の所定の地図からデータを組み込むよう構成することができる。
【００５０】
障害物回避システム１５０は、車両１００の位置する周辺にある障害物を識別し、評価し、そして避けるか又は他の方法で乗り越えるよう構成するような、どのようなシステムとすることもできる。
【００５１】
コントロールシステム１０６は、付加的に、又は、代替的に、示したものとは異なる構成要素を含むことができる。
【００５２】
周辺装置１０８は、車両１００が外部のセンサー、他の車両、及び／又は、ユーザーと相互交信可能なよう構成することができる。このために、周辺装置１０８には、例えば、無線通信システム１５２、タッチスクリーン１５４、マイクロフォン１５６、及び／又は、スピーカー１５８を含めることができる。
【００５３】
無線通信システム１５２は、１つ以上の他の車両、センサー、又は、他の要素と直接的に又は通信ネットワークを介して無線で接続するよう構成したどのようなシステムとすることもできる。チップセット又は無線通信システム１５２は、一般に、ブルートゥース、ＩＥＥＥ８０２．１１に記載の通信プロトコル（ＩＥＥＥ８０２．１１改定版を含む）、携帯電話技術（ＧＳＭ、ＣＤＭＡ、ＵＭＴＳ、ＥＶ−ＤＯ、ＷｉＭＡＸ、又はＬＴＥのような技術）、Ｚｉｇｂｅｅ、専用の狭域通信（ＤＳＲＣ）、及び、電波による個体識別（ＲＦＩＤ）通信、その他のような、１つ以上の無線通信の形式により通信を行うよう構成することができる。無線通信システム１５２は他の形式とすることもできる。
【００５４】
タッチスクリーン１５４をユーザーが車両１００に指令を入力するために用いることができる。このために、タッチスクリーン１５４は、静電容量検出方式、抵抗検出方式、又は表面音波処理、その他により、ユーザーの指の位置又はユーザーの指の動きをのうちの少なくとも１つを検出するよう構成することができる。タッチスクリーン１５４は、タッチスクリーンの表面に平行な方向への又は平面的な方向への、又はタッチスクリーンの表面に垂直な方向への、又は両方の方向への指の動きを検出することができてもよく、そして、タッチスクリーンに加わる圧力の程度を検出することができてもよい。タッチスクリーン１５４は、１つ以上の半透明な又は透明な絶縁層と１つ以上の導電層とで形成することができる。タッチスクリーン１５４は、他の形状とすることもできる。
【００５５】
マイクロフォン１５６は、車両１００のユーザーから音声（例えば、音声命令又は他の音声入力）を受け取るよう構成することができる。同様に、スピーカー１５８は、音声を車両１００のユーザーに出力するよう構成することができる。
【００５６】
周辺装置１０８を、付加的に又は代替的に、上記とは別に、構成要素に含めることができる。
【００５７】
電源１１０は、車両１００の構成要素のすべて又はその一部に電源を供給するために構成することができる。このために、電源１１０は、例えば、再充電可能なリチウムイオン又は鉛蓄電池を含むことができる。いくつかの例では、１つ以上のバッテリーバンクを電力供給のために設けることができる。他の電源材料及び構成も可能である。いくつかの例では、電源１１０及びエネルギー源１２０は、いくつかの電気自動車に見られるように、一緒に組み込まれる。
【００５８】
演算装置１１１に含まれるプロセッサー１１３は、１つ以上の汎用プロセッサー、及び／又は、１つ以上の専用プロセッサー（例えば、画像プロセッサー、ディジタル信号プロセッサー、等）を具備することができる。拡張して、プロセッサー１１３は、２以上のプロセッサーを持ち、このようなプロセッサーを別に或いは組み合わせて作用させることができる。演算装置１１１は、例えば、ユーザーインターフェース１１２を介して受け取った入力に基づき車両１００の機能をコントロールするよう構成することができる。
【００５９】
次に、メモリー１１４は、光学的、磁気的、及び／又は、有機的記憶装置のような、１つ以上の揮発性記憶要素、及び／又は、１つ以上の不揮発性記憶要素を具備することができ、メモリー１１４は、プロセッサー１１３内にすべて又は一部を組み込むことができる。メモリー１１４は、プロセッサー１１３により、以下に記載のあらゆる機能または方法を含む種々の車両の機能を実行させることが可能な命令１１５（例えばプログラムロジック）を含有することができる。
【００６０】
車両１００の構成要素は、システム内及び／又はシステム外の他の構成要素と相互に関連して作用するように構成することができる。このために、車両１００の構成要素及びシステムは、システムバス、ネットワーク、及び／又は、他の接続機構（不図示）により、通信可能に連結することができる。
【００６１】
さらに、構成要素及びシステムは、車両１００内に組み込まれているよう示されている一方、いくつかの例では、１つ以上の構成要素又はシステムは、有線接続又は無線接続を用いて、車両１００に取り外し可能に組み込むか、又は他の方法で（機械的又は電気的に）接続することができる。
【００６２】
車両１００には、ここに示したものに加えて、又は、ここに示したものとは別に１つ以上の構成要素を含めることができる。例えば、車両１００には、１つ以上の追加のインターフェース及び／又は電源を含めることができる。他の追加の構成要素も可能である。これらの例として、メモリー１１４はさらに、この追加の構成要素をコントロール及び／又は追加の構成要素と通信をプロセッサー１１３に行わせる命令を含めることができる。
【００６３】
図２は、１つの実施の形態による、例示的な車両２００を示す。特に、図２は車両２００の右側面図、正面図、背面図、及び平面図を示す。車両２００は乗用車として図２に示したが、他の例も可能である。例えば、車両２００は、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、又は農業用車両、その他を表すものとすることができる。図示の通り、車両２００には、第１のセンサーユニット２０２、第２のセンサーユニット２０４、第３のセンサーユニット２０６、無線通信システム２０８、及び、カメラ２１０が含まれる。
【００６４】
第１、第２、及び第３のセンサーユニット２０２〜２０６は、全地球測位システムセンサー、慣性計測ユニット、レーダーユニット、ＬＩＤＡＲユニット、カメラ、レーン検出センサー、および音響センサーのあらゆる組み合わせも含むことができる。他の形式のセンサーも可能である。
【００６５】
第１、第２、及び第３のセンサーユニット２０２が車両２００の特定の位置に取り付けられているように示されているが、いくつかの例では、センサーユニット２０２は、車両２００の内部又は外部のいずれかの、車両２００の他の場所に取り付けることができる。さらに、３個のセンサーユニットが示されているだけであるが、いくつかの例では、それ以上又はそれ以下の個数のセンサーユニットを車両２００に含めることができる。
【００６６】
いくつかの例では、第１、第２、及び第３のセンサーユニット２０２〜２０６のうちの１つ以上が、センサーを動かすことが可能なように取り付けることができるような１つ以上の可動取り付け台を含むことができる。可動取り付け台として、例えば、回転台を含めることができる。回転台に取り付けたセンサーは、車両２００の周りの各方角からの情報をセンサーが取得できるように、回転することができる。代替的又は付加的に、この可動取り付け台には、傾斜台を含めることができる。傾斜台に取り付けたセンサーは、種々の角度での情報をセンサーが取得できるように、所定の範囲の角度及び／又は方位角で傾斜させることができる。可動取り付け台は他の形式にすることも可能である。
【００６７】
さらに、いくつかの例では、第１、第２、および第３のセンサーユニット２０２〜２０６のうちの１つ以上に、センサー及び／又は可動取り付け台を動かすことにより、センサーユニット中のセンサーの位置及び／又は方向を調整するように構成した１つ以上のアクチュエータを含めることができる。アクチュエータの例として、モーター、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド、及び、圧電アクチュエータが含まれる。他のアクチュエータも可能である。
【００６８】
無線通信システム２０８は、１つ以上の車両、センサー、又はその他の構成要素と、図１に示した無線通信システム１５２に関連した上述したような、直接的に又は通信ネットワークを介して、無線で接続するよう構成したどのようなシステムとすることもできる。無線通信システム２０８は車両２００の屋根に配置されていることが示されているが、他の例では無線通信システム２０８は、すべて又は一部を、他の場所に配置することができる。
【００６９】
カメラ２１０は、車両２００がある場所の周囲の画像をとらえるよう構成したどのようなカメラ（例えば、静止カメラ、ビデオカメラ、等）であってもよい。このために、カメラ２１０は、図１のカメラ１３４に関して上述したどのような形式とすることもできる。カメラ２１０は、車両２００のフロントガラスの内側に取り付けられているよう描かれているが、他の例では、車両２００の内側でも外側でも、車両２００の他の場所にカメラ２１０を取り付けることができる。
【００７０】
車両２００は、ここに示したものに加えて又はここに示したものの代わりに１つ以上の構成要素を含むことができる。
【００７１】
車両２００のコントロールシステムは、多くの可能なコントロール方針の中から１つのコントロール方針に従って車両２００をコントロールするよう構成することができる。コントロールシステムは、車両２００と（車両２００上に又は車両２００から離れて）連結するセンサーからの情報を受け取り、この情報に基づきコントロール方針（及びそれに関連する運転動作）を修正し、修正したコントロール方針に基づき車両２００をコントロールするよう構成することができる。コントロールシステムは、さらに、センサーからの情報を監視し、連続的に運転状況を評価するよう構成することができ、また、運転状況の変化に基づきコントロール方針及び運転動作を修正するよう構成することができる。
【００７２】
図３は、複数のセンサーを用いて物体を検出する方法及びシステムの例示的な方法３００のフローチャートである。方法３００は、ブロック３０２〜３１０に示したような１つ以上の作用、機能、又は動作を含むことができる。ブロックは連続的順序で示したが、これらのブロックは、場合によっては、並列的、及び／又は、ここに記載の順序とは異なる順序で実行することができる。また、種々のブロックを結合してより少ないブロックにすること、付加的なブロックに分割すること、及び／又は、必要とする実施の形態に基づき除去することができる。
【００７３】
加えて、ここに説明する方法３００及び他の処理及び方法について、本実施の形態で可能な実行形態の機能及び動作をフローチャートで示す。これに関して、各ブロックは、この処理における所定のロジック機能又はステップを実行させるためにプロセッサーにより実行可能な１つ以上の命令を含む、モジュール、セグメント、又は、一部のプログラムコードを意味することができる。プログラムコードは、例えば、ディスク又はハードディスク・ドライブを含む記憶装置のような、あらゆるタイプのコンピュータ読み取り可能媒体又はメモリーに記憶させることができる。コンピュータ読み取り可能媒体は、例えば、レジスタメモリー、プロセッサーキャッシュ、ランダム・アクセス・メモリー（ＲＡM)のような短期間データを記憶するコンピュータ読み取り可能媒体のような非一時的なコンピュータ読み取り可能媒体を含むことができる。コンピュータ読み取り可能媒体は、例えば、リードオンリーメモリー（ＲＯＭ）、光学的ディスク、コンパクトディスク・リードオンリーメモリー（ＣＤ−ＲＯＭ）のような、二次的又は永久的長期記憶装置のような、一時的ではない媒体又はメモリーを含むことができる。コンピュータ読み取り可能媒体はまた、他のどのような揮発性又は不揮発性記憶システムも含むことができる。コンピュータ読み取り可能媒体は、例えば、コンピュータ読み取り可能記憶媒体、実体のある記録装置（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｄｅｖｉｃｅ）、又は、他の製品と考えることができる。
【００７４】
非一時的なコンピュータ読み取り可能媒体はまた、相互に離れて配置することのできる、複数のデータ記憶要素に分散することができる。記憶させた命令の一部またはすべてを実行する演算装置又はシステムは、図２に示した例示的な車両２００のような、車両とすることができる。代替的に、記憶させた命令の一部またはすべてを実行する演算装置又はシステムは、サーバーのような、別の演算装置又はシステムとすることができる。
【００７５】
加えて、方法３００及びここに記載した他の処理及び方法において、図３の各ブロックは、この処理における所定のロジック機能を実行するために配線した回路を意味することもできる。
【００７６】
図３のような例示的な方法は、車両及びそのサブシステムにより全て又は部分的に実行することができる。従って、例示的な方法は、車両に組み込まれたものとして、ここでは例示的に記載することができる。車両は、例えば、自律的に、部分的に自律的に、又はユーザーにより完全に、制御することができる。しかし、当然のことながら、例示的な方法は、車両の他の演算装置によって又は車両とは別の演算装置によって全部または一部を実行することができる。例えば、例示的な方法は、車両と関連付けられた装置のような装置からデータを受け取るサーバーシステムにより、全部又は一部を実行することができる。いくつかの例示的実施の形態において、方法は、ロボット装置又は他の形式の演算装置によっても実行することができる。ロボット装置、又は、例示的な方法を実行することができる演算装置の組み合わせのような、他の演算装置も可能である。
【００７７】
ブロック３０２にて、方法３００には、演算装置において、第１のフレームレートで車両の周囲環境を表示するセンサーデータの第１の複数のフレームを受け取るステップを含めることができる。図１〜２に示した例示的な車両のような、例示的な車両には、車両の周辺の局所的な周囲環境についての情報を取得するよう構成された１つ又は複数のセンサーを備えたセンサーシステムを含めることができる。特に、各センサーは、車両の演算装置が目標物の１つ以上の固有値（例えば、パラメータ）を処理し判断することができるような、目標物から取得した計測値を得ることのできる計測装置として動作することができる。例えば、演算装置はセンサーデータ内の計測値を使って、周囲環境にある１つ又は複数の物体に結び付く位置、速度、加速度、大きさ、及び／又は、他のパラメータを判断及び／又は推定することができる。他の例によれば、センサーデータは、周囲環境についての他の情報を演算装置に提供することができる。
【００７８】
１つの例示的な実施の形態において、センサーシステムには、ＧＰＳモジュール、ＩＭＵ、レーダーユニット、ＬＩＤＡＲユニット、カメラシステム、アクチュエータ、及び／又は、他の形式のセンサーのような種々のセンサーを含めることができる。センサーシステムには、同じ形式の複数のセンサを含めることができる。他の例として、車両センサーシステムには、ここに記載されていない他の形式のセンサーも含む多少のセンサーを含めることができる。加えて、車両には、車両センサーにより提供されるデータを受け取り処理するよう構成された１つ又は複数の演算システム（例えば、演算装置）を含めることができる。複数の演算システムは車両内で共に起草することができ、受け取ったデータについて異なるタスクを行うよう構成することができる。従って、ここに記載した例には、車両について記載した機能を実行する１つ又は複数の演算装置を含めることができる。
【００７９】
いくつかの例では、車両の演算装置は、周囲環境中で関係のある対象物からのものではない計測値の量又は影響を最小限にするための、１つ又は複数の特別な対策（例えば、処理技術）を行うことができる。例えば、演算装置は、地形の特徴、海の波、雨、地面での散乱物、等のような、センサーデータからの、無関係であるかもしれない信号又は個々の計測値を除去することができる。同様に、演算装置は、受け取ったセンサーデータフレームで計測値を使うべきかどうかを判断するために、信号強度の適切な動的閾値を用いることができる。
【００８０】
さらに、例示的実施の形態において、車両の演算装置は、車両センサーから種々の形式、及び／又は、異なるレートでセンサーデータを受け取ることができる。例えば、センサーは、個々のセンサーデータフレーム内で捉えた局所的な周囲環境の計測値を提供することができる。個々のセンサーデータフレームの各々は、そのフレーム内で計測値を捉えた特定の時間での、周囲環境を示すものであるかもしれない。従って、センサーデータフレームには、周囲環境における物体の１つ又は複数の計測値を含めることができる。例えば、車両のＬＩＤＡＲモジュールは、センサーに車両近傍の観測可能な領域を掃引させることができ、観測可能な領域での物体についての計測値を含むセンサーデータのフレームを提供することができる。他の形式のセンサーでは、周囲環境における、物体に基づく計測値を捕捉し、車両の演算装置にもこの計測値を提供する。車両が走行しているときに、センサーは、例えば、周期的に又は連続的に、周囲環境を示す情報を提供するよう構成することができる。
【００８１】
１つの例示的な実施の形態において、センサーデータのフレームにはまた、センサーによって計測値を捕捉した時間を表示する情報、及び／又は、特定の形式のセンサーにフレームを関連付ける情報を含めることができる。例えば、演算装置は、各フレームに、捕捉した時間を示すフレームの情報、フレームを特定のセンサーと関連付ける情報、及びセット内でのフレームの順序を示す情報が含まれる、センサーデータフレームのセットを受け取ることができる。他の実施の形態によれば、センサーデータフレームには、他の情報を含めることもできる。
【００８２】
先に示したように、センサーデータフレームは、種々の要素により、特定のレート（例えば、フレームレート）でセンサーから車両の演算装置に到達することができる。種々のセンサーは、異なるレイテンシーレベル又はフレームレートでセンサーデータフレームを提供することができる。一例として、演算装置は、車両のカメラシステムから低いレイテンシーレベルでセンサーデータフレームを受け取ることができ、ＬＩＤＡから高いレイテンシーレベルでセンサーデータフレームを受け取ることができる。同様に、演算装置がセンサーデータフレームを受け取るフレームレートは、センサーの形式、電気的接続、各フレーム内のデータの量、及び／又は、他の要因により変動することがある。
【００８３】
動作中、演算装置は、センサーがフレームを捕捉する時間的範囲に応じて複数のセンサーデータフレームを受け取ることができる。１つの例示的な実施の形態として、演算装置は、車両が走行している時間における一連のセンサーデータフレームを含む、センサーデータのフレームのセットをセンサーから受け取ることができる。このセット内で、最初の（すなわち、第１の）フレームには、第１の時間における周囲環境に対応するセンサーデータを含めることができる。同様に、このセットの第２のフレームには、第１の時間の後続の時間での周囲環境に応じたセンサーデータを含めることができる。継続するセンサーデータのフレームは、周囲環境について適合する情報又は類似する情報を提供することができ、センサーにより捕捉されたフレーム間で流れた時間の量に応じて他の情報を含めることができる。従って、演算装置は、車両が動作を続けているときに、先に検出した物体及び新しい物体に基づく計測値及び他の情報を受け取ることができる。
【００８４】
ブロック３０４にて、方法３００には、演算装置において、第２のフレームレートで車両の周囲環境を表示するセンサーデータの第２の複数のフレームを受け取るステップ含めることができる。先に示したように、車両の演算装置は、複数のセンサーからのセンサーデータのフレームを受け取ることができる。従って、各センサーは、種々の要素により、異なるフレームレートでセンサーデータフレームを提供することができる。例えば、演算装置は、複数のセンサーから異なるレイテンシーレベルでセンサーデータフレームを受け取ることができる。
【００８５】
動作中、複数のセンサーは、計測値及び周囲環境における同一の物体に対応する他の情報を取得することができるが、この情報は、特定のセンサーの形式及び／又は配置に応じて変動することがある。例えば、車両のカメラシステムは、演算装置に画像を提供することができ、ＬＩＤＡＲは、点群の形でデータポイントを演算装置に提供することができる。演算装置は、カメラシステム及びＬＩＤＡＲモジュールからフレームフォーマットで計測値を受け取ることができるが、例えば、動作の変動又は計測データの密度のような、種々の要因により、センサーから異なるレートで個々のセンサーデータフレームを受け取ることができる。他の要因により、特定のセンサーからセンサーデータフレームを演算装置が受け取るレートに影響を与えることがある。
【００８６】
加えて、演算装置は、センサーデータのフレームを、フレームを提供してきた特定のセンサー又は特定の形式のセンサーに対応する所定のフレームのセットに関連付けることができる。１つの例示的実施の形態として、演算装置は、車両のＬＩＤＡＲモジュールから第１のフレームレート（例えば、低レイテンシーレベル）で連続するセンサーデータフレームを受け取ることができ、車両のカメラシステムから異なるフレームレート（例えば、高レイテンシーレベル）他の一連のセンサーデータフレームを受け取ることができる。同様に、演算装置は、さらなるセンサーデータフレームを別の１つのセンサー又は複数のセンサーから受け取ることもできる。
【００８７】
従って、センサーは、同じ時間周期で周囲環境に対応するセンサーデータのフレームを提供することができるが、演算装置は異なるレートでフレームを受信することができる。演算装置は、他のセンサーからのセンサーデータフレームの受信を完了する前に、このセンサーデータフレームが同時刻での周囲環境を表示する計測値を含有するにもかかわらず、１つの形式のセンサーから複数のセンサーデータフレームを受け取ることができる。
【００８８】
ブロック３０６にて、方法３００には、第１の時間での周囲環境を表示する第１の複数のフレームの第１のフレームと、第１の時間に対応する第２の複数のフレームの第１のフレームの一部とに基づいて、車両の周囲環境における１つ以上の物体の複数のパラメータを判断するステップを含めることができる。演算装置が複数のセンサーからセンサーデータフレームを受け取ると、演算装置は、このデータと計測値とを処理し、周囲環境の特徴を判断及び／又は推定することができる。例えば、演算装置は、捕捉した計測値を使って周囲環境中の１つ又は複数の物体のパラメータを推定することができる。従って、例示的物体のパラメータには、周囲環境中の１つの物体又は複数の物体を表示する、演算装置が推定した、大きさ、位置、加速度、及び／又は、その他の情報を含めることができる。さらに、演算装置はセンサーデータ内の計測値を用いて、例えば、周囲環境中の物体同士の間隔及び／又は物体と車両との距離を推定することができる。演算装置は、センサーデータのフレーム内の計測値に基づいて、周囲環境及び／又は周囲環境内の物体についての他の情報を判断することもできる。
【００８９】
さらに、演算装置は、センサーから受け取った計測値及び他の情報を用いて、車両の局所的な周囲環境中の１つ又は複数の物体の可能性のある軌道を判断及び／又は推定することができる。推定した軌道により、センサーデータ中の提供された計測値に基づき、周囲環境中の種々の物体の可能性のある近未来の位置について演算装置による予測を表現することができる。演算装置は、障害物の回避及び／又はその他の走行目的で、推定した物体の軌道を用いることができる。
【００９０】
動作中、演算装置は、継続するセンサーデータフレームを用いて、一定期間にわたって、周囲環境中の複数の物体の可能性のある軌道を判断することができる。演算装置は、演算装置の車両に対して相対的な、物体の速度、大きさ及び位置の変化に基づき物体の、可能性のある軌道及び軌道の変化を推定することができる。演算装置は、物体の可能性のある軌道を判断するために他の要素を用いることもできる。
【００９１】
例示的な実施の形態において、演算装置は、物体が検出した情報（例えば、物体のパラメータ）及び／又は推定される物体の軌道を含むことができる、車両の周囲環境についての情報を含む特徴状態を判断することができる。演算装置は、特徴状態中の情報を更新して、車両が走行中の周囲環境の変化を反映させることができる。例えば、演算装置は、特徴状態を修正して、物体のパラメータの変化を反映させ、及び／又は、推定した物体軌道に付加し、変化させ、減少させるものとすることができる。従って、演算装置は、特徴状態又は特徴状態中の情報の一部を車両のシステムに提供し、交通規則を順守して自律走行することが可能なようにすることができる。加えて、演算装置は、車両が動作中に、物体の認識のため、又は、その他の情報として、特徴状態を用いることができる。
【００９２】
先に示した通り、車両の演算装置は、複数のセンサーから異なるフレームレートでセンサーデータフレームを受け取ることができる。例えば、演算装置は、第１のレートでＬＩＤＡＲからセンサーデータフレームを、第２のレートでカメラからセンサーデータフレームを、そして、第３のレートのレートでレーダーからセンサーデータフレームを受け取ることができる。ＬＩＤＡＲは、他のセンサーより速いレート又は遅いレートでセンサーデータフレームを車両の演算装置に提供することができる。いくつかの例では、異なるフレームレートは、演算装置がそれぞれのセンサーからセンサーデータフレームを受け取ることができる、種々のレイテンシーレベルを表すことができる。従って、演算装置は、特定の時間に、他のセンサーから同じ時を表示する他のセンサーデータフレームに先立ち、周囲環境を表示するセンサーデータフレームを受け取ることができる。
【００９３】
１つの例示的な実施の形態において、複数のセンサーからセンサーデータフレームを受け取ることにより惹起される可能性のある時間遅れ、及び／又は、バッファリングに打ち勝つために、演算装置は、異なるレートで受け取ったセンサーフレームデータを処理するためにロールバック技術を用いることができる。特に、演算装置は、１つ又は複数のセンサーデータフレーム内で受け取った最新のセンサーデータに基づいて、特徴状態内の情報を判断及び／又は更新することができる。例えば、演算装置は、周囲環境中の新たに又は先に検出した物体のパラメータを判断又は更新することができ、可能性のある物体の新たな軌道を判断し、又は、変化させることができる。車両を最初に運転する場合は、演算装置は、受け取った第１のセンサーデータフレームに基づき特徴状態を作成することができる。
【００９４】
動作している間、他のフレームより遅いフレームレート（例えば、高いレイテンシーレベル）でセンサーデータフレームを受け取ると、演算装置は、特徴状態を古いキャッシュ位置（例えば、メモリに保存されている特徴状態）にロールバックすることができる。
【００９５】
車両の演算装置は、演算装置がデータを受け取るとすぐに、可能なすべてのセンサーデータを使用するために、ロールバック技術を用いることができる。演算装置は、新しいセンサーデータを受け取った後に用いることができ、古い計測値が演算装置に到着したときにロールバックすることができる。１つの例示的実施の形態によれば、演算装置は、周囲環境の物体を表示する特徴状態を古い位置に（例えば、キャッシュ位置に）変えることでロールバック技術を実行することができ、多くのセンサーフレームが演算装置で使用可能になるので、好ましいデータのつながりを生じさせることができる。いくつかの例では、演算装置は、センサーデータフレームを受け取るとすぐにセンサーデータを用いることができるよう構成することができ、結果として正確な物体の特性を計算することができる。
【００９６】
従って、演算装置は、推定した物体の軌道を判断し、及び／又は、更新することを含む、古い、キャッシュした特徴状態、及び／又は、新しい特徴状態を、演算装置及び他の車両システムで用いるための周囲環境についての情報を構成するために、バッファリングし用いることを避けることができる。いくつかの実施の形態では、演算装置は、ロールバック技術を用いて、バッファレイテンシーを減らし、及び／又は、過剰な演算能力及びメモリを用いることなく物体の推定した軌道のような、特徴状態中の情報を素早く更新することができる。
【００９７】
別の実施の形態では、演算装置は、センサーデータフレーム内で受け取った計測値を、物体の特性を表示する情報を更新する前に、一時保存することができる。演算装置は、この一時保存のおかげで遅いレートで物体の特性を更新することができる。
【００９８】
更なる実施の形態では、演算装置は、高いレイテンシーレベルで受け取ったセンサーデータフレーム中のデータを省略又は用いないように構成することができる。演算装置は、遅れたセンサーデータの計測値を省略することにより、一時保存やロールバック技術を使わなくてもよくなるが、演算装置がロールバック技術を用いるときより悪い精度で物体のパラメータを表示する情報を判断しなければならなくなる。
【００９９】
いくつかの例示的な実施の形態において、車両の演算装置は、周囲環境の周辺内の物体のパラメータ及び／又は軌道を含む周囲環境を表示する特徴状態を判断するに先立ち、データ対比技術を用いて受け取ったセンサーデータフレームを処理することができる。演算装置は、入ってきたセンサーデータフレームにロールバック技術を用いることに加えて、センサーデータフレームに１つ又は複数のデータ対比技術を実行することができる。
【０１００】
１つの例示的な実施の形態において、演算装置は、センサーからセンサーデータフレームを受け取ったとき、ゲーティング機能及び／又データ関連付けを行うことを含むデータ対比処理を行うことができる。演算装置は、局所的な周囲環境内の関心のある物体と結び付くことがないと思われる計測値を削除するための基本的な試金石として確率論的ゲーティング機能を用いることができる。削除された計測値は、例えば、周囲環境中の散乱物又は誤認警報に相当するかもしれない。従って、演算装置は、局所的な物体のパラメータ及び／又は軌道を反映する特徴状態を作り出すため又は更新するための間違った計測を使うことを避けるために、センサーフレームを処理する必要があるとおもわれる。
【０１０１】
ゲーティング機能（例えば、確率論的なもの）を実行したとき、演算装置は、特徴状態の情報内にそれぞれの物体の予測位置の周りに概念的ゲートを関連付けることができる。ゲーティング関係を満足する、受け取ったセンサーフレーム内のいくつかの計測値は、ゲート内に入ることがあり、軌道推定及びフィルタリングを含む、演算装置により物体パラメータの分析のために考慮することができる。動作中、演算装置は、複数の概念的ゲートを周囲環境中の別々の物体と関連付けることができ、全廃的に必要とされる演算を減少させるためにこのゲーティング処理を用いることができる。加えて、演算装置は、特徴状態の情報内の物体について推定される軌道を定めるために、概念的ゲートを用いることができる。
【０１０２】
加えて、演算装置は、データ関連付け機能を用いて、センサーデータフレームを処理することもできる。データ関連付けを実行する例として、演算装置は、入ってきたセンサーデータフレーム中の計測値を、同じソース（例えば、同じセンサー）に関連させることで、別々の計測値のセットに分割することができる。演算装置は、例えば、ＧＮＮ（Ｇｌｏｂａｌ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）処理のような、種々のアルゴリズム又は技術を用いてセンサーデータフレームについてデータの関連付けを行うことができる。演算装置は、一度に１つのセンサーデータフレームを処理するために、全センサーデータフレームの計測値を満足する最も確率の高い仮説を見つけるために用いることができる、ＧＮＮ処理を用いることができる。ＧＮＮ処理には、総費用が最小になるように、所定のセンサーデータフレーム中の各物体にデータを関連付けさせる演算装置を含めることができる。演算装置は、例えばハンガリー法又はそれに類似する方法を用いて最小費用を計算することができる。ハンガリー法は、組合せ最適化アルゴリズムとして機能することができ、物体にそれぞれ予測軌道を割り当てる割り当て問題を解決することができる。
【０１０３】
同様に、演算装置は、特定の物体に計測値を関連付けるために、最近傍（ＮＮ）処理を用いることができる。例えば、演算装置は各物体を先に推定した軌道と比較することができ、この比較に基づいて特定の軌道を選択する。演算装置は、すべてのセンサーフレームのデータを考えることなく、一部のセンサーデータフレームの最も可能性の高い計測値の仮説を見つけることで、それぞれのセンサーデータフレームにデータを関連付ける演算を行うためにＮＮプロセスを用いることができる。ＮＮ処理には、すべての既存の物体の軌道と比較したセンサーデータフレーム中の計測値に従い、物体のマハラノビス距離を計算するステップを含むことができ、結果として、最も低いコストの物体軌道を選択することができる。マハラノビス距離は、共通の点からデータ点までの距離（剰余）の相対的計測値を提供する記述的統計量として存在することができる。
【０１０４】
いくつかの例示的な実施の形態において、演算装置ＧＮＮ処理を用いて、すべての既存の軌道とセンサーデータフレーム中のすべての物体との間のマハラノビス距離のマトリックスを計算することができる。この計算を用いて、演算装置は、総費用を最小化するようにしてセンサーデータフレームの計測値における、それぞれの物体に関連付けられたデータを見つけることができる。演算装置は、ハンガリー法のような、既存の軌道に物体を割りつける種々の方法を用いることができる。演算装置は、受け取ったセンサーデータフレーム中の物体の計測値を、演算装置により先に予測した既存の軌道に適合させるためにＧＮＮを用いることができる。演算装置は、ＧＮＮ又は同様の処理結果を用いて予測した軌道を更新する更新することができる。ＮＮ処理とは異なり、少なくとも１つの物体に適切でない推定軌道を結果的に生じさせるような、演算装置が１つのセンサーデータフレームからの複数の物体を１つの推定された物体軌道に間違えて関連付けることを抑制することの手助けができる。
【０１０５】
さらに、演算装置は、同じ時期の周囲環境に対応するセンサーデータフレーム中の計測値同士を関連付けることができ、これは、個々のセンサーデータフレーム内のすべての計測値の関連付けを行うことを必要とする。演算装置は、車両の周囲環境における物体のパラメータの推定、及び／又は、物体の軌道の判断のためにデータの関連付けの結果を用いることができる。例えば、演算装置は、同じ時期の周囲環境に対応するフレーム又はフレームの一部に用いて物体のパラメータ、及び／又は、軌道を推定することができる。例示的な実施の形態において、データの関連付け、及び／又は、他の技術（例えば、ゲーティング機能）を行った後、演算装置は、センサーデータのフレーム又はフレームの一部を複数のセンサーにより捕捉された時間と関連付けるためにロールバック処理を用い、周囲環境に基づく特徴状態を判断するために計測値を抽出することができる。いくつかの例では、データの関連付けは、センサーデータフレームから提供されたデータ内の検出された物体と、推定軌道との間のマハラノビス距離を演算装置が計算することを必要とする。演算装置は、最も高い関連性の可能性を有するので、最も低いマハラノビス距離を持つ物体を特定の軌道と適合させることができる。
【０１０６】
１つの例示的な実施の形態において、演算装置は、所定の時間に１つのセンサーから受け取った周囲環境を表示するセンサーデータフレーム、及び、所定の時間に対応する他のセンサーから受け取った１つ又は複数のセンサーデータフレームの一部に基づき物体のパラメータ又は可能性のある軌道を推定することができる。従って、演算装置は、第１のフレームと同じ時に周囲環境を表示する他のフレームと比較して最も短いフレームレート（例えば、低レイテンシー）で受け取るセンサーからの第１のフレームを選択することができる。他の例において、演算装置は、他の技術又は処理を用いて、複数のセンサーから受け取ったセンサーデータフレームを処理し、周囲環境中の物体のパラメー、及び／又は、周囲環境中の物体の１つ又は複数の可能性のある軌道を推定することができる。
【０１０７】
別の例では、演算装置は、特定のセンサーからの第１のフレームの受け取りに応答して物体のパラメータを推定し、別のセンサー又は同じセンサーからのさらなるセンサーデータフレームの受け取りに応答して物体のパラメータの調整又はさらなる推定を行うことができる。同様に、演算装置は、物体軌道を推定し、センサーデータフレームを受け取ったとき演算装置が新たな計測値を受け取り、軌道を精緻化することができる。
【０１０８】
ブロック３０８にて、方法３００にはさらに、第２の時間で周囲環境を表示する第１の複数のフレームの後続のフレームと、第２の時間に対応する、第２の複数のフレームの後続の第１のフレームの少なくとも一部に基づき、１つ以上の物体の複数のパラメータを修正するステップを含めることができる。車両が動作中、演算装置は、さらなるセンサーデータフレームを受け取ることができる。演算装置は、先に検出されている物体の変化又は新しい物体の検出を含む、周囲環境内での変化を判断するために新しい計測値を用いることができる。このようにして、演算装置は、走行中周囲環境における変化に基づき車両の操作を補助することができる。
【０１０９】
動作の例示的説明として、演算装置は、同時に２つのセンサーから２つのフレームのセンサーデータの受け取りを開始させることができる。従って、演算装置は、他のセンサーデータフレームの受け取りより遅い時間に、遅いレートで受け取られるセンサーデータフレームの受け取りを完了することができる。センサーデータの最初のフレームに対する上述のロールバック技術と同様に、演算装置は、同じ時間に周囲環境を表示するセンサーデータフレーム及びセンサーデータフレームの一部の関連付けのために、ここに記載したロールバック技術の使用を続けることができる。このようにして、演算装置は、異なるフレームレート（例えば、異なるレイテンシー）で、センサーデータを含むフレームを受け取ったとしても、周囲環境を表示するセンサーデータを整列させることができる。
【０１１０】
後続のセンサーデータフレームに基づく変化を判断した結果、演算装置は、先に判断した周囲環境中の物体のパラメータ又は先に判断した軌道を修正することができる。センサーデータフレーム内の新しい計測値を用いて、演算装置は、周囲環境を表示する特徴状態を更新するよう構成することができ、更新には、センサーから受け取られた後続のフレーム中に提供されたさらなるセンサーデータに基づき周囲環境中の物体のパラメータ又は新しい物体のパラメータにおける変化を判断することを含めることができる。例えば、演算装置は、演算装置は、局所的な周囲環境中で新しく検出された物体の新しいパラメータを推定すること、又は、先に判断した１つ又は複数の物体のパラメータを更新することができる。さらに、演算装置は、引き続いて受け取ったセンサーデータフレーム内に提供された計測値に基づいて先に推定した物体の軌道を変更又は削除と共に、周囲環境中の１つ又は複数の物体の新しい可能性のある軌道を推定することもできる。
【０１１１】
従って、演算装置は、局所的な周囲環境についての物体検出情報を連続的に更新することができ、更新には、新しい物体の検出、及び、車両が位置、速度、及び／又は、周囲環境での方向を変化させたときの新しい軌道の推定が含まれる。他の例に含まれるものとして、演算装置は、車両センサーから提供されるセンサーデータフレームを新たに受け取ったことに基づいて、他の更新または修正を判断することができる。
【０１１２】
１つの例示的な実施の形態において、演算装置は、後続の時間での周囲環境を表示する後続のセンサーデータフレーム、及び、後続の時間に対応する、遅いフレームレート（例えば、高いレイテンシーレベル）で受け取った後続のセンサーデータフレームの少なくとも一部に基づき、特徴状態の情報を修正することができる。従って、演算装置は、速いレートで受け取った他のセンサーデータフレームより遅いレートで受け取ったセンサーデータフレーム中に受け取った計測値をロールバックすることができる。演算装置は、計測値がセンサーデータフレーム中で受け取られたとき、物体のパラメータ、及び／又は、推定した軌道を更新することができる。いくつかの例では、演算装置は、計測値の演算装置への到着が狂っていても、センサーが捕捉した時間に基づいて、最新にセンサーデータフレーム中に受け取られた古い計測値を用いて、周囲環境（例えば、特徴状態）を表示する情報を更新することができる。演算装置は、演算装置がフレームを受け取り、物体及び周囲環境の他の要素を表示する情報を判断するとき、センサーデータフレームの新旧の計測値を融合させることができる。
【０１１３】
さらに、演算装置は、後続のセンサーデータフレーム及びセンサーデータフレームの一部と共に先に説明した、ゲーティング機能（例えば、確率的ゲーティング）及びデータ関連付け処理を用いることができる。例えば、演算装置は、新しく受け取ったセンサーデータフレームについてデータ分析を行い、そのセンサーデータフレームのデータ分析、及び、同じ時間での周囲環境に対応するセンサーデータフレームのどのような部分とも結び付くデータ分析の結果を用いて、特徴状態内の情報を修正することができる。この修正には、物体パラメータ、及び／又は、物体軌道の更新または調整を含むことができる。演算装置は、特定の時間における周囲環境、及び、特徴状態の更新に対応する受け取ったセンサーデータフレームの追加部分を用いることができる。
【０１１４】
ブロック３１０にて、方法３００にはまた、１つ以上の物体の修正された複数のパラメータを車両の１つ以上のシステムに提供するステップを含めることもできる。車両の演算装置は、障害物の回避及び物体の認識のために周囲環境中の物体のパラメータを含む情報を車両のシステムに提供することができる。例えば、演算装置は、パラメータに基づき種々の設備の機能を実行することができるコントロールシステムに、物体についての情報を提供することができる。従って、コントロールシステムは、操縦機構、スロットル、ブレーキ、ナビゲーションシステム、障害物回避システム、及び／又は、他のシステムを、車両の演算装置から提供された情報に基づき変更することができる。
【０１１５】
さらに、演算装置は、車両を実時間で安全に操縦することのできる、検出された物体に結び付くパラメータを、連続的に提供するよう構成することができる。このような例において、演算装置は、車両に近傍に位置する物体のパラメータの変化を表示する情報を提供することができる。演算装置は、物体のパラメータに基づき車両の種々のシステムに命令を与えることができる。
【０１１６】
１つの例示的実施の形態として、演算装置は、センサー計測値を用いて周囲環境に関する情報を判断する前に、相異なる要素に基づき複数のセンサーからのセンサーデータフレームを最初に関連付けることができる。例えば、演算装置は、センサーデータフレームを、同じ特定のセンサーから受け取った他のセンサーデータフレームに関連付けることができる。同様に、演算装置は、センサーデータフレームを、同じ時間の周囲環境を表示する他のセンサーデータフレームに関連付けることができ、このことは、演算装置がセンサーにより捕捉された時間での複数のセンサーからのセンサーデータフレームの関連付けを伴う。他の実施の形態によれば、演算装置は、他の要素に基づきセンサーデータフレームを関連付ける。
【０１１７】
さらなる例示的な実施の形態において、演算装置は、計測値がセンサーデータフレームに到達したらすぐに、演算装置にて全てのセンサー計測値を融合し、特徴状態を判断し、周囲環境中の物体の軌道を推定することができる。例えば、演算装置は、演算装置がセンサーから種々のセンサーデータフレームを受け取ったときに、周囲環境の種々の物体のパラメータを連続的に推定することができる。各センサーデータフレームを受け取ると、演算装置は、それぞれのセンサーデータフレームからの計測値を用いて、周囲環境のパラメータを推定することができ、及び／又は、センサーにより捕捉された時間によりいくつかの計測値が使用不可になったとしても、物体の可能性のある軌道を推定することができる。演算装置は、物体の種々のパラメータ（例えば、特性）を車両、車両のシステム、又は使用する他の構成要素に提供することができる。例えば、車両システムは、障害物の回避のためにこれらのパラメータを用いることができる。
【０１１８】
図４は、ある期間にわたって車両のセンサーから出力されたデータの概念的な概念を示す例示的な図である。この例示的な図は、それぞれが複数のセンサーから演算装置が受け取った種々のセンサー計測値４１０を含む複数のセンサーデータフレーム４０２〜４０８を示す。例示的な演算装置は、センサーデータフレーム４０２〜４０８の可能性のある持続時間を示す、例示的な時間ライン４１２により示された相異なる時間でセンサーデータフレームを受け取ることができる。
【０１１９】
従って、演算装置は、時刻（ｔ１）で車両のセンサーからセンサーデータフレーム４０２を最初に受け取ることができる。一般に、演算装置は、センサーデータフレーム４０２及びセンサーデータフレーム４０４〜４０６を第１のフレームレート（例えば、低いレイテンシーレベル）でセンサーから受け取ることができる。演算装置は、第２のフレームレート（例えば、高いレイテンシーレベル）で他のセンサーからセンサーデータフレーム４０８を受け取っている間に、センサーから複数のフレームのセンサーデータ４０２〜４０６を受け取ることが示されている。他の実施の形態によれば、演算装置は、他のレイテンシー又は異なるフレームレートでセンサーデータフレームを受け取ることができ、車両のさらなる別のセンサーからも他のセンサーデータフレームを受け取ることができる。
【０１２０】
演算装置が、特定の１つのセンサーからセンサーフレーム４０２〜４０６のセットから第１のセンサーフレーム４０２を受け取っている間に、演算装置は、図４に示すような他のセンサーから、センサーデータフレーム４０８のようなセンサーデータのフレームの受け取りを開始することもできる。特に、例示的な図において、演算装置がセンサーフレーム４０２を受け取っている間に、時刻（ｔ２）でセンサーフレーム４０８の受け取りも開始する。従って、演算装置は、センサーフレーム４０２の受け取りを完了し、時刻（ｔ４）から時刻（ｔ５）までの後続のセンサーフレーム４０４の受け取りの間、及び、時刻（ｔ６）での、センサーフレーム４０６の受け取りを最初に開始する間にも、引き続きセンサーフレーム４０８の受け取りを続ける。例示的な図では、さらに、演算装置が時刻（ｔ７）でセンサーデータフレーム４０８の受け取りを完了し、時刻（ｔ８）で、第１のセンサーから受け取ったフレームのセットのうちの第３のセンサーデータフレーム４０６の受け取りを完了することが示されている。
【０１２１】
動作中、演算装置は、フレームの最初の部分を最初に受け取ったとき又は前フレームを受け取ると同時にセンサーデータのフレームの処理を開始することができる。例えば、演算装置は、センサーからフレームを最初に受け取ったときに、センサーデータフレーム４０２〜４０８を分析するために、先に説明したデータ分析処理を利用することができる。従って、演算装置は、時刻（ｔ１）から時刻（ｔ３）までにセンサーデータフレーム４０２のデータ分析を行い、時間ライン４１２に示された遅いフレームレートでセンサーデータフレーム４０８を演算装置が受け取るときので、時刻（ｔ２）からはじまる第２のセットのセンサーデータフレーム４０８のデータ分析をおこなうことができる。演算装置は、すべての個々のセンサーデータフレームのデータ分析を行うことができる。
【０１２２】
フレーム又はフレームの一部のデータ分析が完了した後、演算装置は、周囲環境中の物体に結び付くあらゆる係属中の計測値にデータ分析を追加することができる。いくつかの例では、バッファを用いることができる。結果として、時刻（ｔ３）に、周囲環境を示す特徴状態を判断することができ、この判断には、第１のセンサーデータフレーム４０２からと、時刻（ｔ２）から時刻（ｔ３）までのセンサーデータフレーム４０８の第１の部分のような、時刻（ｔ３）まで重なるセンサーデータフレーム４０８の一部とから抽出したデータを用いて、周囲環境中の物体のパラメータを推定することを含めることができる。いくつかの例では、演算装置はまた、処理したセンサーデータフレーム内で捕捉した計測値に基づき周囲環境中の１つ又は複数の物体の可能性のある軌道を推定することもできる。
【０１２３】
同様にして、演算装置は、後続のフレーム又はセンサーデータフレームの一部に基づき、物体のパラメータ、及び／又は、物体の軌道を含む、特徴状態における情報を更新することができる。いくつかの例では、演算装置は、新しく受け取ったセンサーデータに基づき新しい物体を示す情報を付加することができる。例えば、演算装置は、低いレイテンシーのフレームレートで受け取った、センサーデータ４０４の後続のフレームと、この後続のセンサーデータフレーム４０４の期間に少なくとも対応するセンサーデータフレーム４０８の後続の部分とにおける計測値を用いることができる。従って、演算装置は、時刻（ｔ３）から時刻（ｔ５）までのセンサーデータフレーム４０８におけるセンサー計測値、及び、時刻（ｔ４）から時刻（ｔ５）までのセンサーデータフレーム４０４におけるセンサー計測値を、時刻（ｔ５）での物体検出情報（例えば、パラメータ及び軌道）を含めて、用いることができる。
【０１２４】
同様に、演算装置は、センサーデータフレーム４０６内で提供される計測値と、センサーデータフレーム４０６の期間に対応するセンサーデータフレーム４０８の一部からの計測値とを、周囲環境中の物体に結び付くパラメータ及び推定される軌道を更新するために用いることができる。例えば、演算装置は、時刻（ｔ６）から時刻（ｔ７）又は時刻（ｔ８）までのセンサーデータフレーム４０６中、及び、時刻（ｔ５）から時刻（ｔ７）までのセンサーデータフレーム４０８の残りの部分に与えられた情報を、演算装置によりどの程度センサーデータフレーム４０６が処理され用いられたかに応じて、時刻（ｔ７）又は時刻（ｔ８）のどちらかでパラメータを更新するために用いることができる。演算装置は、すべてのセンサー又はセンサーのセットについて受け取ったすべてのフレームについての処理を繰り返すことができ、この処理には周期的に計測値バッファを用いることを含むことができる。例えば、演算装置は、車両又はロボット装置が走行経路を走行するとき、センサーデータの新しいフレームの受け取り及び処理を続けることができる。
【０１２５】
いくつかの例では、演算装置は、バッファ内に保存することができる、各センサーについての最初のフレーム全体にデータ分析を行うことができる。次いで、演算装置は、係属中の計測値バッファ又はメモリ内にデータ分析結果を追加することができる。加えて、演算装置は、フレームの終了時での周囲環境における物体に関するパラメータその他の情報を更新することができる。演算装置は、データの関連性を用いて全てのフレームが処理されるまで繰り返し、推定した軌道を更新することができる。演算装置は、センサーが獲得したセンサーデータのフレーム内に提供された、新しく受け取り処理した計測値に基づき軌道に加算又は減算することができる。
【０１２６】
図５は、ある時間にわたって、車両のセンサーから出力されたデータの概念を示す別の例示的な図である。いくつかの実施の形態では、演算装置は、センサーが車両又はロボット装置の周囲環境にある１つ又は複数の物体の新しい軌道の作成を必要とするとき、問題に遭遇する可能性がある。このような例では、演算装置は、センサー同士での軌道を統合するロジックを用いることができるが、軌道を統合するとき、単一のセンサーデータフレームからのデータを用いることを避けることができる。図５は、低いレイテンシーレベルで特定のセンサーから受け取ったセンサーデータフレーム５０２〜５０６の第１のセットの第１のセンサーデータフレーム５０２に、及び、高いレイテンシーレベルで別のセンサーから受け取った第２のセットの第１のセンサーデータフレーム５０８にＧＮＮ処理を行った後に演算装置が作ることのできる結果を示す。
【０１２７】
図５に示した例示的な図において、フレーム５０２内の番号は、軌道に関連付けた例示を意味し、文字は、車両の周囲環境にある物体の、可能性のある新しい軌道番号を意味する。従って、センサーデータフレーム５０２には図示したようにあらかじめ特定した軌道を識別する番号｛１、２、３、４、及び５｝が含まれていることを、演算装置は判断することができる。例示的な図には、演算装置によりまだ処理されていない可能性のあるセンサーデータフレーム５０４〜５０８も示されている。第２のセンサーにより提供された情報に対して、センサーデータフレーム５０８には、軌道識別番号｛１、２、３、及び５｝と、可能性のある新しい軌道｛Ｂ、Ｃ｝とが含まれる。
【０１２８】
物体検出情報を更新する間、演算装置は、軌道｛Ａ、Ｂ、及びＣ｝に基づき新しい軌道を推定することができる。しかし、演算装置は、接続線５１０〜５１２で示したように、推定した軌道｛Ａ｝が軌道｛Ｂ｝又は軌道｛Ｃ｝と場合によっては合併することができるかどうかの判断を行うことができる。従って、演算装置は、演算装置が推定した軌道を合併することができるかどうかを分析することができるが、正しくない接続線５１４で示したような推定した軌道｛Ｂ｝と推定した軌道｛Ｃ｝のような、同じ単一のセンサーデータフレームから推定した軌道を合併しないよう構成することができる。受け取ったセンサーデータフレーム内の計測値を統合する他の例も存在する。
【０１２９】
図６は、ある時間にわたって車両センサーから出力されたデータの概念を示す更なる例示的な図である。図４及び図５と同様に、センサーから低いレイテンシーレートで第１のセットのセンサーデータフレーム６０２〜６０６と、別のセンサーから高いレイテンシーレートで第２のセットのセンサーデータフレーム（例えば、センサーデータフレーム６０８）とを受け取る演算装置（不図示）を示す。他の実施の形態によれば、演算装置は、他のセンサーからもさらなるセンサーデータフレームを受け取ることができる。
【０１３０】
例示的な図において、演算装置は異なるレートで受け取ったセンサーデータフレーム内の計測値を処理するためにここに記載したロールバック技術を用いることができる。従って、演算装置は、ロールバック技術を用いる前に、すべてのセンサーデータフレーム６０２及びセンサーデータフレーム６０８にデータの関連付けを行うことができる。演算装置は、ロールバック技術を用いて、第１のセットの第１のセンサーデータフレーム６０２からの計測値を、係属中の計測値バッファ及びセンサーデータフレーム６０８からの計測値に、これらの計測値を受け取ったときに、直接加えることができる。
【０１３１】
その結果、演算装置は、受け取った計測値に基づき推定したあらゆる物体の軌道を含む、特徴状態を更新することができる。これにより、演算装置は、接続線６１０〜６１２で示したようなセンサーデータフレーム６０２から推定した、先に推定したいくつかの軌道と共に、センサーデータフレーム６０８ディジタルの計測値に基づく推定した軌道を含む、可能性のある情報を関連付けることができる。演算装置がセンサーから高いレイテンシーで受け取ったセンサーフレーム中の低いレートで受け取ることのできる計測値に基づき、車両の周囲環境を表す特徴状態を更新するために、演算装置はロールバック技術を用いることができる。従って、演算装置は、第１のセンサーからの後のほうのセンサーデータフレーム６０４〜６０６を処理する前に特徴状態内の軌道を推定することができる。
【０１３２】
図７は、ここに提示した少なくともいくつかの実施の形態により構成した演算装置でコンピュータ処理を行わせるコンピュータプログラムを含む例示的なコンピュータプログラム製品の概念的部分投影図の概略を示す。
【０１３３】
１つの実施の形態では、信号保持媒体７０２を用いて例示的コンピュータプログラム製品７００が提供される。信号保持媒体７０２には、１つ以上のプロセッサーにより実行されたとき、図１〜６について上述した機能及び機能の一部を行う１つ以上のプログラミング命令７０４を含めることができる。いくつかの実施の形態では、信号保持媒体７０２として、これらに限定されるわけではないが、ハードディスク・ドライブ、コンパクトディスク（ＣＤ）、ディジタルビデオディスク（ＤＶＤ）、ディジタルテープ、メモリー、等のような、信号保持媒体７０２を含めることができる。いくつかの実施の形態では、信号保持媒体７０２として、これらに限定されるわけではないが、メモリー、リード／ライト（Ｒ/Ｗ）ＣＤ、リード／ライトＤＶＤ、等のような、コンピュータ記憶可能媒体７０８を含めることができる。いくつかの実施の形態では、信号保持媒体７０２として、これらに限定されるわけではないが、ディジタル及び／又はアナログ通信媒体（例えば、光ファイバーケーブル、導波路、有線通信リンク、無線通信リンク、等）のような、通信媒体７１０を含めることができる。従って、例えば、信号保持媒体７０２は、通信媒体７１０の形で無線で伝達することができる。
【０１３４】
１つ以上のプログラミング命令７０４は、例えば、コンピュータで実行可能な、及び／又は、ロジックが組み込まれた命令とすることができる。いくつかの実施の形態では、図１のプロセッサーのような演算装置は、１つ以上のコンピュータ読み取り可能媒体７０６、コンピュータ記録可能媒体７０８、及び／又は、通信媒体７１０によりプロセッサーに伝達されたプログラミング命令７０４に応答して、種々の、動作、機能、及び処置を行うよう構成することができる。
【０１３５】
非一時的なコンピュータ読み取り可能媒体は、相互に遠隔に配置することのできる複数のデータ記憶要素に分散することもできる。記憶した命令の一部またはすべてを実行する演算装置は１つの装置とすることができる。もう一つの方法として、記憶した命令の一部またはすべてを実行する演算装置は、サーバーのような、別の演算装置とすることができる。
【０１３６】
ここに記載の構成は単に例示の目的で記載したことは言うまでもない。従って、他の構成及び他の構成要素（例えば、機械、インターフェース、機能、命令、及び、機能グループ、等）を代替的に用いることができ、いくつかの構成部品は、望ましい結果に従い省略することができることを当業者であれば理解するであろう。さらに、記載の構成要素の多くは、別々の又は商業的に流通している構成要素又は他の構成要素と関連させて、適当な組み合わせ及び配置として実施することができる機能的存在として記載されている。
【０１３７】
以上の説明には、種々の形態と実施の形態とが含まれているが、他の形態及び実施の形態も可能なことは当業者には明らかであろう。ここに記載の種々の形態と実施の形態とは、説明のためのものであり本発明を限定するために解釈されるべきでない。本発明は以下の特許請求の範囲とその法的均等物により範囲が定められる。ここで用いられた専門用語は特定の実施の形態について説明するためのものであり、発明を限定するためのものではない。
【０１３８】
記載した実施例に対して多くの修正、変形、変更を詳細に行うことが可能であるが、先に説明し添付図で示した全ての内容は、説明のためのものであり限定のためのものではない。
【図１】
0005912200.tif 000002
【図２】
0005912200.tif 000003
【図３】
0005912200.tif 000004
【図４】
0005912200.tif 000005
【図５】
0005912200.tif 000006
【図６】
0005912200.tif 000007
【図７】
0005912200.tif 000008