(57)【要約】【課題】従来よりも向上した、自律走行車の方法を提供する。【解決手段】検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換する過程と、既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測する過程と、変換されたセンサデータに基づいて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付ける過程と、検出物体に関連付けられた物体軌跡について、運動情報、幾何情報及び物体種別情報を更新する過程と、融合された物体リストであって、更新された物体軌跡のセットを含む物体リストを報告する過程と、を備える。【選択図】図２
2019530608.tif 000002
【特許請求の範囲】
【請求項１】
検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換する過程と、
既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測する過程と、
変換された前記センサデータに基づいて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付ける過程と、
検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新する過程と、
融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告する過程と、
を備える、方法。
【請求項２】
請求項１に記載の方法において、さらに、
既存の物体軌跡に関連付けられない検出物体について、新しい物体軌跡を開始する過程、
を備える、方法。
【請求項３】
請求項１に記載の方法において、さらに、
自律走行車両の前記少なくとも１つの異種センサの視野外にある物体軌跡を削除する過程、
を備える、方法。
【請求項４】
請求項３に記載の方法において、物体軌跡を削除する前記過程が、さらに、物体軌跡が前記少なくとも１つの異種センサの死角内にある場合には、当該物体軌跡を削除対象から除外する副過程を含む、方法。
【請求項５】
請求項１に記載の方法において、検出物体を既存の物体軌跡に関連付ける前記過程が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも３つの類似度を求める、方法。
【請求項６】
請求項１に記載の方法において、さらに、
運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出された特徴物の軌跡を既存の物体軌跡に関連付ける過程、
を備える、方法。
【請求項７】
請求項１に記載の方法において、運動情報が位置情報、速度情報及び向き情報を含み、幾何情報がバウンディングボックス及び物体輪郭を含み、物体種別情報が物体種類を含む、方法。
【請求項８】
検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換するように構成された前処理手段と、
既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測するように構成された軌跡予測手段と、
変換された前記センサデータを用いて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付けるように構成されたデータ連関手段と、
検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新するように構成された軌跡更新手段と、
融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告するように構成された報告手段と、
を備える、システム。
【請求項９】
請求項８に記載のシステムにおいて、さらに、
既存の物体軌跡に関連付けられない検出物体について、新しい物体軌跡を開始するように構成された軌跡管理手段、
を備える、システム。
【請求項１０】
請求項８に記載のシステムにおいて、前記軌跡更新手段が、さらに、自律走行車両の前記少なくとも１つの異種センサの視野外にある物体軌跡を削除するように構成されている、システム。
【請求項１１】
請求項１０に記載のシステムにおいて、前記軌跡更新手段が、さらに、物体軌跡が前記少なくとも１つの異種センサの死角内にある場合には、当該物体軌跡を削除対象から除外することにより、前記物体軌跡を削除するように構成されている、システム。
【請求項１２】
請求項８に記載のシステムにおいて、前記データ連関手段が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも３つの類似度を求めるように構成されている、システム。
【請求項１３】
請求項８に記載のシステムにおいて、前記データ連関手段が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出された特徴物の軌跡を既存の物体軌跡に関連付けるように構成されている、システム。
【請求項１４】
請求項８に記載のシステムにおいて、運動情報が位置情報、速度情報及び向き情報を含み、幾何情報がバウンディングボックス及び物体輪郭を含み、物体種別情報が物体種類を含む、システム。
【請求項１５】
自律走行車両を動作させる命令を記憶するように構成された非過渡的なコンピュータ読取り可能媒体であって、前記命令は、プロセッサによってロード及び実行されると、当該プロセッサに、
検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換する手順と、
既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測する手順と、
変換された前記センサデータに基づいて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付ける手順と、
検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新する手順と、
融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告する手順と、
を実行させる、非過渡的なコンピュータ読取り可能媒体。
【請求項１６】
請求項１５に記載の非過渡的なコンピュータ読取り可能媒体において、前記命令が、さらに、前記プロセッサに、
既存の物体軌跡に関連付けられられない検出物体について、新しい物体軌跡を開始する手順、
を実行させるように構成されている、非過渡的なコンピュータ読取り可能媒体。
【請求項１７】
請求項１５に記載の非過渡的なコンピュータ読取り可能媒体において、前記命令が、さらに、前記プロセッサに、
前記自律走行車両の前記少なくとも１つの前記異種センサの視野外にある物体軌跡を削除する手順、
を実行させるように構成されている、非過渡的なコンピュータ読取り可能媒体。
【請求項１８】
請求項１７に記載の非過渡的なコンピュータ読取り可能媒体において、物体軌跡を削除する前記手順が、さらに、物体軌跡が前記少なくとも１つの異種センサの死角内にある場合には、当該物体軌跡を削除対象から除外することを含む、非過渡的なコンピュータ読取り可能媒体。
【請求項１９】
請求項１５に記載の非過渡的なコンピュータ読取り可能媒体において、検出物体を既存の物体軌跡に関連付ける前記手順が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも３つの類似度を求める、非過渡的なコンピュータ読取り可能媒体。
【請求項２０】
請求項１５に記載の非過渡的なコンピュータ読取り可能媒体において、前記命令が、さらに、前記プロセッサに：
運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出された特徴物の軌跡を既存の物体軌跡に関連付ける手順、
を実行させるように構成されている、非過渡的なコンピュータ読取り可能媒体。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、2016年9月29日に同時に出願した、Paul DeBitetto、Matthew Graham、Troy Jones及びPeter Lommelによる「車両位置特定の自律走行車両：（Autonomous Vehicle: Vehicle Localization）」（代理人管理番号5000.1006-000 (CSDL-2489)）、ならびに2016年9月29日に同時に出願した、Troy Jones、Scott Lennox、John Sgueglia及びJon Demerlyによる「モジュラー型アーキテクチャによる自律走行車両：（Autonomous Vehicle: Modular Architecture）」（代理人管理番号5000.1007-000 (CSDL-2490)）に関連する。
【０００２】
上記の出願の全教示内容は、参照をもって本明細書に取り入れたものとする。
【背景技術】
【０００３】
今日の車両には、レーンアシスト、衝突前制動、リアクロストラック検出などの自動化システムを採用したものがある。これらのシステムは、車両の運転手が人為的過誤を犯さないように且つ他の車両、移動体又は歩行者との衝突を回避するように支援し得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらのシステムは一部の車両機能を自動化するだけであって、他の動作については未だ車両の運転手に頼っている。
【課題を解決するための手段】
【０００５】
一実施形態では、方法が、検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換する過程を備える。前記方法は、既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測する過程を備える。前記方法は、さらに、変換された前記センサデータに基づいて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付ける過程を備える。前記方法は、さらに、検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新する過程を備える。前記方法は、さらに、融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告する過程を備える。一実施形態では、前記方法、システムおよびコンピュータ読取り可能媒体は、自律走行車両に状況認識（situational awareness）を行う。
【０００６】
一実施形態において、前記方法は、既存の物体軌跡に関連付けられない検出物体について、新しい物体軌跡を開始する過程を備える。
【０００７】
一実施形態において、前記方法は、自律走行車両の少なくとも１つの前記異種センサの視野外にある物体軌跡を削除する過程を備える。
【０００８】
一実施形態において、前記方法は前記物体軌跡を削除する過程を備え、当該過程が、さらに、物体軌跡が前記少なくとも１つの異種センサの死角内にある場合には、当該物体軌跡を削除対象から除外する副過程を含む。
【０００９】
一実施形態において、検出物体を既存の物体軌跡に関連付ける過程が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも３つの類似度を求める。
【００１０】
一実施形態において、前記方法は、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出された特徴物の軌跡を既存の物体軌跡に関連付ける過程を備える。
【００１１】
一実施形態では、運動情報が位置情報、速度情報及び向き情報を含み、幾何情報がバウンディングボックス及び物体輪郭を含み、物体種別情報が物体種類を含む。
【００１２】
一実施形態では、自律走行車両の状況認識を提供するために検出物体を分析するシステムが、検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換するように構成された前処理手段を備える。前記システムは、さらに、既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測するように構成された軌跡予測手段を備える。前記システムは、さらに、変換された前記センサデータを用いて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付けるように構成されたデータ連関手段を備える。前記システムは、さらに、検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新するように構成された軌跡更新手段を備える。前記システムは、さらに、融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告するように構成された報告手段を備える。
【００１３】
一実施形態では、非過渡的なコンピュータ読取り可能媒体が、自律走行車両を動作させる命令を記憶するように構成されている。前記命令は、プロセッサによってロード及び実行されると、当該プロセッサに、検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換する手順、を実行させる。前記命令は、さらに、前記プロセッサに、既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測する手順、を実行させる。前記命令は、さらに、前記プロセッサに、変換された前記センサデータに基づいて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付ける手順、を実行させる。前記命令は、さらに、前記プロセッサに、検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新する手順、を実行させる。前記命令は、さらに、前記プロセッサに、融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告する手順、を実行させる。
【００１４】
前述の内容は、添付の図面に示す本発明の例示的な実施形態についての以下のより詳細な説明から明らかになる。異なる図を通して、同じ参照符号は同じ構成／構成要素を指すものとする。図面は必ずしも縮尺どおりではなく、むしろ、本発明の実施形態を図示することに重点が置かれている。
【図面の簡単な説明】
【００１５】
【図１】観察、状況判断、意思決定及び行動（ＯＯＤＡ）のモデルの自動制御システムの一実施形態における各ステップを示す図である。
【図２】自律走行車両の高次アーキテクチャの一実施形態のブロック図である。
【図３】センサインタラクション制御部（ＳＩＣ）、認知制御部（ＰＣ）及び位置特定制御部（ＬＣ）の一実施形態を示すブロック図である。
【図４】自動運転制御部（ＡＤＣ）、車両制御部（ＶＣ）及び駆動部（アクチュエータ）制御部の例示的な一実施形態を示すブロック図である。
【図５】ＡＤＣ及びＶＣの意思決定時間スケールを示す図である。
【図６】システム制御部、ヒューマンインターフェース制御部（ＨＣ）及びマシンインターフェース制御部（ＭＣ）の例示的な一実施形態を示すブロック図である。
【図７】物体融合フィルタの一実施形態を示すブロック図である。
【図８Ａ】物体融合サーバ設計の一実施形態を示すブロック図である。
【図８Ｂ】物体融合モジュールの一実施形態を示すブロック図である。
【図９】軌跡（トラック）予測の一実施形態を示すブロック図である。
【図１０Ａ】一実施形態におけるデータ連関（関連付け）の一要素を示す図である。
【図１０Ｂ】一実施形態におけるデータ連関の他の要素を示す図である。
【図１０Ｃ】一実施形態におけるデータ連関のさらなる他の要素を示す図である。
【図１０Ｄ】一実施形態におけるデータ連関のさらなる他の要素を示す図である。
【図１１】軌跡更新の例示的な一実施形態を示す図である。
【図１２】本発明の実施形態を実現可能なコンピュータネットワーク又は同様のデジタル処理環境を示す図である。
【図１３】図１２のコンピュータシステムにおけるコンピュータ（例えば、クライアントプロセッサ／装置、サーバコンピュータ等）の例示的な内部構造の図である。
【発明を実施するための形態】
【００１６】
以下では、本発明の例示的な実施形態について説明する。
【００１７】
図１は、観察、状況判断、意思決定及び行動（ＯＯＤＡ）のモデルの自動制御システムの一実施形態における各ステップを示す図である。高度に自動化された運転システムのような自動化システムや、自動運転車（すなわち、自律走行車両）は、ＯＯＤＡモデルを採用している。観察仮想レイヤ１０２は、実世界（地球）から、レーザ距離計、レーダ、赤外線、又はビジョンシステムなどのマシンセンサを用いて特徴物を検知することを伴う。状況判断仮想レイヤ１０４は、検知された情報に基づき状況認識、を行うことを伴う。状況判断仮想レイヤの活動例として、カルマンフィルタリング、モデルベーストマッチング、機械学習又は深層学習、およびベイジアン予測が挙げられる。意思決定仮想レイヤ１０６は、複数の対象から行動を選び出し、最終的な決断とする。行動仮想レイヤ１０８は、その決断を実行するための案内及び制御を提供する。図２は、自律走行車両の高次アーキテクチャ２０６の一実施形態のブロック図２００である。アーキテクチャ２０６は、完全に自動化された運転を可能にするのに、トップダウン式のアプローチを用いて構築されている。アーキテクチャ２０６は、また、異なる車両メーカーのハードウェアにも適応することができるようにモジュラー型のアーキテクチャであるのが好ましい。したがって、アーキテクチャ２０６は、異なる車両メーカーのハードウェアの特性を最大限に高めるように機能的に分割された、複数のモジュラー要素を備えている。一実施形態において、本明細書に記載のモジュラー型アーキテクチャ２０６は、あらゆる車両２０４のセンサ系統２０２に対するインターフェースとなることができる。モジュラー型アーキテクチャ２０６は、さらに、あらゆる車両２０４から車両情報を受け取ることが可能であり且つあらゆる車両２０４と通信することが可能である。
【００１８】
モジュラー型アーキテクチャ２０６の構成要素には、センサ２０２、センサインターフェース制御部（ＳＩＣ）２０８、位置特定制御部（ＬＣ）２１０、認知制御部（ＰＣ）２１２、自動運転制御部２１４（ＡＤＣ）、車両制御部２１６（ＶＣ）、システム制御部２１８（ＳＣ）、ヒューマンインタラクション制御部２２０（ＨＣ）、およびマシンインタラクション制御部２２２（ＭＣ）が含まれる。
【００１９】
再び図１のＯＯＤＡモデルを参照する。自律走行車両の観点から見ると、前記モデルの前記観察レイヤは、例えばビジョンセンサ、レーダ（Radar：「電波検出及び測距」）、ライダー（LIDAR：「光検出及び測距」）、全地球測位システム（ＧＰＳ）等からセンサ読取値を収集することを含む。図２に示すセンサ２０２が、このような観察レイヤを表している。前記モデルの前記状況判断レイヤの例は、実世界において、走行中の道路に対して及びその道路上の車線区分線に対して車がどこにあるのかを判断することを含んでもよく、図２の認知制御部（ＰＣ）２１２及び位置特定制御部（ＬＣ）２１０により表される。前記モデルの前記意思決定レイヤの例は、車を自動運転するための経路（通過する部分（corridor））を決定することを含み、図２の自動運転制御部（ＡＤＣ）２１４及び車両制御部（ＶＣ）２１６などの構成要素を有する。前記行動レイヤの例は、その経路を、図４の駆動部制御部４１０のような、前記車両の駆動系統（例えば、操舵副系統、加速副系統、制動副系統等）への、当該経路に沿って車を導く指令（コマンド）に変換することを含む。当業者であれば、システムのこれらのレイヤは必ずしもこの順序で進むとは限らず、観察が変わり次第、その他のレイヤの結果も変わるということを理解できるであろう。例えば、走行すべき経路をシステムが選んだ後も、他の物体の検出などといった道路上の状況の変化によって、車の経路を変更したり衝突を防ぐための緊急手順を実行したりしてもよい。また、前記車両制御部の前記指令は、ドリフトやスキッドなどの予想される車両挙動の変化を補償するように動的に調節される必要があり得る。
【００２０】
高次のレベルにおいて、モジュール（手段）のアーキテクチャ２０６は、センサ２０２から測定値を受け取る。センサが異なれば出力する情報のセットも異なり且つフォーマットも異なり得るが、モジュラー型アーキテクチャ２０６は、センサデータを当該モジュラー型アーキテクチャ２０６が解釈できるベンダーニュートラルな（特定のベンダーに依存しない）フォーマットのデータに変換するように構成されたセンサインターフェース制御部（ＳＩＣ）２０８（センサインターフェースサーバ（ＳＩＳ）と称されることもある）を含んでいる。したがって、モジュラー型アーキテクチャ２０６は、車両の前記センサから、当該センサのベンダー、メーカー又は構成に関係なく、当該車両２０４周辺の環境について知ることができる。ＳＩＣ２０８は、また、各センサのデータに対して、車における当該センサの位置及び向きを含むメタデータタグを付すことができる。当該メタデータタグは、前記認知制御部によって各センサの独自の角度、視野及び死角を決定するのに用いられることができる。
【００２１】
モジュラー型アーキテクチャ２０６は、さらに、車両制御部２１６（ＶＣ）を含む。ＶＣ２１６は、前記車両に指令を送るように且つ前記車両から状態メッセージを受け取るように構成されている。車両制御部２１６は、車両２０４から、当該車両の状態（例えば、当該車両の速度、姿勢、操舵位置、制動状態及び燃料レベルに関する情報のような、当該車両の自律走行に関係する副系統についての任意の情報等）を示す状態メッセージを受け取る。モジュラー型アーキテクチャ２０６は、車両２０４及びセンサ２０２からの情報に基づいて、自動運転を実現するのにＶＣ２１６から車両２０４に送る指令を算出することができる。モジュラー型アーキテクチャ２０６内の各種モジュールの機能については後で詳細に説明することにする。ただし、モジュラー型アーキテクチャ２０６を高次のレベルで見ると、当該モジュラー型アーキテクチャ２０６は、(a)センサ２０２からセンサ情報、且つ(b)車両２０４から車両状態情報を受け取り、そして、車両命令を車両２０４に供給する。このようなアーキテクチャにより、任意のセンサ構成を有するあらゆる車両に対して前記モジュラー型アーキテクチャを採用することができる。したがって、センサ副系統（例えば、センサ２０２等）、さらには、車両状態を出力し且つ駆動指令を受け付けることが可能な駆動副系統（例えば、図４の駆動部制御部４１０等）を備えた車両プラットフォームであれば、どのような車両プラットフォームでもモジュラー型アーキテクチャ２０６と統合することができる。
【００２２】
モジュラー型アーキテクチャ２０６内では、様々なモジュールが協働することによって自動運転を前記ＯＯＤＡモデルに従って実現する。センサ２０２及びＳＩＣ２０８は、前記「観察」仮想レイヤ内に存在する。前述したように、ＳＩＣ２０８は、様々なフォーマットの測定値（例えば、センサデータ等）を受け取る。ＳＩＣ２０８は、前記センサ直接からのベンダー特有データを、ベンダーニュートラルなデータに変換するように構成されている。これにより、センサ２０２のセットが任意のブランドのレーダ、ライダー又はイメージセンサなどのセンサを含むことができ、モジュラー型アーキテクチャ２０６は、センサ２０２による環境の認知を効果的に活用することができる。
【００２３】
次に、前記センサインターフェースサーバからの測定値出力が、認知制御部（ＰＣ）２１２及び位置特定制御部（ＬＣ）２１０によって処理される。ＰＣ２１２及びＬＣ２１０はいずれも、前記ＯＯＤＡモデルの前記「状況判断」仮想レイヤ内に存在する。ＬＣ２１０は、ＧＰＳ信号よりも高精度であり得る前記車両のロバストな実世界位置を決定し、また、ＧＰＳ信号が利用できないか又は正確でない場合にも、前記車両の実世界位置を決定する。ＬＣ２１０は当該位置を、ＧＰＳデータ及びセンサデータに基づいて決定する。一方で、ＰＣ２１２は、車周辺の物体や道路の状況を含む、車周辺の環境の状態を表す予測モデルを生成する。図３は、ＳＩＣ２０８、ＬＣ２１０及びＰＣ２１２をさらに詳細に示す。
【００２４】
自動運転制御部２１４（ＡＤＣ）及び車両制御部２１６（ＶＣ）は、前記認知制御部及び位置特定制御部の出力を受け取る。ＡＤＣ２１４及びＶＣ２１６は、前記ＯＯＤＡモデルの前記「意思決定」仮想レイヤ内に存在する。ＡＤＣ２１４は、目的地選択、ルート（道筋）及びレーンの案内ならびに高次交通監視を担う。ＡＤＣ２１４は、さらに、ルート内でのレーン選択、および緊急時に前記車両の進路を変えさせるための安全な退避エリアの特定を担う。すなわち、ＡＤＣ２１４は、目的地に到達するためのルート、および当該ルート内において前記車両を導くための経路を選択する。ＡＤＣ２１４は、この経路をＶＣ２１６に渡す。当該経路が与えられたＶＣ２１６は、当該経路を安全に走行するように前記車両を導くための、低次の駆動機能を供給する。ＶＣ２１６は、まず、運転手に快適性を提供しながら前記経路に沿って操縦する最良の方法、安全な退避場所に到達する能力、緊急時の操縦性、および前記車両の軌道（trajectory）に追従する能力を決定する。緊急時にはＶＣ２１６が、ＡＤＣ２１４により供給された前記経路を無効にして即座に車を安全な退避経路に案内し、安全になればＡＤＣ２１４により供給された前記経路に復帰する。ＶＣ２１６は、前記車両の操縦方法（安全操縦を含む）を決定した後、車両２０４に対して駆動指令を供給する。車両２０４は当該指令を、当該車両２０４の操舵副系統、スロットル副系統及び制動副系統において実行する。つまり、ＶＣ２１６のこの要素は前記ＯＯＤＡモデルの前記「行動」仮想レイヤ内に存在する。図４には、ＡＤＣ２１４及びＶＣ２１６についてのさらなる詳細が記載されている。
【００２５】
モジュラー型アーキテクチャ２０６は、さらに、各種モジュールとの通信を、システム制御部２１８（ＳＣ）を通してコーディネートする。ＳＣ２１８は、ＡＤＣ２１４及びＶＣ２１６とメッセージをやり取りすることによってヒューマンインタラクション制御部２２０（ＨＣ）及びマシンインタラクション制御部２２２（ＭＣ）の動作を可能にする。ＨＣ２２０は、前記システム制御部によりコーディネートされた状態メッセージに基づいて、前記自律走行車両の動作についての情報を人間が読解可能なフォーマットで提供する。ＨＣ２２０は、さらに、人間による入力が車の意思決定において考慮されるのを可能にする。例えば、ＨＣ２２０は一例として、前記車両のオペレータが前記車両の目的地又はルートを入力又は変更するのを可能にする。ＳＣ２１８がオペレータの入力を解釈し、必要に応じてこの情報をＶＣ２１６又はＡＤＣ２１４に受け渡す。
【００２６】
また、ＭＣ２２２は、他のマシン又は車両とのメッセージをコーディネートすることができる。例えば、他の車両が進路変更信号を自律走行車両に対して電子的に且つ無線で送信することができ、ＭＣ２２２がそのような情報を受信して当該情報をＶＣ２１６及びＡＤＣ２１４にＳＣ２１８を介して受け渡しできる。また、ＭＣ２２２は、情報を他の車両に対して無線で送信できる。進路変更信号の例として、ＭＣ２２２は、この車が進路変更しようとしているという通知を受け取ることできる。ＭＣ２２２はこの情報を、ＶＣ２１６がＳＣ２１８に対して状態メッセージを送り且つＳＣ２１８が当該状態をＭＣ２２２に受け渡すことによって受け取る。ただし、その他の例のマシン通信も実現可能である。例えば、他の車両のセンサ情報又は固定式センサが前記自律走行車両に、当該車両に環境についてのより確かな視界を与えるデータを無線で送信することができる。例えば、他のマシンが、前記車両の死角における物体についての情報を送信することが可能であってもよい。さらなる例では、他の車両が当該他の車両の軌跡を送信できる。さらなる他の例では、交通信号灯が前記車両から見えない場合の支援用として、当該交通信号灯が当該交通信号灯の状態についてのデジタル信号を送信できる。当業者であれば、前記自律走行車両により利用されるどのような情報も、他の車両との間で送受信されることが可能であり、これによって自律走行に役立てられることを理解できるであろう。図６には、ＨＣ２２０、ＭＣ２２２及びＳＣ２１８についてのさらなる詳細が記載されている。
【００２７】
図３は、センサインタラクション制御部３０４（ＳＩＣ）、認知制御部（ＰＣ）３０６及び位置特定制御部（ＬＣ）３０８の一実施形態を示すブロック図３００である。前記車両のセンサアレイ３０２は、カメラ３０２ａ、レーダ３０２ｂ、ライダー３０２ｃ、ＧＰＳ３０２ｄ、ＩＭＵ３０２ｅ、およびvehicle-to-everything（Ｖ２Ｘ）３０２ｆなどの様々な種類のセンサを含むことができる。各センサは、ベンダー規定の個々のデータタイプをＳＩＣ３０４に送る。例えば、カメラ３０２ａは物体リスト及び画像を送り、レーダ３０２ｂは物体リスト及び同相／直交位相（ＩＱ）データを送り、ライダー３０２ｃは物体リスト及び走査点を送り、ＧＰＳ３０２ｄは位置及び速度を送り、ＩＭＵ３０２ｅは加速度データを送り、Ｖ２Ｘ３０２ｆ制御部は他の車両の軌跡及び進路変更信号などのセンサデータや交通信号灯データを送る。ただし、当業者であれば、センサアレイ３０２がこれら以外の種類のセンサも使用可能であることを理解できるであろう。ＳＩＣ３０４は、各センサ３０２ａ〜３０２ｆの異常を監視及び診断する。ＳＩＣ３０４は、さらに、各センサのデータを当該データのベンダー特有パッケージから分離し、ベンダーニュートラルなデータタイプを認知制御部（ＰＣ）３０６及び位置特定制御部３０８（ＬＣ）に送る。ＳＩＣ３０４は、位置特定用特徴物測定値ならびに位置及び姿勢の測定値をＬＣ３０８に転送し、かつ、追跡対象物体測定値、走行面測定値ならびに位置及び姿勢の測定値をＰＣ３０６に転送する。また、ＳＩＣ３０４は、フォーマットの異なる新しいセンサも同じモジュラー型アーキテクチャで使用できるように、ファームウェアで更新されることができる。
【００２８】
ＬＣ３０８は、ＧＰＳデータ及びＩＭＵデータをレーダデータ、ライダーデータ及びビジョンデータと融合させることにより、ＧＰＳ位置内の位置を決定したりＧＰＳ位置の精度を高めたりする。そして、ＬＣ３０８は、決定された確かな、位置、速度及び姿勢をＰＣ３０６に報告する。ＬＣ３０８は、さらに、精度を高めるために、位置データ、速度データ及び姿勢データを表す測定値同士を、あるセンサ測定値（例えば、市街でのＧＰＳ信号等）が使えなくなった又は悪化した場合に当該ＬＣ３０８がその測定値を補正することができるように、相対的に監視する。ＰＣ３０６は、検知された情報に基づいて前記車両周辺の物体を識別して位置を突き止める。ＰＣ３０６は、さらに、前記車両近辺の走行可能面領域を推定すると共に、路肩や緊急時の走行可能地形などの表面も評価する。ＰＣ３０６は、さらに、物体の未来位置の確率予測を提供する。ＰＣ３０６は、さらに、物体及び走行可能面の履歴を記憶する。
【００２９】
ＰＣ３０６は、戦略的予測と戦術的予測との２種類の予測を出力する。戦術的予測は、約２〜４秒後の未来の実世界を表すものであり、前記車両の最も近くにある交通及び道路のみを予測する。この予測は、路肩のような場所における空いた退避スペースを含む。
【００３０】
戦略的予測は、車の可視環境のうちの視認可能範囲を超える領域を予測する長期予測である。この予測は、４秒よりも先の未来についてのものであるが、戦術的予測よりも不確かさが大きくなる。というのも、物体（例えば、車、人間等）の挙動が、現在観察されている挙動から予測不能に変化するかもしれないからである。戦略的予測の不確かさが大きい理由は、現在観察されている挙動が予測期間全体にわたって続くという仮定を、当該予測が立てているためである。また、このような予測は、外部源（他の自律走行車両、センサシステム及びセンサ通信ネットワークを有する非自律走行車両や車道付近又は車道上に配置されたセンサを含む）からのセンサ測定値や、物体上のトランスポンダからネットワークを介して受信したセンサ測定値や、前記自律走行車両と無線で通信するように構成された交通信号灯や標識などの信号に基づくことができる。
【００３１】
図４は、自動運転制御部（ＡＤＣ）４０２、車両制御部（ＶＣ）４０４及び駆動部制御部４１０の例示的な一実施形態を示すブロック図４００である。ＡＤＣ４０２及びＶＣ４０４は、前記ＯＯＤＡモデルの前記「意思決定」仮想レイヤを実行する。
【００３２】
ＡＤＣ４０２は、まず、オペレータによる目的地入力および現在位置に基づき、当該現在位置から目的地への全体ルート（当該目的地に到達するための道路及び道路間の分岐点のリストを含む）を生成する。この戦略的なルートプランは、交通状況に基づくものであってもよく、最新の交通状況に基づいて変化することができるが、このような変化は一般的に、到着予定時刻（ＥＴＡ）が大きく変わる場合に実施される。ＡＤＣ４０２は、次に、前記自律走行車両が走行するための安全で且つ衝突を起こさない経路を、前記ＰＣから提供された、近辺の物体及び許容可能な走行可能面に基づいて計画する。この経路は、ＶＣ４０４に要求として常に送られると共に、交通状況のような状況が変化するたびに更新される。ＶＣ４０４は、前記経路の更新をリアルタイムで受け取る。ＡＤＣ４０２は逆にＶＣ４０４から、前記車両の最新の実際軌道を受け取る。当該最新の実際軌道は、運転経路の前記要求についての、次に計画されている更新を変更するのにも用いられる。
【００３３】
ＡＤＣ４０２は、前記車両が進むための戦略的経路を生成する。ＡＤＣ４０２は当該経路を、前記戦略的／戦術的予測における道路上の空いたスペースについての予測に基づいて生成する。ＡＤＣ４０２は、さらに、図３の認知制御部から車両位置情報及び車両姿勢情報を受け取る。ＶＣ４０４が、さらに、前記車両の駆動部制御部４１０からの当該車両の実際軌道をＡＤＣ４０２に出力する。ＡＤＣ４０２は、この情報に基づき、道路を走行するうえでの適切な経路を算出する。道路が空いている例では、前記経路が車前方のレーンに追従してもよい。
【００３４】
車が別の車を追い越す必要がある他の例では、ＡＤＣ４０２が、安全に追越しを行うための空いたスペースが追越しレーン内及びその別の車前方に存在しているか否かを判定することができる。ＡＤＣ４０２は、前記車両が追越し運転を行うのに走行するための経路を、(a)追越し対象の車までの現在の距離、(b)追越しレーン内に存在する走行可能道路スペースの量、(c)追越し対象の車前方にある空いたスペースの量、(d)追越し対象の車両の速度、(e)前記自律走行車両の現在の速度、および(f)前記自律走行車両の既知の加速度に基づいて自動的に算出することができる。
【００３５】
他の例では、ＡＤＣ４０２が、ハイウェイ出口に向かう際にレーン変更するための経路を決定することができる。ＡＤＣ４０２は、前述した全因子に加えて目的地までの計画ルートを監視し、分岐点に接近すると、当該計画ルートを安全且つ合法的に運転し続けるための最良の経路を算出する。
【００３６】
ＡＤＣ４０２は、さらに、前記経路内における戦術的軌道を算出する。これにより、前記車両は物体間の安全な間隔を維持することができる。当該戦術的軌道は、ある車両が不意に減速又は停止したり別の車両が当該自律走行車前方に割り込んだりするなどといった緊急時の、安全なバックアップ退避軌道も含む。
【００３７】
ＡＤＣ４０２は、要求軌道経路４０６をＶＣ４０４に供給する。この供給は、前記車両が当該経路を進むことができるように当該ＡＤＣ４０２と連携して行われる。要求軌道経路４０６は、数秒後の未来の軌道に対して幾何学的制約及び速度制約を課す。ＶＣ４０４は、経路４０６内で運転するためのルートを決定する。ＶＣ４０４は、当該ＶＣ４０４の操縦決断を、前記認知制御部から受け取った前記戦術的／操縦予測、前記車両の位置および前記車両の姿勢に基づいて行う。前述したように、前記戦術的／操縦予測は、短期間についてのものであるが不確かさが小さい。したがって、低次の操縦演算及び安全演算に関しては、ＶＣ４０４が前記戦術的／操縦予測を効果的に用いて要求経路４０６内の衝突を起こさない軌道を計画する。緊急時に必要とされる際には、ＶＣ４０４は、他の物体と衝突を起こさないように、経路４０６外の軌道を計画する。
【００３８】
次に、ＶＣ４０４は、要求経路４０６、車の現在の速度及び加速度、ならびに最も近くにある物体に基づいて、物体との衝突を回避し走行可能面上に留まりながら当該経路４０６をいかに走行するかを決定する。ＶＣ４０４は、衝突を回避する必要性に迫られると、ＡＤＣ４０２の前記要求経路から急遽外れる操縦を指令しなければならないかもしれない。この緊急操縦は、ＡＤＣ４０２ではなく、差し迫った衝突脅威に対して当該ＡＤＣ４０２よりも応答時間が高速なＶＣ４０４単独によって開始されることができる。この機能によって、安全重大衝突回避責任をＶＣ４０４内だけのものとする。ＶＣ４０４は操縦指令を、車両プラットフォームの操舵動作、スロットル動作及び制動動作を制御する前記駆動部に送る。
【００３９】
ＶＣ４０４は当該ＶＣ４０４の操縦戦略を、駆動指令（例えば、操舵、スロットル、制動等）を含む現在の車両軌道４０８を前記車両の駆動部制御部４１０に送ることによって実行する。前記車両の駆動部制御部４１０は、車の操舵系統、スロットル系統及び制動系統それぞれに、対応する指令を適用する。軌道４０８を前記駆動部制御部に送るＶＣ４０４は、前記ＯＯＤＡモデルの前記「行動」仮想レイヤを代表する。前記自律走行車両のアーキテクチャをこのように概念化することにより、特定のモデル（例えば、各指令のフォーマット、加速性能、旋回性能及び制動性能等）の車を制御するための設定を必要とする構成要素は前記ＶＣだけであり、前記ＡＤＣは特定の車両性能にほぼ無関係でいられる。一例において、ＶＣ４０４は、車両の特定の駆動部制御系統とインターフェースできるように構成されたファームウェアで又は全車両に対する車群規模のファームウェアアップデートで更新されることができる。
【００４０】
図５は、ＡＤＣ４０２及びＶＣ４０４の意思決定時間スケールを示す図５００である。ＡＤＣ４０２は、前記経路を生成することによって高次の戦略的決断５０２及び戦術的決断５０４を実現する。よって、ＡＤＣ４０２は、長いレンジおよび／または時間スケールの決断を実現する。追越しやターンなどの挙動に関して戦略的ルートや戦術的走行経路を計画するためにＡＤＣ４０２が用いる実世界状態の推定は、不確かさが大きいものの、長い時間の未来を予測している。これは、そのような自律動作を計画するのに必要なことである。前記戦略的予測は、車の視認可能範囲を超えて予測するところ、車から遠く離れた物体の予測についてはレーダなどの非ビジョン技術に頼るしかないので、不確かさが大きくなる。ハイウェイ並みの速度で車を追い越すなどといった戦術的決断の多くは自律走行車両の視認可能範囲を超える（ＢＶＲ）（例えば、１００ｍ以上等の）認知を必要とするのに対し、操縦性５０６決断はどれも、衝突を回避するように局所的に認知された物体に基づいて行われる。
【００４１】
一方で、ＶＣ４０４は、物体挙動及び走行面についての短時間フレーム／レンジの予測である操縦性予測を用いて操縦性決断５０６を生成する。これらの操縦性予測は、短時間スケールの予測なので不確かさが小さくなる。ただし、操縦性予測は、前記自律走行車両における前記センサの視認可能範囲内で得られた測定値しか利用しない。つまり、ＶＣ４０４は、衝突を起こさない前記自律走行車両の軌道を高速応答で計画するために、車のすぐ近くの周辺環境の状態についてのこれらの操縦性予測（又は評価値）を用いる。ＶＣ４０４は、前記時間スケールの最下端において駆動指令を発行して計画済みの前記経路を実行に移し、当該経路で操縦する。
【００４２】
図６は、システム制御部６０２、ヒューマンインターフェース制御部６０４（ＨＣ）及びマシンインターフェース制御部６０６（ＭＣ）の例示的な一実施形態を示すブロック図６００である。ヒューマンインタラクション制御部６０４（ＨＣ）は、オペレータからの入力指令要求を受け取り、当該オペレータ、前記車両の乗員や前記自律走行車両外部の人間に対して出力を提供する。ＨＣ６０４は、システム状態や前記自律走行車両の意思決定の根拠についての人間が理解することのできる表現を、（視覚インターフェース、聴覚インターフェース又は触覚インターフェースなどのインターフェースを介して）オペレータや乗員に提供する。例えば、ＨＣ６０４は、前記車両の長期ルート（又は計画された経路）や安全な退避エリアを表示することができる。ＨＣ６０４は、さらに、運転手の状態についてのセンサ測定値を読み取り、任意の瞬間における当該運転手の、その車の運転を支援する準備完了性について監視することができる。一例として、前記車両内のセンサ系統は、オペレータがハンドルに手を置いているか否かを検出することができる。手を置いている場合、オペレータの操舵への切替えが許可可能であることをＨＣ６０４は通知することができ、手を置いていなければ、ＨＣ６０４はオペレータへの操舵制御の受渡しを阻止することができる。他の例では、ＨＣ６０４が、意思決定の根拠（例えば、特定のルートを選択した理由等）をオペレータに対して纏めて要約することができる。
【００４３】
マシンインタラクション制御部６０６（ＭＣ）は、フォーメンションドライブや交通管理などの活動をコーディネートするように他の自律走行車両や自動化システムとインタラクションする。ＭＣ６０６は、内的システム状態を読み取って、連携マシンシステムが理解することのできる出力データタイプ（例えば、Ｖ２Ｘデータタイプ等）を生成する。この状態は、協働のシステムによってネットワーク上に一斉送信されることができる。ＭＣ６０６は、外部のマシンシステムからの任意の指令要求（例えば、減速、ルート変更、合流要求、交通信号の状態等）を、ＨＣ６０４からの他の指令要求とのアービトレーションのために前記ＳＣに転送される指令要求に変換できる。また、ＭＣ６０６は、他のシステムからのメッセージを（例えば、信頼できる他社メーカーからの署名されたメッセージ等を用いて）認証することにより、これらメッセージが有効であって車周辺の環境を表現したものであることを保証することができる。このような認証により、悪意のある人物による改ざん行為を防止することができる。
【００４４】
システム制御部６０２（ＳＣ）は、前記アーキテクチャ内の各構成要素の全体管理部として機能する。ＳＣ６０２は、全システム構成要素からの状態データを集約して総合動作状態を判定し、各構成要素に対してシステム機能を実行するように指令を送る。システムの構成要素が動作不良を報告すると、ＳＣ６０２が診断・回復挙動を開始することによって自律動作を確保し、前記車両を安全な状態に維持する。自動運転状態への／からの前記車両のあらゆる切替えは、自動運転への動作上の準備ができているか否かや人間の運転手の準備完了性についての内部診断の間に、ＳＣ６０２により許可又は拒否される。
【００４５】
本発明の一実施形態では、システムおよび方法が、認知レイヤ／モジュール内で物体同士を融合する。図７は、ビジョンセンサ７０２、ライダー７０６、レーダ７０４などの全センサからの情報を受け取る物体レベル融合サーバ７０２の例示的な一実施形態を示すブロック図７００である。例示的な一実施形態では、前記センサが、２つのステレオビジョンセンサ、レーダおよびライダーを含む。ステレオビジョン７０２は、画像化技術を用いて、カメラの視野内に存在する物体（例えば、車、二輪車、人間、レーン、標識及び物体等）のバウンディングボックス（境界ボックス）を出力する。レーダシステム７０４は、レーダを反射するあらゆる物体の位置及び距離（レンジ）を追跡するが、これらの物体を分類又は識別することはできない。ライダーシステム７０６は、車や二輪車などの物体を識別することができ、これらの物体の種別を出力する。
【００４６】
図８Ａは、物体融合サーバ８１４の例示的な一実施形態を示すブロック図８００である。各センサ８０２，８０４，８０６は、専用プロセッサを含むことができるサーバモジュールと通信する。当該専用プロセッサは、追跡ループを実行し、各センサの生データを別々に処理して、センサの生データの代わりに物体データを出力するように構成されている。一実施形態では、各センササーバ８０２，８０４，８０６による全ての物体出力は、Ｘ軸（車後方から車前方への軸心）、Ｙ軸（車左側から車右側への軸心）及びＺ軸（地面から上方に延びる軸心）を含む座標系である。しかしながら、当業者であれば、異なる軸構成の座標系（すなわち、球面座標系のような座標系）も想定できるであろう。言い換えれば、各センササーバは物体データを、前記センサ又はセンサのフォーマットに無関係なメッセージフォーマットに変換する。次に、認知物体融合サーバ８１４が、これらのメッセージを組み合わせて融合追跡対象物体リストメッセージとする。
【００４７】
そして、物体融合モジュール８１４は全データ（ビジョン、ライダー及びレーダ）を分析して、自動運転車近辺の物体の全体像を決定する。従来の物体レベル融合システムは、レーダシステムしか使用しないか、ビジョンシステムしか使用しないか、またはいずれも使用しないものであった。全システムからのデータを組み合わせる際に克服しなければならない特有の課題の一つは、ライダーやレーダが物体を座標系内の点及びその点までの距離として出力するのに対し、ビジョンシステムは物体が含まれていそうなバウンディングボックスを出力するが、バウンディングボックスは距離があまり正確でないという点である。つまり、異なるシステムのデータ同士が正確に関連付けられる必要がある。例えば、バウンディングボックス内部のレーダ物体同士は、同じ物体であると判断することができる。バウンディングボックス外部のレーダのピン（ping）は、別の物体である可能性がある。前記物体融合モジュールは、全センサからのデータを受け容れることで、自動運転車付近の全物体についての最有力シナリオを決定する。例示的な一実施形態では、前記物体融合モジュールがカルマンフィルタリング及び確率的データ結合を用いる。しかしながら、他の実施形態では複数仮説追跡、又は確率仮説密度フィルタリングなどの手法が用いられることも可能である。
【００４８】
図８Ｂは、前記物体融合モジュールのより詳細なブロック図８５０である。各センサの物体データ８５８，８６０，８６２は、少なくとも１つのプリプロセッサ８６４により前処理される。物体リスト８６６，８６８，８７０内の物体データのフォーマットを一致させて、データ連関ブロック（データ関連付けブロック）が、これら３つの異なるドメイン（例えば、ライダー、レーダ、ビジョンシステム等）からの物体同士を関連付けることによって物体軌跡を決定する。当業者であれば、レーダ物体リスト８７０が、レーダトラッカー８７４によって追加で処理されてからデータ連関モジュール（関連付けモジュール）８７２に転送されるということを理解できるであろう。
【００４９】
データ連関モジュール８７２は、グローバル最近傍法を用いて確率的データ連関を適用し、センサ物体軌跡を既存の融合された物体軌跡に関連付ける。グローバル最近傍法は、関連付ける各センサ物体軌跡と融合された物体軌跡との類似度の合計が最大になる関連付けを選択する。データ連関モジュール８７２は、物体軌跡の類似度を、変換されたセンサデータに基づき、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つを用いて測定する。一部の実施形態では、データ連関モジュール８７２が物体軌跡の類似度を、変換されたセンサデータに基づき、運動情報、幾何情報及び物体種別情報のうちの３つ全てを用いて測定する。データ連関モジュール８７２は、関連付けられなかった物体軌跡８７８を軌跡管理モジュール８８２に送り、軌跡管理モジュール８８２は新しい軌跡８８８を開始する。新しい軌跡８８８は、軌跡予測モジュール８８４に送られる。データ連関モジュール８７２はその一方で、残りの物体を既存の融合された物体軌跡８７６に関連付ける。これらは、軌跡更新モジュール８８０に渡される。軌跡更新モジュール８８０は、更新された軌跡８９２を軌跡予測モジュール８８４に送る。軌跡更新モジュール８８０はベイジアンフィルタを用いて、物体軌跡を更新すると共に次の時間ステップでの軌跡を予測する。例示的な一実施形態では、前記軌跡更新モジュールはカルマンフィルタを用いる。しかしながら、他の実施形態では拡張カルマンフィルタ、アンセンテッドカルマンフィルタ又は粒子フィルタが用いられることも可能である。
【００５０】
軌跡予測モジュール８８４は、既存の物体軌跡についての予測８８６であって、データ連関モジュール８７２に送られる予測８８６を発行する。この予測は、未来の時間ステップでのデータ連関に利用される。このループは、車が動いている限り続行する。
【００５１】
軌跡更新モジュール８８０は、さらに、物体がもはや視界にないことを前記センサが検出すると、古い軌跡を除去する。ただし、軌跡更新モジュール８８０は、前記センサの判明している死角内にある物体については例外とすることができる。
【００５２】
図９は、軌跡予測を示す図９００である。軌跡予測の目標は、評価値の最新の進路が与えられるものとして、現測定時点での物体の位置及び速度を追跡することである。例えば、時刻ｔ＝ｋでの軌跡９０２が与えられるものとして、前記軌跡予測モジュールは、時刻ｔ＝ｋ＋１での物体の位置及び軌跡９０４を、その前の時刻（例えば、最近の時間ステップ等）で収集されたデータからのデータに基づいて推定することができる。ただし、推定不確かさは、予測時点以降、その予測から時間的に離れれば離れるほど大きくなる。現時点から時間的に離れた予測になるほど、物体に合致するバウンディングボックスは当然の如く増大し、その物体に対応する確かさの度合いが低下する。
【００５３】
図１０Ａ〜図１０Ｄは、データ連関を示す図１０００，１０２０，１０４０，１０６０である。前記データ連関モジュールは、最新のセットの測定値を既存の軌跡に関連付ける（図１０Ａ）。まず、システムは、図１０Ｂに示すように軌跡と測定値のペアそれぞれの関連性スコアを算出する。一実施形態では、当該スコアは、物体間の距離であってもよい。次に、システムは図１０Ｃに示すように、妥当とは思われない関連付けを不許可とするか又は除外する。そして、前記データ連関モジュールは、前記関連性スコアの合計が最小となる測定値−軌跡の振当てを選択する。次に、関連付けられた測定値に基づいて、軌跡が更新される。軌跡の更新は、予測された軌跡と測定値とを考慮して、新たな軌跡となる。
【００５４】
図１１は、軌跡更新の例示的な一実施形態を示す図１１００である。軌跡は、物体同士がどのように関連しているのかに基づいて更新されることができる。例えば、２つの物体同士が関連している場合には、当該物体同士が関連しており且つ当該物体同士の軌跡が同一又は類似している可能性が高いという知識に基づいて、システムがこれら２つの物体の軌跡を組み合わせるように当該軌跡を更新することができる。
【００５５】
本発明を例的な実施形態を参照しながら具体的に図示および説明したが、当業者であれば、添付の特許請求の範囲に包含される本発明の範疇を逸脱しない範囲で形態や細部に様々な変更が施されてもよいことを理解するであろう。
【００５６】
図１２に、本発明の実施形態が実現され得るコンピュータネットワーク又は同様のデジタル処理環境を示す。
【００５７】
少なくとも１つのクライアントコンピュータ／装置５０および少なくとも１つのサーバコンピュータ６０が、アプリケーションプログラムなどを実行する処理装置、記憶装置および入出力装置を提供する。少なくとも１つのクライアントコンピュータ／装置５０は、さらに、他のコンピューティングデバイス（他のクライアント装置／プロセス５０および１つ以上の他のサーバコンピュータ６０を含む）に通信ネットワーク７０を介して接続されることができる。通信ネットワーク７０は、リモートアクセスネットワーク、グローバルネットワーク（例えば、インターネット等）、世界中のコンピュータの集まり、ローカルエリア又はワイドエリアネットワーク、および現在のところは対応のプロトコル（TCP/IP、Bluetooth（登録商標）など）を用いて互いに通信するゲートウェイの一部であってもよい。それ以外の電子デバイス／コンピュータネットワークアーキテクチャも好適である。
【００５８】
図１３は、図１２のコンピュータシステムにおけるコンピュータ（例えば、クライアントプロセッサ／装置５０、サーバコンピュータ６０等）の例示的な内部構造の図である。コンピュータ５０，６０は、コンピュータ又は処理システムの構成要素間でのデータ伝送に利用される一連のハードウェアラインであるシステムバス７９を備える。システムバス７９は、本質的に、コンピュータシステムの相異なる構成要素（例えば、プロセッサ、ディスクストレージ、メモリ、入出力ポート、ネットワークポート等）同士を接続して当該構成要素間での情報の伝送を可能にする共有の導管である。システムバス７９には、様々な入出力装置（例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカ等）をコンピュータ５０，６０に接続するための入出力装置インターフェース８２が取り付けられている。ネットワークインターフェース８６は、コンピュータが、ネットワーク（例えば、図１２のネットワーク７０等）に取り付けられた様々な他の装置へと接続することを可能にする。メモリ９０は、本発明の一実施形態（例えば、詳細に前述したセンサインターフェース制御部、認知制御部、位置特定制御部、自動運転制御部、車両制御部、システム制御部、ヒューマンインタラクション制御部、マシンインタラクション制御部、物体融合サーバ、プリプロセッサ、データ連関モジュール、軌跡更新モジュール、軌跡管理モジュール、軌跡予測モジュール、レーダトラッカー等）を実現するように用いられるコンピュータソフトウェア命令９２およびデータ９４を記憶する揮発性の記憶部である。ディスクストレージ９５は、本発明の一実施形態を実現するように用いられるコンピュータソフトウェア命令９２およびデータ９４を記憶する不揮発性の記憶部である。システムバス７９には、さらに、コンピュータ命令を実行する中央演算処理装置８４が取り付けられている。
【００５９】
一実施形態において、プロセッサルーチン９２及びデータ９４は、コンピュータプログラムプロダクト（概して符号９２で表す）である。当該コンピュータプログラムプロダクトは、本発明のシステム用のソフトウェア命令の少なくとも一部を提供する非過渡的なコンピュータ読取り可能媒体（例えば、少なくとも１つのＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープなどの取外し可能な記憶媒体等）を含む。コンピュータプログラムプロダクト９２は、当該技術分野において周知である任意の適切なソフトウェアインストール方法によってインストールされることが可能なものであってもよい。また、他の実施形態では、前記ソフトウェア命令の少なくとも一部が、ケーブル通信および／または無線接続を介してダウンロードされるものであってもよい。他の実施形態において、本発明のプログラムは、伝播媒体における伝播信号（例えば、電波、赤外線波、レーザ波、音波、インターネットなどのグローバルネットワーク又は他の少なくとも１つのネットワークによって伝播される電気波等）に組み込まれた、コンピュータプログラム伝播信号プロダクトである。このような搬送媒体又は信号が、本発明のルーチン／プログラム９２用のソフトウェア命令の少なくとも一部を提供するように用いられてもよい。
【図１】
2019530608.tif 000003
【図２】
2019530608.tif 000004
【図３】
2019530608.tif 000005
【図４】
2019530608.tif 000006
【図５】
2019530608.tif 000007
【図６】
2019530608.tif 000008
【図７】
2019530608.tif 000009
【図８Ａ】
2019530608.tif 000010
【図８Ｂ】
2019530608.tif 000011
【図９】
2019530608.tif 000012
【図１０Ａ】
2019530608.tif 000013
【図１０Ｂ】
2019530608.tif 000014
【図１０Ｃ】
2019530608.tif 000015
【図１０Ｄ】
2019530608.tif 000016
【図１１】
2019530608.tif 000017
【図１２】
2019530608.tif 000018
【図１３】
2019530608.tif 000019
【手続補正書】
【提出日】令和1年7月30日(2019.7.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
一実施形態において、プロセッサルーチン９２及びデータ９４は、コンピュータプログラムプロダクト（概して符号９２で表す）である。当該コンピュータプログラムプロダクトは、本発明のシステム用のソフトウェア命令の少なくとも一部を提供する非過渡的なコンピュータ読取り可能媒体（例えば、少なくとも１つのＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープなどの取外し可能な記憶媒体等）を含む。コンピュータプログラムプロダクト９２は、当該技術分野において周知である任意の適切なソフトウェアインストール方法によってインストールされることが可能なものであってもよい。また、他の実施形態では、前記ソフトウェア命令の少なくとも一部が、ケーブル通信および／または無線接続を介してダウンロードされるものであってもよい。他の実施形態において、本発明のプログラムは、伝播媒体における伝播信号（例えば、電波、赤外線波、レーザ波、音波、インターネットなどのグローバルネットワーク又は他の少なくとも１つのネットワークによって伝播される電気波等）に組み込まれた、コンピュータプログラム伝播信号プロダクトである。このような搬送媒体又は信号が、本発明のルーチン／プログラム９２用のソフトウェア命令の少なくとも一部を提供するように用いられてもよい。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換する過程と、
既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測する過程と、
変換された前記センサデータに基づいて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付ける過程と、
検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新する過程と、
融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告する過程と、
を備える、方法。
〔態様２〕
態様１に記載の方法において、さらに、
既存の物体軌跡に関連付けられない検出物体について、新しい物体軌跡を開始する過程、
を備える、方法。
〔態様３〕
態様１に記載の方法において、さらに、
自律走行車両の前記少なくとも１つの異種センサの視野外にある物体軌跡を削除する過程、
を備える、方法。
〔態様４〕
態様３に記載の方法において、物体軌跡を削除する前記過程が、さらに、物体軌跡が前記少なくとも１つの異種センサの死角内にある場合には、当該物体軌跡を削除対象から除外する副過程を含む、方法。
〔態様５〕
態様１に記載の方法において、検出物体を既存の物体軌跡に関連付ける前記過程が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも３つの類似度を求める、方法。
〔態様６〕
態様１に記載の方法において、さらに、
運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出された特徴物の軌跡を既存の物体軌跡に関連付ける過程、
を備える、方法。
〔態様７〕
態様１に記載の方法において、運動情報が位置情報、速度情報及び向き情報を含み、幾何情報がバウンディングボックス及び物体輪郭を含み、物体種別情報が物体種類を含む、方法。
〔態様８〕
検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換するように構成された前処理手段と、
既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測するように構成された軌跡予測手段と、
変換された前記センサデータを用いて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付けるように構成されたデータ連関手段と、
検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新するように構成された軌跡更新手段と、
融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告するように構成された報告手段と、
を備える、システム。
〔態様９〕
態様８に記載のシステムにおいて、さらに、
既存の物体軌跡に関連付けられない検出物体について、新しい物体軌跡を開始するように構成された軌跡管理手段、
を備える、システム。
〔態様１０〕
態様８に記載のシステムにおいて、前記軌跡更新手段が、さらに、自律走行車両の前記少なくとも１つの異種センサの視野外にある物体軌跡を削除するように構成されている、システム。
〔態様１１〕
態様１０に記載のシステムにおいて、前記軌跡更新手段が、さらに、物体軌跡が前記少なくとも１つの異種センサの死角内にある場合には、当該物体軌跡を削除対象から除外することにより、前記物体軌跡を削除するように構成されている、システム。
〔態様１２〕
態様８に記載のシステムにおいて、前記データ連関手段が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも３つの類似度を求めるように構成されている、システム。
〔態様１３〕
態様８に記載のシステムにおいて、前記データ連関手段が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出された特徴物の軌跡を既存の物体軌跡に関連付けるように構成されている、システム。
〔態様１４〕
態様８に記載のシステムにおいて、運動情報が位置情報、速度情報及び向き情報を含み、幾何情報がバウンディングボックス及び物体輪郭を含み、物体種別情報が物体種類を含む、システム。
〔態様１５〕
自律走行車両を動作させる命令を記憶するように構成された非過渡的なコンピュータ読取り可能媒体であって、前記命令は、プロセッサによってロード及び実行されると、当該プロセッサに、
検出物体についてのセンサデータであって、複数の異種センサからのセンサデータを、共通の座標フレームに変換する手順と、
既存の物体軌跡の現在の測定時点における、位置、速度、向き及びバウンディングボックスを予測する手順と、
変換された前記センサデータに基づいて、運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出物体を既存の物体軌跡に関連付ける手順と、
検出物体に関連付けられた物体軌跡について、前記運動情報、前記幾何情報及び前記物体種別情報を更新する手順と、
融合された物体リストであって、更新された物体軌跡の得られたセットを含む物体リストを報告する手順と、
を実行させる、非過渡的なコンピュータ読取り可能媒体。
〔態様１６〕
態様１５に記載の非過渡的なコンピュータ読取り可能媒体において、前記命令が、さらに、前記プロセッサに、
既存の物体軌跡に関連付けられられない検出物体について、新しい物体軌跡を開始する手順、
を実行させるように構成されている、非過渡的なコンピュータ読取り可能媒体。
〔態様１７〕
態様１５に記載の非過渡的なコンピュータ読取り可能媒体において、前記命令が、さらに、前記プロセッサに、
前記自律走行車両の前記少なくとも１つの前記異種センサの視野外にある物体軌跡を削除する手順、
を実行させるように構成されている、非過渡的なコンピュータ読取り可能媒体。
〔態様１８〕
態様１７に記載の非過渡的なコンピュータ読取り可能媒体において、物体軌跡を削除する前記手順が、さらに、物体軌跡が前記少なくとも１つの異種センサの死角内にある場合には、当該物体軌跡を削除対象から除外することを含む、非過渡的なコンピュータ読取り可能媒体。
〔態様１９〕
態様１５に記載の非過渡的なコンピュータ読取り可能媒体において、検出物体を既存の物体軌跡に関連付ける前記手順が、さらに、運動情報、幾何情報及び物体種別情報のうちの少なくとも３つの類似度を求める、非過渡的なコンピュータ読取り可能媒体。
〔態様２０〕
態様１５に記載の非過渡的なコンピュータ読取り可能媒体において、前記命令が、さらに、前記プロセッサに：
運動情報、幾何情報及び物体種別情報のうちの少なくとも２つの類似度を求めることによって、検出された特徴物の軌跡を既存の物体軌跡に関連付ける手順、
を実行させるように構成されている、非過渡的なコンピュータ読取り可能媒体。
【国際調査報告】
2019530608.tif 000020
2019530608.tif 000021