(57)【要約】【課題】自動運転車両のためのセンサー集約フレームワークが開示されている。【解決手段】一実施形態では、自動運転車両（ＡＤＶ）が複数の障害物を含む関心領域（ＲＯＩ）内で移動するときに、自動運転車両（ＡＤＶ）に取り付けられた１つ以上のセンサーからセンサーデータを収集する。センサーデータは、障害物の障害物情報とＡＤＶの車両データとを含む。車両データが捕捉された現在時刻を利用して車両データのそれぞれにタイムスタンプを付与することにより、車両データに対応する複数のタイムスタンプを生成する。障害物情報、車両データ、および対応するタイムスタンプをトレーニングデータに集約する。トレーニングデータは、少なくとも部分的に将来の障害物挙動およびＡＤＶの車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用される。【選択図】図７
2019182404.tif 000002
【特許請求の範囲】
【請求項１】
自動運転車両の制御において後で使用するための一組のパラメータをトレーニングするコンピュータ実施方法であって、
前記自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、
前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、
前記障害物情報、前記車両データ、および対応するタイムスタンプを、少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、
を含む方法。
【請求項２】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約する前に、前記センサーデータから前記障害物情報と前記車両データを抽出することと、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約した後に、前記トレーニングデータを使用して前記一組のパラメータをトレーニングすることにより、前記障害物の障害物挙動および前記自動運転車両の現在の車両運動を学習することと、
をさらに含む請求項１に記載の方法。
【請求項３】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約することは、
ペアを成して前記車両データのそれぞれとその対応するタイムスタンプを互いに付加することにより、複数の車両データ及び対応するタイムスタンプのペアを形成することと、
前記車両データ及び対応するタイムスタンプのペアを互いに付加することと、
付加された車両データ及び対応するタイムスタンプのペアを前記障害物情報に付加することと、
を含む、
請求項１に記載の方法。
【請求項４】
前記トレーニングデータは、前記障害物情報に付加された、複数の付加された車両データ及び対応するタイムスタンプのペアを含み、前記障害物情報のそれぞれは互いに付加されている請求項１に記載の方法。
【請求項５】
前記障害物情報は、前記障害物の位置および反射率を含み、前記車両データは、発された運転命令および前記自動運転車両の応答を含む請求項１に記載の方法。
【請求項６】
前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することは、特定の時間フレーム内に実行される請求項１に記載の方法。
【請求項７】
前記一組のパラメータをトレーニングすることは、機械学習モデルを呼び出すことにより前記障害物情報、前記車両データ、および前記対応するタイムスタンプを連続的に学習することを含む請求項２に記載の方法。
【請求項８】
命令が記憶されている非一時的な機械可読媒体であって、
前記命令がプロセッサによって実行される場合に、
自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、
前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、
前記障害物情報、前記車両データ、および対応するタイムスタンプを、少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、
を含む動作を前記プロセッサに実行させる非一時的な機械可読媒体。
【請求項９】
前記動作は、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約する前に、前記センサーデータから前記障害物情報と前記車両データを抽出することと、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約した後に、前記トレーニングデータを使用して前記一組のパラメータをトレーニングすることにより、前記障害物の障害物挙動および前記自動運転車両の現在の車両運動を学習することと、
をさらに含む、
請求項８に記載の非一時的な機械可読媒体。
【請求項１０】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約することは、
ペアを成して前記車両データのそれぞれとその対応するタイムスタンプを互いに付加することにより、複数の車両データ及び対応するタイムスタンプのペアを形成することと、
前記車両データ及び対応するタイムスタンプのペアを互いに付加することと、
付加された車両データ及び対応するタイムスタンプのペアを前記障害物情報に付加することと、
を含む、
請求項８に記載の非一時的な機械可読媒体。
【請求項１１】
前記トレーニングデータは、前記障害物情報に付加された、複数の付加された車両データ及び対応するタイムスタンプのペアを含み、前記障害物情報のそれぞれは互いに付加されている請求項８に記載の非一時的な機械可読媒体。
【請求項１２】
前記障害物情報は、前記障害物の位置および反射率を含み、前記車両データは、発された運転命令および前記自動運転車両の応答を含む請求項８に記載の非一時的な機械可読媒体。
【請求項１３】
前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することは、特定の時間フレーム内に実行される請求項８に記載の非一時的な機械可読媒体。
【請求項１４】
前記一組のパラメータをトレーニングすることは、機械学習モデルを呼び出すことにより前記障害物情報、前記車両データ、および前記対応するタイムスタンプを連続的に学習することを含む請求項９に記載の非一時的な機械可読媒体。
【請求項１５】
プロセッサと、前記プロセッサに接続されて命令を記憶するメモリとを含むデータ処理システムであって、
前記命令がプロセッサによって実行され場合に、
自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、
前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、
前記障害物情報、前記車両データ、および対応するタイムスタンプを少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、
を含む動作を前記プロセッサに実行させるデータ処理システム。
【請求項１６】
前記動作は、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約する前に、前記センサーデータから前記障害物情報と前記車両データを抽出することと、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約した後に、前記トレーニングデータを使用して前記一組のパラメータをトレーニングすることにより、前記障害物の障害物挙動および前記自動運転車両の現在の車両運動を学習することと、
をさらに含む、
請求項１５に記載のデータ処理システム。
【請求項１７】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約することは、
ペアを成して前記車両データのそれぞれとその対応するタイムスタンプを互いに付加することにより、複数の車両データ及び対応するタイムスタンプのペアを形成することと、
前記車両データ及び対応するタイムスタンプのペアを互いに付加することと、
付加された車両データ及び対応するタイムスタンプのペアを前記障害物情報に付加することと、
を含む、
請求項１５に記載のデータ処理システム。
【請求項１８】
前記トレーニングデータは、前記障害物情報に付加された、複数の付加された車両データ及び対応するタイムスタンプのペアとを含み、前記障害物情報のそれぞれは互いに付加されている請求項１５に記載のデータ処理システム。
【請求項１９】
前記障害物情報は、前記障害物の位置および反射率を含み、前記車両データは、発された運転命令および前記自動運転車両の応答を含む請求項１５に記載のデータ処理システム。
【請求項２０】
前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することは、特定の時間フレーム内に実行される請求項１５に記載のデータ処理システム。
【請求項２１】
前記一組のパラメータをトレーニングすることは、機械学習モデルを呼び出すことにより前記障害物情報、前記車両データ、および前記対応するタイムスタンプを連続的に学習することを含む請求項１６に記載のデータ処理システム。
【請求項２２】
自動運転車両を操作するためのコンピュータ実施方法であって、
前記自動運転車両が自動運転モードで操作されている場合に、前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することと、
前記センサーデータが捕捉された現在時刻を利用して前記センサーデータのそれぞれにタイムスタンプを付与することにより、前記センサーデータに対応する複数のタイムスタンプを生成することと、
前記センサーデータから前記自動運転車両の車両データと感知された障害物の障害物情報を抽出することと、
抽出された車両データ、抽出された障害物情報、対応するタイムスタンプ、および過去の障害物挙動および前記自動運転車両の車両運動を学習するために前にトレーニングされた一組のトレーニングパラメータに基づいて、前記感知された障害物の挙動および前記自動運転車両の車両運動を予測することと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、主に自動運転車両の操作に関する。より具体的には、本発明の実施形態は、自動運転車両のためのセンサー集約フレームワークに関する。
【背景技術】
【０００２】
自動運転モード（例えば、無人運転）で運転している車両は、運転に関連するいくつかの責任から乗員、特に運転手を解放することができる。自動運転モードで運転しているとき、車両は車載センサーを使用してさまざまな地点にナビゲートされることができるため、車両が最小限のヒューマンコンピュータインタラクションや乗客なしなどの状況で走行することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
運動計画および制御は自動運転における重要な操作である。しかしながら、伝統的な運動計画操作は、異なるタイプの車両の特徴の違いを考慮せずに、主に所与の経路の曲率および速度から所与の経路を完成することの困難さを推定している。すべてのタイプの車両に同じ運動計画と制御を適用するが、状況によっては不正確で不安定な場合がある。
【０００４】
各センサーがそれぞれの制限を有するので、運動計画および制御の操作は、複数のセンサーによって実行される必要がある。例えば、複数のセンサーが協働して、車両環境内の対象物（または障害物）を正確に識別し追跡することができる。センサーによる協働には、通常、タイムスタンプの整列とセンサーデータの集約に関するマルチセンサーの融合が必要である。しかしながら、通常、タイムスタンプの整列を正確かつ効果的に実行することが困難であり、センサーデータの集約には通常にセンサーの間で矛盾する結果が生じる。
【課題を解決するための手段】
【０００５】
【０００６】
【０００７】
【０００８】
【図面の簡単な説明】
【０００９】
本開示の実施形態は各図面において限定的ではなく例示的な形態で示され、図面における同じ図面符号が類似の素子を示す。
【００１０】
【図１Ａ】一実施形態に係るネットワーク化システムを示すブロック図である。
【００１１】
【図１Ｂ】一実施形態に係るセンサーデータをトレーニングするためのシステムを示すブロック図である。
【００１２】
【図２】一実施形態に係る自動運転車両の例を示すブロック図である。
【００１３】
【図３Ａ】一実施形態に係る自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。
【図３Ｂ】一実施形態による自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。
【００１４】
【図４】一実施形態に係る車両データおおび対応するタイムスタンプの例を示す図である。
【００１５】
【図５】一実施形態に係るトレーニングデータの例を示す図である。
【００１６】
【図６】一実施形態に係る多くの障害物を含む関心領域内で操作される自動運転車両を示す図である。
【００１７】
【図７】一実施形態に係るセンサーデータをトレーニングするための方法のフローチャートである。
【００１８】
【図８】一実施形態に係る自動運転車両を操作するための方法のフローチャートである。
【００１９】
【図９】一実施形態に係るデータ処理システムを示すブロック図である。
【発明を実施するための形態】
【００２０】
本発明の様々な実施形態および態様を以下に検討される詳細を参照して記載し、図面には、前記様々な実施形態が示されている。以下の記載及び図面は本発明を説明するためのものであり、本発明を限定するものと解釈されるべきではない。特定の詳細を多く記載することは、本発明の様々な実施形態を完全に理解するためである。しかしながら、本発明の実施形態を簡潔に検討するために、周知または従来の詳細は記載しない場合もある。
【００２１】
本明細書における「一実施形態」または「実施形態」への言及は、当該実施形態に関連して説明された特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所に出現する「一実施形態では」とは、必ずしも全て同じ実施形態を指すわけではない。
【００２２】
いくつかの実施形態によれば、自動運転車両が関心領域に進入するように操作されたとき、システムは、自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集する。センサーデータは、発された運転命令（例えば、スロットル、ブレーキ、ステアリング命令）および異なる時点（時間フレーム）で車両のセンサーによって捕捉された車両の応答（例えば、速度、加速度、減速度、方向）を示す情報を有する車両データを含む。センサーデータは、障害物の位置や障害物の反射率などの障害物（または対象物）情報をさらに含む。センサーデータからの各車両データは、それぞれ収集されるときの現在時刻でタイムスタンプが付与される。次いで、センサーデータを抽出することにより、車両データ、対応するタイムスタンプ、および障害物情報をそれぞれ生成し、ここで、センサーデータは、中央サーバに遠隔記憶することができ、及び／又は永続記憶ドライバにローカル記憶することができる。次に、抽出された車両データ、対応するタイムスタンプ、および障害物情報を集約してトレーニングデータを形成する。次に、トレーニングデータを使用して、車両のオンライン制御（例えば、運動計画および制御）のために配置することができる一組のパラメータをトレーニングする（例えば、ニューラルネットワークなどの機械学習エンジンを使用する）。したがって、タイムスタンプはより良く整列され、センサーの間の矛盾する結果は減少または排除される。
【００２３】
一実施形態では、自動運転車両（ＡＤＶ）が複数の障害物を含む関心領域（ＲＯＩ）内で移動するときに、ＡＤＶに取り付けられた１つ以上のセンサーからセンサーデータを収集する。センサーデータは、障害物の障害物情報とＡＤＶの車両データとを含む。車両データが捕捉された現在時刻を利用して車両データのそれぞれにタイムスタンプを付与することにより、車両データに対応する複数のタイムスタンプを生成する。障害物情報、車両データ、および対応するタイムスタンプをトレーニングデータに集約する。トレーニングデータは、少なくとも部分的に将来の障害物挙動およびＡＤＶの車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用される。
【００２４】
一実施形態では、一実施形態では、障害物情報、車両データ、および対応するタイムスタンプをトレーニングデータに集約する前に、センサーデータから障害物情報と車両データを抽出する。一実施形態では、障害物情報、車両データ、および対応するタイムスタンプをトレーニングデータに集約した後に、トレーニングデータを使用して当該一組のパラメータをトレーニングすることにより、障害物の障害物挙動およびＡＤＶの現在の車両運動を学習する。
【００２５】
一実施形態では、障害物情報、車両データ、および対応するタイムスタンプをトレーニングデータに集約するために、ペアを成して車両データのそれぞれとその対応するタイムスタンプを互いに付加することにより、複数の車両データと対応するタイムスタンプのペアを形成する。車両データと対応するタイムスタンプのペアを互いに付加する。付加された車両データと対応するタイムスタンプのペアを障害物情報に付加する
【００２６】
別の一実施形態では、ＡＤＶが自動運転モードで操作されているときに、ＡＤＶに取り付けられた１つ以上のセンサーからセンサーデータを収集する。センサーデータが捕捉された現在時刻を利用してセンサーデータのそれぞれにタイムスタンプを付与することにより、センサーデータに対応する複数のタイムスタンプを生成する。センサーデータからＡＤＶの車両データと感知された障害物の障害物情報を抽出する。抽出された車両データ、抽出された障害物情報、対応するタイムスタンプ、および過去の障害物挙動およびＡＤＶの車両運動を学習するために前にトレーニングされた一組のトレーニングパラメータに基づいて、感知された障害物の挙動およびＡＤＶの車両運動を予測する。
【００２７】
図１Ａは、本発明の一実施形態に係る自動運転車両ネットワーク構成を示すブロック図である。図１Ａを参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つまたは複数のサーバ１０３〜１０４に通信可能に接続された自動運転車両１０１を含む。１つの自動運転車両が示されているが、複数の自動運転車両がネットワーク１０２を介して互いに接続され、および／またはサーバ１０３〜１０４に接続されることが可能である。ネットワーク１０２は、有線または無線のローカルエリアネットワーク（ＬＡＮ）、インターネットなどの広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせなどの任意のタイプのネットワークであってもよい。サーバ１０３〜１０４は、ネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせなどの任意のタイプのサーバまたはサーバ・クラスタであってもよい。サーバ１０３〜１０４は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、地図・関心点（ＭＰＯＩ：map and point of interest）サーバまたはロケーションサーバなどであってもよい。
【００２８】
自動運転車両とは、自動運転モードになるように配置可能な車両を指し、前記自動運転モードで、運転者からの入力がほとんどまたは全くない状況で、車両が周囲の環境をナビゲートして通過する。このような自動運転車両は、車両の走行環境に関連する情報を検出するように構成された１つ以上のセンサを有するセンサーシステムを含むことが可能である。前記車両及びかかるコントローラは、検出された情報を使用して周囲の環境をナビゲートして通過する。自動運転車両１０１は、手動モード、全自動運転モード、または一部自動運転モードで運転することができる。
【００２９】
一実施形態では、自動運転車両１０１は、感知・計画システム１１０、車両制御システム１１１、無線通信システム１１２、ユーザインタフェースシステム１１３、およびセンサーシステム１１５を含むが、これらに限定されない。自動運転車両１０１はエンジン、ホイール、ステアリングホイール、トランスミッションなどの一般の車両に含まれるいくつかの共通の要素をさらに含み、例えば加速信号または命令、減速信号または命令、ステアリング信号または命令、ブレーキ信号または命令などの様々な通信信号および／または命令を使用して、車両制御システム１１１および／または感知・計画システム１１０によって、前記要素を制御してもよい。
【００３０】
要素１１０〜１１５同士は、インターコネクト、バス、ネットワーク、またはそれらの組み合わせを介して通信可能に接続されることが可能である。例えば、要素１１０〜１１５同士は、コントローラエリアネットワーク（ＣＡＮ）バスを介して通信可能に接続されることができる。ＣＡＮバスは、マイクロコントローラとデバイスがホストコンピュータなしのアプリケーションで互いに通信することを許容するように設計された車両バス規格である。これは、もともと自動車内の多重電気配線のために設計されたメッセージベースのプロトコルでしたが、他の多くの環境でも使用されている。
【００３１】
次に、図２を参照すると、一実施形態では、センサーシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダユニット２１４と、光検出・測距（ＬＩＤＡＲ）ユニット２１５とを含むが、これらに限定されない。ＧＰＳユニット２１２は、自動運転車両の位置に関する情報を提供するように動作できる送受信機を含むことができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車両の位置および向きの変化を検知することができる。レーダユニット２１４は、無線信号を利用して自動運転車両のローカル環境内の対象物を感知するシステムを表すことができる。いくつかの実施形態では、対象物を感知することに加えて、レーダーユニット２１４は、対象物の速度および／または進行方向をさらに感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用することにより自動運転車両が存在する環境における対象物を感知することができる。他のシステム要素を除いて、ＬＩＤＡＲユニット２１５は、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器も含むことができる。カメラ２１１は、自動運転車両の周囲の環境の画像を取得するための１つ以上の装置を含むことができる。カメラ２１１は、スチルカメラおよび／またはビデオカメラであってもよい。カメラは、例えば回転および／または傾斜プラットフォーム上にカメラを取り付けることによって、機械的に移動可能なものであってもよい。
【００３２】
センサーシステム１１５は、ソナーセンサー、赤外線センサー、ステアリングセンサー、スロットルセンサー、ブレーキセンサー、およびオーディオセンサー（例えば、マイクロフォン）などの他のセンサーをさらに含むことができる。オーディオセンサーは、自動運転車両の周囲の環境から音を集音するように構成されることができる。ステアリングセンサーは、ステアリングホイール、車両の車輪、またはそれらの組み合わせの操舵角を感知するように構成されることができる。スロットルセンサーおよびブレーキセンサーは、それぞれ車両のスロットル位置およびブレーキ位置を検知する。スロットルセンサー及びブレーキセンサーは、集積式スロットル/ブレーキセンサーとして集積される場合もある。
【００３３】
一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも呼ばれる）、およびブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の向きまたは進行方向を調整するために使用される。スロットルユニット２０２は、モータまたはエンジンの速度を制御して車両の速度および加速度を制御するために使用される。ブレーキユニット２０３は、摩擦を与えて車両の車輪またはタイヤを減速させることによって車両を減速させる。なお、図２に示される要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせによって実施されることができる。
【００３４】
図１Ａに戻って参照すると、無線通信システム１１２は、自動運転車両１０１と装置、センサー、他の車両などの外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、直接またはネットワーク１０２とサーバ１０３〜１０４などの通信ネットワークを介して１つ以上の装置と無線通信することができる。無線通信システム１１２は、別の要素またはシステムと通信するために、例えばＷｉＦｉ（登録商標）などの任意のセルラー通信ネットワークまたは無線ローカルエリアネットワーク（ＷＬＡＮ）を使用することができる。無線通信システム１１２は、例えば赤外線リンク、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを使用して装置（例えば、乗客の移動装置、表示装置、車両１０１内のスピーカー）と直接通信することができる。ユーザインタフェースシステム１１３は、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、およびスピーカなどを含む車両１０１内に実施される周辺装置の一部であってもよい。
【００３５】
特に自動運転モードで動作しているときに、自動運転車両１０１の機能の一部または全部を感知・計画システム１１０によって制御または管理することができる。感知・計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）およびソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含むことにより、センサーシステム１１５、制御システム１１１、無線通信システム１１２および/またはユーザインターフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地から目的地までのルートまたは経路を計画し、その後、計画および制御情報に基づいて車両１０１を運転する。代わりに、感知・計画システム１１０を車両制御システム１１１と統合することができる。
【００３６】
例えば、乗客であるユーザは、例えばユーザインターフェースを介して、旅程の出発地と目的地を指定することができる。感知・計画システム１１０は旅程関連データを取得する。例えば、感知・計画システム１１０は、ＭＰＯＩサーバから位置および経路情報を取得することができ、ＭＰＯＩサーバはサーバ１０３〜１０４の一部である可能である。ロケーションサーバはロケーションサービスを提供し、ＭＰＯＩサーバはマップサービスとあるロケーションのＰＯＩを提供する。代わりに、このような位置およびＭＰＯＩ情報を感知・計画システム１１０の永続記憶装置にローカルキャッシュすることができる。
【００３７】
自動運転車両１０１が経路に沿って移動するときに、感知・計画システム１１０は、交通情報システムまたはサーバ（ＴＩＳ）からリアルタイム交通情報を取得することができる。なお、サーバ１０３〜１０４は第三者のエンティティによって操作されることが可能である。代わりに、サーバ１０３〜１０４の機能を感知・計画システム１１０に集積されてもよい。リアルタイム交通情報、ＭＰＯＩ情報およびロケーション情報、ならびにセンサーシステム１１５によって検出または感知されたリアルタイムローカル環境データ（例えば、障害物、対象物、近くの車両）に基づいて、感知・計画システム１１０は最適経路を計画し、計画された最適経路に従って、例えば、制御システム１１１を介して、安全かつ効率的に指定された目的地に到達するように車両１０１を運転することができる。
【００３８】
図１Ａと図１Ｂを引き続き参照し、図１Ｂは一実施形態に係るセンサーデータをトレーニングするためのシステムを示すブロック図であり、サーバ１０３は、様々なユーザに対してデータ分析サービスを実行するためのデータ分析システムであってもよい。一実施形態では、データ分析システム１０３は、データコレクタ１２１、タイムスタンプモジュール１２２、データ集約モジュール１２３、特徴抽出モジュール１２４、および機械学習エンジン１２５を含む。
【００３９】
データコレクタ１２１は、自動運転車両１０１に取り付けられた様々なセンサーからのセンサデータを収集してマーキングすることができる。例えば、図６を参照すると、自動運転車両１０１が関心領域（ＲＯＩ）６００に進入するように操作されたとき、センサーシステム１１５は、ＲＯＩ６００内の複数の障害物（または対象物）６０１〜６０４を検出し、特定の時間フレーム（例えば、１００ミリ秒（ｍｓ）、１秒、または任意の適切な期間）における異なる時点でセンサデータを生成することができる。自動運転車両がＲＯＩ６００内での移動に伴い、追加のセンサーデータが生成される。ＲＯＩ６００は、例えば、交差点などの車両が動作可能な任意の区域または領域であってもよい。障害物６０１〜障害物６０４は、例えば、他の車両（例えば、自動運転車両または通常の車両）、歩行者、建物、または交通関連の標識（例えば、停止標識、道譲り標識）などであってもよい。図６には障害物６０１〜障害物６０４が示されているが、ＲＯＩ（ＲＯＩ６００など）には任意の数の障害物が存在する可能性があると理解されるべきである。
【００４０】
図６には１つのＲＯＩのみが示されているが、動作中に、自動運転車両１０１は若干のＲＯＩに進入することができ、かつ各ＲＯＩには、区域によって異なる位置にあるさまざまな数の障害物がある可能であると理解されるべきである。
【００４１】
図１Ａおよび図１Ｂに戻って参照すると、データコレクタ１２１は、ネットワーク１０２を介して自動運転車両１０１と通信することにより、センサーシステム１１５からセンサーデータを取得してマーキングすることができる。センサーデータは、発された運転命令（例えば、スロットル、ブレーキ、ステアリング命令）および異なる時点で車両１０１のセンサーによって捕捉された車両の応答（例えば、速度、加速度、減速度、方向）を示す車両データを含むことができる。センサーデータは、障害物６０１〜障害物６０４のそれぞれの位置（例えば、ｘ、ｙ、ｚ座標）および反射率を示す障害物（または対象物）情報も含むことができる。データコレクタ１２１がセンサーデータを収集するときに、データコレクタ１２１は、タイムスタンプモジュール１２２（データコレクタ１２１に含まれてもよい）を呼び出すことにより、特定の時間フレームの現在時刻を利用してセンサーデータの一部または全部にタイムスタンプを付与することができる。
【００４２】
特徴抽出モジュール１２４は、データコレクタ１２１およびタイムスタンプモジュール１２２からそれぞれセンサーデータおよびタイムスタンプを受け取り、センサーデータおよびタイムスタンプを抽出し、かつ、抽出された情報を車両データ１３１、対応するタイムスタンプ１３２、および障害物情報１３４として記憶することができる。例えば、抽出された情報は、特徴抽出モジュール１２４によって情報的でかつ非冗長的なものであると決定され、したがって抽出された情報のその後の学習を容易にする。より詳細には、特徴抽出モジュール１２４は、所定の基準に基づいてデータを抽出（またはフィルタリング）してもよい。例えば、一実施形態では、所定の基準は、車両データおよび障害物６０１〜障害物６０４に関連する障害物情報が情報的特徴であるという決定をトリガーすることができる。したがって、収集されたセンサーデータから車両データおよび障害物情報が抽出され、車両データ１３１および障害物情報１３４として記憶される。一実施形態では、所定の基準は、タイムスタンプモジュール１２２によって生成された車両データ１３１に関連付けられたタイムスタンプを抽出するという決定をトリガーすることができる。したがって、それらのタイムスタンプが抽出され、タイムスタンプ１３２として記憶されることができる。
【００４３】
次、図４を参照すると、図４は、一実施形態に係る車両データ１３１および対応するタイムスタンプ１３２の例を示す図である。図４では、車両データ１３１は、時間フレーム内の異なる時点で捕捉された複数の車両データ（例えば、ＤＡＴＡ＿１、ＤＡＴＡ＿２、ＤＡＴＡ＿３、…、ＤＡＴＡ＿Ｎ）を含むことができる。車両データのそれぞれは、車両データが捕捉された現在時刻が記録された対応するタイムスタンプ（例えば、ＴＳ＿１、ＴＳ＿２、ＴＳ＿３、…、ＴＳ＿Ｎ）と関連付けられる。記録されたタイムスタンプは、まとめてタイムスタンプ１３２として記憶されることができる。一実施形態では、タイムスタンプ１３２のそれぞれは、対応する車両データが捕捉された現在時刻と一致してもしなくてもよい。一実施形態では、車両データ１３１（例えば、ＤＡＴＡ＿１、ＤＡＴＡ＿２、ＤＡＴＡ＿３、…、ＤＡＴＡ＿Ｎ）のそれぞれは、発された運転指令（例えば、スロットル、ブレーキ、ステアリング指令）および特定の時点で車両１０１のセンサーによって捕捉された車両の応答（例えば、速度、加速度、減速度、方向など）を示す情報を含むことができ、この特定の時点は特定の時間フレーム内にあってもよい。一実施形態では、車両データ１３１、タイムスタンプ１３２、および障害物情報１３４は、中央サーバ（例えば、サーバ１０３）および／または永続記憶装置に記憶することができる。
【００４４】
図１Ａおよび図１Ｂに戻って参照すると、車両データ１３１、タイムスタンプ１３２、および障害物情報１３４をデータ集約モジュール１２３に提供することにより、トレーニングデータ１３３を生成することができる。例えば、図５に示すように、データ集約モジュール１２３は、車両データ１３１、タイムスタンプ１３２、および障害物情報１３４をデータフォーマットに集約することができ、ここで、図５は一実施形態に係るトレーニングデータ１３３の例を示す図である。図５に示すように、トレーニングデータ１３３は、互いに付加できる、異なる障害物（例えば、図６の障害物６０１〜障害物６０４）に関連付けられた障害物情報（例えば、ＯＢＳＴＡＣＬＥ＿１ＩＮＦＯ、ＯＢＳＴＡＣＬＥ＿２ ＩＮＦＯ、…、ＯＢＳＴＡＣＬＥ＿Ｎ ＩＮＦＯ）を含むことができる。トレーニングデータ１３３は車両データ１３１および対応するタイムスタンプ１３２を含んでもよい。車両データ１３１のそれぞれ（例えば、ＤＡＴＡ＿１）およびその対応するタイムスタンプ（例えば、ＴＳ＿１）は、ペアを成すように互いに付加されることが可能である。対を成す車両データ及び対応するタイムスタンプを障害物情報に付加することにより、トレーニングデータ１３３を形成することができる。
【００４５】
トレーニングデータ１３３に基づいて、機械学習エンジン１２５は、一組のパラメータ、アルゴリズムおよび／または予測モデル１３５（サーバ１０３および／または永続記憶装置に記憶されることができる）を生成またはトレーニングすることができる。例えば、一実施形態では、機械学習エンジン１２５は、１つ以上の機械学習モデル／アルゴリズム（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワークおよび／またはリカレントニューラルネットワークなどのディープラーニングアーキテクチャ）を呼び出すことにより、障害物情報（即ち、障害物挙動）と車両データ（即ち、車両運動）およびその対応するタイムスタンプを連続的に決定または学習することができる。パラメータ１３５は、機械学習エンジン１２５に提供される前の時間フレームに取得された、集約された障害物情報、車両データおよび対応するタイムスタンプを使用してトレーニングされるので、タイムスタンプは最適に整列され、センサーの間の矛盾する結果は減少または排除される。この後、トレーニングパラメータ１３５は、車両（例えば、自動運転車両１０１）のオンライン制御のために展開される。すなわち、以下により詳細に説明されたように、トレーニングパラメータ１３５は、車両の将来の障害物挙動および車両運動を予測するために使用される。
【００４６】
図１Ａおよび図１Ｂを参照して説明したように、データ収集、タイムスタンプ付与、データ集約、特徴抽出および機械学習に対する操作は、自動運転車両１０１が異なる時間フレームで様々な関心領域内に進入して動作するときに実行され、時間フレームは合計で１０〜２４時間またはそれ以上になると理解されるべきである。したがって、異なるＲＯＩおよび時間フレームの結果として、複数組のトレーニングデータ（例えば、トレーニングデータ１３３）が生成される。
【００４７】
図１Ａおよび図１Ｂを参照して前述したように、データ収集、タイムスタンプ付与、データ集約、特徴抽出および機械学習に対する操作は、例えばサーバ１０３などの別のデータ処理システム（例えば、中央サーバ）によってオフラインで実行されるが、別の実施形態では、このような操作は、例えば感知・計画システム１１０によってオンラインで実行されることができることを理解されたい。すなわち、本明細書で前述したように、感知・計画システム１１０は、データコレクタ１２１、タイムスタンプモジュール１２２、データ集約モジュール１２３、特徴抽出モジュール１２４および機械学習エンジン１２５を含むことができる。
【００４８】
図３Ａと図３Ｂは、一実施形態に係る自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。システム３００は、図１の自動運転車両１０１の一部として実施されることができ、感知・計画システム１１０、制御システム１１１、およびセンサーシステム１１５を含むが、これらに限定されない。図３Ａ〜図３Ｂを参照すると、感知・計画システム１１０は、測位モジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、ルーティングモジュール３０７、データコレクタ３０８および特徴抽出モジュール３０９を含むが、これらに限定されない。
【００４９】
モジュール３０１〜３０９のうちのいくつかまたはすべては、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施されることが可能である。例えば、これらのモジュールは、永続記憶装置３５２にインストールされ、メモリ３５１にロードされ、そして１つ以上のプロセッサ（図示せず）によって実行されることができる。なお、これらのモジュールのうちのいくつかまたはすべてが、図２の車両制御システム１１１のモジュールのうちのいくつかまたはすべてに通信可能に接続されるかまたはそれらと一体に集積される。モジュール３０１〜３０９のいくつかは、統合モジュールとして一体に集積されてもよい。
【００５０】
測位モジュール３０１、自動運転車両３００の現在位置を（例えば、ＧＰＳユニット２１２を利用し）特定するとともに、ユーザの旅程または経路に関連するいかなるデータを管理する。測位モジュール３０１（地図・ルーティングモジュールとも呼ばれる）は、ユーザの旅程または経路に関連するいかなるデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインして、旅程の出発地と目的地を指定することができる。測位モジュール３０１は、旅程関連データを取得するために、地図・経路情報３１１などの自動運転車両３００の他の要素と通信する。例えば、測位モジュール３０１は、ロケーションサーバおよび地図およびＰＯＩ（ＭＰＯＩ）サーバからロケーションおよび経路情報を取得することができる。ロケーションサーバはロケーションサービスを提供し、ＭＰＯＩサーバはマップサービスとあるロケーションのＰＯＩを提供することにより、マップおよびルート情報の一部としてキャッシュされる。自動運転車両３００が経路に沿って移動するときに、測位モジュール３０１は、交通情報システムまたはサーバからリアルタイム交通情報を取得することができる。
【００５１】
センサーシステム１１５によって提供されたセンサーデータと測位モジュール３０１によって得られた測位情報とに基づいて、感知モジュール３０２は周囲環境への感知を特定する。感知情報は、普通の運転者が運転者が運転している車両の周りで感知するであろうものを表すことができる。感知は、例えば、対象物の形態の車線構成（例えば、直線車線または曲線車線）、信号機信号、他の車両の相対位置、歩行者、建物、横断歩道、または他の交通関連標識（例えば、停止標識、道譲り標識）を含むことができる。
【００５２】
感知モジュール３０２は、１つ以上のカメラによって取得された画像を処理し分析するためのコンピュータビジョンシステムまたはコンピュータビジョンシステムの機能を含むことにより、自動運転車両環境内の対象物および／または特徴を識別することができる。前記対象物は、交通信号、道路境界、他の車両、歩行者および／または障害物などを含む。コンピュータビジョンシステムは、対象物認識アルゴリズム、ビデオ追跡、およびその他のコンピュータビジョン技術を使用できる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図を描き、物体を追跡し、そして対象物の速度等を推定することができる。感知モジュール３０２は、レーダおよび／またはＬＩＤＡＲなどの他のセンサーによって提供される他のセンサーデータに基づいて対象物を検出することもできる。
【００５３】
各対象物に対し、予測モジュール３０３は、この状況において対象物がどのように動作するかを予測する。予測は、一組の地図・経路情報３１１および交通ルール３１２を考慮した時点で運転環境を感知する感知データに基づいて実行される。例えば、対象物が反対方向の車両であり、且つ、現在の運転環境が交差点を含む場合、予測モジュール３０３は、車両が直進するか、または旋回するかを予測する。感知データが交差点に信号機がないことを示す場合、予測モジュール３０３は、交差点に入る前に車両が完全に停止しなければいけない可能性があると予測することがある。感知データが車両が現在左折専用車線または右折専用車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性が高いと予測することができる。
【００５４】
各対象物に対し、決定モジュール３０４は、対象物をどのように対応するかを決定する。例えば、特定の対象物（例えば、交差ルート内の他の車両）及び対象物を記述するメタデータ（例えば、速度、方向、回転角度）に対し、決定モジュール３０４は、前記対象物に遭遇する時どのように動作するか（例えば、追い越し、道譲り、停止、超過）を決定する。決定モジュール３０４は、永続記憶装置３５２に記憶されることができる交通ルールまたは運転ルール３１２などのルールセットに基づいてこのような決定を下すことができる。
【００５５】
ルーティングモジュール３０７は、出発地から目的地までの１つ以上の経路またはルートを提供するように構成される。例えばユーザから受信した所与の旅程などの出発地から目的地までの所与の旅程に対し、ルーティングモジュール３０７は、地図・経路情報３１１を取得し、出発地から目的地までのすべての可能な経路またはルートを決定する。ルーティングモジュール３０７は、出発地から目的地までの各経路を決定する地形図の形態の基準線を生成することができる。基準線とは、他の車両、障害物、または交通状況などの他のものからの干渉がない理想的な経路またはルートを指す。つまり、道路上に他の車両、歩行者、または障害物がない場合、ＡＤＶは基準線に正確にまたは密接に従うべきである。そして、地形図を決定モジュール３０４および／または計画モジュール３０５に提供する。決定モジュール３０４および／または計画モジュール３０５は、他のモジュールによって提供される他のデータに基づいて最適の経路のうちの１つを選択し変更するためにすべての可能な経路を検査し、ここで、他のデータは、測位モジュール３０１からの交通状況、感知モジュール３０２によって感知された運転環境、および予測モジュール３０３によって予測された交通状況などである。時点での特定の運転環境に応じて、ＡＤＶを制御するための実際の経路またはルートは、ルーティングモジュール３０７によって提供される基準線に近いかまたは異なることがある。
【００５６】
感知された対象物に対する各決定に基づいて、計画モジュール３０５は、基礎としてルーティングモジュール３０７によって提供される基準線を使用することにより、自動運転車両に対し経路またはルートおよび運転パラメータ（例えば、距離、速度および／または旋回角度）を計画する。言い換えれば、所与の対象物に対し、決定モジュール３０４は当該対象物をどうするかを決定し、計画モジュール３０５はどのようにするかを決定する。例えば、所与の対象物に対し、決定モジュール３０４は前記対象物を超過することと決定することができ、計画モジュール３０５は前記対象物の左側または右側のどちらを超過するかを決定することができる。計画・制御データは、計画モジュール３０５によって生成され、車両３００が次の移動サイクル（例えば、次のルート／経路セグメント）においてどのように移動するかを記述する情報を含む。例えば、計画・制御データは、３０マイル/時（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右車線に変更するように車両３００に指示することができる。
【００５７】
計画・制御データに基づいて、制御モジュール３０６は、計画・制御データによって限られた経路またはルートに基づいて適切な命令または信号を車両制御システム１１１に送信することによって自動運転車両を制御し運転する。前記計画・制御データは、十分な情報を含むことにより、経路またはルートに沿って異なる時点で適切な車両設定または運転パラメータ（例えば、スロットル、ブレーキ、および旋回命令）を使用して、経路またはルートの第１の地点から第２の地点まで車両を走行させる。
【００５８】
一実施形態では、計画段階は、複数の計画サイクル（命令サイクルとも呼ばれる）で、例えば各時間間隔１００ミリ秒（ｍｓ）のサイクルで実行される。計画サイクルまたは命令サイクルのそれぞれについて、計画・制御データに基づいて１つ以上の制御命令を発する。すなわち、１００ｍｓごとに、計画モジュール３０５は、例えば対象物位置およびＡＤＶが対象物位置に到達するのに必要な時間を含めて、次のルートセグメントまたは経路セグメントを計画する。代わりに、計画モジュール３０５は、具体的な速度、方向、および／または操舵角などを計画することもできる。一実施形態では、計画モジュール３０５は、次の所定の期間（例えば５秒間）についてルートセグメントまたは経路セグメントを計画する。各計画サイクルに対して、計画モジュール３０５は、前のサイクルで計画された目標位置に基づいて現在のサイクル（例えば次の５秒間）の目標位置を計画する。次に、制御モジュール３０６は、現在のサイクルの計画・制御データに基づいて、１つ以上の制御命令（例えば、スロットル、ブレーキ、ステアリング制御命令）を生成する。
【００５９】
なお、決定モジュール３０４および計画モジュール３０５は集積モジュールとして集積されてもよい。決定モジュール３０４ ／計画モジュール３０５は、自動運転車両の運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含むことができる。例えば、ナビゲーションシステムは、自動運転車両が自動運転車両を最終目的地に至る車道に基づく経路に沿って前進させながら感知された障害物を実質的に避ける経路に沿って移動することを達成するための一連の速度及び進行方向を決定することができる。目的地は、ユーザインタフェースシステム１１３を介したユーザ入力に従って設定されることができる。ナビゲーションシステムは、自動運転車両の運転中に運転経路を動的に更新することができる。ナビゲーションシステムは、ＧＰＳシステムと１つ以上の地図からのデータを組み合わせることにより、自動運転車両の運転経路を決定することができる。
【００６０】
決定モジュール３０４ ／計画モジュール３０５は、自動運転車両の環境における潜在的な障害物を識別、評価、回避、または他の方法で追い越すための衝突回避システムまたは衝突回避システムの機能をさらに含む。例えば、衝突回避システムは、制御システム１１１における１つ以上のサブシステムを操作して、方向変更操作、旋回操作、ブレーキ操作などを行うことによって、ナビゲーション中の自動運転車両の変化を実現することができる。衝突回避システムは、周囲の交通パターン、道路状況などに基づいて実現可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、他のセンサーシステムが、自動運転車両が方向変更して入る隣接領域に位置する車両、建物の障害物などを検出したとき、方向変更操作を行わないように構成される。衝突回避システムは、使用可能であり、かつ自動運転車両の乗員の安全性を最大限にする操作を自動的に選択することができる。衝突回避システムは、自動運転車両の客室内で最小量の加速度を発生させると予測される回避操作を選択することができる。
【００６１】
図３Ａ乃至図３Ｂを引き続き参照すると、自動運転車両１０１が自動運転モードまたは手動モードで運転されているときに、データコレクタ３０８（データコレクタ１２１と同様である）は、自動運転車両１０１に取り付けられた様々なセンサ１（すなわち、センサーシステム１１５）からのセンサーデータを収集してマーキングすることができる。収集されたセンサーデータは、例えば、車両データおよび感知された障害物の障害物情報を含むことができる。前述のように、車両データは、発された運転命令（例えば、スロットル、ブレーキ、ステアリング命令）および異なる時点で車両１０１のセンサーによって捕捉された車両の応答（例えば、速度、加速度、減速度、方向）を示す情報を含むことができる。障害物情報は、車両１０１のセンサーによって検出された各障害物の位置（例えば、ｘ、ｙ、ｚ座標）および反射率を含むことができる。データコレクタ１２１と同様に、一実施形態では、データコレクタ３０８は、タイムスタンプモジュール（未図示）を呼び出して、現在時刻を利用して各センサーデータにタイムスタンプを付与することにより、収集されたセンサーデータについて、若干のタイムスタンプを生成することができる。
【００６２】
特徴抽出モジュール３０９は、収集されたセンサーデータからいくつかの特徴を抽出でき、ここで、これらの特徴は所定の基準に基づいて情報的なかつ非冗長的なものであると決定される。例えば、所定の基準は、収集されたセンサーデータからの車両データおよび障害物情報が情報的な特徴であることを示すことができる。したがって、所定の基準は、特徴抽出モジュール３０９をトリガしてセンサーデータから車両データおよび障害物情報を抽出することができる。
【００６３】
抽出された車両データ、障害物情報、記録されたタイムスタンプおよび／またはトレーニングパラメータ１３５（サーバ１０３および／または永続記憶装置３５２から受け取りまたは取り戻し）に基づいて、予測モジュール３０３はこのような状況における自動運転車両１０１の障害物（または対象物）の挙動と車両運動を予測することができる。例えば、障害物の挙動を予測するために、予測モジュール３０３は、抽出された障害物情報（例えば、障害物位置）とトレーニングパラメータ１３５に含まれる障害物情報（例えば、過去の障害物情報）との間に増分操作を実行することができる。例えば、予測モジュール３０３は、抽出された障害物情報（例えば、ＬＩＤＡＲユニット２１５からのＬＩＤＡＲデータ）のポイントクラウドとトレーニングパラメータ１３５からの障害物情報のポイントクラウドとの間の差異を取ることができる。同様に、自動運転車両１０１の移動を予測するために、一実施形態では、予測モジュール３０３は、抽出された車両データと記録されたタイムスタンプとの間、およびトレーニングパラメータ１３５からの車両データと対応するタイムスタンプ（例えば、過去の車両データと対応するタイムスタンプ）との間で増分操作を実行することができる。増分操作からの出力を決定モジュール３０４および／または計画モジュール３０５に提供することにより、自動運転車両１０１の経路またはルートおよび運転パラメータ（例えば、距離、速度、および／または操舵角）を計画することができる。したがって、計画を支援するためにトレーニングパラメータが予測モジュール３０３に提供されると、予測モジュール３０３は正確な計画および制御データを生成することができ、それによって制御を改善し、自動運転車両１０１を駆動する。
【００６４】
図７は、一実施形態によるセンサーデータをトレーニングするための方法のフローチャートである。プロセス７００は、ソフトウェア、ハードウェアまたはそれらの組み合わせを含む処理ロジックによって実行されることができる。例えば、プロセス７００は、図１のサーバ１０３および／または感知・計画システム１１０によって実行されることが可能である。
【００６５】
図７を参照すると、ブロック７０１において、ＡＤＶが複数の障害物を含むＲＯＩ内で移動するときに、処理ロジックは、ＡＤＶに取り付けられた１つ以上のセンサーからセンサーデータを収集する。一実施形態では、センサーデータは、障害物の障害物情報およびＡＤＶの車両データを含む。ブロック７０２において、処理ロジックは、車両データが捕捉された現在時刻を利用して車両データのそれぞれにタイムスタンプを付与することにより、車両データに対応する複数のタイムスタンプを生成する。ブロック７０３において、処理ロジックは、障害物情報、車両データおよび対応するタイムスタンプをトレーニングデータに集約する。一実施形態では、トレーニングデータは、少なくとも部分的に将来の障害物挙動およびＡＤＶの車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用される。
【００６６】
図８は、一実施形態による自動運転車両を操作するための方法のフローチャートである。プロセス８００は、ソフトウェア、ハードウェアまたはそれらの組み合わせを含む処理ロジックによって実行されることができる。例えば、プロセス８００は、図１の感知・計画システム１１０によって実行されることが可能である。
【００６７】
図８を参照すると、ブロック８０１において、ＡＤＶが自動運転モードで操作されているときに、処理ロジックは、ＡＤＶに取り付けられた１つ以上のセンサーからセンサーデータを収集する。ブロック８０２において、処理ロジックは、センサーデータが捕捉された現在時刻を利用してセンサーデータのそれぞれにタイムスタンプを付与することにより、センサーデータに対応する複数のタイムスタンプを生成する。ブロック８０３において、処理ロジックは、センサーデータからＡＤＶの車両データと感知された障害物の障害物情報とを抽出する。ブロック８０４において、抽出された車両データ、抽出された障害物情報、対応するタイムスタンプ、および過去の障害物挙動およびＡＤＶの車両運動を学習するために前にトレーニングされた一組のトレーニングパラメータに基づいて、処理ロジックは感知された障害物の挙動およびＡＤＶの車両運動を予測する。
【００６８】
なお、上述のように記載され説明された要素のいくつかまたはすべては、ソフトウェア、ハードウェア、またはそれらの組合せで実施されることが可能である。例えば、このような要素は、永続記憶装置にインストールされ記憶されるソフトウェアとして実施されることができ、前記ソフトウェアは、プロセッサ（図示せず）によってメモリにロードされ、メモリ内で実行されることにより、本願を通じて説明されるプロセスまたは操作を実施することができる。代わりに、このような要素は、（集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用ハードウェアにプログラムされまたは埋め込まれる実行可能コードとして実施されることができ、前記実行可能コードは、アプリケーションからの対応するドライバおよび／またはオペレーティングシステムを介してアクセスすることができる。また、このような要素は、ソフトウェア要素によって１つ以上の特定の命令を介してアクセスすることができる命令セットの一部として、プロセッサまたはプロセッサコア内の特定のハードウェアロジックとして実施されることが可能である。
【００６９】
図９は、本発明の一実施形態と共に使用されることができるデータ処理システムの一例を示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のうちのいずれかを実行する上記のデータ処理システムのうちのいずれかを表すことができ、例えば、感知・計画システム１１０または図１のサーバ１０３〜１０４のいずれかを挙げられる。システム１５００は多くの異なる要素を含むことができる。これらの要素は、集積回路（ＩＣ）、集積回路の一部、個別電子デバイス、または回路基板（コンピュータシステムのマザーボードまたはアドインカードなど）に適した他のモジュールとして実施されることが可能であり、あるいは他の形態でコンピュータシステムのラックに組み込まれる要素として実施されることが可能である。
【００７０】
なお、システム１５００は、コンピュータシステムの多くの要素の高レベルビューを示すことを意図している。しかしながら、いくつかの実施形態では、追加の要素を有してもよく、また、他の実施形態では、示されている要素の異なる構成を有してもよいことを理解すべきである。システム１５００は、デスクトップパソコン、ラップトップパソコン、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤ、パーソナルデジタルアシスタント（ＰＤＡ）、スマートウォッチ、パーソナルコミュニケータ、ゲーム装置、ネットワークルータまたはハブ、ワイヤレスアクセスポイント（ＡＰ）またはリピーター、セットトップボックスあるいはそれらの組み合わせを表示することができる。また、単一の機械またはシステムのみが示されているが、「機械」または「システム」という用語は、本明細書で検討されている任意の１種類または複数の種類の方法を実行するために、１つ（または複数）の命令セットを個別でまたは共同で実行するための機械またはシステムの任意の組み合わせも含むと理解されるべきである。
【００７１】
一実施形態では、システム１５００は、バスまたはインターコネクト１５１０を介して接続されたプロセッサ１５０１、メモリ１５０３、および装置１５０５〜１５０８を含む。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを示してもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）などの１つまたは複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット計算（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実行するプロセッサ、または命令セットの組み合わせを実行するプロセッサであってもよい。プロセッサ１５０１は、また、特定用途向け集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックスプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組み込みプロセッサ、または命令を処理できるその他のタイプのロジックなどの１つまたは複数の専用プロセッサであってもよい。
【００７２】
プロセッサ１５０１（これは、超低電圧プロセッサなどの低電力マルチコアプロセッサソケットであってもよい）は、前記システムの様々な要素と通信するための主処理ユニットおよび中央ハブとして機能することができる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実装されてもよい。プロセッサ１５０１は、本明細書で論じられる操作およびステップを実行するための命令を実行するように構成される。システム１５００は、オプションのグラフィックサブシステム１５０４と通信するグラフィックインタフェースを含んでもよく、グラフィックサブシステム１５０４は、ディスプレイコントローラ、グラフィックプロセッサおよび／またはディスプレイデバイスを含み得る
【００７３】
プロセッサ１５０１はメモリ１５０３と通信することができ、一実施形態では、メモリ１５０３は複数のメモリデバイスを介して、所与の量のシステムストレージを提供するように作動する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、または他のタイプの記憶装置などの１つまたは複数の揮発性記憶（またはメモリ）装置を含むことができる。メモリ１５０３は、プロセッサ１５０１または他の任意の装置によって実行される一連の命令を含む情報を記憶することができる。例えば、さまざまなオペレーティングシステム、デバイスドライバ、ファームウェア（例えば、入出力基本システムまたはＢＩＯＳ）および／またはアプリケーションの実行可能コードおよび／またはデータをメモリ１５０３にロードし、プロセッサ１５０１によって実行することができる。オペレーティングシステムは、例えば、ロボットオペレーティングシステム（ＲＯＳ）、マイクロソフト（登録商標）からのウィンドウズ（登録商標）オペレーティングシステム、アップルからのマックＯＳ（登録商標）／ iＯＳ（登録商標）、グーグル（登録商標）からのアンドロイド（登録商標）、リナックス（登録商標）、 ＵＮＩＸ（登録商標）、またはその他のリアルタイムまたは組み込みオペレーティングシステムなどの任意のタイプのオペレーティングシステムであってもよい。
【００７４】
システム１５００は、ネットワークインターフェースデバイス１５０５、選択可能な入力デバイス１５０６、および他の選択可能なＩＯデバイス１５０７を含む、デバイス１５０５〜１５０８などのＩＯデバイスも含むことができる。ネットワークインターフェースデバイス１５０５は、無線送受信機および／またはネットワークインターフェースカード（ＮＩＣ）を含み得る。前記無線送受信機は、ＷｉＦｉ送受信機、赤外線送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラー携帯電話送受信機、衛星送受信機（例えば全地球測位システム（ＧＰＳ）送受信機）、他の無線周波数（ＲＦ）送受信機またはそれらの組み合わせであってもよい。ＮＩＣはイーサネット（登録商標）カードであってもよい。
【００７５】
入力装置１５０６は、マウス、タッチパネル、（ディスプレイ装置１５０４と統合することができる）タッチセンシティブスクリーン、（スタイラスなどの）ポインティングデバイスおよび／またはキーボード（例えば、物理的キーボードまたはタッチセンシティブスクリーンの一部として表示される仮想キーボード）を含み得る。例えば、入力装置１５０６は、タッチスクリーンに接続されたタッチスクリーンコントローラを含み得る。タッチスクリーンおよびタッチスクリーンコントローラは、例えば、複数の種類のタッチ感度技術（容量式、抵抗式、赤外線式、および表面弾性波式の技術を含むがこれらに限定されない）のいずれか、および、他の近接センサーアレイまたはタッチスクリーンと接触する１つまたは複数の点を決定するための他の要素を用いて、その接触および移動または不連続性を検出できる。
【００７６】
ＩＯデバイス１５０７はオーディオデバイスを含むことができる。音声装置は、音声認識、音声コピー、デジタル録音および／または電話機能などの音声対応機能を容易にするために、スピーカおよび／またはマイクロフォンを含むことができる。他のＩＯデバイス１５０７は、ユニバーサルシリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ 〜 ＰＣＩブリッジ）、センサー（例えば、加速度計モーションセンサー、ジャイロ、磁力計、光センサー、コンパス、近接センサーなど）またはそれらの組み合わせをさらに含み得る。ＩＯデバイス１５０７は画像処理サブシステム（例えば、カメラ）をさらに含むことができ、前記画像処理サブシステムは、（写真およびビデオセグメントの記録などの）カメラ機能を容易にするための電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）光センサーなどの光センサーを含むことができる。特定のセンサーはセンサーハブ（図示せず）を介してインターコネクト１５１０に接続されることができ、キーボードまたは熱センサーなどの他の装置はシステム１５００の特定の構成または設計に応じて埋め込みコントローラ（図示せず）によって制御されることができる。
【００７７】
データ、アプリケーション、１つまたは複数のオペレーティングシステムなどの情報の永続記憶を提供するために、大容量記憶装置（図示せず）もプロセッサ１５０１に接続することができる。様々な実施形態において、より薄くより軽いシステム設計を可能にし、かつシステムの応答性を改善するために、このような大容量記憶装置はソリッドステートデバイス（ＳＳＤ）を介して実施されることができる。しかしながら、他の実施形態では、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）を使用して実施することができ、ここで、少数のＳＳＤ記憶装置はＳＳＤキャッシュとして機能してパワーダウン事件中にコンテキスト状態および他のこのような情報の不揮発性記憶を可能にすることにより、システムアクティビティの再起動時に高速のパワーアップを可能にする。また、フラッシュ装置は、例えばシリアル周辺インターフェース（ＳＰＩ）を介してプロセッサ１５０１に接続されてもよい。このようなフラッシュ装置は、前記システムのＢＩＯＳおよび他のファームウェアを含むシステムソフトウェアの不揮発性記憶を提供してもよい。
【００７８】
記憶装置１５０８は、コンピュータがアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を含むことができ、その中に本明細書に記載の方法または機能のうちの任意の１つまたは複数を表す１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶される。処理モジュール／ユニット／ロジック１５２８は、例えば計画モジュール３０５、制御モジュール３０６、データコレクタ３０８、特徴抽出モジュール３０９、および以上で説明された図１Ａ〜図１Ｂのサーバ１０３におけるモジュール、エンジンまたはユニットなどの上記要素のうちのいずれかを表すことができる。処理モジュール／ユニット／ロジック１５２８は、それがデータ処理システム１５００、メモリ１５０３およびプロセッサ１５０１によって実行される期間に、メモリ１５０３内および／またはプロセッサ１５０１内に完全的にまたは少なくとも部分的に存在でき、データ処理システム１５００、メモリ１５０３およびプロセッサ１５０１は、機械がアクセス可能な記憶媒体を構成することもできる。処理モジュール／ユニット／ロジック１５２８はさらに、ネットワークによってネットワークインターフェースデバイス１５０５を介して送信または受信することができる。
【００７９】
コンピュータ可読記憶媒体１５０９を使用して、上記のいくつかのソフトウェア機能を永続的に記憶することもできる。例示的な実施形態では、コンピュータ可読記憶媒体１５０９は単一の媒体として示されているが、「コンピュータ可読記憶媒体」という用語は前記１つまたは複数の命令セットを記憶する単一の媒体または複数の媒体（例えば、集中型または分散型データベースおよび／または関連付けられるキャッシュとサーバー）を含むと解釈されるべきである。「コンピュータ可読記憶媒体」という用語はまた、命令セットを記憶または符号化することができる任意の媒体を含むと解釈されるべきであり、前記命令セットは、機器による実行に使用され、前記機器に本発明の方法のうちの任意の１つまたは複数を実行させる。したがって、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ、ならびに光媒体および磁気媒体、または他の任意の非一時的な機械可読媒体を含むが、これらに限定しないと解釈されるべきである。
【００８０】
本明細書に記載の処理モジュール／ユニット／ロジック１５２８、要素および他の特徴は、個別のハードウェア要素として実施され、または（ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、または同様のデバイスなど）のハードウェア要素の機能に統合されることができる。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェアデバイス内のファームウェアまたは機能回路として実施されることができる。さらに、処理モジュール／ユニット／ロジック１５２８は、ハードウェアデバイスとソフトウェア要素との任意の組み合わせで実施されることができる。
【００８１】
システム１５００はデータ処理システムの様々な要素を有するように示されているが、要素を相互接続する任意の特定のアーキテクチャまたは方法を表すことを意図しない。これは、このような詳細と本発明の実施形態とは密接な関係がないからである。本発明の実施形態と共に、より少ない要素またはおそらくより多くの要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび／または他のデータ処理システムも本発明の実施形態とともに使用され得ることも理解されるべきである。
【００８２】
前述の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する計算のアルゴリズムおよび記号表現に従って提示されてきた。これらのアルゴリズムの説明および表現は、データ処理分野の当業者が彼らの仕事の本質を他の当業者に最も効果的に伝えるために使用する方法である。本明細書では、アルゴリズムは、一般的に、所望の結果をもたらす自己矛盾のない一連の操作であると考えられる。これらの操作は、物理量の物理的操作を必要とするものである。
【００８３】
しかしながら、これらの用語および類似の用語はすべて適切な物理量に関連付けられるように意図され、これらの量に適用される便利なラベルにすぎないことに留意されたい。上記の説明において他の形態で明示的に述べられていない限り、明細書全体において、用語（添付の特許請求の範囲に記載の用語など）を利用した説明とは、コンピュータシステムまたは類似の電子計算装置の動作およびプロセスを指すことを理解しべきであり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、前記データをコンピュータシステムのメモリまたはレジスタまたは他のこのような情報記憶装置、伝送または表示装置内の類似に物理量として表される他のデータに変換する。
【００８４】
本発明の実施形態は、本明細書の操作を実行するための装置にも関する。そのようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機械可読媒体は、機械（例えばコンピュータ）可読な形式で情報を記憶するための任意のメカニズムを含む。例えば、機械可読（例えばコンピュータ可読）媒体は、機械（例えばコンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置）を含む。
【００８５】
前述の図面に示したプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時的コンピュータ可読媒体上に反映される）、またはその両方の組み合わせを含む処理ロジックによって実行されることができる。前記プロセスまたは方法は、いくつかの逐次的な操作に従って上で説明されているが、前記操作のいくつかは異なる順序で実行されてもよいことを理解されたい。さらに、いくつかの操作は、順次ではなく並列に実行されてもよい。
【００８６】
本発明の実施形態は、任意の特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語を使用することにより、本明細書に記載の本発明の実施形態の教示を実施することができることを理解しべきである。
【００８７】
上記の明細書において、本発明の実施形態を本発明の具体の例示的な実施形態を参照して説明した。添付の特許請求の範囲に記載された本発明のより広い要旨および範囲から逸脱することなく、本発明に対して様々な修正がなされ得ることは明らかである。したがって、本明細書および図面は限定的な意味ではなく例示的な意味で理解されるべきである。
【図１Ａ】
2019182404.tif 000003
【図１Ｂ】
2019182404.tif 000004
【図２】
2019182404.tif 000005
【図３Ａ】
2019182404.tif 000006
【図３Ｂ】
2019182404.tif 000007
【図４】
2019182404.tif 000008
【図５】
2019182404.tif 000009
【図６】
2019182404.tif 000010
【図７】
2019182404.tif 000011
【図８】
2019182404.tif 000012
【図９】
2019182404.tif 000013
【手続補正書】
【提出日】平成31年4月10日(2019.4.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自動運転車両の制御において後で使用するための一組のパラメータをトレーニングするコンピュータ実施方法であって、
前記自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、
前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、
前記障害物情報、前記車両データ、および対応するタイムスタンプを、少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、
を含む方法。
【請求項２】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約する前に、前記センサーデータから前記障害物情報と前記車両データを抽出することと、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約した後に、前記トレーニングデータを使用して前記一組のパラメータをトレーニングすることにより、前記障害物の障害物挙動および前記自動運転車両の現在の車両運動を学習することと、
をさらに含む請求項１に記載の方法。
【請求項３】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約することは、
ペアを成して前記車両データのそれぞれとその対応するタイムスタンプを互いに付加することにより、複数の車両データ及び対応するタイムスタンプのペアを形成することと、
前記車両データ及び対応するタイムスタンプのペアを互いに付加することと、
付加された車両データ及び対応するタイムスタンプのペアを前記障害物情報に付加することと、
を含む、
請求項１に記載の方法。
【請求項４】
前記トレーニングデータは、前記障害物情報に付加された、複数の付加された車両データ及び対応するタイムスタンプのペアを含み、前記障害物情報のそれぞれは互いに付加されている請求項１に記載の方法。
【請求項５】
前記障害物情報は、前記障害物の位置および反射率を含み、前記車両データは、発された運転命令および前記自動運転車両の応答を含む請求項１に記載の方法。
【請求項６】
前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することは、特定の時間フレーム内に実行される請求項１に記載の方法。
【請求項７】
前記一組のパラメータをトレーニングすることは、機械学習モデルを呼び出すことにより前記障害物情報、前記車両データ、および前記対応するタイムスタンプを連続的に学習することを含む請求項２に記載の方法。
【請求項８】
命令が記憶されている非一時的な機械可読媒体であって、
前記命令がプロセッサによって実行される場合に、
自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、
前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、
前記障害物情報、前記車両データ、および対応するタイムスタンプを、少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、
を含む動作を前記プロセッサに実行させる非一時的な機械可読媒体。
【請求項９】
前記動作は、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約する前に、前記センサーデータから前記障害物情報と前記車両データを抽出することと、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約した後に、前記トレーニングデータを使用して前記一組のパラメータをトレーニングすることにより、前記障害物の障害物挙動および前記自動運転車両の現在の車両運動を学習することと、
をさらに含む、
請求項８に記載の非一時的な機械可読媒体。
【請求項１０】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約することは、
ペアを成して前記車両データのそれぞれとその対応するタイムスタンプを互いに付加することにより、複数の車両データ及び対応するタイムスタンプのペアを形成することと、
前記車両データ及び対応するタイムスタンプのペアを互いに付加することと、
付加された車両データ及び対応するタイムスタンプのペアを前記障害物情報に付加することと、
を含む、
請求項８に記載の非一時的な機械可読媒体。
【請求項１１】
前記トレーニングデータは、前記障害物情報に付加された、複数の付加された車両データ及び対応するタイムスタンプのペアを含み、前記障害物情報のそれぞれは互いに付加されている請求項８に記載の非一時的な機械可読媒体。
【請求項１２】
前記障害物情報は、前記障害物の位置および反射率を含み、前記車両データは、発された運転命令および前記自動運転車両の応答を含む請求項８に記載の非一時的な機械可読媒体。
【請求項１３】
前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することは、特定の時間フレーム内に実行される請求項８に記載の非一時的な機械可読媒体。
【請求項１４】
前記一組のパラメータをトレーニングすることは、機械学習モデルを呼び出すことにより前記障害物情報、前記車両データ、および前記対応するタイムスタンプを連続的に学習することを含む請求項９に記載の非一時的な機械可読媒体。
【請求項１５】
プロセッサと、前記プロセッサに接続されて命令を記憶するメモリとを含むデータ処理システムであって、
前記命令がプロセッサによって実行され場合に、
自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、
前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、
前記障害物情報、前記車両データ、および対応するタイムスタンプを少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、
を含む動作を前記プロセッサに実行させるデータ処理システム。
【請求項１６】
前記動作は、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約する前に、前記センサーデータから前記障害物情報と前記車両データを抽出することと、
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約した後に、前記トレーニングデータを使用して前記一組のパラメータをトレーニングすることにより、前記障害物の障害物挙動および前記自動運転車両の現在の車両運動を学習することと、
をさらに含む、
請求項１５に記載のデータ処理システム。
【請求項１７】
前記障害物情報、前記車両データ、および前記対応するタイムスタンプを前記トレーニングデータに集約することは、
ペアを成して前記車両データのそれぞれとその対応するタイムスタンプを互いに付加することにより、複数の車両データ及び対応するタイムスタンプのペアを形成することと、
前記車両データ及び対応するタイムスタンプのペアを互いに付加することと、
付加された車両データ及び対応するタイムスタンプのペアを前記障害物情報に付加することと、
を含む、
請求項１５に記載のデータ処理システム。
【請求項１８】
前記トレーニングデータは、前記障害物情報に付加された、複数の付加された車両データ及び対応するタイムスタンプのペアとを含み、前記障害物情報のそれぞれは互いに付加されている請求項１５に記載のデータ処理システム。
【請求項１９】
前記障害物情報は、前記障害物の位置および反射率を含み、前記車両データは、発された運転命令および前記自動運転車両の応答を含む請求項１５に記載のデータ処理システム。
【請求項２０】
前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することは、特定の時間フレーム内に実行される請求項１５に記載のデータ処理システム。
【請求項２１】
前記一組のパラメータをトレーニングすることは、機械学習モデルを呼び出すことにより前記障害物情報、前記車両データ、および前記対応するタイムスタンプを連続的に学習することを含む請求項１６に記載のデータ処理システム。
【請求項２２】
自動運転車両を操作するためのコンピュータ実施方法であって、
前記自動運転車両が自動運転モードで操作されている場合に、前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することと、
前記センサーデータが捕捉された現在時刻を利用して前記センサーデータのそれぞれにタイムスタンプを付与することにより、前記センサーデータに対応する複数のタイムスタンプを生成することと、
前記センサーデータから前記自動運転車両の車両データと感知された障害物の障害物情報を抽出することと、
抽出された車両データ、抽出された障害物情報、対応するタイムスタンプ、および過去の障害物挙動および前記自動運転車両の車両運動を学習するために前にトレーニングされた一組のトレーニングパラメータに基づいて、前記感知された障害物の挙動および前記自動運転車両の車両運動を予測することと、
を含む方法。
【請求項２３】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜７のいずれか一項に記載の方法を実現させるコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明に係る一態様は、自動運転車両の制御において後で使用するための一組のパラメータをトレーニングするコンピュータ実施方法であって、前記自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、前記障害物情報、前記車両データ、および対応するタイムスタンプを、少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、を含む方法。を提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明に係る別の一態様は、命令が記憶されている非一時的な機械可読媒体であって、前記命令がプロセッサによって実行される場合に、自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、前記障害物情報、前記車両データ、および対応するタイムスタンプを、少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、を前記プロセッサに実行させる非一時的な機械可読媒体を提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明に係るさらに別の一態様は、プロセッサと、前記プロセッサに接続されて命令を記憶するメモリとを含むデータ処理システムであって、前記命令がプロセッサによって実行され場合に、自動運転車両が複数の障害物を含む関心領域内で移動するときに、前記自動運転車両に取り付けられた１つ以上のセンサーから前記障害物の障害物情報と前記自動運転車両の車両データとを含むセンサーデータを収集することと、前記車両データが捕捉された現在時刻を利用して前記車両データのそれぞれにタイムスタンプを付与することにより、前記車両データに対応する複数のタイムスタンプを生成することと、前記障害物情報、前記車両データ、および対応するタイムスタンプを少なくとも部分的に将来の障害物挙動および前記自動運転車両の車両運動を予測するために後で使用される一組のパラメータをトレーニングするために使用されるトレーニングデータに集約することと、を前記プロセッサに実行させるデータ処理システムを提供する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明に係るまたさらに別の一態様は、自動運転車両を操作するためのコンピュータ実施方法であって、前記自動運転車両が自動運転モードで操作されている場合に、前記自動運転車両に取り付けられた１つ以上のセンサーからセンサーデータを収集することと、前記センサーデータが捕捉された現在時刻を利用して前記センサーデータのそれぞれにタイムスタンプを付与することにより、前記センサーデータに対応する複数のタイムスタンプを生成することと、前記センサ−データから前記自動運転車両の車両データと感知された障害物の障害物情報を抽出することと、抽出された車両データ、抽出された障害物情報、対応するタイムスタンプ、および過去の障害物挙動および前記自動運転車両の車両運動を学習するために前にトレーニングされた一組のトレーニングパラメータに基づいて、前記感知された障害物の挙動および前記自動運転車両の車両運動を予測することと、を含む方法を提供する。
【外国語明細書】
2019182404000001.pdf