(57)【要約】  本開示は、自律運転中の運転動作を決定するシステム及び方法に関する。このシステムは、車両に関連する運転情報を取得し、車両の状態を決定し、トレーニング済みの運転動作モデルを用いて、運転情報及び車両の状態に基づいて、１つ以上の候補運転動作及び１つ以上の運転動作に対応する１つ以上の評価値を決定し、１つ以上の評価値に基づいて１つ以上の候補運転動作から目標運転動作を選択し、目標運転動作に基づいて目標運転経路を決定し、車両に目標運転動作を実行させて目標運転経路を追従させるように指示するために、車両の制御コンポーネントに信号を送信してもよい。
2021511235.tif 000002
【特許請求の範囲】
【請求項１】
自律運転中の運転動作を決定するシステムであって、
命令セットを含む少なくとも１つの記憶媒体と、
前記少なくとも１つの記憶媒体と通信する少なくとも１つプロセッサと、を備え、前記少なくとも１つのプロセッサは、前記命令セットを実行するとき、前記システムに、
車両に関連する運転情報を取得することと、
前記車両の状態を決定することと、
トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定することと、
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択することと、
前記目標運転動作に基づいて目標運転経路を決定することと、
前記車両の制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示することと、を実行させるように指示されるシステム。
【請求項２】
前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報と、前記車両の前記第１の所定の範囲内にある地図情報とを含む請求項１に記載のシステム。
【請求項３】
前記感知情報は、道路状況情報及び障害物情報を含む請求項２に記載のシステム。
【請求項４】
前記車両の状態は、前記車両の速度、前記車両の加速度及び前記車両のハンドルの角度を含む請求項１から３のいずれか一項に記載のシステム。
【請求項５】
前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定され、前記トレーニングプロセスは、
予備運転動作モデルを取得することと、
サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、
前記サンプル車両の予備サンプル状態を取得することと、
前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、
前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、
前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、
前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含む請求項１から４のいずれか一項に記載のシステム。
【請求項６】
前記トレーニングプロセスはさらに、
前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含み、前記１回以上の反復の各々は、
前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、
更新されたサンプル運転情報を取得することと、
前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、
前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、
前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、
前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含む請求項５に記載のシステム。
【請求項７】
前記トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含む請求項１から６のいずれか一項に記載のシステム。
【請求項８】
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択するために、前記少なくとも１つのプロセッサは、前記システムに、
所定のルールに従い、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択することを実行させるように指示される請求項１から７のいずれか一項に記載のシステム。
【請求項９】
少なくとも１つのプロセッサ、少なくとも１つの記憶媒体、及びネットワークに接続された通信プラットフォームを有するコンピューティングデバイス上で実装される方法であって、
車両に関連する運転情報を取得することと、
前記車両の状態を決定することと、
トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定することと、
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択することと、
前記目標運転動作に基づいて目標運転経路を決定することと、
前記車両の制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示することと、を含む方法。
【請求項１０】
前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報と、前記車両の前記第１の所定の範囲内にある地図情報とを含む請求項９に記載の方法。
【請求項１１】
前記感知情報は、道路状況情報及び障害物情報を含む請求項１０に記載の方法。
【請求項１２】
前記車両の状態は、前記車両の速度、前記車両の加速度及び前記車両のハンドルの角度を含む請求項９から１１のいずれか一項に記載の方法。
【請求項１３】
前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定され、前記トレーニングプロセスは、
予備運転動作モデルを取得することと、
サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、
前記サンプル車両の予備サンプル状態を取得することと、
前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、
前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、
前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、
前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含む請求項９から１２のいずれか一項に記載の方法。
【請求項１４】
前記トレーニングプロセスはさらに、
前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含み、前記１回以上の反復の各々は、
前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、
更新されたサンプル運転情報を取得することと、
前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、
前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、
前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、
前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含む請求項１３に記載の方法。
【請求項１５】
前記トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含む請求項９から１４のいずれか一項に記載の方法。
【請求項１６】
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択することは、
所定のルールに従い、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択することを含む請求項９から１５のいずれか一項に記載の方法。
【請求項１７】
自律運転するように構成される車両であって、
検出コンポーネント、計画コンポーネント及び制御コンポーネントを含み、前記計画コンポーネントは、
車両に関連する運転情報を取得し、
前記車両の状態を決定し、
トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定し、
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択し、
前記目標運転動作に基づいて目標運転経路を決定し、
前記車両の前記制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示するように構成される車両。
【請求項１８】
前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報と、前記車両の前記第１の所定の範囲内にある地図情報とを含む請求項１７に記載の車両。
【請求項１９】
前記感知情報は、道路状況情報及び障害物情報を含む請求項１８に記載の車両。
【請求項２０】
前記車両の状態は、前記車両の速度、前記車両の加速度及び前記車両のハンドルの角度を含む請求項１７から１９のいずれか一項に記載の車両。
【請求項２１】
前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定され、前記トレーニングプロセスは、
予備運転動作モデルを取得することと、
サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、
前記サンプル車両の予備サンプル状態を取得することと、
前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、
前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、
前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、
前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含む請求項１７から２０のいずれか一項に記載の車両。
【請求項２２】
前記トレーニングプロセスはさらに、
前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含み、前記１回以上の反復の各々は、
前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、
更新されたサンプル運転情報を取得することと、
前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、
前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、
前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、
前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含む請求項２１に記載の車両。
【請求項２３】
前記トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含む請求項１７から２２のいずれか一項に記載の車両。
【請求項２４】
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択するために、前記計画コンポーネントはさらに、
所定のルールに従い、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択するように構成される請求項１７から２３のいずれか一項に記載の車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１２月１８日に出願された中国特許出願第２０１８１１５４７９２６．７号の優先権を主張し、その内容全体は参照により本明細書に組み込まれるものとする。
【０００２】
本開示は、概して自律運転システム及び方法に関し、特に自律運転中の運転動作を決定するシステム及び方法に関する。
【背景技術】
【０００３】
現在、マイクロエレクトロニクス及びロボット技術の発展に伴い、自律運転の開発は急速に発展している。自律運転システムに対しては、自律運転システムの車両に関連する運転情報（例えば、始動位置、規定された目的地、道路状況）に基づいて、適切な運転動作（例えば、左へ曲がり、右へ曲がり、停止）を決定することが重要である。その後、それに応じて自律運転システムは、運転動作に基づいて適切な運転経路を計画する。一般的には、自律運転システムは、人工的に規定されたルールに従って運転動作を決定する。しかしながら、いくつかの状況では、人工的に規定されたルールは不十分、不正確又は不適切であるため、最適な運転動作又は最適な運転経路を決定することが難しい。したがって、運転動作を正確かつ効果的に決定し、それにより自律運転システムの性能を向上させる方法及びシステムが望ましい。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の一態様は、自律運転中の運転動作を決定するシステムに関する。前記システムは、命令セットを含む少なくとも１つの記憶媒体と、前記少なくとも１つの記憶媒体と通信する少なくとも１つのプロセッサとを含んでもよい。前記命令セットを実行するとき、前記少なくとも１つのプロセッサは、前記システムに以下の動作のうちの１つ以上を実施させるように指示されてもよい。前記システムは、車両に関連する運転情報を取得してもよい。前記システムは、前記車両の状態を決定してもよい。前記システムは、トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定してもよい。前記システムは、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択してもよい。前記システムは、前記目標運転動作に基づいて目標運転経路を決定してもよい。前記システムは、前記車両の制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示してもよい。
【０００５】
いくつかの実施形態では、前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報及び／又は前記車両の前記第１の所定の範囲内にある地図情報とを含んでもよい。
【０００６】
いくつかの実施形態では、前記感知情報は、道路状況情報及び／又は障害物情報を含んでもよい。
【０００７】
いくつかの実施形態では、前記車両の状態は、前記車両の速度、前記車両の加速度及び／又は前記車両のハンドルの角度を含んでもよい。
【０００８】
いくつかの実施形態では、前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定されてもよい。前記トレーニングプロセスは、予備運転動作モデルを取得することと、サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、前記サンプル車両の予備サンプル状態を取得することと、前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含んでもよい。
【０００９】
いくつかの実施形態では、前記トレーニングプロセスはさらに、前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含んでもよい。前記１回以上の反復の各々は、前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、更新されたサンプル運転情報を取得することと、前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含んでもよい。
【００１０】
いくつかの実施形態では、前記トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含んでもよい。
【００１１】
いくつかの実施形態では、前記システムは、所定のルールに従い、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択してもよい。
【００１２】
本開示の他の態様は、コンピューティングデバイス上で実装される方法に関する。前記コンピューティングデバイスは、少なくとも１つのプロセッサ、少なくとも１つの記憶媒体、及びネットワークに接続された通信プラットフォームを含んでもよい。前記方法は、車両に関連する運転情報を取得することと、前記車両の状態を決定することと、トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定することと、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択することと、前記目標運転動作に基づいて目標運転経路を決定することと、前記車両の制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示することと、を含んでもよい。
【００１３】
いくつかの実施形態では、前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報及び／又は前記車両の前記第１の所定の範囲内にある地図情報とを含んでもよい。
【００１４】
いくつかの実施形態では、前記感知情報は、道路状況情報及び／又は障害物情報を含んでもよい。
【００１５】
いくつかの実施形態では、前記車両の状態は、前記車両の速度、前記車両の加速度及び／又は前記車両のハンドルの角度を含んでもよい。
【００１６】
いくつかの実施形態では、前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定されてもよい。前記トレーニングプロセスは、予備運転動作モデルを取得することと、サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、前記サンプル車両の予備サンプル状態を取得することと、前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含んでもよい。
【００１７】
いくつかの実施形態では、前記トレーニングプロセスはさらに、前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含んでもよい。前記１回以上の反復の各々は、前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、更新されたサンプル運転情報を取得することと、前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含んでもよい。
【００１８】
いくつかの実施形態では、前記トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含んでもよい。
【００１９】
いくつかの実施形態では、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択することは、所定のルールに従い、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択することを含んでもよい。
【００２０】
本開示の更なる態様は、自律運転するように構成される車両に関する。前記車両は、検出コンポーネント、計画コンポーネント及び制御コンポーネントを含んでもよい。前記計画コンポーネントは、車両に関連する運転情報を取得し、前記車両の状態を決定し、トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定し、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択し、前記目標運転動作に基づいて目標運転経路を決定し、前記車両の前記制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示するように構成されてもよい。
【００２１】
いくつかの実施形態では、前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報及び／又は前記車両の前記第１の所定の範囲内にある地図情報を含んでもよい。
【００２２】
いくつかの実施形態では、前記感知情報は、道路状況情報及び／又は障害物情報を含んでもよい。
【００２３】
いくつかの実施形態では、前記車両の状態は、前記車両の速度、前記車両の加速度及び／又は前記車両のハンドルの角度を含んでもよい。
【００２４】
いくつかの実施形態では、前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定されてもよい。前記トレーニングプロセスは、予備運転動作モデルを取得することと、サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、前記サンプル車両の予備サンプル状態を取得することと、前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含んでもよい。
【００２５】
いくつかの実施形態では、前記トレーニングプロセスはさらに、前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含んでもよい。前記１回以上の反復の各々は、前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、更新されたサンプル運転情報を取得することと、前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含んでもよい。
【００２６】
いくつかの実施形態では、前記トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含んでもよい。
【００２７】
いくつかの実施形態では、前記計画コンポーネントはさらに、所定のルールに従い、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択するように構成されてもよい。
【００２８】
さらなる特徴は、ある程度以下の説明に記載され、当業者であれば、以下の説明及び添付の図面を検討することによりある程度明らかになるか、又は実施例の製造又は動作によって学習してよい。本開示の特徴は、以下に説明する詳細な実施例に示される方法論、手段及び組み合わせの様々な態様を実施又は使用することによって実現及び達成されてもよい。
【００２９】
本開示は、例示的な実施形態によりさらに説明される。図面を参照して、これらの例示的な実施形態を詳細に説明する。これらの実施形態は、図面のいくつかの図において同様の参照符号が類似の構造を表す非限定的な例示的実施形態である。
【図面の簡単な説明】
【００３０】
【図１】本開示のいくつかの実施形態に係る例示的な自律運転システムを示す概略図である。
【図２】本開示のいくつかの実施形態に係る例示的なコンピューティングデバイスの例示的なハードウェア及び／又はソフトウェアコンポーネントを示す概略図である。
【図３】本開示のいくつかの実施形態に係る例示的な処理エンジンを示すブロック図である。
【図４】本開示のいくつかの実施形態に係る、目標運転経路を決定するための例示的なプロセスを示すフローチャートである。
【図５】本開示のいくつかの実施形態に係る、トレーニング済みの運転動作モデルを決定するための例示的なプロセスを示すフローチャートである。
【図６】本開示のいくつかの実施形態に係る、トレーニング済みの運転動作モデルを決定するための例示的なプロセスを示すフローチャートである。
【図７】本開示のいくつかの実施形態に係る例示的な運転動作を示す概略図である。
【図８】本開示のいくつかの実施形態に係る、運転経路と複数の障害物との間の例示的な包括的な距離を示す概略図である。
【図９】本開示のいくつかの実施形態に係る、Ｑ学習ニューラルネットワークモデルをトレーニングするための例示的なプロセスを示す概略図である。
【発明を実施するための形態】
【００３１】
以下の説明は、当業者が本開示を作成し、使用することができるように提示され、かつ特定の用途及びその要件の文脈において提供される。開示される実施形態に対する様々な変更は、当業者には容易に明らかであり、本明細書で定義された一般的な原理は、本開示の精神及び範囲から逸脱しない限り、他の実施形態及び用途に適用されてもよい。したがって、本開示は、示された実施形態に限定されるものではなく、特許請求の範囲と矛盾しない最大の範囲まで許容されるものとする。
【００３２】
本明細書で用いられる用語は、具体的な例示的実施形態を記述することのみを目的とするものであり、限定することを意図しない。本明細書において用いられる場合には、「ａ」、「ａｎ」の単数形及び「ｔｈｅ」は、文脈上明確に別途示されない限り、同様に複数形も包含することを意図するものとする。「ｃｏｍｐｒｉｓｅ（備える）」、「ｃｏｍｐｒｉｓｅｓ」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅ（含む）」、「ｉｎｃｌｕｄｅｓ」、及び／又は「ｉｎｃｌｕｄｉｎｇ」などの用語は、本開示において用いられる場合、記述される特徴、整数、ステップ、動作、要素、及び／又は構成コンポーネントの存在を明示しているが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成コンポーネント、及び／又はそれらの群の存在又は追加を排除するものではないことがさらに理解されるであろう。
【００３３】
本開示の上記及び上記以外の特徴及び性質、ならびに構造の関連する要素の動作及び機能の方法、コンポーネントの組み合わせ及び製造の経済性については、添付の図面を参照して以下の詳細な説明を検討することにより、さらに明らかになり、これらはいずれも本開示の一部を構成する。しかしながら、図面は、例示及び説明のみを目的とするものであり、本開示の範囲を限定するものではないことは、明確に理解されるべきである。図面は、縮尺通りではないことを理解すべきである。
【００３４】
本開示において用いられるフローチャートは、本開示のいくつかの実施形態に従ってシステムが実施する動作を示す。フローチャートの動作は、順序通りに実装されなくてもよいことは、明確に理解されるべきである。逆に、動作は、逆の順序で、又は同時に実装されてもよい。さらに、１つ以上の他の動作は、フローチャートに追加されてもよい。１つ以上の操作は、フローチャートから削除されてもよい。
【００３５】
さらに、本開示で開示されたシステム及び方法は、主に内陸の輸送システムに関して説明されるが、それらが一つの例示的な実施形態に過ぎないことを理解すべきである。本開示のシステム及び方法は、任意の他の種類の輸送システムに適用されてもよい。例えば、本開示のシステム及び方法は、海洋、航空宇宙など、又はそれらの任意の組み合わせを含む様々な環境の輸送システムに適用されてもよい。輸送システムの車両は、カー、バス、列車、地下鉄、船舶、航空機、宇宙船、熱気球など、又はそれらの任意の組み合わせを含んでもよい。
【００３６】
本開示において用いられる測位技術は、全地球測位システム（ＧＰＳ）、全地球航法衛星システム（ＧＬＯＮＡＳＳ）、コンパス測位システム（ＣＯＭＰＡＳＳ）、ガリレオ測位システム、準天頂衛星システム（ＱＺＳＳ）、ワイヤレスフィデリティ（ＷｉＦｉ）測位技術など、又はそれらの任意の組み合わせに基づいてもよい。上記測位システムのうちの１つ以上は、本開示において互換的に用いられてもよい。
【００３７】
本開示の一態様は、自律運転中の運転動作を決定するシステム及び方法に関する。本開示のいくつかのシステム及び方法によれば、プロセッサは、車両に関連する運転情報（例えば、道路状況情報、障害物情報、地図情報）を取得し、車両の状態（例えば、速度、加速度、ハンドルの角度）を決定し、トレーニング済みの運転動作モデル（例えば、Ｑ学習ニューラルネットワークモデル）を用いて、運転情報及び車両の状態に基づいて、１つ以上の候補運転動作及び１つ以上の候補運転動作に対応する１つ以上の評価値を決定し、１つ以上の評価値に基づいて１つ以上の候補運転動作から目標運転動作を選択してもよい。さらに、本開示のいくつかのシステム及び方法によれば、プロセッサはさらに、目標運転動作に基づいて目標運転経路を決定し、車両の制御コンポーネントに信号を送信して、車両に目標運転動作を実行させて目標運転経路を追従させるように指示しもよい。本開示のいくつかのシステム及び方法によれば、運転動作は、車両の経路計画の精度を向上させることができるトレーニング済みのモデルに基づいて決定される。
【００３８】
図１は、本開示のいくつかの実施形態に係る例示的な自律運転システムを示す概略図である。いくつかの実施形態では、自律運転システム１００は、サーバ１１０、ネットワーク１２０、車両１３０及びストレージ１４０を含んでもよい。
【００３９】
いくつかの実施形態では、サーバ１１０は、単一のサーバ又はサーバグループであってよい。サーバグループは、集中型であっても分散型であってもよい（例えば、サーバ１１０は、分散型システムであってもよい）。いくつかの実施形態では、サーバ１１０は、ローカルであってもリモートであってもよい。例えば、サーバ１１０は、ネットワーク１２０を介して、車両１３０及び／又はストレージ１４０に記憶された情報及び／又はデータにアクセスしてもよい。別の例として、サーバ１１０は、記憶された情報及び／又はデータにアクセスするために、車両１３０及び／又はストレージ１４０に直接接続されてもよい。いくつかの実施形態では、サーバ１１０は、クラウドプラットフォーム又は車載コンピュータで実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、サーバ１１０は、本開示の図２に示す１つ以上のコンポーネントを含むコンピューティングデバイス２００で実装されてもよい。
【００４０】
いくつかの実施形態では、サーバ１１０は、処理エンジン１１２を含んでもよい。処理エンジン１１２は、本開示に記載された１つ以上の機能を実行するために、車両１３０の運転情報及び／又は状態に関連する情報及び／又はデータを処理してもよい。例えば、処理エンジン１１２は、車両１３０に関連する運転情報（例えば、道路状況情報、障害物情報）及び／又は車両１３０の状態（例えば、現在の位置、現在の速度）を取得してもよい。処理エンジン１１２は、車両１３０の運転情報及び／又は状態に基づいて、運転動作（例えば、左へ曲がり、右へ曲がり、停止）を決定してもよい。すなわち、処理エンジン１１２は、車両１３０の計画コンポーネントとするように構成されてもよい。別の例として、処理エンジン１１２は、運転動作に基づいて運転経路を決定してもよい。更なる例として、処理エンジン１１２は、運転経路に基づいて制御命令（例えば、速度制御命令、方向制御命令）を決定してもよい。いくつかの実施形態では、処理エンジン１１２は、１つ以上の処理エンジン（例えば、シングルコア処理エンジン又はマルチコアプロセッサ）を含んでもよい。単に例として、処理エンジン１１２は、中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、画像処理装置（ＧＰＵ）、物理演算処理装置（ＰＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、コントローラ、マイクロコントローラユニット、縮小命令セットコンピュータ（ＲＩＳＣ）、マイクロプロセッサなど、又はそれらの任意の組み合わせを含んでもよい。
【００４１】
いくつかの実施形態では、サーバ１１０は、自律運転システム１００の１つ以上のコンポーネント（例えば、車両１３０、ストレージ１４０）と通信するために、ネットワーク１２０に接続されてもよい。いくつかの実施形態では、サーバ１１０は、自律運転システム１００の１つ以上のコンポーネント（例えば、車両１３０、ストレージ１４０）に直接接続されるか又はそれらと通信してもよい。いくつかの実施形態では、サーバ１１０は、車両１３０に組み込まれてもよい。例えば、サーバ１１０は、車両１３０内に設置されたコンピューティングデバイス（例えば、オンボードコンピュータ）であってもよい。
【００４２】
ネットワーク１２０は、情報及び／又はデータの変換を容易にしてもよい。いくつかの実施形態では、自律運転システム１００の１つ以上のコンポーネント（例えば、サーバ１１０、車両１３０又はストレージ１４０）は、ネットワーク１２０を介して情報及び／又はデータを自律運転システム１００の別のコンポーネントに送信してもよい。例えば、サーバ１１０は、ネットワーク１２０を介して車両１３０に関連する運転情報及び／又は車両１３０の状態を取得してもよい。いくつかの実施形態では、ネットワーク１２０は、任意のタイプの有線又は無線ネットワーク、又はそれらの組み合わせであってもよい。単に例として、ネットワーク１２０は、ケーブルネットワーク、有線ネットワーク、光ファイバーネットワーク、テレコミュニケーションネットワーク、イントラネット、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、公衆電話交換網（ＰＳＴＮ）、Ｂｌｕｅｔｏｏｔｈ(登録商標)ネットワーク、ＺｉｇＢｅｅネットワーク、近距離無線通信（ＮＦＣ）ネットワーク、など、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、ネットワーク１２０は、１つ以上のネットワークアクセスポイントを含んでもよい。例えば、ネットワーク１２０は、有線又は無線ネットワークアクセスポイントを含んでもよく、それらを介して自律運転システム１００の１つ以上のコンポーネントは、データ及び／又は情報を交換するために、ネットワーク１２０に接続されてもよい。
【００４３】
車両１３０は、任意のタイプの自律運転車であってもよい。自律運転車は、環境情報を検知し、かつ手動操作を必要とせずにナビゲートすることができる。車両１３０は、従来の車両の構造を含んでもよい。例えば、車両１３０は、車両１３０の動作を制御するように構成される複数のコンポーネントを含んでもよい。複数のコンポーネントは、ステアリング装置（例えば、ハンドル）、ブレーキ装置（例えば、ブレーキペダル）、アクセルなどを含んでもよい。ステアリング装置は、車両１３０のヘディング及び／又は方向を調整するように構成されてもよい。ブレーキ装置は、車両１３０を停止するためにブレーキ動作を実施するように構成されてもよい。アクセルは、車両１３０の速度及び／又は加速度を制御するように構成されてもよい。
【００４４】
車両１３０は、車両１３０に関連する運転情報を検出するように構成される複数の検出ユニットも含んでもよい。複数の検出ユニットは、カメラ、全地球測位システム（ＧＰＳ）モジュール、加速度センサー（例えば、圧電センサー）、速度センサー（例えば、ホールセンサー）、距離センサー（例えば、レーダー、ＬｉＤＡＲ、赤外線センサー）、ステアリング角度センサー（例えば、チルトセンサー）、牽引力関連センサー（例えば、力学センサー）などを含んでもよい。いくつかの実施形態では、車両１３０に関連する運転情報は、車両１３０の１つの範囲内にある感知情報（例えば、道路状況情報、障害物情報）、車両１３０の上記範囲内にある地図情報などを含んでもよい。
【００４５】
ストレージ１４０は、データ及び／又は命令を記憶してもよい。いくつかの実施形態では、ストレージ１４０は、車両１３０から取得されたデータ、例えば、検出ユニットによって取得された車両１３０の運転情報及び／又は状態を記憶してもよい。いくつかの実施形態では、ストレージ１４０は、サーバ１１０が本開示に記載された例示的な方法を実施するために実行するか又は使用するデータ及び／又は命令を記憶してもよい。いくつかの実施形態では、ストレージ１４０は、マスストレージ、リムーバブルストレージ、揮発性読み書きメモリ、リードオンリーメモリー（ＲＯＭ）など、又はそれらの任意の組み合わせを含んでもよい。例示的なマスストレージは、磁気ディスク、光ディスク、ソリッドステートドライブなどを含んでもよい。例示的なリムーバブルストレージは、フラッシュドライブ、フロッピーディスク、光ディスク、メモリーカード、ジップディスク、磁気テープ等を含んでもよい。例示的な揮発性読み書きメモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでもよい。例示的なＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルデータレート同期ダイナミックＲＡＭ（ＤＤＲ  ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ）、ゼロキャパシタＲＡＭ（Ｚ−ＲＡＭ）などを含んでもよい。例示的なＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、及びデジタルバーサタイルディスクＲＯＭなどを含んでもよい。いくつかの実施形態では、ストレージ１４０は、クラウドプラットフォームで実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、又はそれらの任意の組み合わせを含んでもよい。
【００４６】
いくつかの実施形態では、ストレージ１４０は、自律運転システム１００の１つ以上のコンポーネント（例えば、サーバ１１０、車両１３０）と通信するために、ネットワーク１２０に接続されてもよい。自律運転システム１００の１つ以上のコンポーネントは、ネットワーク１２０を介して、ストレージ１４０に記憶されたデータ又は命令にアクセスしてもよい。いくつかの実施形態では、ストレージ１４０は、自律運転システム１００の１つ以上のコンポーネント（例えば、サーバ１１０及び車両１３０）に直接接続されるか又はそれらと通信してもよい。いくつかの実施形態では、ストレージ１４０は、サーバ１１０の一部であってもよい。いくつかの実施形態では、ストレージ１４０は、車両１３０に組み込まれてもよい。
【００４７】
自律運転システム１００は、説明のみを目的とするものに過ぎず、本開示の範囲を限定するものではないことに注意すべきである。当業者であれば、本開示の教示下で複数の変形又は修正を行うことができる。例えば、自律運転システム１００はさらに、データベース、情報源などを含んでもよい。別の例として、自律運転システム１００は、同様又は異なる機能を果たすために、別の装置で実装されてもよい。しかしながら、これらの変形及び修正は、本開示の範囲から逸脱するものではない。
【００４８】
図２は、本開示のいくつかの実施形態に係る例示的なコンピューティングデバイスの例示的なハードウェア及び／又はソフトウェアコンポーネントを示す概略図である。いくつかの実施形態では、サーバ１１０は、コンピューティングデバイス２００で実装されてもよい。例えば、処理エンジン１１２は、コンピューティングデバイス２００で実装され、かつ本開示で開示された処理エンジン１１２の機能を実行するように構成されてもよい。
【００４９】
コンピューティングデバイス２００は、本開示の自律運転システム１００の任意のコンポーネントを実装するために用いられてもよい。例えば、自律運転システム１００の処理エンジン１１２は、そのハードウェア、ソフトウェアプログラム、ファームウェア又はそれらの組み合わせを介して、コンピューティングデバイス２００で実装されてもよい。便宜上、このようなコンピュータの１つのみを示すが、処理負荷を分散させるために、本明細書に記載された自律運転システム１００に関連するコンピュータ機能が、複数の同様のプラットフォームに分散して実装されてもよい。
【００５０】
コンピューティングデバイス２００は、例えば、データ通信を容易にするために、それ自体に接続されたネットワーク（例えば、ネットワーク１２０）に接続された、またはネットワークから接続された通信（ＣＯＭＭ）ポート２５０を含んでもよい。コンピューティングデバイス２００は、プログラム命令を実行するための、１つ以上のプロセッサ（例えば、論理回路）の形態のプロセッサ（例えば、プロセッサ２２０）を含んでもよい。例えば、プロセッサは、その中にインタフェース回路及び処理回路を含んでもよい。インタフェース回路は、バス２１０から、処理回路が処理するための構造化データ及び／又は命令を符号化する電子信号を受信するように構成されてもよい。処理回路は、論理計算を行い、次に、電子信号として符号化された結論、結果及び／又は命令を決定してもよい。そして、インタフェース回路は、バス２１０を介して、電子信号を処理回路から送信してもよい。
【００５１】
コンピューティングデバイス２００はさらに、コンピューティングデバイス２００で処理及び／又は送信される様々なデータファイルを記憶するために、ディスク２７０、リードオンリーメモリ（ＲＯＭ）２３０又はランダムアクセスメモリ（ＲＡＭ）２４０などのような異なる形態のプログラムストレージ及びデータストレージを含んでもよい。コンピューティングデバイス２００は、ＲＯＭ２３０、ＲＡＭ２４０及び／又はプロセッサ２２０によって実行される他のタイプの非一時的記憶媒体に記憶されたプログラム命令を含んでもよい。本開示の方法及び／又はプロセスは、プログラム命令として実装されてもよい。コンピューティングデバイス２００は、コンピューティングデバイス２００とその内の他のコンポーネントとの間の入力及び／又は出力をサポートするＩ／Ｏコンポーネント２６０を含んでもよい。コンピューティングデバイス２００は、ネットワーク通信を介してプログラミング及びデータを受信してもよい。
【００５２】
単に例示を目的とし、１つのプロセッサのみは、コンピューティングデバイス２００内に示される。しかしながら、本開示におけるコンピューティングデバイス２００は、複数のプロセッサを含んでもよいため、本開示で記載されるような１つのプロセッサによって実行される動作も、複数のプロセッサによって共同で又は別々に実行されてもよい。例えば、コンピューティングデバイス２００のプロセッサは、動作Ａ及び動作Ｂの両方を実行する。別の例に記載されるように、動作Ａ及び動作Ｂは、コンピューティングデバイス２００において２つの異なるプロセッサによって共同で又は別々に実行されてもよい（例えば、第１のプロセッサが動作Ａを実行し、第２のプロセッサが動作Ｂを実行し、又は第１のプロセッサと第２のプロセッサが動作Ａ及び動作Ｂを共同で実行する）。
【００５３】
図３は、本開示のいくつかの実施形態に係る例示的な処理エンジンを示すブロック図である。処理エンジン１１２は、取得モジュール３１０、状態決定モジュール３２０、候補運転動作決定モジュール３３０、目標運転動作決定モジュール３４０、目標運転経路決定モジュール３５０、送信モジュール３６０、及びトレーニングモジュール３７０を含んでもよい。
【００５４】
取得モジュール３１０は、車両（例えば、車両１３０）に関連する運転情報を取得するように構成されてもよい。取得モジュール３１０は、車両の検出ユニット（例えば、カメラ、レーダー）、本開示の他の部分に開示された記憶装置（例えば、ストレージ１４０）、又は外部リソース（例えば、交通誘導プラットフォーム、ニュースプラットフォーム）から運転情報を取得してもよい。取得モジュール３１０は、特定の時間間隔（例えば、０．０１秒、０．０２秒、０．０５秒）で運転情報をリアルタイムに、又は実質的にリアルタイムに取得してもよい。運転情報のより詳細な説明は、本開示の他の部分（例えば、図４、及びその説明）に見出されてもよい。
【００５５】
状態決定モジュール３２０は、車両の状態を決定するように構成されてもよい。状態決定モジュール３２０は、特定の時間間隔（例えば、０．０１秒、０．０２秒、０．０５秒）で車両の状態をリアルタイムに、又は実質的にリアルタイムに決定してもよい。車両の状態のより詳細な説明は、本開示の他の部分（例えば、図４、及びその説明）に見出されてもよい。
【００５６】
候補運転動作決定モジュール３３０は、トレーニング済みの運転動作モデルを用いて、運転情報及び車両の状態に基づいて、１つ以上の候補運転動作及び１つ以上の候補運転動作に対応する１つ以上の評価値を決定するように構成されてもよい。運転動作のより詳細な説明は、本開示の他の部分（例えば、図４、及びその説明）に見出されてもよい。
【００５７】
目標運転動作決定モジュール３４０は、１つ以上の評価値に基づいて１つ以上の候補運転動作から目標運転動作を選択するように構成されてもよい。いくつかの実施形態では、目標運転動作決定モジュール３４０は、１つ以上の候補運転動作に対応する１つ以上の評価値から最高の評価値を特定し、かつ最高の評価値に対応する候補運転動作を目標運転動作として選択してもよい。いくつかの実施形態では、目標運転動作決定モジュール３４０は、所定のルールに従い、１つ以上の候補運転動作から目標運転動作を選択してもよい。
【００５８】
目標運転経路決定モジュール３５０は、目標運転動作に基づいて目標運転経路を決定するように構成されてもよい。例えば、目標運転経路決定モジュール３５０は、車両に関連する運転情報、車両の状態及び目標運転動作に基づいて、複数の候補運転経路を決定してもよい。目標運転経路決定モジュール３５０はさらに、複数の候補運転経路の各々に関連する１つ以上の特徴、例えば、候補運転経路から車線の中心線までのオフセット、候補運転経路の走行時間、候補運転経路の快適度、及び候補運転経路と障害物との間の距離などに基づいて、複数の候補運転経路から目標運転経路を選択してもよい。
【００５９】
送信モジュール３６０は、車両の１つ以上の制御コンポーネント（例えば、ステアリング装置、ブレーキ装置、アクセル）に信号を送信して、車両に目標運転動作を実行させて目標運転経路を追従させるように指示するように構成されてもよい。例えば、送信モジュール３６０は、目標運転動作及び目標運転経路に関連する制御命令（例えば、ステアリング命令、加速度命令）を決定し、かつ制御命令を１つの制御コンポーネントに送信してもよい。
【００６０】
トレーニングモジュール３７０は、サンプル車両に関連する運転情報及びサンプル車両のサンプル状態に基づいて、トレーニング済みの運転動作モデル（例えば、トレーニング済みのＱ学習ニューラルネットワークモデル）を決定するように構成されてもよい。トレーニング済みの運転動作モデルの決定のより詳細な説明は、本開示の他の部分（例えば、図５−６、及びそれらの説明）に見出されてもよい。
【００６１】
処理エンジン１１２内のモジュールは、有線接続又は無線接続を介して互いに接続される又は通信してもよい。有線接続は、金属ケーブル、光ケーブル、ハイブリッドケーブルなど、又はそれらの任意の組み合わせを含んでもよい。無線接続は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、Ｂｌｕｅｔｏｏｔｈ(登録商標)、ＺｉｇＢｅｅ、近距離通信（ＮＦＣ）など、又はそれらの任意の組み合わせを含んでもよい。２つ以上のモジュールは、単一のモジュールに組み合わせられてもよく、いずれか１つのモジュールは、２つ以上のユニットに分割されてもよい。例えば、取得モジュール３１０と状態決定モジュール３２０は、車両に関連する運転情報及び車両の状態の両方を取得することができる１つのモジュールとして組み合わせられてもよい。別の例として、候補運転動作決定モジュール３３０と目標運転動作決定モジュール３４０は、１つ以上の候補運転動作及び１つの目標運転動作の両方を決定することができる１つのモジュールとして組み合わせられてもよい。更なる例として、処理エンジン１１２は、車両に関連する情報及び／又はデータ（例えば、車両に関連する運転情報、車両の状態）を記憶するための記憶モジュール（図示せず）を含んでもよい。また更なる例として、トレーニングモジュール３７０は、必要とされなくてもよく、またトレーニング済みの運転動作モデルは、本開示の別の部分に開示されるような記憶装置（例えば、ストレージ１４０）から取得されてもよい。
【００６２】
図４は、本開示のいくつかの実施形態に係る、目標運転経路を決定するための例示的なプロセスを示すフローチャートである。プロセス４００は、自律運転システム１００によって実行されてもよい。例えば、プロセス４００は、ストレージＲＯＭ２３０又はＲＡＭ２４０に記憶された命令セットとして実装されてもよい。図３に示すプロセッサ２２０及び／又はモジュールは、命令セットを実行してもよく、命令を実行するとき、プロセッサ２２０及び／又はモジュールは、プロセス４００を実施するように構成されてもよい。以下に提示される図示のプロセスの動作は、例示を意図したものである。いくつかの実施形態では、プロセス４００は、説明されていない１つ以上の追加の動作で、及び／又は１つ以上の説明された動作なしで達成されてもよい。さらに、図４に示され、以下に説明されるプロセス４００の動作の順序は、限定的なものではない。
【００６３】
４１０において、処理エンジン１１２（例えば、取得モジュール３１０）（例えば、プロセッサ２２０のインターフェース回路）は、車両（例えば、車両１３０）に関連する運転情報を取得してもよい。処理エンジン１１２は、車両の検出ユニット（例えば、カメラ、レーダー）、本開示の他の部分に開示された記憶装置（例えば、ストレージ１４０）、又は外部リソース（例えば、交通誘導プラットフォーム、ニュースプラットフォーム）から運転情報を取得してもよい。処理エンジン１１２は、特定の時間間隔（例えば、０．０１秒、０．０２秒、０．０５秒）で運転情報をリアルタイムに、又は実質的にリアルタイムに取得してもよい。
【００６４】
いくつかの実施形態では、車両に関連する運転情報は、車両の第１の所定の範囲内にある感知情報、車両の第１の所定の範囲内にある地図情報など、又はそれらの任意の組み合わせを含んでもよい。第１の所定の範囲は、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。例えば、第１の所定の範囲は、車両の現在の位置を中心とする範囲（例えば、円形、長方形、方形、三角形、多角形）であってもよい。
【００６５】
いくつかの実施形態では、処理エンジン１１２は、車両の検出ユニット（例えば、カメラ、レーダー）から感知情報を取得してもよい。感知情報は、道路状況情報、障害物情報など、又はそれらの任意の組み合わせを含んでもよい。道路状況情報は、道路の幅、道路の長さ、道路のタイプ（例えば、高速道路、環状道路、脇道、高架道路、一方通行路、両面交通道路）、車線情報、交通標識（例えば、進路表示器）、交通信号情報、横断歩道情報など、又はそれらの任意の組み合わせを含んでもよい。障害物情報は、障害物のタイプ（例えば、車両、歩行者、動物、建物、木、路上封鎖物）、障害物の位置、障害物の大きさ、障害物の速度、車両の現在の位置と障害物の位置との間の距離など、又はそれらの任意の組み合わせを含んでもよい。
【００６６】
いくつかの実施形態では、処理エンジン１１２は、本開示の他の部分に開示された記憶装置（例えば、ストレージ１４０）から地図情報を取得してもよい。本明細書で用いられる場合には、いくつかの実施形態では、地図情報は、道路状況情報の高精度表示を示す高精度地図（例えば、ＨＤ地図）に含まれる情報であってもよい。
【００６７】
４２０において、処理エンジン１１２（例えば、状態決定モジュール３２０）（例えば、プロセッサ２２０の処理回路）は、車両の状態を決定してもよい。処理エンジン１１２は、特定の時間間隔（例えば、０．０１秒、０．０２秒、０．０５秒）で車両の状態をリアルタイムに、又は実質的にリアルタイムに決定してもよい。
【００６８】
いくつかの実施形態では、車両の状態は、車両の現在の位置、車両の速度（例えば、瞬間速度、所定の期間内の平均速度）、車両の加速度（例えば、瞬間加速度、所定の期間内の平均加速度）、車両のハンドルの角度など、又はそれらの任意の組み合わせを含んでもよい。本明細書で用いられる場合には、「速度」は、「大きさ」情報及び／又は「方向」情報を含む。例えば、車両の速度は、速度の大きさが７０ｋｍ／ｈで、速度の方向が水平方向から３０°の角度を備える方向であること示す「７０ｋｍ／ｈ、３０°」で表示されてもよい。同様に、「加速度」も「大きさ」情報及び／又は「方向」情報を含む。いくつかの実施形態では、車両の状態はさらに、残りの電力、残りのガソリン量、油の温度、ガスの圧力、タイヤの圧力などを含んでもよい。
【００６９】
いくつかの実施形態では、処理エンジン１１２は、車両の検出ユニットから車両の状態を取得してもよい。例えば、処理エンジン１１２は、加速度センサーから車両の加速度を取得してもよい。別の例として、処理エンジン１１２は、ステアリング角度センサーから、車両の即時転向角を反映するハンドルの角度を取得してもよい。
【００７０】
４３０において、処理エンジン１１２（例えば、候補運転動作決定モジュール３３０）（例えば、プロセッサ２２０の処理回路）は、トレーニング済みの運転動作モデルを用いて、運転情報及び車両の状態に基づいて、１つ以上の候補運転動作及び１つ以上の候補運転動作に対応する１つ以上の評価値を決定してもよい。本明細書で用いられる場合には、特定の運転動作に対応する評価値は、車両の運転プロセスに対して特定の運転動作に関連する包括的なリワード（「予想のリワード」とも呼ばれる）を示す値を指す。
【００７１】
いくつかの実施形態では、運転動作は、車両の操作に関連する動作を指してもよい。いくつかの実施形態では、運転動作は、「停止」、「車線維持」、「追従」、「左へ曲がり」、「右へ曲がり」、「左へナッジ」、「右へナッジ」など、又はそれらの任意の組み合わせを含んでもよい。本明細書で用いられる場合には、「停止」は、車両を停止させる動作を指し、「車線維持」は、車両に車両が位置した車線に沿って運転させるように指示する動作を指し、「追従」は、車両に前方の別の車両に追従させるように指示する動作を指し、「左へ曲がり」又は「右へ曲がり」は、車両に車両が位置した車線から車両が位置した車線と平行の別の車線へ左折させる（又は右折させる）ように指示する動作を指し、そして「左へナッジ」又は「右へナッジ」は、車両に車両が位置した車線を離れずに左折させる（又は右折させる）ように指示する動作を指す。本明細書で用いられる場合には、「曲がり」と「ナッジ」との違いは、「曲がり」（例えば、「左へ曲がり」、「右へ曲がり」）動作下で、車両が車両の前方にある障害物との衝突を回避するために、車線を変更する必要がある一方で、「ナッジ」（例えば、「左へナッジ」、「右へナッジ」）動作下で、車両が車両の前方にある障害物との衝突を回避するために、車線を変更する必要がないことである。運転動作のより詳細な説明は、本開示の他の部分（例えば、図７、及びその説明）に見出されてもよい。
【００７２】
いくつかの実施形態では、処理エンジン１１２は、本開示の他の部分に開示されたトレーニングモジュール３７０又は記憶装置（例えば、ストレージ１４０）からトレーニング済みの運転動作モデルを取得してもよい。いくつかの実施形態では、トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含んでもよい。Ｑ学習ニューラルネットワークモデルは、機械学習に用いられる補強型学習モデルであってもよい。トレーニング済みの運転動作モデルのより詳細な説明は、本開示の他の部分（例えば、図５、図６、図９、及びそれらの説明）に見出されてもよい。
【００７３】
４４０において、処理エンジン１１２（例えば、目標運転動作決定モジュール３４０）（例えば、プロセッサ２２０の処理回路）は、１つ以上の評価値に基づいて１つ以上の候補運転動作から目標運転動作を選択してもよい。
【００７４】
いくつかの実施形態では、処理エンジン１１２は、１つ以上の候補運転動作に対応する１つ以上の評価値から最高の評価値を特定し、かつ最高の評価値に対応する候補運転動作を目標運転動作として選択してもよい。
【００７５】
いくつかの実施形態では、処理エンジン１１２は、１つ以上の所定のルールに従い、１つ以上の候補運転動作から目標運転動作を選択してもよい。所定のルールは、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。例えば、処理エンジン１１２が「左へ曲がり」と「左へナッジ」という二つの候補運転動作を決定すると、車両が車線を変更する必要がない場合に、処理エンジン１１２は、「左へナッジ」を目標運転動作として選択してもよい。
【００７６】
４５０において、処理エンジン１１２（例えば、目標運転経路決定モジュール３５０）（例えば、プロセッサ２２０の処理回路）は、目標運転動作に基づいて目標運転経路を決定してもよい。
【００７７】
いくつかの実施形態では、処理エンジン１１２は、車両に関連する運転情報、車両の状態及び目標運転動作に基づいて、複数の候補運転経路を決定してもよい。例えば、処理エンジン１１２は、目標運転動作に基づいて目的地を規定し、かつカーブフィッティング法に従い、運転情報（例えば、道路状況情報）に基づいて車両の現在の位置に関連する複数のカーブ及び規定された目的地を決定してもよい。さらに、処理エンジン１１２は、障害物と衝突しないカーブを複数の候補運転経路として選択してもよい。別の例として、処理エンジン１１２は、機械学習モデル（例えば、人工ニューラルネットワークモデル、サポートベクターマシン（ＳＶＭ）モデル、決定木モデル）に従い、車両に関連する運転情報、車両の状態及び目標運転動作に基づいて、複数の候補運転経路を決定してもよい。候補運転経路の決定についての詳細な説明は、２０１７年７月１３日に出願され、本明細書に参照として内容全体が組み込まれている、国際出願番号ＰＣＴ／ＣＮ２０１７／０９２７１４に見出されてもよい。
【００７８】
いくつかの実施形態では、候補運転経路の生成は、特定の制限の下で実施されてもよい。特定の実施形態では、制限は目標運転動作に基づくものであってもよい。例えば、「左へ曲がり」が目標運転動作として選択されると、このような選択は、どの候補運転経路が生成されるかに関して制限を自動的に提供する。
【００７９】
複数の候補運転経路を決定した後、処理エンジン１１２は、複数の候補運転経路の各々に関連する１つ以上の特徴、例えば、候補運転経路から車線の中心線までのオフセット、候補運転経路の走行時間、候補運転経路の快適度、及び候補運転経路と障害物との間の距離などに基づいて、複数の候補運転経路から目標運転経路を選択してもよい。本明細書で用いられる場合には、快適度は、候補運転経路上の複数の点に対応する複数の加速度に関連してもよい。例えば、複数の加速度の各々が第１の加速度の閾値（例えば、３ｍ／ｓ２）未満であると、快適度を１として指定してもよい一方で、第２の加速度閾値（例えば、１０ｍ／ｓ２）より高い加速度の百分率が百分率閾値（例えば、５０％、６０％、７０％）を超えると、快適度を０として指定してもよい。これにより、第２の加速度閾値を超える加速度の百分率がより高いほど、サンプル運転経路の快適度がより低くなり得る。
【００８０】
例えば、処理エンジン１１２は、オフセット閾値未満の、候補運転経路から車線の中心線までのオフセットを備える候補運転経路を目標運転経路として決定してもよい。別の例として、処理エンジン１１２は、時間閾値未満の走行時間を備える候補運転経路を目標運転経路として決定してもよい。更なる例として、処理エンジン１１２は、快適度閾値より高い快適度を備える候補運転経路を目標運転経路として決定してもよい。また更なる例として、処理エンジン１１２は、距離閾値未満の、候補運転経路と障害物との間の距離を備える候補運転経路を目標運転経路として決定してもよい。
【００８１】
いくつかの実施形態では、処理エンジン１１２は、複数の候補運転経路の各々に関連する走行コストに基づいて、複数の候補運転経路から目標運転経路を選択してもよい。例えば、処理エンジン１１２は、複数の候補運転経路に対応する複数の走行コストから最小の走行コストを特定し、かつ最小の走行コストに対応する候補運転経路を目標運転経路として特定してもよい。目標運転経路の決定についての詳細な説明は、例えば、「自律運転中の運転経路を決定するシステム及び方法」と題し、同日に出願され、参照として内容全体が組み込まれている、国際出願番号ＰＣＴ／ＣＮ２０１８／＿に見出されてもよい。
【００８２】
４６０において、処理エンジン１１２（例えば、送信モジュール３６０）（例えば、プロセッサ２２０のインタフェース回路）は、車両の１つ以上の制御コンポーネント（例えば、ステアリング装置、ブレーキ装置、アクセル）に信号を送信して、車両に目標運転動作を実行させて目標運転経路を追従させるように指示しもよい。例えば、処理エンジン１１２は、目標運転動作及び目標運転経路に関連する制御命令（例えば、ステアリング命令、加速度命令）を決定し、かつ制御命令を１つの制御コンポーネントに送信してもよい。
【００８３】
上記説明は、説明のみを目的とするものに過ぎず、本開示の範囲を限定するものではないことに留意すべきである。当業者であれば、本開示の教示の下で多数の変形及び修正を行うことが可能である。しかしながら、これらの変形及び修正は、本開示の範囲から逸脱するものではない。
【００８４】
例えば、処理エンジン１１２は、動作４３０において決定された車両に関連する運転情報、車両の状態及び目標運転動作に基づいて、それぞれ１つの候補運転動作に対応する複数の候補運転経路セットを決定してもよい。さらに、処理エンジン１１２は、動作４５０に従い、複数の候補運転経路セットから目標運転経路を選択してもよい。別の例として、１つ以上の他の任意の動作（例えば、記憶動作）は、プロセス４００の他の部分に追加されてもよい。記憶動作では、処理エンジン１１２は、車両に関連する情報及び／又はデータ（例えば、車両に関連する運転情報、車両の状態、候補運転動作、候補運転経路）を、本開示の別の部分に開示されたストレージ（例えば、ストレージ１４０）に記憶してもよい。更なる例として、動作４１０及び動作４２０は、同時に実施されてもよい。
【００８５】
図５は、本開示のいくつかの実施形態に係る、トレーニング済みの運転動作モデルを決定するための例示的なプロセスを示すフローチャートである。プロセス５００は、自律運転システム１００によって実行されてもよい。例えば、プロセス５００は、ストレージＲＯＭ２３０又はＲＡＭ２４０に記憶された命令セットとして実装されてもよい。プロセッサ２２０及び／又はトレーニングモジュール３７０は、命令セットを実行してもよく、命令を実行するとき、プロセッサ２２０及び／又はトレーニングモジュール３７０は、プロセス５００を実施するように構成されてもよい。以下に提示される図示のプロセスの動作は、例示を意図したものである。いくつかの実施形態では、プロセス５００は、説明されていない１つ以上の追加の動作で、及び／又は１つ以上の説明された動作なしで達成されてもよい。さらに、図５に示され、以下に説明されるプロセス５００の動作の順序は、限定的なものではない。
【００８６】
５１０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路又はインタフェース回路）は、予備運転動作モデル（例えば、予備Ｑ学習ニューラルネットワークモデル）を取得してもよい。処理エンジン１１２は、ネットワーク１２０を介して、本開示の他の部分に開示された記憶装置（例えば、ストレージ１４０）及び／又は外部データソース（図示せず）から予備運転動作モデルを取得してもよい。予備運転動作モデルは、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい１つ以上の予備パラメータを含んでもよい。
【００８７】
５２０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、サンプル車両に関連する予備サンプル運転情報を取得してもよい。いくつかの実施形態では、サンプル車両は、車両１３０と同様の特徴（例えば、車種、車両型式、車両年式、車両重量、エンジン出力）を有する。
【００８８】
動作４１０に関連して記載されるように、サンプル車両に関連する予備サンプル運転情報は、サンプル車両の第２の所定の範囲内にある予備サンプル感知情報、サンプル車両の第２の所定の範囲内にある予備サンプル地図情報など、又はそれらの組み合わせを含んでもよい。いくつかの実施形態では、第２の所定の範囲は、動作４１０に関連して記載された第１の所定の範囲と同じであってもよく、又は異なってもよい。予備サンプル感知情報は、予備サンプル道路状況情報、予備サンプル障害物情報など、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、サンプル車両に関連する予備サンプル運転情報は、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。
【００８９】
５３０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、サンプル車両の予備サンプル状態を取得してもよい。
【００９０】
動作４２０に関連して記載されるように、サンプル車両の予備サンプル状態は、サンプル車両の予備サンプル速度（例えば、予備サンプル瞬間速度、所定の期間内の予備サンプル平均速度）、サンプル車両の予備サンプル加速度（例えば、予備サンプル瞬間加速度、所定の期間内の予備サンプル平均加速度）、サンプル車両のハンドルの予備サンプル角度など、又はそれらの任意の組み合わせを含んでもよい。いくつかの実施形態では、サンプル車両の予備サンプル状態はさらに、予備サンプルの残りの電力、予備サンプルの残りのガソリン量、予備サンプルの油の温度、予備サンプルのガスの圧力、予備サンプルのタイヤの圧力などを含んでもよい。いくつかの実施形態では、サンプル車両の予備サンプル状態は、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。
【００９１】
５４０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、予備サンプル運転情報、サンプル車両の予備サンプル状態及び予備運転動作モデルを基づいて、予備サンプル運転動作を決定してもよい。４３０に関連して記載されるように、予備サンプル運転動作は、「停止」、「車線維持」、「追従」、「左へ曲がり」、「右へ曲がり」、「左へナッジ」、「右へナッジ」など、又はそれらの任意の組み合わせを含んでもよい。例えば、運転情報がサンプル車両の前方に障害物があることを示すと、処理エンジン１１２は、予備運転動作モデルに従い、「左へ曲がり」又は「左へナッジ」という予備サンプル運転動作を決定してもよい。
【００９２】
５５０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、予備サンプル運転動作に対応する予備リワード値を基づいて、予備サンプル運転動作モデルに関連する予備サンプル評価値を決定してもよい。本明細書で用いられる場合には、特定のサンプル運転動作を例として、特定のサンプル運転動作に対応するリワード値は、特定のサンプル運転動作がサンプル車両の運転プロセスに対する寄与を評価するために用いられるパラメータであってもよい。また特定の反復中の特定のサンプル運転動作を例として、特定のサンプル運転動作に対応する評価値は、特定の反復までサンプル車両の運転プロセスに対して特定のサンプル運転動作に関連する包括的なリワード（「予想のリワード」とも呼ばれる）を示す値であってもよい。
【００９３】
いくつかの実施形態では、予備リワード値は、予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連してもよい。いくつかの実施形態では、予備リワード値は、直前の運転経路に接続された予備サンプル運転経路の平滑度に関連してもよい。いくつかの実施形態では、予備リワード値は、予備サンプル運転経路の快適度に関連してもよい。いくつかの実施形態では、動作４５０に関連して記載されるように、処理エンジン１１２は、予備サンプル運転動作に基づいて予備サンプル運転経路を決定してもよい。いくつかの実施形態では、予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離が長いほど、予備リワード値がより大きくなり得る。いくつかの実施形態では、平滑度が高いほど、予備リワード値がより大きくなり得る。いくつかの実施形態では、快適度が高いほど、予備リワード値がより大きくなり得る。
【００９４】
いくつかの実施形態では、処理エンジン１１２は、予備サンプル運転経路に関連する感知領域を決定し、かつ感知領域内の予備サンプル運転経路と障害物との間の距離を決定してもよい。感知領域のサイズは、自律運転システム１００のデフォルト設定（例えば、５０ｃｍ×５０ｃｍ、１００ｃｍ×１００ｃｍ、２００ｃｍ×２００ｃｍ、５００ｃｍ×５００ｃｍ、１０００ｃｍ×１０００ｃｍ）であってもよく、異なる状況下で調整可能であってもよい。本明細書で用いられる場合には、感知領域内の予備サンプル運転経路と障害物との間の距離は、予備サンプル運転経路と障害物との間の最短の距離であってもよい。当業者であれば、障害物が特定のサイズを有することがよく知られている。平面図を例として、障害物は、複数の点を含み、そして複数の点の各々が予備サンプル運転経路までの距離に対応すると考えられる。「最短の距離」は、複数の点に対応する複数の距離のうちの最も短い距離を指す。
【００９５】
いくつかの実施形態では、感知領域に複数の障害物があり得る。この場合に、処理エンジン１１２は、予備サンプル運転経路と複数の障害物の各々との間の候補距離（最短の距離）を決定し、かつ複数の障害物に対応する複数の候補距離に基づいて、予備サンプル運転経路と複数の障害物との間の包括的な距離を決定してもよい。例えば、処理エンジン１１２は、複数の障害物に対応する複数の候補距離から最短の候補距離を、予備サンプル運転経路と複数の障害物との間の包括的な距離として特定してもよい。別の例として、処理エンジン１１２は、複数の候補距離の平均値又は加重平均値を、予備サンプル運転経路と複数の障害物との間の包括的な距離として決定してもよい。予備サンプル運転経路と障害物との間の距離の決定のより詳細な説明は、本開示の他の部分（例えば、図８、及びその説明）に見出されてもよい。
【００９６】
いくつかの実施形態では、処理エンジン１１２は、特定の範囲（例えば、０〜１）を規定し、予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離をマッピングし、そして対応するマッピング値を予備運転動作に対応する予備リワード値として指定してもよい。例えば、予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離が第１の距離閾値（例えば、０．５ｍ）より大きいと、処理エンジン１１２は、予備サンプル運転動作に対応する予備リワード値が１であると決定する一方で、予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離が第２の距離閾値（例えば、０．０１ｍ）より小さいと、処理エンジン１１２は、予備サンプル運転動作に対応する予備リワード値が０であると決定してもよい。これにより、予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離が長いほど、予備サンプル運転動作に対応する予備リワード値がより大きくなり得る。第１の距離閾値及び／又は第２の距離閾値は、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。
【００９７】
いくつかの実施形態では、処理エンジン１１２は、以下の式（１）に従い、動作効用関数（Ｑ関数とも呼ばれる）に基づいて予備サンプル運転動作モデルに関連する予備サンプル評価値を決定してもよい。
Ｑ’（ｓ，ａ）＝Ｑ（ｓ，ａ）＋α（ｒｉ，ｔ＋λＱ＊（ｓ，ａ））      （１）
【００９８】
式中、ａは、逐次反復中のサンプル運転動作を示し、ｓは、逐次反復中の車両のサンプル状態を示し、Ｑ’（ｓ，ａ）は、逐次反復中の運転動作モデルに関連するサンプル評価値を示し、Ｑ（ｓ，ａ）は、前回の反復中の運転動作モデルに関連するサンプル評価値（第１の反復中のデフォルト値であってもよい）を示し、Ｑ＊（ｓ，ａ）は、逐次反復に対応する運転動作モデルに関連する最適なサンプル評価値を示し、αは、学習率を示し、ｒｉ，ｔは、逐次反復中のサンプル運転動作に対応するリワード値を示し、そしてλは、割引係数（例えば、０〜１の値）を示す。いくつかの実施形態では、学習率及び／又は割引係数は、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。いくつかの実施形態では、逐次反復に対応する最適なサンプル評価値は、複数回の前回の反復中に決定された複数のサンプル評価値に基づいて決定されてもよい。例えば、最適なサンプル評価値は、複数回の前回の反復中に決定された複数のサンプル評価値の平均値であってもよい。別の例として、最適な評価値は、複数回の前回の反復中に決定された複数のサンプル評価値のうちの最高のサンプル評価値であってもよい。
【００９９】
５６０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、予備サンプル評価値がプリセット条件を満足するか否かを決定してもよい。
【０１００】
いくつかの実施形態では、処理エンジン１１２は、予備サンプル評価値が第１の閾値より大きいか否かを決定してもよい。予備サンプル評価値が第１の閾値より大きい決定に応じて、処理エンジン１１２は、予備サンプル評価値がプリセット条件を満足すると決定してもよい。予備サンプル評価値が第１の閾値未満であるか又は第１の閾値に等しい決定に応じて、処理エンジン１１２は、予備サンプル評価値がプリセット条件を満足しないと決定してもよい。
【０１０１】
いくつかの実施形態では、処理エンジン１１２は、反復の計数が第２の閾値より大きいか否かを決定してもよい。反復の計数が第２の閾値より大きい決定に応じて、処理エンジン１１２は、予備サンプル評価値がプリセット条件を満足すると決定してもよい。反復の計数が第２の閾値未満であるか又は第２の閾値に等しい決定に応じて、処理エンジン１１２は、予備サンプル評価値がプリセット条件を満足しないと決定してもよい。第１の閾値及び／又は第２の閾値は、自律運転システム１００のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。
【０１０２】
いくつかの実施形態では、処理エンジン１１２は、予備運転動作モデルの損失関数を決定し、かつ予備サンプル評価値に基づいて損失関数の値を決定してもよい。さらに、処理エンジン１１２は、損失関数の値が損失閾値より小さいか否かを決定してもよい。損失関数の値が損失閾値未満である決定に応じて、処理エンジン１１２は、予備サンプル評価値がプリセット条件を満足すると決定してもよい。損失関数の値が損失閾値より大きいか又は損失閾値に等しい決定に応じて、処理エンジン１１２は、予備サンプル評価値がプリセット条件を満足しないと決定してもよい。
【０１０３】
５７０において、予備サンプル評価値がプリセット条件を満足する決定に応じて、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、予備運転動作モデルをトレーニング済みの運転動作モデルとして指定してもよい。
【０１０４】
予備サンプル評価値がプリセット条件を満足しない決定に応じて、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、更新された運転動作モデルがプリセット条件を満足するまで、予備運転動作モデルを更新するための１回以上の反復を実施するために、プロセス５００〜動作５８０を実行してもよい。例示的な反復は、以下の図６に記載されている。
【０１０５】
６１０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、前回の反復中のリワード値に基づいて更新された運転動作モデルを決定してもよい。
【０１０６】
いくつかの実施形態では、処理エンジン１１２は、前回の反復中に運転動作モデルの１つ以上のパラメータ（例えば、予備運転動作モデルの１つ以上の予備パラメータ）を更新することにより、更新された運転動作モデルを決定してもよく、更新された１つ以上のパラメータのもとで、リワード値及び／又はサンプル評価値が増加してもよい。
【０１０７】
６２０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、サンプル車両に関連する更新されたサンプル運転情報を取得してもよい。
【０１０８】
６３０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、サンプル車両の前回の反復中のサンプル運転動作及び前回の反復中のサンプル状態に基づいて、車両の更新されたサンプル状態を推定してもよい。
【０１０９】
いくつかの実施形態では、処理エンジン１１２は、シミュレーションモデルに従い、サンプル車両の前回の反復中のサンプル運転動作及び前回の反復中のサンプル状態に基づいて、サンプル車両の更新されたサンプル状態を推定してもよい。いくつかの実施形態では、シミュレーションモデルは、サンプル車両の１つ以上の特徴（例えば、車種、車両重量、車両型式、車両年式、エンジン出力、ブレーキ効率）、道路状況情報、障害物情報、地図情報など、又はそれらの任意の組み合わせを備えるように構成されてもよい。処理エンジン１１２は、シミュレーションモデルに基づいてサンプル車両の動作をシミュレートし、かつシミュレート結果に基づいてサンプル車両の更新されたサンプル状態を決定してもよい。
【０１１０】
６４０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、サンプル車両の更新されたサンプル運転情報、更新されたサンプル状態及び更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定してもよい。例えば、処理エンジン１１２は、サンプル車両の更新されたサンプル運転情報及び更新されたサンプル状態を更新された運転動作モデルに出力してもよい。処理エンジン１１２は、更新された運転動作モデルの出力に基づいて、更新されたサンプル運転動作を決定してもよい。
【０１１１】
６５０において、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、前回の反復中の更新されたサンプル運転動作に対応する更新されたリワード値及びサンプル評価値に基づいて、更新された運転動作モデルに関連する更新されたサンプル評価値を決定してもよい。例えば、処理エンジン１１２は、式（１）に従い、更新された評価値を決定してもよい。
【０１１２】
６６０において、動作５６０に関連して記載されるように、処理エンジン１１２（例えば、トレーニングモジュール３７０）（例えば、プロセッサ２２０の処理回路）は、更新されたサンプル評価値がプリセット条件を満足するか否かを決定してもよい。
【０１１３】
いくつかの実施形態では、処理エンジン１１２は、更新された運転動作モデルが収束性であるか否かを決定してもよい。例えば、処理エンジン１１２は、前回の反復中の更新されたサンプル評価値とサンプル評価値との間の差分値が差分閾値未満であるか否かを決定してもよい。差分値が差分閾値未満である決定に応じて、処理エンジン１１２は、更新された運転動作モデルが収束性であると決定してもよく、これにより処理エンジン１１２は、更新されたサンプル評価値がプリセット条件を満足すると決定してもよい。差分値が差分閾値より大きいか又は損失閾値に等しい決定に応じて、処理エンジン１１２は、更新されたサンプル評価値がプリセット条件を満足しないと決定してもよい。
【０１１４】
６７０において、更新されたサンプル評価値がプリセット条件を満足する決定に応じて、処理エンジン１１２は、更新された運転動作モデルをトレーニング済みの運転動作モデルとして指定してもよい。
【０１１５】
更新されたサンプル評価値がプリセット条件を満足しない決定に応じて、処理エンジン１１２は、更新されたサンプル評価値がプリセット条件を満足するまで、更新された運転動作モデルを更新する（例えば、次回の反復を開始する）動作６１０に戻るためにプロセス６００を実行してもよい。
【０１１６】
上記説明は、説明のみを目的とするものに過ぎず、本開示の範囲を限定するものではないことに留意すべきである。当業者であれば、本開示の教示の下で多数の変形及び修正を行うことが可能である。しかしながら、これらの変形及び修正は、本開示の範囲から逸脱するものではない。例えば、１つ以上の他の任意の動作（例えば、記憶動作）は、プロセス５００及び／又はプロセス６００の他の部分に追加されてもよい。記憶動作では、処理エンジン１１２は、サンプル車両に関連する情報及び／又はデータ（例えば、サンプル運転情報、サンプル車両のサンプル状態）を、本開示の別の部分に開示された記憶装置（例えば、ストレージ１４０）に記憶してもよい。別の例として、動作５２０及び動作５３０は、同時に実施されてもよい。更なる例として、動作６２０及び動作６３０は、同時に実施されてもよい。また更なる例として、動作５４０において、処理エンジン１１２は、運転動作を予備サンプル運転動作としてランダムに選択してもよい。また更なる例として、予備リワード値は、予備サンプル運転経路の別の特徴（例えば、走行時間）に関連してもよい。
【０１１７】
図７は、本開示のいくつかの実施形態に係る例示的な運転動作を示す概略図である。図に示すように、車線１、車線２及び車線３を含む道路シナリオを例として説明し、車線１は、車線２と平行であり、車線３は、車線１及び車線２と垂直である。また、７０１は車両を示し、７０２は７０１の前方にある別の車両を示す。７４０及び７６０は、障害物を示す。カーブ７１０は、車両７０１にその前方にある車両７０２を追従させるように指示する動作を示す運転動作「追従」に関連する運転経路を示す。カーブ７２０は、車両７０１に車線２に沿って運転させるように指示する動作を示す運転動作「車線維持」に関連する運転経路を示す。カーブ７３０は、車両７０１に車線２を離れずに左折させるように指示する動作を示す運転動作「左へナッジ」に関連する運転経路を示す。このような場合に、車両７０１は、車線２を離れずに障害物７５０との衝突を回避してもよい。カーブ７４０は、車両７０１に車線２から車線１へ左折させるように指示する動作を示す運転動作「左へ曲がり」に関連する運転経路を示す。このような場合に、障害物７６０との衝突を回避するために、車両７０１は、車線２から車線１に変更する必要がある。
【０１１８】
また、処理エンジン１１２が車両７０１が車線１から車線３に変更する必要があると決定すると、処理エンジン１１２は、「左へ曲がり」又は「左へナッジ」ではなく、車線１上で運転動作「車線維持」、車線３上で運転動作「車線維持」をそれぞれ決定してもよい。
【０１１９】
図８は、本開示のいくつかの実施形態に係る、運転経路と複数の障害物との間の例示的な包括的な距離を示す概略図である。図に示すように、カーブ８１０は、車両８６０の運転経路を示す。図から分かるように、感知領域８２０内に車両８６０の運転経路８１０の周りに複数の障害物（例えば、障害物８３０、障害物８４０及び障害物８５０）がある。処理エンジン１１２は、感知領域内の運転経路８１０と複数の障害物の各々との間の候補距離を決定してもよい。例えば、処理エンジン１１２は、運転経路８１０と障害物８３０との間の候補距離Ｌ１、運転経路８１０と障害物８４０との間の候補距離Ｌ２及び運転経路８１０と障害物８５０との間の候補距離Ｌ３を決定してもよい。処理エンジン１１２はさらに、３つの候補距離に基づいて、運転経路８１０と複数の障害物の各々との間の包括的な距離を決定してもよい。例えば、処理エンジン１１２は、３つの候補距離のうちから最短の候補距離（すなわち、運転経路８１０と障害物８５０との間の距離Ｌ３）を、運転経路８１０と複数の障害物との間の包括的な距離として決定してもよい。別の例として、処理エンジン１１２は、３つの候補距離の平均値（すなわち、（Ｌ１＋Ｌ２＋Ｌ３）／３）を、運転経路８１０と複数の障害物との間の包括的な距離として決定してもよい。
【０１２０】
図９は、本開示のいくつかの実施形態に係る、Ｑ学習ニューラルネットワークモデルをトレーニングするための例示的なプロセスを示す概略図である。
【０１２１】
図９に示すように、「環境」は、サンプル車両が位置するシナリオを指し、また本発明者らは、「環境」が陸地交通シナリオであると仮定してもよい。本開示によれば、トレーニングプロセスは、１回以上の反復を含むことが知られているが、本明細書に逐次反復を例として記載している。具体的には、処理エンジン１１２は、時間点ｔでサンプル車両のサンプル状態ｓｔ（例えば、位置、速度）を決定してもよい。処理エンジン１１２は、逐次反復中のＱ学習ニューラルネットワークモデルに従い、サンプル車両のサンプル状態ｓｔ（ここで便宜上にサンプル運転情報が省略される）に基づいて、サンプル車両の時間点ｔに対応するサンプル運転動作ａｔを決定してもよい。さらに、処理エンジン１１２は、サンプル運転動作ａｔに対応するリワード値ｒｔを決定してもよく、そしてそれと同時に又はそれに引き続いて、処理エンジン１１２は、サンプル運転動作ａｔに対応するＱ学習ニューラルネットワークモデルに関連するサンプル評価値Ｑｔ’（ｓｔ，ａｔ）を決定してもよい。動作５６０に関して記載されるように、処理エンジン１１２は、サンプル評価値Ｑｔ’（ｓｔ，ａｔ）がプリセット条件を満足するか否かを決定してもよい。サンプル評価値Ｑｔ’（ｓｔ，ａｔ）がプリセット条件を満足する決定に応じて、処理エンジン１１２は、逐次反復中のＱ学習ニューラルネットワークモデルを最終的なトレーニング済みのＱ学習ニューラルネットワークモデルとして指定してもよい。サンプル評価値Ｑｔ’（ｓｔ，ａｔ）がプリセット条件を満足しない決定に応じて、処理エンジン１１２は、更新されたサンプル評価値がプリセット条件を満足するまで次回の反復を開始してもよい。
【０１２２】
以上のように基本概念を説明してきたが、この詳細な開示を読んだ当業者には、上記の詳細な開示は、単なる例として提示されているに過ぎず、限定的ではないことは明らかである。本明細書には明示的に述べられていないが、様々な変更、改良、及び修正が想起され、それらは当業者に意図される。これらの変更、改良及び修正は、本開示によって示唆されることが意図されており、本開示の例示的な実施形態の精神及び範囲内にある。
【０１２３】
さらに、所定の用語が、本開示の実施形態を説明するために使用されている。例えば、「一実施形態」、「実施形態」及び／又は「いくつかの実施形態」という用語は、この実施形態に関連して説明される特定の特徴、構造又は特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の様々な部分における「実施形態」又は「一実施形態」又は「代替実施形態」の２つ以上の言及は、必ずしもすべてが同一の実施形態を指しているわけではないことを強調し、それを理解するものとする。さらに、特定の特徴、構造、又は特性は、本開示の１つ以上の実施形態において適切に組み合わせられてもよい。
【０１２４】
さらに、当業者には理解されるように、本開示の態様は、本明細書において、任意の新規かつ有用なプロセス、機械、製造、又は組成物、又はそれらの新規で有用な改善を含む、多くの特許性のある種類又は文脈のいずれかで例示及び説明されてもよい。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又はソフトウェアとハードウェアとの組み合わせによる実装により実装されてもよく、実装は、一般に、「ユニット」、「モジュール」又は「システム」と総称されてもよい。さらに、本開示の態様は、具現化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を用いてもよい。
【０１２５】
コンピュータ可読信号媒体は、例えば、ベースバンドに、又は搬送波の一部として組み込まれたコンピュータ可読プログラムコードを備える伝搬データ信号を含んでもよい。このような伝搬信号は、電磁気、光学など、又はそれらの任意の適切な組み合わせを含む様々な形態のいずれかを用いてもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないが、命令実行システム、機器若しくは装置によって使用されるか又は組み合わせて使用されるためのプログラムを通信、伝搬又は伝送できる任意のコンピュータ可読媒体であってもよい。コンピュータ可読信号媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、又はこれらの任意の適切な組み合わせを含む任意の適切な媒体を使用して送信されてもよい。
【０１２６】
本開示の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ(登録商標)、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｅｉｆｆｅｌ、ＪＡＤＥ、Ｅｍｅｒａｌｄ、Ｃ＋＋、Ｃ＃、ＶＢ．ＮＥＴ、Ｐｙｔｈｏｎなどのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｆｏｒｔｒａｎ  ２１０３、Ｐｅｒｌ、ＣＯＢＯＬ  ２１０２、ＰＨＰ、ＡＢＡＰなどの従来の手続き型プログラミング言語、Ｐｙｔｈｏｎ、Ｒｕｂｙ及びＧｒｏｏｖｙなどの動的プログラミング言語、又は他のプログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にはユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又は接続は、外部コンピュータ（例えば、インターネットサービスプロバイダを使用してインターネットを介して）若しくはクラウドコンピューティング環境で行われるか、又はサービスとしてのソフトウェア（ＳａａＳ）などのサービスとして提供されてもよい。
【０１２７】
さらに、処理要素若しくはシーケンス、又はそれに対する数、文字、若しくは他の名称の使用の、列挙された順序は、特許請求の範囲に特定され得るものを除き、請求された処理および方法を任意の順序に限定することを意図するものではない。上記開示は、現在、本開示の様々な有用な実施形態であると現在考えられる様々な実施例を通して論じているが、そのような詳細は説明を目的としてなされていることに過ぎず、添付の特許請求の範囲は、開示される実施形態に限定されず、むしろ、開示される実施形態の精神及び範囲内にある変形例及び等価な構成を包含するように意図されることが理解されるべきである。例えば、上述した様々な構成要素の実装は、ハードウェア装置で具体化され得るが、ソフトウェアのみの解決策として、例えば、既存のサーバ又はモバイルデバイス上にインストールとして実装されてもよい。
【０１２８】
同様に、本開示の実施形態の前述の説明では、様々な本発明の実施形態の１つ又は複数の理解を助ける開示を合理化する目的で、様々な特徴が単一の実施形態、図、又はその説明にまとめられることが理解されるべきである。しかしながら、該開示の方法は、請求された主題が各請求項に明確に記載されたより多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、本発明の実施形態は、前述の単一の開示された実施形態のすべての特徴よりも少ないものである。
【０１２９】
いくつかの実施形態では、本出願の特定の実施形態を記載して主張するための数字の量又は特性は、いくつかの実例では用語「約」、「おおよそ」又は「実質的」によって修正されると理解されるべきである例えば、別途に規定されない限り、「約」、「おおよそ」又は「実質的」は、それらが記載する値の±２０％変化量を指してもよい。これにより、いくつかの実施形態では、明細書又は添付した請求項に記載される数字上のパラメータは、特定の実施形態によって得られると求められる所望の特性に応じて変化し得る近似値である。いくつかの実施形態では、数字上のパラメータは、報告された有効数字の数に照らして、通常の丸め技術を適用することによって解釈されるべきである。本出願のいくつか実施形態の広範囲を記載している数字上の範囲又はパラメータが近似値であるにもかかわらず、特定の実施例に記載される数値は、実行可能な限り正確に報告されるべきである。
【０１３０】
特許、特許出願、特許出願の出版物、及び本明細書で参照された記事、書籍、明細書、出版物、文書、物などの他の資料の各々は、上記ファイルに関連した任意の起訴ファイル履歴、現在の文書と矛盾するか又は抵触する任意のファイル、又は本文書に関連した現在又はその後の請求項の最も広い範囲に関して限定的な影響を及ぼすことができる任意のファイルを除いて、あらゆる目的のためにその全体が参照として本明細書に組み込まれる。一例として、本明細書に組み込まれる任意の材料に関連する用語の説明、定義及び／又は使用と本文書に関連する用語の記載、定義及び／又は使用との間に不一致又は矛盾がある場合、本文書における用語の説明、定義及び／又は使用が優先すべきである。
【０１３１】
最後に、本明細書に開示された本出願の実施形態は、本出願の実施形態の原理を例示するものであると理解されるべきである。採用される他の修正は、本出願の範囲内であってもよい。したがって、一例として、本出願の実施形態の代替的な構成は、本明細書の内容に応じて利用されてもよい。これにより、本願の実施形態は、図示及び説明されたものに厳密に限定されない。
【符号の説明】
【０１３２】
１００  自律運転システム
１１０  サーバ
１２０  ネットワーク
１３０  車両
１４０  ストレージ
【図１】
2021511235.tif 000003
【図２】
2021511235.tif 000004
【図３】
2021511235.tif 000005
【図４】
2021511235.tif 000006
【図５】
2021511235.tif 000007
【図６】
2021511235.tif 000008
【図７】
2021511235.tif 000009
【図８】
2021511235.tif 000010
【図９】
2021511235.tif 000011
【手続補正書】
【提出日】平成31年3月26日(2019.3.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自動運転中の運転動作を決定するシステムであって、
車両に関連する運転情報を取得するように構成される取得モジュールと、
前記車両の状態を決定するように構成される状態決定モジュールと、
トレーニング済みの運転動作モデルを用いることにより、前記車両の前記運転情報及び前記状態に基づいて、１つ以上の候補運転動作及び１つ以上の候補運転動作に対応する１つ以上の評価値を決定するように構成される候補運転動作決定モジュールと、
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択するように構成される目標運転動作決定モジュールと、
前記目標運転動作に基づいて目標運転経路を決定するように構成される目標運転経路決定モジュールと、
前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示するために、前記車両の制御コンポーネントに信号を送信するよう構成される送信モジュールと、を含むシステム。
【請求項２】
前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報と、前記車両の前記第１の所定の範囲内にある地図情報とを含む請求項１に記載のシステム。
【請求項３】
前記感知情報は、道路状況情報及び障害物情報を含む請求項２に記載のシステム。
【請求項４】
前記車両の状態は、前記車両の速度、前記車両の加速度及び前記車両のハンドルの角度を含む請求項１から３のいずれか一項に記載のシステム。
【請求項５】
前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定され、前記トレーニングプロセスは、
予備運転動作モデルを取得することと、
サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、
前記サンプル車両の予備サンプル状態を取得することと、
前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、
前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、
前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、
前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含む請求項１から４のいずれか一項に記載のシステム。
【請求項６】
前記トレーニングプロセスはさらに、
前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含み、前記１回以上の反復の各々は、
前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、
更新されたサンプル運転情報を取得することと、
前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、
前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、
前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、
前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含む請求項５に記載のシステム。
【請求項７】
前記トレーニング済みの運転動作モデルは、Ｑ学習ニューラルネットワークモデルを含む請求項１から６のいずれか一項に記載のシステム。
【請求項８】
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択するために、前記目標運転動作決定モジュールはさらに、
所定のルールに従い、前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から前記目標運転動作を選択するように構成される請求項１から７のいずれか一項に記載のシステム。
【請求項９】
少なくとも１つのプロセッサ、少なくとも１つの記憶媒体、及びネットワークに接続された通信プラットフォームを有するコンピューティングデバイス上で実装される方法であって、
車両に関連する運転情報を取得することと、
前記車両の状態を決定することと、
トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定することと、
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択することと、
前記目標運転動作に基づいて目標運転経路を決定することと、
前記車両の制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示することと、を含む方法。
【請求項１０】
前記車両に関連する前記運転情報は、前記車両の第１の所定の範囲内にある感知情報と、前記車両の前記第１の所定の範囲内にある地図情報とを含む請求項９に記載の方法。
【請求項１１】
前記感知情報は、道路状況情報及び障害物情報を含む請求項１０に記載の方法。
【請求項１２】
前記車両の状態は、前記車両の速度、前記車両の加速度及び前記車両のハンドルの角度を含む請求項９から１１のいずれか一項に記載の方法。
【請求項１３】
前記トレーニング済みの運転動作モデルは、トレーニングプロセスによって決定され、前記トレーニングプロセスは、
予備運転動作モデルを取得することと、
サンプル車両の第２の所定の範囲内にある予備サンプル感知情報と、前記サンプル車両の前記第２の所定の範囲内にある予備サンプル地図情報とを含む予備サンプル運転情報を取得することと、
前記サンプル車両の予備サンプル状態を取得することと、
前記予備サンプル運転情報、前記サンプル車両の前記予備サンプル状態及び前記予備運転動作モデルを基づいて、予備サンプル運転動作を決定することと、
前記予備サンプル運転動作に関連する予備サンプル運転経路と障害物との間の距離に関連し、かつ前記予備サンプル運転動作に対応する予備リワード値に基づいて、前記予備サンプル運転動作に関連する予備サンプル評価値を決定することと、
前記予備サンプル評価値がプリセット条件を満足するか否かを決定することと、
前記予備サンプル評価値が前記プリセット条件を満足する決定に応じて、前記予備運転動作モデルを前記トレーニング済みの運転動作モデルとして指定することと、を含む請求項９から１２のいずれか一項に記載の方法。
【請求項１４】
前記トレーニングプロセスはさらに、
前記予備サンプル評価値が前記プリセット条件を満足しない決定に応じて、更新されたサンプル評価値が前記プリセット条件を満足するまで、前記予備運転動作モデルを更新するための１回以上の反復を実施することを含み、前記１回以上の反復の各々は、
前回の反復中のリワード値に基づいて、更新された運転動作モデルを決定することと、
更新されたサンプル運転情報を取得することと、
前記前回の反復中のサンプル運転動作及び前記前回の反復中の前記サンプル車両のサンプル状態に基づいて、前記サンプル車両の更新されたサンプル状態を推定することと、
前記サンプル車両の前記更新されたサンプル運転情報、前記更新されたサンプル状態及び前記更新された運転動作モデルを基づいて、更新されたサンプル運転動作を決定することと、
前記更新されたサンプル運転動作に対応する更新されたリワード値及び前記前回の反復中のサンプル評価値に基づいて、前記更新された運転動作モデルに関連する更新されたサンプル評価値を決定することと、
前記更新されたサンプル評価値が前記プリセット条件を満足するか否かを決定することと、を含む請求項１３に記載の方法。
【請求項１５】
自律運転するように構成される車両であって、
検出コンポーネント、計画コンポーネント及び制御コンポーネントを含み、前記計画コンポーネントは、
車両に関連する運転情報を取得し、
前記車両の状態を決定し、
トレーニング済みの運転動作モデルを用いて、前記運転情報及び前記車両の状態に基づいて、１つ以上の候補運転動作及び前記１つ以上の候補運転動作に対応する１つ以上の評価値を決定し、
前記１つ以上の評価値に基づいて前記１つ以上の候補運転動作から目標運転動作を選択し、
前記目標運転動作に基づいて目標運転経路を決定し、
前記車両の前記制御コンポーネントに信号を送信して、前記車両に前記目標運転動作を実行させて前記目標運転経路を追従させるように指示するように構成される車両。
【国際調査報告】
2021511235.tif 000012
2021511235.tif 000013