【手続補正書】
【提出日】令和3年12月1日(2021.12.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定部（Ｓ２４０）と、
前記第１設定部が設定した前記自車両の前記複数の行動のそれぞれに対して、前記自車両の周囲の他車両が取り得る複数の行動を設定する第２設定部（Ｓ２６０）と、
前記第１設定部が設定した前記自車両の行動と前記第２設定部が設定した前記他車両の行動との組み合わせごとに、前記自車両と前記他車両の接触可能性に関する情報を出力する出力部（Ｓ２８０）と、
前記出力部が出力する情報に基づいて、前記自車両の行動を選択する選択部（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
前記出力部は、前記自車両の周辺環境と前記自車両の状況と前記他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、前記自車両が前記他車両と接触を回避できた前記自車両の状況には高い報酬を与え、前記自車両が前記他車両と接触に到った前記自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（５０）を備え、この関数器を用いて、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬を付与し、当該報酬を前記情報として出力し、
前記選択部は、前記出力部により最も高い報酬が付与された前記自車両の行動を選択する車両行動生成装置。
【請求項２】
前記シミュレーションは、前記複数の環境下において、前記自車両の行動および速度と、前記他車両の行動および速度との異なる組み合わせを含む請求項１に記載の車両行動生成装置。
【請求項３】
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定部（Ｓ２４０）と、
前記第１設定部が設定した前記自車両の前記複数の行動のそれぞれに対して、前記自車両の周囲の他車両が取り得る複数の行動を設定する第２設定部（Ｓ２６０）と、
前記第１設定部が設定した前記自車両の行動と前記第２設定部が設定した前記他車両の行動との組み合わせごとに、前記自車両と前記他車両の接触可能性に関する情報を出力する出力部（Ｓ２８０）と、
前記出力部が出力する情報に基づいて、前記自車両の行動を選択する選択部（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
前記出力部は、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬を付与し、当該報酬を前記情報として出力し、
前記選択部は、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける、前記自車両の行動に付与される報酬の中で、最も高い報酬と２番目に高い報酬との間に所定値以上の差が生じない場合、前記第１設定部での、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせに引き続いて前記自車両がとり得る複数の行動の設定、前記第２設定部での、前記自車両のそれぞれの行動に対して前記他車両が取り得る複数の行動の設定、および、前記出力部での、前記自車両の行動と前記他車両の行動との組み合わせごとの前記自車両と前記他車両の接触可能性に関する情報の出力を実行させることにより、選択される行動以外の残り行動の報酬に対して所定値以上の差を有する報酬が付与された行動を選択できるようにする車両行動生成装置。
【請求項４】
前記出力部は、前記自車両の周辺環境と前記自車両の状況と前記他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、前記自車両が前記他車両と接触を回避できた前記自車両の状況には高い報酬を与え、前記自車両が前記他車両と接触に到った前記自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（５０）を備え、この関数器を用いて、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬を付与し、当該報酬を前記情報として出力する請求項３に記載の車両行動生成装置。
【請求項５】
前記選択部は、所定回数、前記自車両の行動の選択を繰り返しても、それぞれの前記自車両の行動に付与される報酬に所定値以上の差が生じない場合、最後の選択において最も高い報酬が付与された前記自車両の行動を選択する請求項３に記載の車両行動生成装置。
【請求項６】
前記第１設定部および前記第２設定部は、道路上の交通を制御する交通信号の状態に基づいて、前記自車両および前記他車両が取り得る行動を設定する請求項１乃至５のいずれか１項に記載の車両行動生成装置。
【請求項７】
前記第２設定部は、前記他車両の運転特性に基づいて、前記他車両の取り得る行動を設定する請求項１乃至６のいずれか１項に記載の車両行動生成装置。
【請求項８】
前記第１設定部が設定した前記自車両の行動に応じた前記自車両の進行予定軌道、および、前記第２設定部が設定した前記他車両の行動に応じた前記他車両の進行予定軌道を生成する軌道生成部（Ｓ２５０、Ｓ２７０）を備え、
前記出力部は、前記自車両の進行予定軌道および前記他車両の進行予定軌道の組み合わせに基づいて前記情報を出力する請求項１乃至７のいずれか１項に記載の車両行動生成装置。
【請求項９】
少なくとも１つのプロセッサにより実行される、
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定ステップ（Ｓ２４０）と、
前記第１設定ステップにて設定された前記自車両の前記複数の行動のそれぞれに対して、前記自車両の周囲の他車両が取り得る複数の行動を設定する第２設定ステップ（Ｓ２６０）と、
前記第１設定ステップにて設定された前記自車両の行動と前記第２設定ステップにて設定された前記他車両の行動との組み合わせごとに、前記自車両と前記他車両の接触可能性に関する情報を出力する出力ステップ（Ｓ２８０）と、
前記出力ステップにて出力された情報に基づいて、前記自車両の行動を選択する選択ステップ（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
前記出力ステップでは、前記自車両の周辺環境と前記自車両の状況と前記他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、前記自車両が前記他車両と接触を回避できた前記自車両の状況には高い報酬を与え、前記自車両が前記他車両と接触に到った前記自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（４０）を用いて、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬が付与され、当該報酬が前記情報として出力され、
前記選択ステップでは、前記出力ステップにおいて最も高い報酬が付与された前記自車両の行動を選択する車両行動生成方法。
【請求項１０】
前記シミュレーションは、前記複数の環境下において、前記自車両の行動および速度と、前記他車両の行動および速度との異なる組み合わせを含む請求項９に記載の車両行動生成方法。
【請求項１１】
少なくとも１つのプロセッサにより実行される、
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定ステップ（Ｓ２４０）と、
前記第１設定ステップにて設定された前記自車両の前記複数の行動のそれぞれに対して、前記自車両の周囲の他車両が取り得る複数の行動を設定する第２設定ステップ（Ｓ２６０）と、
前記第１設定ステップにて設定された前記自車両の行動と前記第２設定ステップにて設定された前記他車両の行動との組み合わせごとに、前記自車両と前記他車両の接触可能性に関する情報を出力する出力ステップ（Ｓ２８０）と、
前記出力ステップにて出力された情報に基づいて、前記自車両の行動を選択する選択ステップ（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
前記出力ステップでは、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬が付与され、当該報酬が前記情報として出力され、
前記選択ステップにおいて、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける、前記自車両の行動に付与される報酬の中で、最も高い報酬と２番目に高い報酬との間に所定値以上の差が生じない場合、前記第１設定ステップによる、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせに引き続いて前記自車両がとり得る複数の行動の設定、前記第２設定ステップによる、前記自車両のそれぞれの行動に対して前記他車両が取り得る複数の行動の設定、および、前記出力ステップによる、前記自車両の行動と前記他車両の行動との組み合わせごとの前記自車両と前記他車両の接触可能性に関する情報の出力が実行されることにより、前記選択ステップにて、選択される行動以外の残り行動の報酬に対して所定値以上の差を有する報酬が付与された行動を選択できるようにする車両行動生成方法。
【請求項１２】
前記出力ステップでは、前記自車両の周辺環境と前記自車両の状況と前記他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、前記自車両が前記他車両と接触を回避できた前記自車両の状況には高い報酬を与え、前記自車両が前記他車両と接触に到った前記自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（４０）を用いて、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬が付与され、当該報酬が前記情報として出力される請求項１１に記載の車両行動生成方法。
【請求項１３】
前記選択ステップにおいて、所定回数、前記自車両の行動の選択を繰り返しても、それぞれの前記自車両の行動に付与される報酬に所定値以上の差が生じない場合、最後の選択において最も高い報酬が付与された前記自車両の行動を選択する請求項１１に記載の車両行動生成方法。
【請求項１４】
前記第１設定ステップおよび前記第２設定ステップでは、道路上の交通を制御する交通信号の状態に基づいて、前記自車両および前記他車両が取り得る行動を設定する請求項９乃至１３のいずれか１項に記載の車両行動生成方法。
【請求項１５】
前記第２設定ステップでは、前記他車両の運転特性を考慮して、前記他車両の取り得る行動を設定する請求項９乃至１４のいずれか１項に記載の車両行動生成方法。
【請求項１６】
コンピュータ読み取り可能な非遷移記憶媒体に記憶され、命令を含むプログラムであり、前記命令は、少なくとも１つのプロセッサにより実行された場合に、少なくとも１つの前記プロセッサに、
予定走路の走行に際して、自車両が取り得る複数の行動を設定させ（Ｓ２４０）、
設定された前記自車両の前記複数の行動のそれぞれに対して、前記自車両の周囲の他車両が取り得る複数の行動を設定させ（Ｓ２６０）、
設定された前記自車両の行動と設定された前記他車両の行動との組み合わせごとに、前記自車両と前記他車両の接触可能性に関する情報を出力させ（Ｓ２８０）、そして、
出力された前記情報に基づいて、前記自車両の行動を選択させる（Ｓ２９０、Ｓ３００、Ｓ３１０）ように構成され、
前記情報を出力させる際に、前記自車両の周辺環境と前記自車両の状況と前記他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、前記自車両が前記他車両と接触を回避できた前記自車両の状況には高い報酬を与え、前記自車両が前記他車両と接触に到った前記自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（４０）を用いて、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬を付与させ、当該報酬を前記情報として出力させ、
前記自車両の行動を選択させる際に、最も高い報酬が付与された前記自車両の行動を選択させる車両行動生成プログラム。
【請求項１７】
前記シミュレーションは、前記複数の環境下において、前記自車両の行動および速度と、前記他車両の行動および速度との異なる組み合わせを含む請求項１６に記載の車両行動生成プログラム。
【請求項１８】
コンピュータ読み取り可能な非遷移記憶媒体に記憶され、命令を含むプログラムであり、前記命令は、少なくとも１つのプロセッサにより実行された場合に、少なくとも１つの前記プロセッサに、
予定走路の走行に際して、自車両が取り得る複数の行動を設定させ（Ｓ２４０）、
設定された前記自車両の前記複数の行動のそれぞれに対して、前記自車両の周囲の他車両が取り得る複数の行動を設定させ（Ｓ２６０）、
設定された前記自車両の行動と設定された前記他車両の行動との組み合わせごとに、前記自車両と前記他車両の接触可能性に関する情報を出力させ（Ｓ２８０）、そして、
出力された前記情報に基づいて、前記自車両の行動を選択させる（Ｓ２９０、Ｓ３００、Ｓ３１０）ように構成され、
前記情報の出力において、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬が付与され、当該報酬が前記情報として出力され、
前記自車両の行動の選択において、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせについて、前記自車両の行動に付与される報酬の中で、最も高い報酬と２番目に高い報酬との間に所定値以上の差が生じない場合、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせに引き続いて前記自車両がとり得る複数の行動を算出させ、前記自車両のそれぞれの行動に対して前記他車両が取り得る複数の行動を算出させ、および、前記自車両の行動と前記他車両の行動との組み合わせごとの前記自車両と前記他車両の接触可能性に関する情報の出力を出力させて、前記自車両の行動として、選択される行動以外の残り行動の報酬に対して所定値以上の差を有する報酬が付与された行動を選択できるようにする車両行動生成プログラム。
【請求項１９】
前記命令は、少なくとも１つの前記プロセッサにより実行された場合に、少なくとも１つの前記プロセッサに、さらに、
前記情報を出力させる際に、前記自車両の周辺環境と前記自車両の状況と前記他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、前記自車両が前記他車両と接触を回避できた前記自車両の状況には高い報酬を与え、前記自車両が前記他車両と接触に到った前記自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（４０）を用いて、前記自車両の行動と前記他車両の行動とのそれぞれの組み合わせにおける前記自車両の行動に報酬を付与させ、当該報酬を前記情報として出力させる請求項１８に記載の車両行動生成プログラム。
【請求項２０】
前記命令は、少なくとも１つの前記プロセッサにより実行された場合に、少なくとも１つの前記プロセッサに、さらに
前記自車両の行動の選択を所定回数繰り返しても、それぞれの前記自車両の行動に付与される報酬に所定値以上の差が生じない場合、最後の選択において最も高い報酬が付与された前記自車両の行動を前記自車両の行動として選択させる請求項１８に記載の車両行動生成プログラム。
【請求項２１】
前記命令は、少なくとも１つの前記プロセッサにより実行された場合に、少なくとも１つの前記プロセッサに、さらに
前記自車両の行動を設定させる際、および前記他車両の行動を設定させる際に、道路上の交通を制御する交通信号の状態に基づいて、前記自車両および前記他車両が取り得る行動を設定させる請求項１６乃至２０のいずれか１項に記載の車両行動生成プログラム。
【請求項２２】
前記命令は、少なくとも１つの前記プロセッサにより実行された場合に、少なくとも１つの前記プロセッサに、さらに
前記他車両の行動を設定させる際に、前記他車両の運転特性に基づいて、前記他車両の取り得る行動を設定させる請求項１６乃至２１のいずれか１項に記載の車両行動生成プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するために、本開示の車両行動生成装置は、
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定部（Ｓ２４０）と、
第１設定部が設定した自車両の複数の行動のそれぞれに対して、自車両の周囲の他車両が取り得る複数の行動を設定する第２設定部（Ｓ２６０）と、
第１設定部が設定した自車両の行動と第２設定部が設定した他車両の行動との組み合わせごとに、自車両と他車両の接触可能性に関する情報を出力する出力部（Ｓ２８０）と、
出力部が出力する情報に基づいて、自車両の行動を選択する選択部（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
出力部は、自車両の周辺環境と自車両の状況と他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、自車両が他車両と接触を回避できた自車両の状況には高い報酬を与え、自車両が他車両と接触に到った自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（５０）を備え、この関数器を用いて、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける自車両の行動に報酬を付与し、当該報酬を上記情報として出力し、
選択部は、出力部により最も高い報酬が付与された自車両の行動を選択するように構成される。
また、本開示のもう一つの車両行動生成装置は、
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定部（Ｓ２４０）と、
第１設定部が設定した自車両の複数の行動のそれぞれに対して、自車両の周囲の他車両が取り得る複数の行動を設定する第２設定部（Ｓ２６０）と、
第１設定部が設定した自車両の行動と第２設定部が設定した他車両の行動との組み合わせごとに、自車両と他車両の接触可能性に関する情報を出力する出力部（Ｓ２８０）と、
出力部が出力する情報に基づいて、自車両の行動を選択する選択部（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
出力部は、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける自車両の行動に報酬を付与し、当該報酬を上記情報として出力し、
選択部は、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける、自車両の行動に付与される報酬の中で、最も高い報酬と２番目に高い報酬との間に所定値以上の差が生じない場合、第１設定部での、自車両の行動と他車両の行動とのそれぞれの組み合わせに引き続いて自車両がとり得る複数の行動の設定、第２設定部での、自車両のそれぞれの行動に対して他車両が取り得る複数の行動の設定、および、出力部での、自車両の行動と他車両の行動との組み合わせごとの自車両と他車両の接触可能性に関する情報の出力を実行させることにより、選択される行動以外の残り行動の報酬に対して所定値以上の差を有する報酬が付与された行動を選択できるように構成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本開示の車両行動生成方法は、
少なくとも１つのプロセッサにより実行される、
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定ステップ（Ｓ２４０）と、
第１設定ステップにて設定された自車両の複数の行動のそれぞれに対して、自車両の周囲の他車両が取り得る複数の行動を設定する第２設定ステップ（Ｓ２６０）と、
第１設定ステップにて設定された自車両の行動と第２設定ステップにて設定された他車両の行動との組み合わせごとに、自車両と他車両の接触可能性に関する情報を出力する出力ステップ（Ｓ２８０）と、
出力ステップにて出力された情報に基づいて、自車両の行動を選択する選択ステップ（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
出力ステップでは、自車両の周辺環境と自車両の状況と他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、自車両が他車両と接触を回避できた自車両の状況には高い報酬を与え、自車両が他車両と接触に到った自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（４０）を用いて、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける自車両の行動に報酬が付与され、当該報酬が上記情報として出力され、
選択ステップでは、出力ステップにおいて最も高い報酬が付与された自車両の行動を選択するように構成される。
また、本開示のもう一つの車両行動生成方法は、
少なくとも１つのプロセッサにより実行される、
予定走路の走行に際して、自車両が取り得る複数の行動を設定する第１設定ステップ（Ｓ２４０）と、
第１設定ステップにて設定された自車両の複数の行動のそれぞれに対して、自車両の周囲の他車両が取り得る複数の行動を設定する第２設定ステップ（Ｓ２６０）と、
第１設定ステップにて設定された自車両の行動と第２設定ステップにて設定された他車両の行動との組み合わせごとに、自車両と他車両の接触可能性に関する情報を出力する出力ステップ（Ｓ２８０）と、
出力ステップにて出力された情報に基づいて、自車両の行動を選択する選択ステップ（Ｓ２９０、Ｓ３００、Ｓ３１０）と、を備え、
出力ステップでは、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける自車両の行動に報酬が付与され、当該報酬が上記情報として出力され、
選択ステップにおいて、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける、自車両の行動に付与される報酬の中で、最も高い報酬と２番目に高い報酬との間に所定値以上の差が生じない場合、第１設定ステップによる、自車両の行動と他車両の行動とのそれぞれの組み合わせに引き続いて自車両がとり得る複数の行動の設定、第２設定ステップによる、自車両のそれぞれの行動に対して他車両が取り得る複数の行動の設定、および、出力ステップによる、自車両の行動と他車両の行動との組み合わせごとの自車両と他車両の接触可能性に関する情報の出力が実行されることにより、選択ステップにて、選択される行動以外の残り行動の報酬に対して所定値以上の差を有する報酬が付与された行動を選択できるように構成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
さらに、本開示の車両行動生成プログラムは、
コンピュータ読み取り可能な非遷移記憶媒体に記憶され、命令を含むプログラムであり、その命令は、少なくとも１つのプロセッサにより実行された場合に、少なくとも１つのプロセッサに、
予定走路の走行に際して、自車両が取り得る複数の行動を設定させ（Ｓ２４０）、
設定された自車両の複数の行動のそれぞれに対して、自車両の周囲の他車両が取り得る複数の行動を設定させ（Ｓ２６０）、
設定された自車両の行動と設定された他車両の行動との組み合わせごとに、自車両と他車両の接触可能性に関する情報を出力させ（Ｓ２８０）、そして、
出力された情報に基づいて、自車両の行動を選択させる（Ｓ２９０、Ｓ３００、Ｓ３１０）ように構成され、
上記情報を出力させる際に、自車両の周辺環境と自車両の状況と他車両の状況との組み合わせが異なる複数の環境下においてシミュレーションを行い、自車両が他車両と接触を回避できた自車両の状況には高い報酬を与え、自車両が他車両と接触に到った自車両の状況にはそれよりも低い報酬を与えるようにして作成された走行状況−報酬データに基づき学習された関数器（４０）を用いて、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける自車両の行動に報酬を付与させ、当該報酬を上記情報として出力させ、
自車両の行動を選択させる際に、最も高い報酬が付与された自車両の行動を選択させる。
また、本開示のもう一つの車両行動生成プログラムは、
コンピュータ読み取り可能な非遷移記憶媒体に記憶され、命令を含むプログラムであり、その命令は、少なくとも１つのプロセッサにより実行された場合に、少なくとも１つのプロセッサに、
予定走路の走行に際して、自車両が取り得る複数の行動を設定させ（Ｓ２４０）、
設定された自車両の複数の行動のそれぞれに対して、自車両の周囲の他車両が取り得る複数の行動を設定させ（Ｓ２６０）、
設定された自車両の行動と設定された他車両の行動との組み合わせごとに、自車両と他車両の接触可能性に関する情報を出力させ（Ｓ２８０）、そして、
出力された情報に基づいて、自車両の行動を選択させる（Ｓ２９０、Ｓ３００、Ｓ３１０）ように構成され、
情報の出力において、自車両の行動と他車両の行動とのそれぞれの組み合わせにおける自車両の行動に報酬が付与され、当該報酬が上記情報として出力され、
自車両の行動の選択において、自車両の行動と他車両の行動とのそれぞれの組み合わせについて、自車両の行動に付与される報酬の中で、最も高い報酬と２番目に高い報酬との間に所定値以上の差が生じない場合、自車両の行動と他車両の行動とのそれぞれの組み合わせに引き続いて自車両がとり得る複数の行動を算出させ、自車両のそれぞれの行動に対して他車両が取り得る複数の行動を算出させ、および、自車両の行動と他車両の行動との組み合わせごとの自車両と他車両の接触可能性に関する情報の出力を出力させて、自車両の行動として、選択される行動以外の残り行動の報酬に対して所定値以上の差を有する報酬が付与された行動を選択できるようにする。