【手続補正書】
【提出日】令和1年9月19日(2019.9.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本明細書中に記載の主題は、概して、複数車両環境内における自律的車両動作に関し、より詳細には、複数車両環境内で自律的車両目標を達成するための自律的車両動作に関する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
物体センサ装置１０２は、Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ（ＬＩＤＡＲ）システムによって提供されてよく、ここで、物体センサ装置１０２は、車両１００の環境１１６内の物理的物体からのレーザ光の戻りに関連するデータを捕捉することができる。物体センサ装置１０２は同様に、レーザ（ＬＩＤＡＲ）とミリ波レーダ装置の組合せを含むこともできる。ＬＩＤＡＲおよびレーダベースの装置は、物体の速度（すなわち相対的および／または絶対的速度）と共に物体を検知するように動作し得る。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
動作中、車両制御ユニット１１０は、物体センサ装置１０２により出力され得る車両センサデータを受信するように動作することができる。物体センサ装置１０２は、軌道計画１３４に沿って、速度Ｖ100で走行しながら車両１００を取り囲むエリア内の物理的物体からのレーザ戻りに関連する車両センサデータを捕捉し送信することができる。一例として、検知用信号１５２の信号の戻りは、車両経路のマーキング、例えばセンタライン、車線ラインおよび車両経路の縁部、交通標識など、ならびに別の車両１５０を標示し得る。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
ここで分かるように、車両制御ユニット１１０は、複数車両環境１１６のための自律的車両目標を選択するために動作し得る。自律的車両目標は、軌道計画１３４および／または車両制御ユニット１１０による短期自律的制御に基づくものであり得る。自律的車両目標に関して、車両制御ユニット１１０は、１組の自律的車両状態セットを識別し、複数車両環境の別の車両１５０が自律的車両目標に影響を及ぼすか否かを決定することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
車両制御ユニット１１０は、例えば車両制御ユニット１１０のアンテナ１１２または他のこのような車両アンテナ（図示せず）を介して、全地球測位システム衛星からの信号を受信するために通信可能な形で結合され得る。アンテナ１１２は、無線通信１２２を通した車両制御ユニット１１０との通信を提供するように動作する。ここで分かるように、無線通信１２２は、別の車両１５０に関し得る車両の動作データ１４０を受信する目的で、車両間（Ｖ２Ｖ）通信、車両・インフラ間（Ｖ２Ｉ）通信および／またはデータ／セルラ通信を搬送するために動作することができる（図１）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図３は、車両制御ユニット１１０のためのメモリ２０６内に記憶された機能的モジュールブロック図を例示し、ここで、メモリ２０６は複数車両検出モジュール３０８および強化学習モジュール３１２を記憶することができる。メモリ２０６は同様に、フィードバックモジュール３１８および自律的車両データセットモジュール３１４を記憶することもできる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
強化学習モジュール３１２は、クリティックモジュール４０２とアクターモジュール４０６を含んでいてよい。クリティックモジュール４０２は、報酬データ３２０および車両センサデータ２１６−１００を介した自律的車両アクション１２４の帰結の観察に基づくものであり得る、強化フィードバック信号４０４の生成による状態評価を提供するために動作する。ここで分かるように、クリティックモジュール４０２は、アクションが先行する自律的車両アクション１２４で期待されるものに比べて改善したかまたは悪化したかについての標示を提供する時間的差異誤差の形をとり得る。時間的差異が正である場合、その自律的車両アクション１２４の選択に向かう傾向は強められると考えられる。報酬データの一般的な例として、正の報酬は、所望の軌道を首尾よくたどっていることを表わし、一方負の報酬は衝突（または所望の軌道を首尾よくたどらないこと）を表わし得る。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
図５に示されているように、自律的車両状態セットのうちの後続する状態への進行には、現時間（ｔ）に関連する自律的車両アクション部分と、後続する自律的車両状態との関係における将来の時間的間隔（ｔ＋１）における報酬部分（例えばＳt+1における自律的車両状態５４０についての報酬（ｔ＋１））が含まれる。受動的アクタークリティックモジュール（図４）に基づく強化学習構造においては、クリティックモジュール４０２は、達成されたか否かを決定するために知覚された報酬５２４を評価し、さらに、強化フィードバック信号４０４を介して適宜アクターモジュール４０６（図４）のポリシーπをさらに適応させるように動作することができる。
【手続補正９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数車両環境用の自律的車両目標に関連する一組の自律的車両状態セットの各状態の進行のために：
前記複数車両環境の別の車両の車両状態を判別して、前記別の車両の判別された車両状態を生成するステップであって、前記別の車両が前記自律的車両目標に影響を及ぼすように動作している、ステップと、
前記判別された車両状態に基づいて前記自律的車両状態セットのうちの現在の自律的車両状態に対する適応ポリシーを形成するステップと、
前記適応ポリシーから、前記自律的車両状態セットのうちの後続する自律的車両状態まで進行するための自律的車両アクションを生成するステップと、
前記自律的車両状態セットのうちの前記後続する自律的車両状態までの進行をもたらすための自律的車両アクションを伝送するステップと、を含む方法。
【請求項２】
前記自律的車両目標は、
合流車線から前記別の車両を含んでいる交通の流れへと合流することと、
現在の交通車線から前記別の車両を含む隣接する交通車線へと合流することと、
出口車線から前記別の車両を含む側道車線へと合流することと、のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記別の車両の判別された車両状態が、前記別の車両の動作に関係するセンサ入力データと、無線通信を介して前記別の車両から受信したデータと、を含む、請求項１に記載の方法。
【請求項４】
前記適応ポリシーを形成するステップが、車両ポリシーの少なくとも１つのパラメータを１つ又はそれ以上のプロセッサによって最適化して前記適応ポリシーを形成すること、および、前記適応ポリシーに基づいて前記自律的車両アクションの報酬予測を前記１つ又はそれ以上のプロセッサによって生成することを含む、請求項１に記載の方法。
【請求項５】
１つ又はそれ以上のプロセッサによって車両アクションおよび受動的動的データに応答して報酬パラメータに関係するフィードバックデータを生成し且つポリシーパラメータを修正して前記適応ポリシーを形成するために動作するステップと、
前記受動的動的データおよび車両制御動的データから生成された前記適応ポリシーに基づいて、前記１つ又はそれ以上のプロセッサによって前記自律的車両アクションの予測を生成するステップと、を更に含んでいる、請求項４に記載の方法。
【請求項６】
前記フィードバックデータが時間的な変位誤差データを含む、請求項５に記載の方法。
【請求項７】
前記別の車両の前記車両状態が、前記自律的車両状態セットのうちの前記現在の自律的車両状態と同期していない、請求項１に記載の方法。
【請求項８】
車両環境について自律的車両目標を選択するステップと、
前記自律的車両目標に関連する自律的車両状態セットを識別するステップと、
前記車両環境の別の車両が前記自律的車両目標に影響を及ぼすか否かを決定するステップと、
前記車両環境の前記別の車両が前記自律的車両目標に影響を及ぼす場合には、前記自律的車両状態セットの各状態進行について、
前記別の車両の車両状態を判別して、判別された車両状態を生成するステップと、
前記別の車両の前記判別された車両状態との関係における前記自律的車両状態セットのうちの現在の自律的車両状態に対する適応ポリシーを形成するステップと、
前記自律的車両目標の前記自律的車両状態セットのうちの後続する自律的車両状態まで進行するために前記適応ポリシーに基づいて自律的車両アクションを形成するステップと、
前記自律的車両状態セットのうちの前記後続する自律的車両状態までの進行をもたらすために前記自律的車両アクションを伝送するステップと、を含む方法。
【請求項９】
前記自律的車両目標は、
合流車線から前記別の車両を含む交通の流れへと合流することと、
現在の交通車線から前記別の車両を含む隣接する交通車線へと合流することと、
出口車線から前記別の車両を含む側道車線へと合流することと、のうちの少なくとも１つを含む、請求項８に記載の方法。
【請求項１０】
前記別の車両の判別された車両状態が、前記別の車両の動作に関係するセンサ入力データと、無線通信を介して前記別の車両から受信したデータと、を含む、請求項８に記載の方法。
【請求項１１】
前記適応ポリシーを形成するステップが、１つ又はそれ以上のプロセッサによって車両ポリシーを最適化して前記適応ポリシーを形成すること、及び、１つ又はそれ以上のプロセッサによって前記適応ポリシーに基づいて前記自律的車両アクションの予測を生成することを含む、請求項８に記載の方法。
【請求項１２】
１つ又はそれ以上のプロセッサによって自律的車両アクションに応答して報酬パラメータに関係するフィードバックデータを生成し且つポリシーパラメータを修正して前記適応ポリシーを形成するステップと、
前記適応ポリシーに基づいて、前記１つ又はそれ以上のプロセッサによって前記自律的車両アクションの前記予測を生成するステップと、を更に含んでいる、請求項１１に記載の方法。
【請求項１３】
前記フィードバックデータが時間的な変位誤差データを含む、請求項１２に記載の方法。
【請求項１４】
前記別の車両の前記車両状態が、前記自律的車両状態セットのうちの前記現在の自律的車両状態と同期していない、請求項８に記載の方法。
【請求項１５】
複数車両環境における自律的車両の動作のための車両制御ユニットであって、
車両ネットワークとの通信に供用するための無線通信インタフェースと、
前記無線通信インタフェースおよび複数の車両センサ装置に対し通信可能な形で結合されたプロセッサと、
前記プロセッサに対して通信可能な形で結合されたメモリであって、自律的車両目標のための自律的車両状態セットの各々の状態進行について、
複数車両検出モジュールであって、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数の車両センサ装置の第１の部分に基づいて前記複数車両環境の別の車両の車両状態を判別して、前記別の車両の判別された車両状態を生成させる命令を含み、ここで前記別の車両が前記自律的車両目標に影響を及ぼすように動作する、複数車両検出モジュールと、
強化学習モジュールであって、前記プロセッサによって実行された場合に、前記プロセッサに、
前記複数の車両センサ装置の第２の部分に関連する前記複数車両環境に関係する前記自律的車両の動作についての受動的動的データを検索させ、
前記判別された車両状態および前記受動的動的データに基づいて、前記自律的車両目標に関連する複数の自律的車両状態のうちの現在の自律的車両状態に対する適応ポリシーを形成させ、
前記自律的車両状態セットのうちの後続する自律的車両状態まで進行するために適応ポリシーから自律的車両アクション指令を形成させ、
前記自律的車両状態のうちの前記後続する自律的車両状態までの進行をもたらすために前記自律的車両アクション指令を伝送させる、命令を含む強化学習モジュールと、
を記憶するメモリと、
を含む車両制御ユニット。
【請求項１６】
前記自律的車両目標は、
合流車線から前記別の車両を含む交通の流れへと合流することと、
現在の交通車線から前記別の車両を含む隣接する交通車線へと合流することと、
出口車線から前記別の車両を含む側道車線へと合流することと、
のうちの少なくとも１つを含む、請求項１５に記載の車両制御ユニット。
【請求項１７】
前記別の車両の前記判別された車両状態が、前記別の車両の動作に関係する前記複数の車両センサ装置の少なくとも一部分のセンサデータと、無線インタフェースを介して前記別の車両から受信したデータと、のうちの少なくとも１つに基づいている、請求項１５に記載の車両制御ユニット。
【請求項１８】
前記強化学習モジュールが、
前記プロセッサにより実行されたときに、車両ポリシーを最適化して前記適応ポリシーを形成することによって、および、前記適応ポリシーに基づいて自律的車両アクションについての予測を生成することによって、前記プロセッサに前記適応ポリシーを形成させる命令を含む、受動的アクタークリティックモジュールを更に含む、請求項１５に記載の車両制御ユニット。
【請求項１９】
前記受動的アクタークリティックモジュールが、
前記プロセッサにより実行されたとき、このプロセッサに前記適応ポリシーに基づいて、前記自律的車両アクションの前記予測を生成させる命令を含むアクターモジュールと、
前記プロセッサにより実行されたとき、このプロセッサに、車両アクションに応答して報酬パラメータに関係する前記アクターモジュールのためのフィードバックデータを生成させる命令を含むクリティックモジュールであって、前記フィードバックデータを介してさらに、前記アクターモジュールのポリシーパラメータを修正して前記適応ポリシーを形成するために動作するクリティックモジュールと、
を更に含んでいる、請求項１８に記載の車両制御ユニット。
【請求項２０】
前記フィードバックデータが時間的な変位誤差データを含む、請求項１９に記載の車両制御ユニット。