【手続補正書】
【提出日】令和2年9月3日(2020.9.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
上述の詳細な説明においては、その一部を成す添付図面に対する参照が指示されている。図中、類似の符号は、文脈上別段の指示のないかぎり、類似の構成要素を識別する。詳細な説明、図及びクレーム中に記載された例示的実施形態は、限定的なものとして意図されていない。本明細書中で提示された主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を加えることも可能である。本明細書中で一般的に説明され図中に例示されている本開示の態様は、多様な異なる構成で配置、置換、組合せ、分離及び設計することができ、その全てが本明細書中で明示的に企図される。したがって、本発明の範囲を標示するものとしては、以上の明細書ではなくむしろ以下のクレームを参照すべきである。
本開示は以下の態様を含む。
（態様１）車両の操作を行なう目的で車両を自律的に制御するコンピュータ実装型の方法において、
最低予想累積コストで前記車両の操作を実施すべく前記車両を制御するように構成された制御ポリシーを学習するために、前記車両の操作に関連する受動的に収集されたデータに対して、受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用するステップと、
前記車両の操作を行なうべく前記制御ポリシーにしたがって前記車両を制御するステップと、を含む方法。
（態様２）
前記車両の操作が、車線内を走行する第２の車両と第３の車両の間で前記車線内に前記車両を合流させる操作であり、前記制御ポリシーが、前記第２の車両と前記第３の車両の間の中間に前記車両を合流させるべく前記車両を制御するように構成されている、上記態様１に記載の方法。
（態様３）
前記車両の操作を行なうべく前記車両を制御するために適応され得る制御ポリシーを受信するステップをさらに含み、受動的に収集されたデータに対して受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用する前記ステップが、
ａ）  ｃｒｉｔｉｃネットワークにおいて、前記受動的に収集されたデータのサンプルを用いて最適な制御ポリシーの下でＺ値及び平均コストを推定するステップと、
ｂ）  ｃｒｉｔｉｃネットワークに作用的に連結されたａｃｔｏｒネットワークにおいて、前記ｃｒｉｔｉｃネットワークからの最適な制御ポリシーの下で、前記受動的に収集されたデータのサンプル、前記推定されたＺ値、及び前記推定された平均コストを用いて前記制御ポリシーを修正するステップと、
ｃ）  前記推定された平均コストが収束するまで、ステップ（ａ）〜（ｂ）を反復的に繰返すステップと、を含む、上記態様１に記載の方法。
（態様４）
前記Ｚ値がベルマン方程式の線形化版を用いて推定される、上記態様３に記載の方法。
（態様５）
最適なポリシーの下で前記平均コストを推定する前記ステップが、前記制御ポリシーを修正する前記ステップの前に、前記平均コストを更新するステップを含む、上記態様３に記載の方法。
（態様６）
Ｚ値を推定する前記ステップが、
重み付けされた放射基底関数の線形結合を用いてＺ値関数を近似するステップと、
近似されたＺ値関数及び前記受動的に収集されたデータのサンプルを用いてＺ値を近似するステップと、を含む、上記態様３に記載の方法。
（態様７）
重み付けされた放射基底関数の線形結合を用いてＺ値関数を近似する前記ステップが、前記重み付けされた放射基底関数内で使用される重みを最適化するステップを含む、上記態様６に記載の方法。
（態様８）
重み付けされた放射基底関数の線形結合を用いてＺ値関数を近似する前記ステップが、前記重みを最適化する前記ステップの前に、前記重み付けされた放射基底関数内で使用される重みを更新するステップを含む、上記態様７に記載の方法。
（態様９）
前記制御ポリシーを修正する前記ステップが、
制御ゲインを近似するステップと、
前記制御ゲインを最適化して、最適化された制御ゲインを提供するステップと、
前記最適化された制御ゲインを用いて前記制御ポリシーを修正するステップと、を含む、上記態様３に記載の方法。
（態様１０）
前記制御ゲインを最適化する前に、
制御入力を決定するステップと、
前記制御入力、前記受動的に収集されたデータのサンプル及び前記近似された制御ゲインを用いて、行動価値関数の値を決定するステップと、をさらに含む、上記態様９に記載の方法。
（態様１１）
制御ゲインを近似する前記ステップが、重み付けされた放射基底関数の線形結合を用いて前記制御ゲインを近似するステップを含む、上記態様９に記載の方法。
（態様１２）
重み付けされた放射基底関数の線形結合を用いて前記制御ゲインを近似する前記ステップの前に、前記重み付けされた放射基底関数内で使用される重みを更新するステップをさらに含む、上記態様１１に記載の方法。
（態様１３）
操作を行なうようシステムを制御するのに使用可能な制御ポリシーを最適化するコンピュータ実装型方法であって、
前記システムを制御するのに使用可能な制御ポリシーを提供するステップと、
行なうべき操作に関する受動的に収集されたデータに対して受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用して、最低予想累積コストで前記操作を行なうように前記システムを制御すべく前記制御ポリシーが操作可能になるように前記制御ポリシーを修正するステップと、を含む方法。
（態様１４）
受動的に収集されたデータに対して受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用する前記ステップが、
ａ）ｃｒｉｔｉｃネットワークにおいて、前記受動的に収集されたデータのサンプルを用いてＺ値を推定し、前記受動的に収集されたデータのサンプルを用いて最適なポリシーの下で平均コストを推定するステップと、
ｂ）ａｃｔｏｒネットワークにおいて、前記受動的に収集されたデータのサンプル、前記システムについての制御ダイナミクス、到達コスト及び制御ゲインを用いて前記制御ポリシーを修正するステップと、
ｃ）前記制御ポリシーを修正するのに使用されるパラメータ及び最適なポリシーの下で前記Ｚ値及び前記平均コストを推定するのに使用されるパラメータを更新するステップと、
ｄ）前記推定された平均コストが収束するまで、ステップ（ａ）〜（ｃ）を反復的に繰返すステップと、を含む、上記態様１３に記載の方法。
（態様１５）
車両の操作を行なうべく車両を自律的に制御するのに使用可能な制御ポリシーを最適化するように構成されたコンピュータ処理システムであって、
当該コンピュータ処理システムが、前記コンピュータ処理システムの操作を制御するための１つ以上のプロセッサと、前記１つ以上のプロセッサにより使用可能なデータ及びプログラム命令を記憶するためのメモリとを含み、
前記メモリは、コンピュータコードを記憶するように構成され、該コンピュータコードは、前記１つ以上のプロセッサによって実行された時点で、前記１つ以上のプロセッサに、
ａ）前記車両の操作に関する受動的に収集されたデータを受信させ、
ｂ）前記車両についての到達コストを推定するのに使用可能なＺ値関数を決定させ、
ｃ）前記コンピュータ処理システム内のｃｒｉｔｉｃネットワークにおいて、
ｃ１）前記Ｚ値関数及び前記受動的に収集されたデータのサンプルを使用してＺ値を決定させ、
ｃ２）前記受動的に収集されたデータのサンプルを用いて最適なポリシーの下で平均コストを推定させ、
ｄ）前記コンピュータ処理システム内のａｃｔｏｒネットワークにおいて、前記受動的に収集されたデータ、前記車両についての制御ダイナミクス、到達コスト及び制御ゲインを用いて前記制御ポリシーを修正させ、
ｅ）前記推定された平均コストが収束するまで、ステップ（ｃ）及び（ｄ）を反復的に繰返させる、コンピュータ処理システム。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の操作を行なう目的で車両を自律的に制御するコンピュータ実装型の方法において、
最低予想累積コストで前記車両の操作を実施すべく制御ポリシーによって前記車両の制御が可能になるように既存の制御ポリシーを適応させるために、前記車両の操作に関連する受動的に収集されたデータに対して、受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用するステップと、
前記車両の操作を行なうべく前記制御ポリシーにしたがって前記車両を制御するステップと、を含み、
受動的に収集されたデータに対して受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用する前記ステップが、
ａ）  ｃｒｉｔｉｃネットワークにおいて、前記受動的に収集されたデータのサンプルを用いて最適な制御ポリシーの下でＺ値及び平均コストを推定するステップと、
ｂ）  ｃｒｉｔｉｃネットワークに作用的に連結されたａｃｔｏｒネットワークにおいて、前記ｃｒｉｔｉｃネットワークからの最適な制御ポリシーの下で、前記受動的に収集されたデータのサンプル、前記推定されたＺ値、及び前記推定された平均コストを用いて前記制御ポリシーを修正するステップと、
ｃ）  前記推定された平均コストが収束するまで、ステップ（ａ）〜（ｂ）を反復的に繰返すステップと、を含む、方法。
【請求項２】
前記車両の操作が、車線内を走行する第２の車両と第３の車両の間で前記車線内に前記車両を合流させる操作であり、前記制御ポリシーが、前記第２の車両と前記第３の車両の間の中間に前記車両を合流させるべく前記車両を制御するように構成されている、請求項１に記載の方法。
【請求項３】
前記Ｚ値がベルマン方程式の線形化版を用いて推定される、請求項１に記載の方法。
【請求項４】
最適なポリシーの下で前記平均コストを推定する前記ステップが、前記制御ポリシーを修正する前記ステップの前に、前記平均コストを更新するステップを含む、請求項１に記載の方法。
【請求項５】
Ｚ値を推定する前記ステップが、
重み付けされた放射基底関数の線形結合を用いてＺ値関数を近似するステップと、
近似されたＺ値関数及び前記受動的に収集されたデータのサンプルを用いてＺ値を近似するステップと、を含む、請求項１に記載の方法。
【請求項６】
重み付けされた放射基底関数の線形結合を用いてＺ値関数を近似する前記ステップが、前記重み付けされた放射基底関数内で使用される重みを最適化するステップを含む、請求項５に記載の方法。
【請求項７】
重み付けされた放射基底関数の線形結合を用いてＺ値関数を近似する前記ステップが、前記重みを最適化する前記ステップの前に、前記重み付けされた放射基底関数内で使用される重みを更新するステップを含む、請求項６に記載の方法。
【請求項８】
前記制御ポリシーを修正する前記ステップが、
制御ゲインを近似するステップと、
前記制御ゲインを最適化して、最適化された制御ゲインを提供するステップと、
前記最適化された制御ゲインを用いて前記制御ポリシーを修正するステップと、を含む、請求項１に記載の方法。
【請求項９】
前記制御ゲインを最適化する前に、
制御入力を決定するステップと、
前記制御入力、前記受動的に収集されたデータのサンプル及び前記近似された制御ゲインを用いて、行動価値関数の値を決定するステップと、をさらに含む、請求項８に記載の方法。
【請求項１０】
制御ゲインを近似する前記ステップが、重み付けされた放射基底関数の線形結合を用いて前記制御ゲインを近似するステップを含む、請求項８に記載の方法。
【請求項１１】
重み付けされた放射基底関数の線形結合を用いて前記制御ゲインを近似する前記ステップの前に、前記重み付けされた放射基底関数内で使用される重みを更新するステップをさらに含む、請求項１０に記載の方法。
【請求項１２】
操作を行なうようシステムを制御するのに使用可能な制御ポリシーを最適化するコンピュータ実装型方法であって、
前記システムを制御するのに使用可能な制御ポリシーを提供するステップと、
行なうべき操作に関する受動的に収集されたデータに対して受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用して、最低予想累積コストで前記操作を行なうように前記システムを制御すべく前記制御ポリシーが操作可能になるように前記制御ポリシーを修正するステップと、を含み、
受動的に収集されたデータに対して受動的ａｃｔｏｒ−ｃｒｉｔｉｃ強化学習方法を適用する前記ステップが、
ａ）ｃｒｉｔｉｃネットワークにおいて、前記受動的に収集されたデータのサンプルを用いてＺ値を推定し、前記受動的に収集されたデータのサンプルを用いて最適なポリシーの下で平均コストを推定するステップと、
ｂ）ａｃｔｏｒネットワークにおいて、前記受動的に収集されたデータのサンプル、前記システムについての制御ダイナミクス、到達コスト及び制御ゲインを用いて前記制御ポリシーを修正するステップと、
ｃ）前記制御ポリシーを修正するのに使用されるパラメータ及び最適なポリシーの下で前記Ｚ値及び前記平均コストを推定するのに使用されるパラメータを更新するステップと、
ｄ）前記推定された平均コストが収束するまで、ステップ（ａ）〜（ｃ）を反復的に繰返すステップと、を含む、方法。
【請求項１３】
車両の操作を行なうべく車両を自律的に制御するのに使用可能な制御ポリシーを最適化するように構成されたコンピュータ処理システムであって、
当該コンピュータ処理システムが、前記コンピュータ処理システムの操作を制御するための１つ以上のプロセッサと、前記１つ以上のプロセッサにより使用可能なデータ及びプログラム命令を記憶するためのメモリとを含み、
前記メモリは、コンピュータコードを記憶するように構成され、該コンピュータコードは、前記１つ以上のプロセッサによって実行された時点で、前記１つ以上のプロセッサに、
ａ）前記車両の操作に関する受動的に収集されたデータを受信させ、
ｂ）前記車両についての到達コストを推定するのに使用可能なＺ値関数を決定させ、
ｃ）前記コンピュータ処理システム内のｃｒｉｔｉｃネットワークにおいて、
ｃ１）前記Ｚ値関数及び前記受動的に収集されたデータのサンプルを使用してＺ値を決定させ、
ｃ２）前記受動的に収集されたデータのサンプルを用いて最適なポリシーの下で平均コストを推定させ、
ｄ）前記コンピュータ処理システム内のａｃｔｏｒネットワークにおいて、前記受動的に収集されたデータ、前記車両についての制御ダイナミクス、到達コスト及び制御ゲインを用いて前記制御ポリシーを修正させ、
ｅ）前記推定された平均コストが収束するまで、ステップ（ｃ）及び（ｄ）を反復的に繰返させる、コンピュータ処理システム。