【手続補正書】
【提出日】令和2年7月3日(2020.7.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
従って、本発明の有効範囲を表すものとしては、上述の明細書ではなく、以下の各請求項に対して参照が為されるべきである。
本明細書に開示される発明は以下の実施態様を含む。
（１）車両の自律的動作を適応的に制御するコンピュータ実行型方法であって、該方法は、
ａ）車両を自律的に制御するように構成されたコンピュータ処理システムにおけるcriticネットワークにおいて、受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、actorネットワークにより適用されたときに車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定することと、
ｂ）コンピュータ処理システム内においてcriticネットワークに対して作用的に連結されたactorネットワークにおいて、車両に対して適用されて到達コストに対する最小値を生成する制御入力を決定すること、とを備え、
前記actorネットワークは、推定平均コストと、近似された到達コスト関数から決定された推定到達コストと、車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力を決定するように構成される、方法。
（２）前記近似された到達コスト関数は、以下の関係に従い、重み付けされた放射基底関数の線形結合を用いて決定され、
【数２２】
2018037064.tif 000001
式中、ωは重みであり、ｆjは第ｊ番目の放射基底関数であり、Ｎは近似された到達コスト関数を決定するために使用される放射基底関数の個数であり、且つ、
2018037064.tif 000002
は近似された到達コスト関数である、上記（１）に記載の方法。
（３）前記近似された到達コスト関数において使用される重みωは、以下の関係に従って更新され、
【数２３】
2018037064.tif 000003
式中、δijはディラックのデルタ関数を表し、上付き文字ｉは反復の回数を表し、λ1、λ2、λ3はラグランジュ乗数であり、且つ
2018037064.tif 000004
は推定平均コストである、上記（２）に記載の方法。
（４）ベルマン方程式の線形化版を用いて決定された近似的な時間差的誤差を用いて前記criticネットワークのパラメータを更新する段階を更に備える、上記（１）に記載の方法。
（５）前記criticネットワークパラメータを更新する段階は、前記車両が運動しているときに実施される、上記（４）に記載の方法。
（６）前記criticネットワークにより決定された推定平均コストは、以下の関係に従って更新され、
【数２４】
2018037064.tif 000005
式中、βは学習率であり、ｅkは近似的な時間差的誤差であり、
2018037064.tif 000006
は前記近似された到達コスト関数から決定された推定コストであり、
2018037064.tif 000007
は状態ｉにおける推定平均コストであり、且つ、
2018037064.tif 000008
は状態ｉ＋１における推定平均コストである、上記（４）に記載の方法。
（７）前記受動的に収集されたデータは、前記criticネットワークパラメータを更新する間に使用される唯一のデータである、上記（４）に記載の方法。
（８）以下の関係に従って決定された近似的な時間差的誤差を用いて前記criticネットワークのパラメータを更新する段階を更に備え、
【数２５】
2018037064.tif 000009
式中、ｅkは近似的な時間差的誤差であり、
2018037064.tif 000010
は推定平均コストであり、
2018037064.tif 000011
は状態ｋにおける推定到達コストであり、
2018037064.tif 000012
は状態ｋ＋１における推定到達コストであり、且つ、ｑkは状態ｋにおける状態コストである、上記（１）に記載の方法。
（９）前記近似された到達コスト関数は、前記criticネットワークにおいてリアルタイムで学習される、上記（１）に記載の方法。
（１０）前記ノイズレベルは、以下の関係に従い、重み付けされた基底関数の線形結合を用いて学習され、
【数２６】
2018037064.tif 000013
式中、ρは推定ノイズレベルであり、μjは、ｇjにより表された第ｊ番目の放射基底関数に対する重みであり、且つ、Ｍは、ノイズレベルを推定するために使用されるべき放射基底関数の個数である、上記（１）に記載の方法。
（１１）以下の関係に従って決定された近似誤差を用いて前記actorネットワークの重み付けパラメータを更新する段階を更に備え、
【数２７】
2018037064.tif 000014
式中、ｄkは近似誤差であり、ｑkは状態ｋにおける状態コストであり、
2018037064.tif 000015
は状態ｋにおいて近似された到達コストであり、
2018037064.tif 000016
は状態ｋ＋１において近似された到達コストであり、
2018037064.tif 000017
は近似された平均コストであり、且つ、
【数２８】
2018037064.tif 000018
であり、式中、Ｂkは状態ｋにおける制御用動力学的値である、上記（１０）に記載の方法。
（１２）前記actorネットワークの重み付けパラメータの更新は、前記車両が運動しているときに実施される、上記（１１）に記載の方法。
（１３）前記actorネットワークの重み付けパラメータは、以下の関係に従って更新され、
【数２９】
2018037064.tif 000019
式中、
2018037064.tif 000020
は状態ｉ＋１における重み付けパラメータの値であり、
2018037064.tif 000021
は状態ｉにおける重み付けパラメータの値であり、βiは学習率であり、ｄkは時間差的誤差であり、且つｇは放射基底関数である、上記（１１）に記載の方法。
（１４）  記制御入力を用い、前記自律的動作を制御すべく使用可能な制御ポリシーを修正する段階を更に備える、上記（１）に記載の方法。
（１５）前記推定平均コストが収束するまで、前記段階（ａ）及び（ｂ）を反復的に実施して前記制御入力を再決定することにより、前記自律的動作を制御するために使用可能な制御ポリシーを最適化する段階を更に備える、上記（１）に記載の方法。
（１６）前記制御ポリシーは、能動的探索なしで最適化される、上記（１５）に記載の方法。
（１７）車両の自律的動作を適応的に制御するように構成されたコンピュータ処理システムであって、該コンピュータ処理システムは、該コンピュータ処理システムの動作を制御する一つ以上のプロセッサと、該一つ以上のプロセッサにより使用可能なデータ及びプログラム命令を記憶するメモリとを備え、
前記一つ以上のプロセッサは、前記メモリ内に記憶された命令を実行して、
ａ）受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、前記車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定し、且つ、
ｂ）前記車両に対して適用されて前記到達コストに対する最小値を生成する制御入力を決定する、ように構成され、
前記一つ以上のプロセッサは、前記推定平均コストと、前記近似された到達コスト関数から決定された到達コストと、前記車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力を決定するように構成される、コンピュータ処理システム。
（１８）前記一つ以上のプロセッサは、前記メモリ内に記憶された命令を実行し、前記推定平均コストが収束するまで、前記段階（ａ）及び（ｂ）を反復的に実施して前記制御入力を再決定することにより、前記自律的動作を制御するために使用可能な制御ポリシーを最適化するように構成される、上記（１７）に記載のコンピュータ処理システム。
（１９）コンピュータシステムにより実行可能な命令が自身内に記憶された、一時的でないコンピュータ可読媒体であって、
ａ）受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定することと、
ｂ）前記車両に対して適用されて前記到達コストに対する最小値を生成する制御入力を決定すること、とを備える機能を実施させ、
前記制御入力は、前記到達コストに対する最小値を生成し、且つ前記平均コストと、前記近似された到達コスト関数から決定された到達コストと、前記車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力が決定される、一時的でないコンピュータ可読媒体。
（２０）前記命令は、前記推定平均コストが収束するまで、前記段階（ａ）及び（ｂ）を反復的に繰り返して前記制御入力を再決定することにより、前記自律的動作を制御するために使用可能な制御ポリシーを最適化するように実行可能である、上記（１９）に記載の一時的でないコンピュータ可読媒体。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の自律的動作を適応的に制御するコンピュータ実行型方法であって、該方法は、
ａ）車両を自律的に制御するように構成されたコンピュータ処理システムにおけるcriticネットワークにおいて、受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、actorネットワークにより適用されたときに車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定することと、
ｂ）コンピュータ処理システム内においてcriticネットワークに対して作用的に連結されたactorネットワークにおいて、車両に対して適用されて到達コストに対する最小値を生成する制御入力を決定すること、とを備え、
前記actorネットワークは、推定平均コストと、近似された到達コスト関数から決定された推定到達コストと、車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力を決定するように構成され、
前記近似された到達コスト関数は、以下の関係に従い、重み付けされた放射基底関数の線形結合を用いて決定され、
【数１】
2018037064.tif 000022
式中、ωは重みであり、ｆjは第ｊ番目の放射基底関数であり、Ｎは近似された到達コスト関数を決定するために使用される放射基底関数の個数であり、且つ、
2018037064.tif 000023
は近似された到達コスト関数である、方法。
【請求項２】
前記近似された到達コスト関数において使用される重みωは、以下の関係に従って更新され、
【数２】
2018037064.tif 000024
式中、δijはディラックのデルタ関数を表し、上付き文字ｉは反復の回数を表し、λ1、λ2、λ3はラグランジュ乗数であり、且つ
2018037064.tif 000025
は推定平均コストである、請求項１に記載の方法。
【請求項３】
ベルマン方程式の線形化版を用いて決定された近似的な時間差的誤差を用いて前記criticネットワークのパラメータを更新する段階を更に備える、請求項１に記載の方法。
【請求項４】
前記criticネットワークのパラメータを更新する段階は、前記車両が運動しているときに実施される、請求項３に記載の方法。
【請求項５】
車両の自律的動作を適応的に制御するコンピュータ実行型方法であって、該方法は、
ａ）車両を自律的に制御するように構成されたコンピュータ処理システムにおけるcriticネットワークにおいて、受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、actorネットワークにより適用されたときに車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定することと、
ｂ）コンピュータ処理システム内においてcriticネットワークに対して作用的に連結されたactorネットワークにおいて、車両に対して適用されて到達コストに対する最小値を生成する制御入力を決定すること、とを備え、
前記actorネットワークは、推定平均コストと、近似された到達コスト関数から決定された推定到達コストと、車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力を決定するように構成され、
当該方法は、ベルマン方程式の線形化版を用いて決定された近似的な時間差的誤差を用いて前記criticネットワークのパラメータを更新する段階を更に備え、
前記criticネットワークにより決定された推定平均コストは、以下の関係に従って更新され、
【数３】
2018037064.tif 000026
式中、βは学習率であり、ｅkは近似的な時間差的誤差であり、
2018037064.tif 000027
は前記近似された到達コスト関数から決定された推定コストであり、
2018037064.tif 000028
は状態ｉにおける推定平均コストであり、且つ、
2018037064.tif 000029
は状態ｉ＋１における推定平均コストである、方法。
【請求項６】
前記受動的に収集されたデータは、前記criticネットワークのパラメータを更新する間に使用される唯一のデータである、請求項３に記載の方法。
【請求項７】
車両の自律的動作を適応的に制御するコンピュータ実行型方法であって、該方法は、
ａ）車両を自律的に制御するように構成されたコンピュータ処理システムにおけるcriticネットワークにおいて、受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、actorネットワークにより適用されたときに車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定することと、
ｂ）コンピュータ処理システム内においてcriticネットワークに対して作用的に連結されたactorネットワークにおいて、車両に対して適用されて到達コストに対する最小値を生成する制御入力を決定すること、とを備え、
前記actorネットワークは、推定平均コストと、近似された到達コスト関数から決定された推定到達コストと、車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力を決定するように構成され、
当該方法は、以下の関係に従って決定された近似的な時間差的誤差を用いて前記criticネットワークのパラメータを更新する段階を更に備え、
【数４】
2018037064.tif 000030
式中、ｅkは近似的な時間差的誤差であり、
2018037064.tif 000031
は推定平均コストであり、
2018037064.tif 000032
は状態ｋにおける推定到達コストであり、
2018037064.tif 000033
は状態ｋ＋１における推定到達コストであり、且つ、ｑkは状態ｋにおける状態コストである、方法。
【請求項８】
前記近似された到達コスト関数は、前記criticネットワークにおいてリアルタイムで学習される、請求項１に記載の方法。
【請求項９】
車両の自律的動作を適応的に制御するコンピュータ実行型方法であって、該方法は、
ａ）車両を自律的に制御するように構成されたコンピュータ処理システムにおけるcriticネットワークにおいて、受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、actorネットワークにより適用されたときに車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定することと、
ｂ）コンピュータ処理システム内においてcriticネットワークに対して作用的に連結されたactorネットワークにおいて、車両に対して適用されて到達コストに対する最小値を生成する制御入力を決定すること、とを備え、
前記actorネットワークは、推定平均コストと、近似された到達コスト関数から決定された推定到達コストと、車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力を決定するように構成され、
前記ノイズレベルは、以下の関係に従い、重み付けされた基底関数の線形結合を用いて学習され、
【数５】
2018037064.tif 000034
式中、ρは推定ノイズレベルであり、μjは、ｇjにより表された第ｊ番目の放射基底関数に対する重みであり、且つ、Ｍは、ノイズレベルを推定するために使用されるべき放射基底関数の個数である、方法。
【請求項１０】
以下の関係に従って決定された近似誤差を用いて前記actorネットワークの重み付けパラメータを更新する段階を更に備え、
【数６】
2018037064.tif 000035
式中、ｄkは近似誤差であり、ｑkは状態ｋにおける状態コストであり、
2018037064.tif 000036
は状態ｋにおいて近似された到達コストであり、
2018037064.tif 000037
は状態ｋ＋１において近似された到達コストであり、
2018037064.tif 000038
は近似された平均コストであり、且つ、
【数７】
2018037064.tif 000039
であり、式中、Ｂkは状態ｋにおける制御用動力学的値である、請求項９に記載の方法。
【請求項１１】
前記actorネットワークの重み付けパラメータの更新は、前記車両が運動しているときに実施される、請求項１０に記載の方法。
【請求項１２】
前記actorネットワークの重み付けパラメータは、以下の関係に従って更新され、
【数８】
2018037064.tif 000040
式中、
2018037064.tif 000041
は状態ｉ＋１における重み付けパラメータの値であり、
2018037064.tif 000042
は状態ｉにおける重み付けパラメータの値であり、βiは学習率であり、ｄkは時間差的誤差であり、且つｇは放射基底関数である、請求項１０に記載の方法。
【請求項１３】
前記制御入力を用い、前記自律的動作を制御すべく使用可能な制御ポリシーを修正する段階を更に備える、請求項１に記載の方法。
【請求項１４】
前記推定平均コストが収束するまで、前記段階（ａ）及び（ｂ）を反復的に実施して前記制御入力を再決定することにより、前記自律的動作を制御するために使用可能な制御ポリシーを最適化する段階を更に備える、請求項１に記載の方法。
【請求項１５】
前記制御ポリシーは、能動的探索なしで最適化される、請求項１４に記載の方法。
【請求項１６】
車両の自律的動作を適応的に制御するように構成されたコンピュータ処理システムであって、該コンピュータ処理システムは、該コンピュータ処理システムの動作を制御する一つ以上のプロセッサと、該一つ以上のプロセッサにより使用可能なデータ及びプログラム命令を記憶するメモリとを備え、
前記一つ以上のプロセッサは、前記メモリ内に記憶された命令を実行して、
ａ）受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、前記車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定し、且つ、
ｂ）前記車両に対して適用されて前記到達コストに対する最小値を生成する制御入力を決定する、ように構成され、
前記一つ以上のプロセッサは、前記推定平均コストと、前記近似された到達コスト関数から決定された到達コストと、前記車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力を決定するように構成され、
前記近似された到達コスト関数は、以下の関係に従い、重み付けされた放射基底関数の線形結合を用いて決定され、
【数１】
2018037064.tif 000043
式中、ωは重みであり、ｆjは第ｊ番目の放射基底関数であり、Ｎは近似された到達コスト関数を決定するために使用される放射基底関数の個数であり、且つ、
2018037064.tif 000044
は近似された到達コスト関数である、コンピュータ処理システム。
【請求項１７】
前記一つ以上のプロセッサは、前記メモリ内に記憶された命令を実行し、前記推定平均コストが収束するまで、前記段階（ａ）及び（ｂ）を反復的に実施して前記制御入力を再決定することにより、前記自律的動作を制御するために使用可能な制御ポリシーを最適化するように構成される、請求項１６に記載のコンピュータ処理システム。
【請求項１８】
コンピュータシステムにより実行可能な命令が自身内に記憶された、一時的でないコンピュータ可読媒体であって、
ａ）受動的に収集されたデータのサンプルと、状態コストとを用いて、推定平均コストと、車両の到達コストに対する最小値を生成する近似された到達コスト関数とを決定することと、
ｂ）前記車両に対して適用されて前記到達コストに対する最小値を生成する制御入力を決定すること、とを備える機能を実施させ、
前記制御入力は、前記到達コストに対する最小値を生成し、且つ前記推定平均コストと、前記近似された到達コスト関数から決定された到達コストと、前記車両の現在の状態に対する制御用動力学的値と、受動的に収集されたデータのサンプルとを用いて、ノイズレベルを推定することにより制御入力が決定され、
前記近似された到達コスト関数は、以下の関係に従い、重み付けされた放射基底関数の線形結合を用いて決定され、
【数１】
2018037064.tif 000045
式中、ωは重みであり、ｆjは第ｊ番目の放射基底関数であり、Ｎは近似された到達コスト関数を決定するために使用される放射基底関数の個数であり、且つ、
2018037064.tif 000046
は近似された到達コスト関数である、一時的でないコンピュータ可読媒体。
【請求項１９】
前記命令は、前記推定平均コストが収束するまで、前記段階（ａ）及び（ｂ）を反復的に繰り返して前記制御入力を再決定することにより、自律的動作を制御するために使用可能な制御ポリシーを最適化するように実行可能である、請求項１８に記載の一時的でないコンピュータ可読媒体。