(57)【要約】  本発明は、アクチュエータ（２０）の調整変数（ｘ）を、事前定義可能な目標変数（ｘ）に調整するように指定されるアクチュエータ調整システム（４５）を動作させる方法に関し、アクチュエータ調整システム（４５）は、調整戦略（π）を特徴付ける変数（θ）に従って補正変数（ｕ）を生成し、前記補正変数（ｕ）に従ってアクチュエータ（２０）を制御するように指定され、調整戦略（π）を特徴付ける前記変数（θ）は、価値関数（Ｖ＊）に従って決定される。【選択図】図１
2020537801.tif 000002
【特許請求の範囲】
【請求項１】
アクチュエータ（２０）の調整変数（ｘ）を、事前定義可能な目標変数（ｘ）に調整するために設定されるアクチュエータ調整システム（４５）を動作させる方法であって、前記アクチュエータ調整システム（４５）は、調整戦略（π）を特徴付ける変数（θ）の関数として補正変数（ｕ）を生成し、この補正変数（ｕ）の関数として前記アクチュエータ（２０）を制御するように設定され、
前記調整戦略（π）を特徴付ける前記変数（θ）は、価値関数（Ｖ＊）の関数として決定される、方法。
【請求項２】
前記価値関数（Ｖ＊）は、ベルマン方程式を用いて、反復価値関数
2020537801.tif 000061
の連続した反復により、徐々に前記価値関数（Ｖ＊）を近似していくことによって反復的に決定され、
後続の反復
2020537801.tif 000062
の反復価値関数
2020537801.tif 000063
は、先行する反復の反復価値関数
2020537801.tif 000064
から、前記ベルマン方程式を用いて決定され、
前記ベルマン方程式を解くために、前記先行する反復の前記反復価値関数
2020537801.tif 000065
の代わりに、基本関数
2020537801.tif 000066
の集合（Ｂ）が範囲とする関数空間へのその射影のみが使用される、
請求項１に記載の方法。
【請求項３】
前記後続の反復の前記反復価値関数
2020537801.tif 000067
の代わりにも、基本関数
2020537801.tif 000068
の第２の集合（Ｂ）が範囲とする関数空間へのその射影のみが決定される、
請求項２に記載の方法。
【請求項４】
基本関数
2020537801.tif 000069
としてガウス関数が使用される、
請求項２または３に記載の方法。
【請求項５】
前記ベルマン方程式の積分の値が、数値求積によって決定される、
請求項２から４のいずれかに記載の方法。
【請求項６】
前記反復価値関数
2020537801.tif 000070
と、前記集合（Ｂ）が範囲とする前記関数空間へのその射影との間の最大剰余（Ｒｋ，ｌ）がどれほど大きいかに依存して、少なくとも１つのさらなる基本関数
2020537801.tif 000071
を前記集合（Ｂ）に追加することにより、基本関数
2020537801.tif 000072
の後続の集合（Ｂ）が反復的に決定される、
請求項２から５のいずれかに記載の方法。
【請求項７】
前記少なくとも１つのさらなる基本関数
2020537801.tif 000073
が、前記剰余（Ｒｋ，ｌ）が最大になる前記調整変数（ｘ）の最大点（ｘ＊）に依存して選択される、
請求項６に記載の方法。
【請求項８】
前記少なくとも１つの追加的な基本関数
2020537801.tif 000074
が、最大点（ｘ＊）において最大値を取る、
請求項７に記載の方法。
【請求項９】
前記少なくとも１つの追加的な基本関数
2020537801.tif 000075
が、前記最大点（ｘ＊）における前記剰余（Ｒｋ，ｌ）の曲率を特徴付ける変数、詳細には前記最大点（ｘ＊）における前記剰余（Ｒｋ，ｌ）のヘッセ行列（Ｈｔ，ｌ）、に依存して選択される、
請求項７または８に記載の方法。
【請求項１０】
前記少なくとも１つの追加的な基本関数
2020537801.tif 000076
が、前記最大点（ｘ＊）において、そのヘッセ行列が前記剰余（Ｒｋ，ｌ）の前記ヘッセ行列（Ｈｔ，ｌ）と等しくなるように選択される、
請求項９に記載の方法。
【請求項１１】
前記ベルマン方程式が依存する条件付き確率（ｐ）が、前記アクチュエータ（２０）のモデルを用いて決定される、
請求項２から１０のいずれかに記載の方法。
【請求項１２】
前記モデルがガウス過程（ｇ）である、
請求項１１に記載の方法。
【請求項１３】
前記調整戦略（π）を特徴付ける前記変数（θ）の決定後、前記モデル（ｇ）が前記補正変数（ｕ）の関数として適合され、それが前記アクチュエータ（２０）の調整時に前記アクチュエータ（２０）に供給され、前記アクチュエータ調整システム（４５）は、前記調整戦略（π）と、その結果得られる前記調整変数（ｘ）とを考慮に入れ、前記モデル（ｇ）の適合後に、前記調整戦略（π）を特徴付ける前記変数（θ）が、請求項１１または１２に記載の方法によって再度決定され、次いで前記条件付き確率（ｐ）が、適合済みとなった前記モデル（ｇ）を用いて決定される、
請求項１１または１２に記載の方法。
【請求項１４】
前記補正変数（ｕ）は、前記調整戦略（π）を特徴付ける前記変数（θ）の関数として生成され、前記アクチュエータ（２０）はこの補正変数（ｕ）の関数として制御される、
請求項１から１３のいずれかに記載の方法。
【請求項１５】
請求項１から１４のいずれかに記載の方法を実行するように設定された、コンピュータプログラム。
【請求項１６】
請求項１５に記載のコンピュータプログラムを記憶した、機械可読記憶媒体（４２）。
【請求項１７】
アクチュエータ調整システム（４５）の調整戦略（π）を特徴付ける変数（θ）を自動的に設定するための学習システム（４０）であって、前記アクチュエータ調整システム（４５）は、アクチュエータ（２０）の調整変数（ｘ）を、事前定義可能な目標変数（ｘｄ）に調整するために設定され、前記学習システム（４０）は、請求項１から１３のいずれかに記載の方法を実行するように設定される、学習システム（４０）。
【請求項１８】
請求項１４に記載の方法によりアクチュエータ（２０）を制御するように設定される、アクチュエータ調整システム（４５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アクチュエータ調整システムを動作させる方法、学習システム、アクチュエータ調整システム、上記方法を実行するためのコンピュータプログラム、およびそのコンピュータプログラムが記憶された機械可読記憶媒体に関する。
【背景技術】
【０００２】
事前に公開されていないＤＥ１０２０１７２１１２０９から、アクチュエータ調整システムの少なくとも１つのパラメータを自動的に設定するための方法が知られており、これは、アクチュエータの調整変数を、事前定義可能な目標変数に調整するように設計されており、アクチュエータ調整システムは、少なくとも１つのパラメータ、目標変数、および調整変数に依存して、補正変数を生成し、この補正変数の関数としてアクチュエータを制御するように設計され、少なくとも１つのパラメータの新しい値が、長期間費用関数の関数として選択され、この長期間費用関数は、アクチュエータの調整変数の確率分布の予測される時間発展の関数として決定され、次いでパラメータがこの新しい値に設定される。
【発明の概要】
【課題を解決するための手段】
【０００３】
それに対して、独立請求項１の特徴を備える本方法は、特に、アクチュエータ調整システムの最適な調整を保証することができるという利点を有する。有利なさらなる発展が、従属請求項の主題である。
【０００４】
第１の態様において、本発明は、アクチュエータの調整変数を、事前定義可能な目標変数に調整するために設定されるアクチュエータ調整システムを動作させる方法に関し、アクチュエータ調整システムは、調整戦略を特徴付ける変数の関数として、詳細には目標変数および／または調整変数の関数としても、補正変数を生成し、この補正変数の関数としてアクチュエータを制御するように設定され、
調整戦略を特徴付ける変数は、価値関数の関数として決定される。
【０００５】
価値関数を決定することにより、状態変数および／またはアクションが離散値に限定されるのでなく連続値を達成し得る場合であっても、アクチュエータ調整システムの最適な調整を保証することが可能となる。
【０００６】
詳細には、調整戦略は、調整変数ごとに、補正変数が導出されるアクションが決定されるように、決定されることができ、このことにより価値関数を最大化する。
【０００７】
さらなる発展において、価値関数は、ベルマン方程式を用いて、反復価値関数の後続の反復により、徐々に価値関数を近似していくことによって反復的に決定されるようになされ、後続の反復の反復価値関数は、先行する反復の反復価値関数から、ベルマン方程式を用いて決定され、
先行する反復の反復価値関数の代わりに、基本関数の集合が範囲とする線形関数空間へのその射影のみが、ベルマン方程式を解くために使用される。
【０００８】
詳細には、これにより、特に長期間にわたり、システム動態を考慮に入れて、反復的に決定される価値関数が事前定義された報酬を最大化することを保証する。射影を使用することにより、その中に含まれる最大値形成のために点ごとに解析的に解くことしかできないベルマン方程式を、特に近似によって容易に解くことが可能となる。
【０００９】
後続の反復の反復価値関数の代わりに、基本関数の第２の集合が範囲とする関数空間へのその射影のみが決定される場合、特に有利である。
【００１０】
よって、後続の反復の反復価値関数自体を完全に計算する必要なく、この射影を決定することが可能となる。
【００１１】
解析的に解くことが特に容易であるベルマン方程式の積分は、ガウス関数が基本関数として使用されるときに得られる。これにより、この方法が数値的に特に効率的になる。
【００１２】
ベルマン方程式の最大値形成のために、ベルマン方程式は、一般には、個々の点で評価することしかできない。それでも、ベルマン方程式における積分が数値求積を使用して計算されれば、完全な解が可能である。したがって、数値求積の使用は数値的に特に効率的である。
【００１３】
本発明のさらなる態様において、反復価値関数と、上記集合が範囲とする関数空間へのその射影との間の最大剰余がどれほど大きいかに依存して、少なくとも１つのさらなる基本関数をこの集合に追加することにより、基本関数の後続の集合が反復的に決定される。
【００１４】
この反復的手順により、方法の数値エラーを、事前定義可能な最大値に特に効率的に制限することができ、よって、アクチュエータ調整システムを特に確実に動作させることができる。
【００１５】
さらなる発展において、少なくとも１つのさらなる基本関数が、剰余が最大になる調整変数の最大点に依存して選択されるようになされ得る。
【００１６】
これにより、基本関数の集合が範囲とする関数空間への射影によって数値エラーを特に迅速に減らすことができるため、方法が特に効率的になる。
【００１７】
効率は、最大点における少なくとも１つの追加的な基本関数が最大値を取る場合に特に高い。
【００１８】
代替または追加として、そのことは、少なくとも１つのさらなる基本関数が、最大点における剰余の曲率を特徴付ける数量、詳細には最大点における剰余のヘッセ行列、に依存して選択される場合に、方法の効率をさらに増大させる。
【００１９】
特に多次元調整変数の場合に、少なくとも１つのさらなる基本関数が、最大点において、そのヘッセ行列が剰余のヘッセ行列と等しくなるように選択される場合、それは特に容易である。
【００２０】
本発明のさらなる態様において、ベルマン方程式が依存する条件付き確率が、アクチュエータのモデルを用いて決定されるようになされ得る。アクチュエータの実際の挙動を再度決定する必要がないため、これによっても方法が特に効率的になる。
【００２１】
ここで、モデルがガウス過程である場合、特に有利である。これは、基本関数がガウス関数によって与えられる場合に特に有利である。何故ならば、そうすると、発生する積分を、ガウス関数の積を介して積分として解析的に解くことができるためであり、これは特に効率的な実装を可能にする。
【００２２】
アクチュエータ調整システムの特に良好な調整挙動を得るために、本発明のさらなる態様によれば、アクチュエータ調整システムの教授およびモデルの教授がエピソード的手順で決定されるようになされてよく、このことは、調整戦略を特徴付ける変数の決定後に、モデルが補正変数に依存するようにされ、それが、調整戦略を考慮に入れたアクチュエータ調整システムによるアクチュエータの調整の場合に、アクチュエータに供給され、その結果得られる調整変数に合わせて適合され、モデルの適合後に、調整戦略を特徴付ける変数が上記の方法により再度決定され、次いで条件付き確率が、適合済みとなったモデルを用いて決定される。
【００２３】
さらなる態様において、本発明は、アクチュエータ調整システムの調整戦略を特徴付ける変数を自動的に設定するための学習システムに関し、アクチュエータ調整システムは、アクチュエータの調整変数を、事前定義可能な目標変数に調整するように構成され、学習システムは、上述の方法のいずれか１つを実行するように構成される。
【００２４】
さらなる態様において、本発明は、調整戦略を特徴付ける変数が上述の方法の１つに従って決定され、次いで、調整戦略を特徴付ける変数に依存して操作変数が生成され、この補正変数に依存してアクチュエータが制御される方法に関する。
【００２５】
さらなる態様において、本発明は、この方法を使用してアクチュエータを制御するように設定されるアクチュエータ調整システムに関する。
【００２６】
さらに別の態様において、本発明は、上述の方法の１つを行うように設定されたコンピュータプログラムに関する。換言すると、コンピュータプログラムは、コンピュータで実行されたときに、そのコンピュータに方法を行わせる命令を備える。
【００２７】
本発明はさらに、このコンピュータプログラムが記憶された機械可読記憶媒体に関する。
【００２８】
以降、本発明の実施形態について、添付の図面を参照してより詳細に説明する。
【図面の簡単な説明】
【００２９】
【図１】学習システムとアクチュエータとの間の相互作用の概略的表現である。
【図２】アクチュエータ調整システムとアクチュエータとの間の相互作用の概略的表現である。
【図３】アクチュエータ調整システムを訓練する方法の一実施形態のフローチャートである。
【図４】反復価値関数を決定する方法の一実施形態のフローチャートである。
【図５】基本関数の集合を決定する方法の一実施形態のフローチャートである。
【図６】補正変数を決定する方法の一実施形態のフローチャートである。
【発明を実施するための形態】
【００３０】
図１は、その環境２０の中で学習システム４０と相互作用するアクチュエータ１０を示す。アクチュエータ１０および環境２０を、以下ではまとめてアクチュエータシステムと称する。アクチュエータシステムの状態は、センサ３０によって検出され、これは複数のセンサによって提供されてもよい。センサ３０の出力信号Ｓは、学習システム４０に送信される。学習システム４０はそこから駆動信号Ａを決定し、それをアクチュエータ１０が受信する。
【００３１】
アクチュエータ１０は、例えば、（部分的に）自律的なロボット、例えば（部分的に）自律的な自動車、（部分的に）自律的な芝刈り機であり得る。また、例えばアイドル制御のためのスロットルバルブまたはバイパスアクチュエータなどの、自動車のアクチュエータの作動であってもよい。また、加熱設備、または、バルブアクチュエータなど加熱設備の一部であってもよい。アクチュエータ１０は、特に、自動車の内燃機関または（可能性としてはハイブリッド型の）ドライブトレーン、さらにはブレーキシステムなどの、より大きいシステムであってもよい。
【００３２】
センサ３０は、例えば、１つもしくは複数のビデオセンサ、および／または１つもしくは複数のレーダセンサ、および／または１つもしくは複数の超音波センサ、および／または１つもしくは複数の位置センサ（例えばＧＰＳ）であってよい。例えば温度センサなどの他のセンサが考えられる。
【００３３】
別の実施形態例において、アクチュエータ１０は、製造用ロボットであってよく、そのとき、センサ３０は、例えば製造用ロボットの製造製品の特性を検出する光学センサであってよい。
【００３４】
学習システム４０は、センサ３０の出力信号Ｓを任意選択の受信部５０で受信し、出力信号Ｓを調整変数ｘに変換する（代替として、出力信号Ｓは調整変数ｘとしてそのまま引き継がれる場合もある）。調整変数ｘは、例えば、出力信号Ｓの一部分またはさらなる処理であってよい。調整変数ｘは、調整器６０に供給される。調整器において、調整戦略πまたは価値関数Ｖ＊のいずれかが実装され得る。
【００３５】
パラメータメモリ７０に、パラメータθが保管され、それが調整器６０に供給される。パラメータθは、調整戦略πまたは価値関数Ｖ＊をパラメータ化する。パラメータθは、単数または複数のパラメータであり得る。
【００３６】
ブロック９０は、調整器６０に、事前定義可能な目標変数ｘｄを供給する。ブロック９０が、事前定義可能な目標変数ｘｄを、例えばブロック９０に対して事前定義されたセンサ信号の関数として生成するようになされ得る。また、ブロック９０が、目標変数ｘｄが常駐する専用のメモリ領域から目標変数ｘｄを読み出すことも可能である。
【００３７】
調整戦略またはπ価値関数Ｖ＊と、目標変数ｘｄおよび調整変数ｘとに依存して、調整器６０は補正変数ｕを生成する。これは、例えば、調整変数ｘと目標変数ｘｄとの間の差ｘ−ｘｄに依存して決定され得る。
【００３８】
調整器６０は補正変数ｕを出力部８０に送信し、出力部８０はそこから駆動信号Ａを決定する。例えば、出力部が、はじめに、補正変数ｕが事前定義可能な変数範囲内にあるかどうかを検査することが可能である。これが該当する場合、制御信号Ａは、例えば、関連付けられた駆動信号Ａが補正変数ｕの関数として特性フィールドから読み出されることにより、補正変数ｕの関数として決定される。これが通常の場合である。一方、補正変数ｕが事前定義可能な値範囲内にないと判定される場合は、制御信号ＡがアクチュエータＡをセーフモードに入れるように設計されるようになされ得る。
【００３９】
受信部５０は、調整変数ｘをブロック１００に送信する。同様に、調整器６０は、対応する補正変数ｕをブロック１００に送信する。ブロック１００は、一連の時刻に受信された調整変数ｘの時系列と、それぞれの対応する補正変数ｕとを記憶する。ブロック１００は、次いで、これらの時系列に基づいてモデルｇのモデルパラメータΛ、σｎ、σｆを適合することができる。モデルパラメータΛ、σｎ、σｆは、ブロック１１０に供給され、ブロック１１０はそれらを、例えば専用の記憶位置に記憶する。これについては以下で図４のステップ１０１０でより詳細に説明する。
【００４０】
学習システム４０は、ある実施形態において、コンピュータプログラムが記憶された機械可読記憶媒体４２を有するコンピュータ４１を備え、コンピュータプログラムは、コンピュータ４１によって実行されると、コンピュータ４１に、記載される学習システム４０の機能を行わせる。この実施形態において、コンピュータ４１はＧＰＵ４３を備える。
【００４１】
モデルｇは、価値関数Ｖ＊の決定に使用され得る。これについては以下で説明する。
【００４２】
図２は、アクチュエータ１０とのアクチュエータ調整システム４５の相互作用を例示する。アクチュエータ調整システム４５の構造およびアクチュエータ１０およびセンサ３０とのその相互作用は、多くの部分で学習システム４０の構造と類似しており、その理由からここでは違いのみを説明する。学習システム４０と対照的に、アクチュエータ調整システム４５はブロック１００を有さず、またブロック１１０を有さない。ブロック１００への変数の送信は、したがって除去される。アクチュエータ調整システム４５のパラメータメモリ７０には、例えば図４に例示されるように本発明に係る方法によって決定されたパラメータθが保管される。
【００４３】
図３は、本発明に係る方法の一実施形態を例示する。はじめに（１０００）、調整変数ｘの初期値ｘ０が、事前定義可能な初期確率分布ｐ（ｘ０）から選択される。エピソードインデックスｅが値ｅ＝１に初期化され、このエピソードインデックスｅに割り当てられた価値関数
2020537801.tif 000003
が値
2020537801.tif 000004
に初期化される。
【００４４】
また、図１に説明されるようにアクチュエータ１０が制御される事前定義可能な計画期間Ｔまで、補正変数ｕ０，ｕ１，．．．，ｕＴ−１がランダムに選択される。アクチュエータ１０は、環境２０を介してセンサ３０と相互作用し、センサ３０のセンサ信号Ｓは、調整器６０から間接的にまたは直接、調整変数ｘ１，．．．，ｘＴ−１，ｘＴとして受信される。
【００４５】
これらは組み合わせられて、データセットＤ＝｛（ｘ０，ｕ０，ｘ１），．．．，（ｘＴ−１，ｕＴ−１，ｘＴ｝となる。
【００４６】
ブロック１００は、補正変数ｕおよび調整変数ｘの時系列を受信して集約し（１０３０）、これらは一緒になって、調整変数ｘと対応する変数ｕとのペアｚ、
2020537801.tif 000005
を生じる。
【００４７】
Ｄは、これにより、調整変数ｘの次元数であり、Ｆは補正変数ｕの次元数であり、すなわち
2020537801.tif 000006
2020537801.tif 000007
である。
【００４８】
この状態軌道に依存して、次いで、連続する時刻ｔ，ｔ＋１の間に以下が該当するように、ガウス過程ｇが適合される。
ｘｔ＋１＝ｘｔ＋ｇ（ｘｔ，ｕｔ）．      （１）
ここで、
ｕｔ＝πθ（ｘｔ）．      （１'）
【００４９】
ガウス過程ｇの共分散関数ｋは、例えば、
2020537801.tif 000008
によって与えられる。
【００５０】
パラメータ
2020537801.tif 000009
は信号の分散であり、
2020537801.tif 000010
は、Ｄ＋Ｆ個の入力次元の各々についての二乗された長さスケール
2020537801.tif 000011
の集まりである。
【００５１】
共分散行列Ｋが、
Ｋ（Ｚ，Ｚ）ｉ，ｊ＝ｋ（ｚｉ，ｚｊ）．      （３）
によって定義される。
【００５２】
すると、ガウス過程ｇは、平均μおよび分散Ｖａｒの２つの関数によって特徴付けられ、これらは
2020537801.tif 000012
2020537801.tif 000013
によって与えられる。
【００５３】
ここで、ｙは、白色雑音εｉで、ｙｉ＝ｆ（ｚｉ）＋εｉによって通常の方式で与えられる。
【００５４】
次いで、対数周辺尤度関数を最大化することにより、知られている方式でパラメータΛ、σｎ、σｆがペア（ｚｉ，ｙｉ）にマッチングされる。
【００５５】
次いで（１０２０）、エピソードインデックスｅに関連付けられた反復価値関数
2020537801.tif 000014
が決定され、これらの反復価値関数のうち最後のものが、エピソードインデックスｅに関連付けられた収束した反復価値関数
2020537801.tif 000015
である。エピソードインデックスｅに割り当てられた反復価値関数
2020537801.tif 000016
を決定する方法の一実施形態が図５に例示される。
【００５６】
次いで（１０３０）、例えば、現在のエピソードインデックスｅに割り当てられた収束した反復価値関数と、先行するエピソードインデックスｅ−１に割り当てられた反復価値関数
2020537801.tif 000017
2020537801.tif 000018
との差が、関数Δ１の第１の事前定義可能な制限値未満であるかどうか、すなわち
2020537801.tif 000019
であるかどうかを検査することにより、エピソードインデックスｅに関連付けられた収束した反復価値関数
2020537801.tif 000020
が収束しているかどうかが検査される。これが該当する場合、続いてステップ１０８０が行われる。
【００５７】
しかし、収束がまだ達成されていない場合（１０４０）、エピソードインデックスｅに関連付けられた最適な調整戦略πｅが、
2020537801.tif 000021
により定義される。
【００５８】
次いで（１０５０）、調整変数ｘの初期値ｘ０が、初期確率分布ｐ（ｘ０）から再度選択される。
【００５９】
式（６）に定義される最適な調整戦略πｅを使用して、調整変数の系列πｅ（ｘ０），．．．，πｅ（ｘＴ−１）がここで（１０６０）反復的に決定され、それを用いてアクチュエータ１０が制御される。次いで受信されるセンサ３０の出力信号Ｓから、その結果得られる状態変数ｘ１，．．．，ｘＴが次いで決定される。
【００６０】
ここで（１０７０）エピソードインデックスｅが１増分され、分岐してステップ１０３０に戻る。
【００６１】
ステップ１０３０で、各エピソードにわたる反復の結果、エピソードインデックスｅに割り当てられた反復価値関数
2020537801.tif 000022
の収束に至ったと決定された場合、価値関数Ｖ＊は、エピソードインデックスｅに割り当てられた反復価値関数
2020537801.tif 000023
の価値関数に等しく設定される。これにより方法のこの態様が終了する。
【００６２】
図４は、エピソードインデックスｅに割り当てられた反復価値関数
2020537801.tif 000024
を決定する方法の一実施形態を例示する。明瞭さの理由から、エピソードインデックスｅは以下では省略される。上付きのインデックスは、以降、文字ｔによって表される。方法は、常に先行する価値関数
2020537801.tif 000025
に基づいて、後続の反復価値関数
2020537801.tif 000026
を常に計算する。この先行する反復価値関数
2020537801.tif 000027
は、基本関数
2020537801.tif 000028
と係数
2020537801.tif 000029
との線形結合
2020537801.tif 000030
として与えられる。また、これらの係数
2020537801.tif 000031
は、簡単に係数ベクトルαｔにまとめられる。方法は、インデックスｔ＝０で開始する（１５００）。
【００６３】
はじめに、基本関数の集合Ｂ
2020537801.tif 000032
が決定される（１５１０）。これらは事前定義されることも、または図６を使用して例示したアルゴリズムを使用して決定されることもできる。
【００６４】
次いで（１５２０）、ｉ，ｊ＝１．．．Ｎｔ＋１についてのスカラー積
2020537801.tif 000033
が決定される。
【００６５】
その後（１５３０）、数値求積を使用して、ノードξ１，．．．，ξＫおよび関連付けられた重みｗ１，．．．，ｗＫが定義される。
【００６６】
これらのノードξ１，．．．，ξＫおよび重みｗ１，．．．，ｗＫを利用して、次いで（１５４０）すべてのインデックスｉ＝１．．．Ｎｔ＋１について、ベクトルｂｔ＋１の係数
2020537801.tif 000034
が
2020537801.tif 000035
に決定される。
【００６７】
係数ベクトルαｔ＋１が、ここで（１５５０）αｔ＋１＝Ｍ−１ｂｔ＋１に決定され、質量行列Ｍは
2020537801.tif 000036
によって与えられる。
【００６８】
演算子Ａは、
2020537801.tif 000037
として定義される。
【００６９】
ここで、０＜γ＜１は指定可能な重み付け係数であり、例えばγ＝０．８５である。ｒは、調整変数ｘの値に報酬値を割り当てる報酬関数である。有利には、報酬関数ｒは、目標変数ｘｄからの調整変数ｘの逸脱が小さいほど、大きい値を取るように選択される。
【００７０】
先行する変数ｘおよび操作変数ｕを与えられたときの調整変数ｘ’の条件付き確率ｐ（ｘ’｜ｘ，ｕ）は、ガウス過程ｇを使用して式（８）で決定することができる。
【００７１】
式（８）のｍａｘ演算子は、解析解には利用できないことに留意すべきである。しかし、所与の調整変数ｘについて、最大化は、各事例で勾配降下方法を用いて行われ得る。
【００７２】
これらの定義は、このようにして定義された後続の反復価値関数
2020537801.tif 000038
が、基本関数Ｂが範囲とする空間への実際の反復価値関数Ｖｔ＋１の射影に対応することを保証し、実際の反復価値関数は、ベルマン方程式
2020537801.tif 000039
を満たす。
【００７３】
ベクトルｂｔ＋１は、よって、式
2020537801.tif 000040
を近似的に満たし、ここで、例外ケースのみにおいて正確に解くことができるこの式は、実際の価値関数Ｖｔ＋１が、基本関数Ｂが範囲とする空間へのその射影に、すなわち反復価値関数
2020537801.tif 000041
に、置き換えられ、かつ、その結果得られる数値求積を伴う積分方程式が近似的に解かれる場合に、解くことができることが認識された。
【００７４】
ここで（１５６０）、終了基準が満たされるかどうかが検査される。終了基準は、例えば、反復価値関数
2020537801.tif 000042
が収束している場合、例えば、先行する反復価値関数
2020537801.tif 000043
との差が、関数Δ２の第２の制限値よりも小さくなる、すなわち
2020537801.tif 000044
である場合に、満たされ得る。終了基準は、インデックスｔが事前定義可能な計画期間Ｔに達した場合にも満たされるとみなされ得る。
【００７５】
終了基準が満たされない場合、インデックスｔが１増分される（１５７０）。一方、終了基準が満たされる場合、価値関数Ｖ＊が、前回の反復の反復価値関数
2020537801.tif 000045
に等しく設定される。
【００７６】
これにより方法のこの部分が終了する。
【００７７】
図５は、ベルマン方程式の実際の反復価値関数Ｖｔについての基本関数の集合Ｂを決定する方法の一実施形態を例示する。このために、はじめに（１６００）、基本関数の集合Ｂが空集合に初期化され、インデックスｌが値ｌ＝０に初期化される。基本関数の集合Ｂに射影された反復価値関数
2020537801.tif 000046
も、値０に初期化される。
【００７８】
次いで（１６１０）、剰余
2020537801.tif 000047
が、反復価値関数
2020537801.tif 000048
と、それに対応する射影された反復価値関数
2020537801.tif 000049
との間の逸脱として定義される。
【００７９】
次いで（１６２０）、剰余の最大点ｘ＊＝ａｒｇ  ｍａｘｓ  Ｒｔ，ｌ（ｘ）が、例えば勾配降下方法で決定され、剰余Ｒｔ，ｌのヘッセ行列Ｈｔ，ｌが最大桁ｘ＊で決定される。
【００８０】
ここで（１６３０）、基本関数の集合Ｂに追加される新しい基本関数
2020537801.tif 000050
が決定される。追加される新しい基本関数
2020537801.tif 000051
は、好ましくは、平均値ｓ＊および共分散行列Σ＊のガウス関数として選択される。共分散行列Σ＊は、式
2020537801.tif 000052
を満たすように計算される。
【００８１】
次いで（１６４０）、この基本関数
2020537801.tif 000053
が基本関数の集合Ｂに加えられる。
【００８２】
ここで（１６５０）、拡大された基本関数の集合Ｂが範囲とする関数空間への反復価値関数
2020537801.tif 000054
の射影により、射影された反復価値関数
2020537801.tif 000055
が決定される。
【００８３】
その後（１６６０）、射影された反復価値関数
2020537801.tif 000056
の決定が十分に収束しているかどうかが、例えば、関連付けられた逸脱のノルム（例えばＬ∞ノルム）が、関数Δ３の第３の事前定義可能な制限値を下回る、すなわち
2020537801.tif 000057
であるかどうかを検査することにより、検査される。
【００８４】
これが該当しない場合、インデックスｌが１増分され、方法は分岐してステップ１６１０に戻る。
【００８５】
それ以外の場合は、決定された集合
2020537801.tif 000058
が、検索された基本関数の集合として戻され、方法のこの部分が終了する。
【００８６】
図６は、補正変数を決定する方法の実施形態を例示し、図７ａは、パラメータメモリ７０に保管されたパラメータθが調整戦略πをパラメータ化するケースの一実施形態を例示する。このために、はじめに（１７００）、例えばＳｏｂｏｌ設計計画として、試験点ｘｉの集合が定義される。
【００８７】
次いで（１７１０）、試験点ｕｉに割り当てられた最適な補正変数ｘｉが、式
2020537801.tif 000059
を使用して計算され、例えば、勾配降下方法を用いて決定され、また、試験点ｘｉと、それぞれに割り当てられた最適な操作変数ｕｉとのペアから、訓練集合Ｍ＝｛（ｘ１，ｕ１），（ｘ２，ｕ２），．．．｝が作成される。
【００８８】
この訓練集合Ｍを用いて、次いで、データに基づくモデル、例えばガウス過程ｇθ、の教授が行われ（１７２０）、それにより、データに基づくモデルは、調整変数ｘに対して、割り振られる最適な補正変数ｕを効率的に決定する。ガウス過程θを特徴付けるパラメータｇθは、パラメータメモリ７０に保管される。
【００８９】
ステップ（１７００）から（１７２０）は、好ましくは学習システム４０で実行される。
【００９０】
アクチュエータ調整システム４５の動作中（１７３０）、このシステムは次いで、ガウス過程ｇθを使用して、所与の調整変数ｘに対して関連付けられた補正変数ｕを決定する。
【００９１】
これによりこの方法が終了する。
【００９２】
図７ｂは、パラメータメモリ７０に保管されたパラメータθが価値関数Ｖ＊をパラメータ化するケースの一実施形態を例示する。このために、ステップ（１８００）で所与の調整変数ｘについて、ステップ（１７１０）と同じように、式
2020537801.tif 000060
によって定義される関連付けられた補正変数ｕが、勾配降下方法で決定される。
【００９３】
これによりこの方法が終了する。
【図１】
2020537801.tif 000077
【図２】
2020537801.tif 000078
【図３】
2020537801.tif 000079
【図４】
2020537801.tif 000080
【図５】
2020537801.tif 000081
【図６ａ）】
2020537801.tif 000082
【図６ｂ）】
2020537801.tif 000083
【国際調査報告】
2020537801.tif 000084
2020537801.tif 000085
2020537801.tif 000086
2020537801.tif 000087