(57)【要約】【課題】ニューラルネットワークを用いて最適制御を行うことができる制御装置を提供する。【解決手段】経路積分による最適制御を行うための制御装置１であって、制御装置１は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワーク部３と、制御対象５０の現在の状態と、制御対象５０に対する初期の操作量系列とを、ニューラルネットワーク部３に入力する入力部２と、ニューラルネットワーク部３が当該ダイナミクスモデルおよび当該コスト関数を用いて、現在の状態と初期の操作量系列とから、経路積分により算出した操作量系列であって制御対象５０を制御するための操作量系列を出力する出力部４とを備え、ニューラルネットワーク部３は、ダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる。【選択図】図１
2018124982.tif 000002
【特許請求の範囲】
【請求項１】
経路積分による最適制御を行うための制御装置であって、
前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークと、
制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力部と、
前記ニューラルネットワークが前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出した操作量系列であって前記制御対象を制御するための操作量系列を出力する出力部とを備え、
前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる、
制御装置。
【請求項２】
前記第２リカレントニューラルネットワークは、
前記第１リカレントニューラルネットワークと、前記コスト関数とを有し、前記第１リカレントニューラルネットワークに、前記現在の状態と前記初期の操作量系列とからモンテカルロ法により各時刻における状態を算出させ、前記コスト関数を用いて前記複数の状態のコストを算出させる第１処理部と、
前記初期の操作量系列と前記複数の状態のコストとに基づき、前記制御対象に対する操作量系列を算出する第２処理部とを備え、
前記第２処理部は、算出した操作量系列を、前記出力部に出力するともに、前記第２リカレントニューラルネットワークに、前記初期の操作量系列としてフィードバックし、
前記第２リカレントニューラルネットワークは、前記第１処理部に、前記第２処理部によりフィードバックされた操作量系列と、前記現在の状態とから前記各時刻の次の各時刻における複数の状態のコストを算出させる、
請求項１に記載の制御装置。
【請求項３】
前記第２リカレントニューラルネットワークは、さらに、
前記モンテカルロ法で用いる乱数を発生させる第３処理部を備え、
前記第３処理部は、発生させた乱数を前記第１処理部および前記第２処理部に出力する、
請求項２に記載の制御装置。
【請求項４】
前記コスト関数は、ニューラルネットワークで構成されるコスト関数モデルである、
請求項１〜３のいずれか１項に記載の制御装置。
【請求項５】
経路積分による最適制御を行うための制御装置の制御方法であって、
前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークを備え、
制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力ステップと、
前記ニューラルネットワークに、前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出させた操作量系列であって前記制御対象を制御するための操作量系列を出力する出力ステップとを含み、
前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる、
制御方法。
【請求項６】
さらに、前記入力ステップの前に、前記ダイナミクスモデルおよび前記コスト関数を機械学習させる学習ステップを含み、
前記学習ステップは、
前記制御対象の現在の状態に対応する予め用意された状態と、前記制御対象に対する初期の操作量系列に対応する予め用意された初期の操作量系列と、予め用意された状態および予め用意された初期の操作量系列とから、経路積分により予め算出された、前記制御対象を制御するための操作量系列とを含む学習用データを教師データとして準備するステップと、
前記教師データを用いて、前記ニューラルネットワークの重みを誤差逆伝播法により学習させることにより、前記ダイナミクスモデルおよび前記コスト関数を学習させるステップとを含む、
請求項５に記載の制御方法。
【請求項７】
前記コスト関数は、ニューラルネットワークで構成されるコスト関数モデルである、
請求項５または６に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置および制御方法に関し、特にニューラルネットワークを用いた制御装置および制御方法に関する。
【背景技術】
【０００２】
最適制御の一つとして、経路積分制御が知られている（例えば、非特許文献１参照）。最適制御は、制御対象のシステムの将来の状態および報酬を先読みし、最適な操作量の系列を求めるための枠組みとして捉えることができる。最適制御は、制約付きの最適化問題として定式化できる。
【０００３】
一方、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークは、自動運転およびロボット操作などの制御にうまく適用されて用いられている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Model Predictive Path Integral Control: From Theory to Parallel Computationhttps://arc.aiaa.org/doi/full/10.2514/1.G001921.［平成29年9月29日検索］、インターネット〈URL：https://arc.aiaa.org/doi/full/10.2514/1.G001921〉
【非特許文献２】Aviv Tamar, Yi Wu, Garrett Thomas, Sergey Levine, and Pieter Abbeel, "Value Iteration Networks", NIPS 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１などの従来の最適制御では、当該システムの将来の状態および将来の報酬を予測するために、当該システムのダイナミクスを特定し、かつ、コスト関数を利用する必要があるものの、ダイナミクスおよびコスト関数を記述することは難しいという問題がある。
【０００６】
また、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークを用いても最適制御を行えないという問題がある。畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークは、どれだけ学習しても、反射的にしか成長しないからである。
【０００７】
本開示は、上述の事情を鑑みてなされたもので、ニューラルネットワークを用いて最適制御を行うことができる制御装置および制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本開示の一形態に係る制御装置は、経路積分による最適制御を行うための制御装置であって、前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークと、制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力部と、前記ニューラルネットワークが前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出した操作量系列であって前記制御対象を制御するための操作量系列を出力する出力部とを備え、前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる。
【０００９】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本開示の制御装置等によれば、ニューラルネットワークを用いて最適制御を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態における制御装置の構成の一例を示すブロック図である。
【図２】図１に示すニューラルネットワーク部の構成の一例を示すブロック図である。
【図３Ａ】図２に示す算出部の構成の一例を示すブロック図である。
【図３Ｂ】図２に示す算出部の詳細構成の一例を示す図である。
【図４】図３Ｂに示すモンテカルロシミュレータ部の詳細構成の一例を示す図である。
【図５】図３Ｂに示す第２処理部の詳細構成の一例を示す図である。
【図６】実施の形態における制御装置の処理を示すフローチャートである。
【図７】実施の形態における学習処理の概念図の一例を示す図である。
【図８】実施の形態における学習処理の概要を示すフローチャートである。
【図９】実験における制御シミュレーション結果を示す図である。
【図１０Ａ】真のコスト関数を示す図である。
【図１０Ｂ】学習された経路積分制御ニューラルネットワークのコスト関数を示す図である。
【図１０Ｃ】学習された比較例のニューラルネットワークのコスト関数を示す図である。
【図１１】変形例１におけるニューラルネットワーク部の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
（本開示の一態様を得るに至った経緯）
制御の良さを表す評価関数を最小にする制御である最適制御が知られている。そして、最適制御は、制御対象のシステムの将来の状態および報酬を先読みし、最適な操作量の系列を求めるための枠組みとして捉えることができる。最適制御は、制約付きの最適化問題として定式化できる。
【００１３】
また、最適制御の一つとして、経路積分制御が知られている（例えば、非特許文献１参照）。非特許文献１には、軌道の確率的サンプリングに基づくモンテカルロ近似を用いて、確率的最適制御問題として経路積分を数学的に解くことで経路積分制御を行うことが記載されている。
【００１４】
しかしながら、非特許文献１などの従来の最適制御では、当該システムの将来の状態および将来の報酬を予測するために、当該システムのダイナミクスを特定したモデルとコスト関数とを利用する必要があるが、ダイナミクスおよびコスト関数を記述することは難しい。当該システムのモデルが完全に既知である場合には、複雑な方程式と多数のパラメータとからなるダイナミクスを記述できるものの、このような場合は少ないからである。特に、多数のパラメータを記述することは難しい。同様に、報酬を評価するために用いられるコスト関数は、当該システムの現在の状態から将来の状態までの間の環境の全状況の変化を完全に知っている若しくは完全にシミュレーションできる場合には記述できるものの、このような場合は少ない。コスト関数は、狙った制御を行わせるために、どういう状態が望ましいかを重みなどのパラメータを用いて関数で記述するものである。このため、特に、重みなどのパラメータを最適に記述することは難しい。
【００１５】
一方、上述したように、近年、自動運転およびロボット操作などの制御において、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークがうまく適用されて用いられている。そして、このようなディープ・ニューラル・ネットワークは、教師データによる模倣学習または強化学習により、所望の操作量を出力するよう訓練される。
【００１６】
そこで、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークを用いて最適制御を行うことが考えられる。このようなディープ・ニューラル・ネットワークを用いて最適制御を行うことができれば、最適制御に必要なダイナミクスおよびコスト関数、または、特に記述が難しいこれらのパラメータを学習することができると考えられるからである。
【００１７】
しかしながら、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークを用いても最適制御を行えない。このようなディープ・ニューラル・ネットワークは、どれだけ学習しても、反射的にしか成長しないからである。つまり、このようなディープ・ニューラル・ネットワークは、どれだけ学習させても、先読みなどの汎化能力を得ることができないからである。
【００１８】
以上の事情を鑑みて、発明者は、ニューラルネットワークを用いて最適制御を行うことができる制御装置および制御方法を想到するに至った。
【００１９】
すなわち、本開示の一形態に係る制御装置は、経路積分による最適制御を行うための制御装置であって、前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークと、制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力部と、前記ニューラルネットワークが前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出した操作量系列であって前記制御対象を制御するための操作量系列を出力する出力部とを備え、前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる。
【００２０】
この構成により、２重のリカレントニューラルネットワークからなるニューラルネットワークに経路積分による最適制御を行わせることができるので、ニューラルネットワークを用いて最適制御を行うことができる。
【００２１】
ここで、例えば、前記第２リカレントニューラルネットワークは、前記第１リカレントニューラルネットワークと、前記コスト関数とを有し、前記第１リカレントニューラルネットワークに、前記現在の状態と前記初期の操作量系列とからモンテカルロ法により各時刻における状態を算出させ、前記コスト関数を用いて前記複数の状態のコストを算出させる第１処理部と、前記初期の操作量系列と前記複数の状態のコストとに基づき、前記制御対象に対する操作量系列を算出する第２処理部とを備え、前記第２処理部は、算出した操作量系列を、前記出力部に出力するともに、前記第２リカレントニューラルネットワークに、前記初期の操作量系列としてフィードバックし、前記第２リカレントニューラルネットワークは、前記第１処理部に、前記第２処理部によりフィードバックされた操作量系列と、前記現在の状態とから前記各時刻の次の各時刻における複数の状態のコストを算出させてもよい。
【００２２】
この構成により、２重のリカレントニューラルネットワークからなるニューラルネットワークに、モンテカルロ法による経路積分による最適制御を行わせることができる。
【００２３】
さらに、例えば、前記第２リカレントニューラルネットワークは、さらに、前記モンテカルロ法で用いる乱数を発生させる第３処理部を備え、前記第３処理部は、発生させた乱数を前記第１処理部および前記第２処理部に出力させてもよい。
【００２４】
また、例えば、前記コスト関数は、ニューラルネットワークで構成されるコスト関数モデルであるとしてもよい。
【００２５】
また、本開示の一形態に係る制御方法は、経路積分による最適制御を行うための制御装置の制御方法であって、前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークを備え、制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力ステップと、前記ニューラルネットワークに、前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出させた操作量系列であって前記制御対象を制御するための操作量系列を出力する出力ステップとを含み、前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる。
【００２６】
ここで、例えば、さらに、前記入力ステップの前に、前記ダイナミクスモデルおよび前記コスト関数を機械学習させる学習ステップを含み、前記学習ステップは、前記制御対象の現在の状態に対応する予め用意された状態と、前記制御対象に対する初期の操作量系列に対応する予め用意された初期の操作量系列と、予め用意された状態および予め用意された初期の操作量系列とから、経路積分により予め算出された、前記制御対象を制御するための操作量系列とを含む学習用データを教師データとして準備するステップと、前記教師データを用いて、前記ニューラルネットワークの重みを誤差逆伝播法により学習させることにより、前記ダイナミクスモデルおよび前記コスト関数を学習させるステップとを含むとしてもよい。
【００２７】
これより、２重のリカレントニューラルネットワークからなるニューラルネットワークに、最適制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習させることができる。
【００２８】
ここで、例えば、前記コスト関数は、ニューラルネットワークで構成されるコスト関数モデルであってもよい。
【００２９】
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【００３０】
（実施の形態）
以下では、図面を参照しながら、実施の形態における制御装置および制御方法等の説明を行う。
【００３１】
［制御装置１の構成］
図１は、本実施の形態における制御装置１の構成の一例を示すブロック図である。図２は、図１に示すニューラルネットワーク部３の構成の一例を示すブロック図である。
【００３２】
制御装置１は、ニューラルネットワークを用いたコンピュータ等で実現され、制御対象５０に対して、経路積分による最適制御を行う。制御装置１は、例えば図１に示すように入力部２とニューラルネットワーク部３と出力部４とで構成されている。ここで、制御対象５０は、例えば自動運転を行う車両または自律移動するロボットなど、最適制御を行う制御対象のシステムである。
【００３３】
＜入力部２＞
入力部２は、制御対象の現在の状態と、制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、本開示のニューラルネットワークに入力する。
【００３４】
本実施の形態では、入力部２は、制御対象５０の現在の状態
【数１】
2018124982.tif 000003
と、制御対象５０に対する初期の操作パラメータを成分とする初期の操作量系列
【数２】
2018124982.tif 000004
とを制御対象５０から取得し、ニューラルネットワーク部３に入力する。
【数３】
2018124982.tif 000005
は時刻t_0 からt_{N-1}までの操作量の時系列を指すものとする。
【００３５】
＜出力部４＞
出力部４は、ニューラルネットワーク部３が、機械学習されたダイナミクスモデルおよびコスト関数を用いて、現在の状態と初期の操作量系列とから経路積分により算出した操作量系列であって制御対象を制御するための操作量系列を出力する。ダイナミクスモデルは、例えば、ニューラルネットワークで構成されるダイナミクスモデルであってもよいし、数式で表される関数であってもよい。同様に、コスト関数は、例えば、ニューラルネットワークで構成されるコスト関数モデルであってもよいし、数式で表される関数であってもよい。つまり、ダイナミクス、およびコスト関数は、事前に機械学習できるものであれば、ニューラルネットワークで構成されてもよいし、数式とパラメータとからなる関数で構成されてもよい。
【００３６】
本実施の形態では、出力部４は、入力部２により制御対象５０から取得された初期の操作量系列
【数４】
2018124982.tif 000006
が更新された操作量系列
【数５】
2018124982.tif 000007
を、制御対象５０に出力する。つまり、制御装置１は、初期の操作量系列
【数６】
2018124982.tif 000008
に基づき、制御対象５０の将来の状態および報酬を先読みして算出した最適な操作量の系列である操作量系列
【数７】
2018124982.tif 000009
を制御対象５０に出力する。
【００３７】
＜ニューラルネットワーク部３＞
ニューラルネットワーク部３は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークで構成される。ニューラルネットワーク部３は、機械学習されたダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる。なお、以下では、本開示のニューラルネットワーク部３は、経路積分制御ニューラルネットワークと称する場合もある。
【００３８】
そして、ニューラルネットワーク部３は、機械学習されたダイナミクスモデルおよびコスト関数を用いて、現在の状態と初期の操作量系列とから、経路積分により、制御対象を制御するための操作量系列を算出する。
【００３９】
本実施の形態では、ニューラルネットワーク部３は、図２に示すように、算出部１３を備える。算出部１３は、入力部２により制御対象５０の現在の状態
【数８】
2018124982.tif 000010
と、制御対象５０に対する初期の操作量系列
【数９】
2018124982.tif 000011
とが入力される。算出部１３は、機械学習されたダイナミクスモデルおよびコスト関数を用いて、経路積分により、初期の操作量系列
【数１０】
2018124982.tif 000012
を更新した操作量系列を算出する。そして、算出部１３は、更新した操作量系列を初期の操作量系列
【数１１】
2018124982.tif 000013
として再度入力し、更新した操作量系列をさらに更新した操作量系列を算出する。このように、算出部１３は、再帰的に操作量系列を更新し、例えばＵ回、再帰的に操作量系列を更新することで、制御対象５０を制御するための操作量系列
【数１２】
2018124982.tif 000014
を算出する。
【００４０】
なお、算出部１３の再帰的に操作量系列を更新する部分は、リカレントニューラルネットワーク１３ａに該当する。リカレントニューラルネットワーク１３ａは、例えば第２リカレントニューラルネットワークである。
【００４１】
また、Ｕ回は、更新した操作量系列が十分収束するように大きな数に設定される。ダイナミクスモデルは、機械学習によりパラメータ化された関数ｆにより表されるとする。コスト関数モデルは、機械学習によりパラメータ化された関数
【数１３】
2018124982.tif 000015
、φにより表されるとする。
【００４２】
図３Ａは、図２に示す算出部１３の構成の一例を示すブロック図である。図３Ｂは、図２に示す算出部１３の詳細構成の一例を示す図である。図４は、図３Ｂに示すモンテカルロシミュレータ部１４１の詳細構成の一例を示す図である。図５は、図３Ｂに示す第２処理部１５の詳細構成の一例を示す図である。
【００４３】
算出部１３は、例えば図３Ａに示すように、第１処理部１４と、第２処理部１５と、第３処理部１６とを備える。なお、算出部１３は、例えば図３Ｂに示すように、入力部により入力された初期の操作量系列を格納する格納部１７をさらに備え、第１処理部１４および第２処理部１５に出力してもよい。
【００４４】
≪第１処理部１４≫
第１処理部１４は、第１リカレントニューラルネットワークと、コスト関数とを有し、第１リカレントニューラルネットワークに、現在の状態と初期の操作量系列とからモンテカルロ法により各時刻における状態を算出させ、コスト関数モデルを用いて複数の状態のコストを算出する。また、第１処理部１４は、第２処理部１５により第２リカレントニューラルネットワークにフィードバックされた操作量系列と、現在の状態とから、各時刻の次の各時刻における複数の状態のコストを算出する。
【００４５】
本実施の形態では、第１処理部１４は、図３Ｂに示すように、モンテカルロシミュレータ部１４１と、格納部１４２とを備える。
【００４６】
モンテカルロシミュレータ部１４１は、モンテカルロシミュレーションを用いて複数の異なる状態の時系列を確率的にサンプリングする経路積分の枠組みを利用する。状態の時系列を軌道と呼ぶ。モンテカルロシミュレータ部１４１は、例えば図４に示すように、機械学習されたダイナミクスモデル１４１１と、第３処理部１６から入力される乱数とを用いて、現在の状態と初期の操作量系列とから、現在より後の時刻における状態を成分とする状態の時系列を算出する。さらに、モンテカルロシミュレータ部１４１は、算出した状態の時系列を再度入力し、その状態の時系列を更新する。このように、モンテカルロシミュレータ部１４１は、例えばＮ回再帰的に状態の時系列を更新することで、現在より後の各時刻における状態を算出する。また、モンテカルロシミュレータ部１４１は、終端コスト算出部１４１２においてＮ回目すなわち最後に算出した状態のコストを算出し、終端コストとして格納部１４２に出力する。
【００４７】
より具体的には、例えば、ダイナミクスモデル１４１１が、
【数１４】
2018124982.tif 000016
で表され、コスト関数モデル１４１３が
【数１５】
2018124982.tif 000017
、終端コストモデル１４１２が
【数１６】
2018124982.tif 000018
で表されるとする。α、β、R, γはダイナミクスモデル、コスト関数モデルのパラメータである。この場合、まず、モンテカルロシミュレータ部１４１は、現在の状態
【数１７】
2018124982.tif 000019
を時刻ｔｉにおける状態
【数１８】
2018124982.tif 000020
に代入する。kは計K個の状態の一つを指すインデックスである。このK個の状態は並列に処理される。そして、モンテカルロシミュレータ部１４１は、状態
【数１９】
2018124982.tif 000021
と初期の操作量系列
【数２０】
2018124982.tif 000022
とから、ダイナミクスモデル１４１１である
【数２１】
2018124982.tif 000023
と乱数
【数２２】
2018124982.tif 000024
とを用いて、時刻ｔｉより後の時刻ｔｉ+１における状態
【数２３】
2018124982.tif 000025
を算出する。さらに、モンテカルロシミュレータ部１４１は、算出した状態
【数２４】
2018124982.tif 000026
を、時刻ｔｉにおける状態
【数２５】
2018124982.tif 000027
として再度入力し、Ｋ個の状態
【数２６】
2018124982.tif 000028
を更新する。モンテカルロシミュレータ部１４１は、終端コスト算出部１４１２において、Ｎ回目に算出した状態
【数２７】
2018124982.tif 000029
を終端コストモデル１４１２に入力し、得られた終端コスト
【数２８】
2018124982.tif 000030
を格納部１４２に出力する。
【００４８】
また、モンテカルロシミュレータ部１４１は、コスト関数モデル１４１３と、第３処理部１６から入力される乱数とを用いて、初期の操作量系列から、算出した各時刻における複数の状態のコストである評価コストを算出する。
【００４９】
より具体的には、モンテカルロシミュレータ部１４１は、コスト関数モデル１４１３である
【数２９】
2018124982.tif 000031
と、第３処理部１６から入力される乱数
【数３０】
2018124982.tif 000032
とを用いて、初期の操作量系列
【数３１】
2018124982.tif 000033
から、１〜Ｎ−１回目に算出した各時刻における複数の状態のコスト
【数３２】
2018124982.tif 000034
を評価コストとして格納部１４２に出力する。
【００５０】
なお、モンテカルロシミュレータ部１４１の再帰的に複数の状態を算出する部分は、リカレントニューラルネットワーク１４１ａに該当する。リカレントニューラルネットワーク１４１ａは、例えば第１リカレントニューラルネットワークである。また、Ｎ回は、先読みする時間ステップ数を示す。
【００５１】
格納部１４２は、例えばメモリであり、Ｎ回分の各時刻における複数の状態のコストである評価コスト
【数３３】
2018124982.tif 000035
を一時的に格納し、第２処理部１５に出力する。
【００５２】
≪第２処理部１５≫
第２処理部１５は、初期の操作量系列と複数の状態のコストとに基づき、各時刻における制御対象に対する操作量系列を算出する。第２処理部１５は、算出した各時刻における操作量系列を、出力部４に出力するともに、第２リカレントニューラルネットワークに、初期の操作量系列としてフィードバックする。
【００５３】
本実施の形態では、第２処理部１５は、例えば図５に示すように、コスト積算部１５１と、操作系更新部１５２とを備える。
【００５４】
コスト積算部１５１は、格納部１４２に格納されているＮ回分の各時刻における複数の状態のコストを積算した積算コストを算出する。より具体的には、コスト積算部１５１は、下記の（式１）を用いて、格納部１４２に格納されているＮ回分の各時刻における複数の状態のコストを積算した積算コスト
【数３４】
2018124982.tif 000036
を算出する。
【００５５】
【数３５】
2018124982.tif 000037
【００５６】
操作系更新部１５２は、初期の操作量系列とコスト積算部１５１で積算されたＮ回分の各時刻における複数の状態のコストと第３処理部１６から入力される乱数とから、初期の操作量系列を更新した制御対象５０に対する操作量系列を算出する。より具体的には、操作系更新部１５２は、下記の（式２）を用いて、初期の操作量系列
【数３６】
2018124982.tif 000038
と、コスト積算部１５１で算出された積算された積算コスト
【数３７】
2018124982.tif 000039
と、第３処理部１６から入力される乱数
【数３８】
2018124982.tif 000040
とから、制御対象５０に対する操作量系列
【数３９】
2018124982.tif 000041
を算出する。
【００５７】
【数４０】
2018124982.tif 000042
【００５８】
≪第３処理部１６≫
第３処理部１６は、モンテカルロ法で用いる乱数を発生させる。第３処理部１６は、発生させた乱数を第１処理部１４および第２処理部１５に出力する。
【００５９】
本実施の形態では、第３処理部１６は、図３Ｂに示すように、ノイズ発生部１６１と、格納部１６２とを備える。
【００６０】
ノイズ発生部１６１は、例えば、ガウス雑音を乱数
【数４１】
2018124982.tif 000043
として発生させ、格納部１６２に格納する。
【００６１】
格納部１６２は、例えばメモリであり、乱数
【数４２】
2018124982.tif 000044
を一時的に格納し、第１処理部１４および第２処理部１５に出力する。
【００６２】
［制御装置１の動作］
上述のように構成された制御装置１の動作の一例について以下説明する。
【００６３】
図６は、本実施の形態における制御装置１の処理を示すフローチャートである。制御装置１は、本開示のニューラルネットワークである経路積分制御ニューラルネットワークを備える。当該経路積分制御ニューラルネットワークは、機械学習されたダイナミクスモデルおよびコスト関数を有する。また、当該経路積分制御ニューラルネットワークは、２重のリカレントニューラルネットワークからなる。すなわち、当該経路積分制御ニューラルネットワークは、上述したように、ダイナミクスモデルを持つ第１リカレントニューラルネットワークを内部に有する第２リカレントニューラルネットワークからなる。
【００６４】
まず、制御装置１は、制御対象５０の現在の状態と、制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、本開示のニューラルネットワークである経路積分制御ニューラルネットワークに入力する（Ｓ１１）。
【００６５】
次に、制御装置１は、当該経路積分制御ニューラルネットワークに、機械学習されたダイナミクスモデルおよびコスト関数を用いて、Ｓ１１で入力された現在の状態と初期の操作量系列とから経路積分により、制御対象５０を制御するための操作量系列を算出させる（Ｓ１２）。
【００６６】
そして、制御装置１は、Ｓ１２で当該経路積分制御ニューラルネットワークにより算出された制御対象５０を制御するための操作量系列を出力する（Ｓ１３）。
【００６７】
［学習処理］
本開示では、ニューラルネットワークを用いて最適制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習させるために、最適制御器の一つである経路積分制御器に着目した。経路積分制御器を実現するために定式化された関数は、可微分であることから、合成関数の微分公式である連鎖律が適用できる。また、ディープ・ニューラル・ネットワークは、可微分な関数の巨大な集合体である合成関数であって連鎖律により学習可能な合成関数と解釈できる。そして、可微分という原則を守れば、任意形状のディープ・ニューラル・ネットワークを構成できることがわかった。
【００６８】
以上から、経路積分制御器は、可微分な関数で定式化され、連鎖律が適用できるので、バックプロパゲーションすなわち誤差逆伝播法により全パラメータを学習できるディープ・ニューラル・ネットワークを用いて実現できることを想到した。より具体的には、ディープ・ニューラル・ネットワークの一つであるリカレントニューラルネットワークは、同一の関数を直列に複数回実行すなわち、関数が直列に並んだニューラルネットワークと解釈できる。このことから、経路積分制御器は、リカレントニューラルネットワークで表現できることを想到した。
【００６９】
これにより、ニューラルネットワークを用いて経路積分制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習させることができる。さらに、上述したように、学習したダイナミクスおよびコスト関数等を有するニューラルネットワークを用いることで経路積分制御すなわち経路積分による最適制御が実現できる。
【００７０】
以下、経路積分制御に必要なダイナミクスおよびコスト関数のパラメータの学習処理について説明する。
【００７１】
図７は、本実施の形態における学習処理の概念図の一例を示す図である。ニューラルネットワーク部３ｂは、学習前のダイナミクスモデルおよびコスト関数モデルを有する。これらダイナミクスモデルおよびコスト関数モデルが学習されることで、制御装置１を構成するニューラルネットワーク部３が有するダイナミクスモデルおよびコスト関数モデルに適用することができる。
【００７２】
図７には、ニューラルネットワーク部３ｂに、教師データ５を用いて誤差逆伝播法によりダイナミクスモデルおよびコスト関数モデルを学習させる学習処理を行う場合の例が示されている。なお、教師データがない場合には、強化学習を用いて学習処理を行ってもよい。
【００７３】
図８は、本実施の形態における学習処理Ｓ１０の概要を示すフローチャートである。
【００７４】
学習処理Ｓ１０において、まず、学習用データを準備する（Ｓ１０１）。より具体的には、制御対象５０の現在の状態に対応する予め用意された状態と、制御対象５０に対する初期の操作量系列に対応する予め用意された初期の操作量系列と、予め用意された状態および予め用意された初期の操作量系列とから経路積分により予め算出された、制御対象を制御するための操作量系列とを含む学習用データを準備する。本実施の形態では、状態と操作系列とのセットを含む熟練者の操作履歴を学習用データとして準備する。
【００７５】
次に、コンピュータは、準備した学習用データを教師データとして用いて、ニューラルネットワーク部３ｂの重みを誤差逆伝播法により学習させることにより、ダイナミクスモデルおよびコスト関数モデルを学習させる（Ｓ１０２）。より具体的には、コンピュータは、学習用データを用いて、ニューラルネットワーク部３ｂに、学習用データに含まれる予め用意された状態と予め用意された初期の操作量系列とから経路積分により操作量系列を算出させる。そして、コンピュータは、ニューラルネットワーク部３ｂに経路積分により算出させた操作量系列と、学習用データに含まれる予め用意された操作量系列との差である誤差を、予め用意された評価関数等で評価し、誤差が小さくなるように、ダイナミクスモデルおよびコスト関数モデルのパラメータを更新する。さらに、コンピュータは、学習処理において予め用意された評価関数等で評価される誤差が最小または変動しなくなった状態まで、ダイナミクスモデルおよびコスト関数モデルのパラメータを調整または更新する。
【００７６】
このように、コンピュータは、予め用意された評価関数等で評価し、誤差が小さくなるようにダイナミクスモデルのパラメータの更新を繰り返す誤差逆伝播法により、ニューラルネットワーク部３ｂにダイナミクスモデルおよびコスト関数モデルを学習させる。
【００７７】
本実施の形態では、このように、学習処理Ｓ１０を行うことにより、制御装置１に用いるニューラルネットワーク部３にダイナミクスモデルおよびコスト関数モデルを学習させることができる。
【００７８】
なお、教師データに（状態、操作、次状態）を組としたデータが含まれる場合、ダイナミクスモデルは当該データを用いて独立に教師付き学習させることが可能である。独立に学習させたダイナミクスモデルをニューラルネットワーク部３に組み込み、ダイナミクスモデルのパラメータを固定したうえで、学習処理Ｓ１０を用いてコスト関数モデルのみを学習させることも可能である。ダイナミクスモデルの教師付き学習の方法は既知であるため割愛する。
【００７９】
以下、ニューラルネットワーク部３を本開示のニューラルネットワークである経路積分制御ニューラルネットワークと称して説明する。
【００８０】
［実験による検証］
学習させたダイナミクスおよびコスト関数モデルを有する経路積分制御ニューラルネットワークの有効性について実験により検証したので、その実験結果について説明する。
【００８１】
最適制御の問題として、下向きの単振り子を揺さぶって、逆立ちの状態まで持っていくという単振り子の振り上げ制御がある。本実験では、振り子の振り上げ制御に用いるダイナミクスとコスト関数とを、熟練者による教師データを用いて模倣学習させ、振り子の振り上げ制御をシミュレーションにより行わせることでその有効性を検証した。
【００８２】
＜教師データ＞
本実験では、熟練者は、真のダイナミクスとコスト関数とをもつ最適制御器であるとする。そして、真のダイナミクスは、下記の（式３）で与えられ、コスト関数は、下記の（式４）で与えられるものとする。
【００８３】
【数４３】
2018124982.tif 000045
【数４４】
2018124982.tif 000046
【００８４】
ここで、θは振り子の角度、kはモデルパラメータであり、ｕはトルクすなわち操作入力である。
【００８５】
＜実験結果＞
図９は、本実験における制御シミュレーション結果を示す図である。
【００８６】
本実験では、ダイナミクスおよびコスト関数は１層の隠れ層を有するニューラルネットワークで表現した。そしてダイナミクスを上述した方法により教師データで独立に学習した上で、誤差逆伝播法で所望の出力をするようにコスト関数を学習させた。このような学習処理を行った処理経路積分制御ニューラルネットワークを図９のControllersにおいて「Trained」と表現している。また、ダイナミクスを上記の教師データで独立に学習させ、コスト関数の学習を行わずに（式４）に示される真のコスト関数を与えた経路積分制御ニューラルネットワークを図９のControllersにおいて「Freezed」と表現している。一方、非特許文献２で示されるVIN（Value Iteration Network）を図９のControllersにおいて比較例と表現している。VINは、非特許文献２で示されるように、誤差逆伝播法により状態遷移モデルと報酬モデルとを学習されるニューラルネットワークである。本実験では、状態遷移モデルをダイナミクス、報酬モデルをコスト関数として、上記の教師データを用いてVINに学習させた。
【００８７】
また、図９に示す項目MSE For Dtrainは、教師データに対する誤差を示し、図９に示す項目MSE For Dtestは、評価データに対する誤差すなわち汎化誤差を示す。図９に示す項目Success Rateは、振り上げの成功率を示し、実際に制御をして無事振り上げが成功した場合を成功率１００％として示している。図９に示す項目traj.Cost S(τ)は、累積コストを示し、下向きの単振り子が倒立状態である振り上げ状態になるまでの軌道のコストを示している。図９に示す項目trainable paramsは、パラメータ数を示している。
【００８８】
図９に示すように、「Trained」が最も汎化性能が高いのがわかる。また、「Freezed」が「Trained」と比較して汎化性能が低いのは、第１学習処理で学習したダイナミクスが第２学習処理で最適化されなかったためと考えられる。つまり、「Freezed」では、第１学習処理で学習したダイナミクスの誤差が影響して汎化性能が低くなっていると考えられる。
【００８９】
一方、比較例では、振り上げ制御が成功率が０％であり振り上げが成功していない。つまり、比較例では、学習するパラメータ数が多くなりすぎ、状態爆発が生じていると考えられる。このことから、比較例のニューラルネットワークでは、ダイナミクスとコスト関数との学習を行うのは難しいことがわかる。
【００９０】
次に、図１０Ａ〜図１０Ｃを用いて、本実験における学習結果を説明する。
【００９１】
図１０Ａは、真のコスト関数を示す図であり、上記の（式４）で示されるコスト関数が視覚化されている。図１０Ｂは、学習された経路積分制御ニューラルネットワークのコスト関数を示す図であり、本実験における「Trained」において学習されたコスト関数が視覚化されている。図１０Ｃは、学習された比較例のニューラルネットワークのコスト関数を示す図であり、本実験における比較例において学習されたコスト関数が視覚化されている。
【００９２】
図１０Ａと図１０Ｂとを比較すればわかるように、「Trained」のコスト関数すなわち経路積分制御ニューラルネットワークのコスト関数は、真のコスト関数に近い形状が学習されているのがわかる。
【００９３】
一方、図１０Ｃからわかるように、比較例のコスト関数は形状がない。これは、比較例のニューラルネットワークでは、コスト関数を学習できないことを示している。
【００９４】
以上の実験結果から、本開示のニューラルネットワークである経路積分制御ニューラルネットワークは、コスト関数を真のコスト関数に近い形状で学習できることがわかる。また、学習したコスト関数を用いた当該経路積分制御ニューラルネットワークは、汎化性能が高いことがわかる。
【００９５】
以上から、本開示のニューラルネットワークである経路積分制御ニューラルネットワークは、最適制御に必要なダイナミクスおよびコスト関数を学習することができるだけでなく、汎化性能を獲得し先読みもできることがわかる。
【００９６】
［効果等］
以上のように本開示のニューラルネットワークである２重のリカレントニューラルネットワークからなる経路積分制御ニューラルネットワークを用いることで、経路積分による最適制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習することができる。また、当該経路積分制御ニューラルネットワークは、模倣学習により高い汎化性能を獲得できるので、経路積分制御ニューラルネットワークを用いることで、先読みもできる制御装置等を実現できる。つまり、本実施の形態の制御装置および制御方法によれば、２重のリカレントニューラルネットワークからなるニューラルネットワークに経路積分による最適制御を行わせることができるので、ニューラルネットワークを用いて経路積分による最適制御を行うことができる。
【００９７】
さらに、上述したように、経路積分制御ニューラルネットワークのダイナミクスおよびコスト関数の学習には、誤差逆伝播法など、ニューラルネットワークの学習において既存の学習方法を用いることができる。つまり、本実施の形態の制御装置および制御方法によれば、最適制御に必要なダイナミクスおよびコスト関数といった記述が難しいパラメータを既存の学習方法を用いて簡単に学習するができる。
【００９８】
また、本実施の形態の制御装置および制御方法によれば、可微分な合成関数で表現できる経路積分制御ニューラルネットワークを利用するので、制御対象の状態および操作を連続値で行う連続制御を実現することができる。また、本実施の形態の制御装置および制御方法によれば、可微分な合成関数で表現できる経路積分制御ニューラルネットワークを利用するので、柔軟にコスト関数を表現できる。つまり、コスト関数は、ニューラルネットワークのモデルでも表現できるだけでなく、数式表現でもニューラルネットワークを用いて学習させることができる。
【００９９】
（変形例１）
上記の実施の形態では、ニューラルネットワーク部３０は、算出部１３のみを有し、算出部１３が算出する操作量系列を出力するとして説明したが、これに限らない。算出部１３が算出する操作量系列を平均化して出力するとしてもよい。以下、この場合を変形例１として、実施の形態と異なるところを中心に説明する。
【０１００】
［ニューラルネットワーク部３０］
図１１は、変形例１におけるニューラルネットワーク部３０の構成の一例を示すブロック図である。図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１０１】
図１１に示すニューラルネットワーク部３０は、図２に示すニューラルネットワーク部３に対して、乗算器３１と、加算器３２と、遅延部３３とをさらに備える点で構成が異なる。
【０１０２】
＜乗算器３１＞
乗算器３１は、算出部１３が算出する操作量系列に重みを乗算して、加算器３２に出力する。より具体的には、乗算器３１は、算出部１３が操作量系列を更新する都度重みｗｉを乗算して、加算器３２に出力する。なお、算出部１３は、上述するようにＵ回再帰的に操作量系列を更新することで、制御対象を制御するための操作量系列
【数４５】
2018124982.tif 000047
を算出する。そして、算出部１３がより後に更新された操作量系列ほどばらつきの少ない操作量系列であることから、重みｗｉは、下記の（式５）を満たし、かつ、算出部１３の更新回数が大きいほど大きくなるように決定される。
【０１０３】
【数４６】
2018124982.tif 000048
【０１０４】
＜加算器３２＞
加算器３２は、乗算器３１が出力する重みが乗算された操作量系列と、これ以前に乗算器３１が出力した重みが乗算された操作量系列が加算されたものとを、加算して出力する。より具体的には、加算器３２は、乗算器３１が出力する重みが乗算されたすべての操作量系列を加算することにより、算出部１３が出力したすべての操作量系列を重み付けて平均化した平均操作量系列
【数４７】
2018124982.tif 000049
を、ニューラルネットワーク部３０の出力として出力する。
【０１０５】
＜遅延部３３＞
遅延部３３は、加算器３２の加算結果を一定時間遅延させて、更新するタイミングで、加算器３２に提供する。このようにして、遅延部３３は、加算器３２に、乗算器３１が出力する重みが乗算されたすべての操作量系列を積算することで加算器３２に算出部１３が出力したすべての操作量系列を重み付けて平均化させることができる。
【０１０６】
なお、本変形例の制御装置のその他の構成および動作は、上記の実施の形態の制御装置１のその他の構成および動作で説明した通りである。
【０１０７】
［効果等］
本変形例における制御装置によれば、算出部１３により更新された操作量系列をそのまま出力しないで、後に更新された操作量系列ほど大きい重みが乗算された操作量系列を積算して出力する。これにより、更新回数が大きいほど、ばらつきの少ない操作量系列となるので、それを活かすことができる。換言すると、リカレントニューラルネットワークを誤差逆伝播法で学習することで勾配が薄まってしまう場合があっても、後に更新された操作量系列ほど大きく重み付けて平均化を取ることで解決することができる。
【０１０８】
（他の実施態様の可能性）
以上、実施の形態において本開示の制御装置および制御方法について説明したが、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
【０１０９】
また、本開示は、さらに、以下のような場合も含まれる。
【０１１０】
（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１１１】
（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１１２】
（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１１３】
（４）また、本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１１４】
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１１５】
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１１６】
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１１７】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０１１８】
本開示は、最適制御を行う制御装置および制御方法に利用できる。本開示は、特にダイナミクスおよびコスト関数など記述が難しいパラメータをディープ・ニューラル・ネットワークを用いて学習させ、学習させたダイナミクスおよびコスト関数を用いてディープ・ニューラル・ネットワークに最適制御を行わせる制御装置および制御方法に利用できる。
【符号の説明】
【０１１９】
１  制御装置
２  入力部
３、３ｂ、３０  ニューラルネットワーク部
４  出力部
５  教師データ
１３  算出部
１３ａ、１４１ａ  リカレントニューラルネットワーク
１４  第１処理部
１５  第２処理部
１６  第３処理部
１７、１４２、１６２  格納部
３１  乗算器
３２  加算器
３３  遅延部
５０  制御対象
１４１  モンテカルロシミュレータ部
１５１  コスト積算部
１５２  操作系更新部
１６１  ノイズ発生部
１４１１  ダイナミクスモデル
１４１３  コスト関数モデル
【図１】
2018124982.tif 000050
【図２】
2018124982.tif 000051
【図３Ａ】
2018124982.tif 000052
【図３Ｂ】
2018124982.tif 000053
【図４】
2018124982.tif 000054
【図５】
2018124982.tif 000055
【図６】
2018124982.tif 000056
【図７】
2018124982.tif 000057
【図８】
2018124982.tif 000058
【図９】
2018124982.tif 000059
【図１０Ａ】
2018124982.tif 000060
【図１０Ｂ】
2018124982.tif 000061
【図１０Ｃ】
2018124982.tif 000062
【図１１】
2018124982.tif 000063