(57)【要約】【課題】  計算量を減少させて、実タスクへ適用可能な自然方策勾配法のアルゴリズムを利用した制御器を提供する。【解決手段】  制御信号を制御対象に与える処理を行って、制御対象の状態量を観測器（たとえば、位置センサ、角度センサ、加速度センサ、角加速度センサなど）で観測し、この観測結果によりＴＤ誤差を求め、ＴＤ誤差近似器を更新して、方策を更新する。そして、更新された方策により、さらに、制御対象が制御される。【選択図】        図３
2007065929.tif 000002
【特許請求の範囲】
【請求項１】
対象とするシステムの時間発展がマルコフ過程として記述される際に、前記システムの状態に対する制御則である方策を前記システムの状態量の観測によりＴＤ誤差を利用して学習する制御器であって、
前記方策に基づいて、前記システムを制御するための制御信号を生成する制御信号生成手段と、
前記システムの前記状態量を観測する状態量検知手段と、
前記状態と前記制御信号に依存する予め定められた報酬値を獲得する報酬値獲得手段と、
前記状態に依存する状態価値関数と前記ＴＤ誤差の近似器との適格度トレースをとる適格度トレース手段と、
観測された状態量および獲得された前記報酬値と前記状態価値関数により前記ＴＤ誤差を算出し、前記状態価値関数の適格度トレースに基づいて前記状態価値関数を更新する状態価値関数更新手段と、
前記報酬値と前記状態価値関数と前記ＴＤ誤差の近似器の適格度トレースとに基づいて、前記ＴＤ誤差を状態行動空間で捉えた前記近似器を更新するＴＤ誤差近似器更新手段と、
前記近似器のパラメータに対して忘却処理を行なうための忘却処理手段と、
前記ＴＤ誤差の近似器のパラメータに基づいて獲得される、前記方策の自然勾配により、前記方策を更新する方策更新手段とを備える、制御器。
【請求項２】
前記方策は、方策パラメータにより表現され、
前記近似器は、前記方策の自然対数を前記方策パラメータにより微分して得られる基底関数を、近似器パラメータで結合した線形近似器であり、
前記方策の自然勾配は、前記近似器パラメータに相当する、請求項１記載の制御器。
【請求項３】
対象とするシステムの時間発展がマルコフ過程として記述される際に、前記システムの状態に対する制御則である方策を前記システムの状態量の観測によりＴＤ誤差を利用して学習する制御方法であって、
前記方策に基づいて、前記システムを制御するための制御信号を生成する信号生成ステップと、
前記システムの前記状態量を観測する状態量検知ステップと、
前記状態と前記制御信号に依存する予め定められた報酬値を獲得する報酬値獲得ステップと、
前記状態に依存する状態価値関数と前記ＴＤ誤差の近似器との適格度トレースをとる適格度トレースステップと、
観測された状態量および獲得された前記報酬値と前記状態価値関数により前記ＴＤ誤差を算出し、前記状態価値関数の適格度トレースに基づいて前記状態価値関数を更新する状態価値関数更新ステップと、
前記報酬値と前記状態価値関数と前記ＴＤ誤差の近似器の適格度トレースとに基づいて、前記ＴＤ誤差を状態行動空間で捉えた前記近似器を更新するＴＤ誤差近似器更新ステップと、
前記近似器のパラメータに対して忘却処理を行なうための忘却処理ステップと、
前記ＴＤ誤差近似器のパラメータに基づいて獲得される、前記方策の自然勾配により、前記方策を更新する方策更新ステップとを備える、制御方法。
【請求項４】
対象とするシステムの時間発展がマルコフ過程として記述される際に、前記システムの状態に対する制御則である方策を前記システムの状態量の観測によりＴＤ誤差を利用して学習する制御方法をコンピュータに実行させるためのプログラムであって、
前記方策に基づいて、前記システムを制御するための制御信号を生成する信号生成ステップと、
前記システムの前記状態量を観測する状態量検知ステップと、
前記状態と前記制御信号に依存する予め定められた報酬値を獲得する報酬値獲得ステップと、
前記状態に依存する状態価値関数と前記ＴＤ誤差の近似器との適格度トレースをとる適格度トレースステップと、
観測された状態量および獲得された前記報酬値と前記状態価値関数により前記ＴＤ誤差を算出し、前記状態価値関数の適格度トレースに基づいて前記状態価値関数を更新する状態価値関数更新ステップと、
前記報酬値と前記状態価値関数と前記ＴＤ誤差の近似器の適格度トレースとに基づいて、前記ＴＤ誤差を状態行動空間で捉えた前記近似器を更新するＴＤ誤差近似器更新ステップと、
前記近似器のパラメータに対して忘却処理を行なうための忘却処理ステップと、
前記ＴＤ誤差近似器のパラメータに基づいて獲得される、前記方策の自然勾配により、前記方策を更新する方策更新ステップとを含む、
制御方法をコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然方策勾配法により制御対象を制御する制御器、制御方法および制御プログラムの構成に関する。
【背景技術】
【０００２】
「マルコフ決定過程」として定式化される制御問題は、ロボット、プラント、移動機械（電車、自動車）などの自律的制御問題として、幅広い応用を持つ重要な技術である。
【０００３】
マルコフ決定過程に対する最適制御に関する従来技術として、いわゆる「強化学習」がある。
【０００４】
「強化学習」とは、エージェントが環境と相互作用を通じて試行錯誤し、得られる累積報酬量を最大化するような「方策」と呼ばれる行動則、すなわち、制御問題に用いる場合には、「制御規則」を学習する理論的な枠組みである。この学習法は、環境やエージェント自身に関する先験的な知識をほとんど必要としない点で様々な分野から注目を集めている。
【０００５】
強化学習は大まかに２つに分類できる。価値関数を用いて間接的に方策を表現し、価値関数を更新することで方策も更新される「価値関数更新法」と、方策を明示的にもち目的関数の勾配に従って方策を更新する「直接方策更新法（方策勾配法）」である。
【０００６】
方策勾配法は、行動のランダム性を制御するパラメータも方策パラメータに含めることで確率的方策の獲得が可能であり、また連続系への適用性も高いため、特に注目を集めている。しかし一般に実タスクへ適用すると、適切な行動則を獲得するまでの時間が非現実となることがある。そこで、複数学習器の同時利用（たとえば、非特許文献１を参照）、モデルの利用（たとえば、非特許文献２を参照）、教示信号の利用（たとえば、非特許文献３を参照）等の補助機構を入れて学習時間を短縮させる研究が活発に行われ、成果も著しい。
【０００７】
しかしながら、上述のように、学習システムに何らかの機構を付加することは、煩雑性を増し、タスクについての事前知識を必要とすることも多く、学習が早くなっても設計者への負担が増えてしまう。
【０００８】
したがって、より根源的な解決法として学習アルゴリズム自体を改良することが望まれる。
【０００９】
学習時間を膨大なものしている原因としては、タスクが複雑になれば学習は困難になるが、それ以外にも、目的関数に対する方策パラメータ間の依存性の相関を無視していることが挙げられる。
【００１０】
つまりパラメータがユークリッド空間ではなくリーマン空間にあるために最急勾配方向を計算できず、学習が停滞してしまう問題である。この解決法として自然勾配法が知られており、他の学習分野では研究された例はあるものの、強化学習についてはあまり研究が進んでいない。
【００１１】
たとえば、報告されている強化学習における自然勾配の実装手法（一般に自然方策勾配法と呼ばれる。たとえば、非特許文献４を参照）は大量のサンプル数や逆行列の計算が必要なため、実タスクへの適用は困難である。
【非特許文献１】E. Uchibe and K. Doya: “Competitive-cooperative-concurrent reinforcement learning with importance sampling”, The 8th International Conference on the Simulation of Adaptive Behavior, pp. 287-296 (2004).
【非特許文献２】D. Bagnell, S. Kakade, A. Ng and J. Schneider: “Policy search by dynamic programming”, Proceedings of Neural Information Processing Systems (2004).
【非特許文献３】M. T. Ronsenstein and A. G. Barto: “Supervised actor-critic reinforcement learning”, pp. 359-380, John Wiley & Sons, Inc. (2004).
【発明の開示】
【発明が解決しようとする課題】
【００１２】
したがって、本発明は、上記のような問題点を解決するためになされたものであって、その目的は、計算量を減少させて、実タスクへ適用可能な自然方策勾配法のアルゴリズムを利用した制御器、制御方法または制御プログラムを提供することである。
【課題を解決するための手段】
【００１３】
このような目的を達成するために、本発明の制御器は、対象とするシステムの時間発展がマルコフ過程として記述される際に、システムの状態に対する制御則である方策をシステムの状態量の観測によりＴＤ誤差を利用して学習する制御器であって、方策に基づいて、システムを制御するための制御信号を生成する制御信号生成手段と、システムの状態量を観測する状態量検知手段と、状態と制御信号に依存する予め定められた報酬を獲得する報酬獲得手段と、状態に依存する状態価値関数とＴＤ誤差の近似器との適格度トレースをとる適格度トレース手段と、観測された状態量および獲得された報酬と状態価値関数によりＴＤ誤差を算出し、状態価値関数の適格度トレースに基づいて状態価値関数を更新する状態価値関数更新手段と、報酬と状態価値関数とＴＤ誤差の近似器の適格度トレースとに基づいて、ＴＤ誤差を状態行動空間で捉えた近似器を更新するＴＤ誤差近似器更新手段と、近似器のパラメータに対して忘却処理を行なうための忘却処理手段と、ＴＤ誤差近似器の更新量に基づいて獲得される、方策の自然勾配により、方策を更新する方策更新手段とを備える。
【００１４】
好ましくは、方策は、方策パラメータにより表現され、近似器は、方策の自然対数を方策パラメータにより微分して得られる基底関数を、近似器パラメータで結合した線形近似器であり、方策の自然勾配は、近似器パラメータに相当する。
【００１５】
この発明の他の局面に従うと、対象とするシステムの時間発展がマルコフ過程として記述される際に、システムの状態に対する制御則である方策をシステムの状態量の観測によりＴＤ誤差を利用して学習する制御方法であって、方策に基づいて、システムを制御するための制御信号を生成する信号生成ステップと、システムの状態量を観測する状態量検知ステップと、状態と制御信号に依存する予め定められた報酬を獲得する報酬獲得ステップと、状態に依存する状態価値関数とＴＤ誤差の近似器との適格度トレースをとる適格度トレースステップと、観測された状態量および獲得された報酬と状態価値関数によりＴＤ誤差を算出し、状態価値関数の適格度トレースに基づいて状態価値関数を更新する状態価値関数更新ステップと、報酬と状態価値関数とＴＤ誤差の近似器の適格度トレースとに基づいて、ＴＤ誤差を状態行動空間で捉えた近似器を更新するＴＤ誤差近似器更新ステップと、近似器のパラメータに対して忘却処理を行なうための忘却処理ステップと、ＴＤ誤差近似器の更新量に基づいて獲得される、方策の自然勾配により、方策を更新する方策更新ステップとを備える。
【００１６】
この発明のさらに他の局面に従うと、対象とするシステムの時間発展がマルコフ過程として記述される際に、システムの状態に対する制御則である方策をシステムの状態量の観測によりＴＤ誤差を利用して学習する制御方法をコンピュータに実行させるためのプログラムであって、方策に基づいて、システムを制御するための制御信号を生成する信号生成ステップと、システムの状態量を観測する状態量検知ステップと、状態と制御信号に依存する予め定められた報酬を獲得する報酬獲得ステップと、状態に依存する状態価値関数とＴＤ誤差の近似器との適格度トレースをとる適格度トレースステップと、観測された状態量および獲得された報酬と状態価値関数によりＴＤ誤差を算出し、状態価値関数の適格度トレースに基づいて状態価値関数を更新する状態価値関数更新ステップと、報酬と状態価値関数とＴＤ誤差の近似器の適格度トレースとに基づいて、ＴＤ誤差を状態行動空間で捉えた近似器を更新するＴＤ誤差近似器更新ステップと、近似器のパラメータに対して忘却処理を行なうための忘却処理ステップと、ＴＤ誤差近似器の更新量に基づいて獲得される、方策の自然勾配により、方策を更新する方策更新ステップとを含む、制御方法をコンピュータに実行させる。
【発明を実施するための最良の形態】
【００１７】
（１．本発明の概要）
実タスクへ適用可能な自然方策勾配法のアルゴリズムの開発のために解決すべき問題として、次の２点が考えられる。
【００１８】
１つは、目的関数が平均報酬に限られることによる学習の遅延である。つまり、自然方策勾配法は従来の方策勾配を基盤とするが、近年の方策勾配に関する重大な理論的進展では、偏りのない平均報酬の勾配を定めるには平均報酬に基づいた状態行動価値関数を求める必要があった。しかし平均報酬は全空間を探索して初めて求まるので、一般に学習時間が増大してしまう問題である。
【００１９】
もう１つは、自然勾配の計算方法である。
これは、従来法では勾配を計算する度に逆行列演算が必要なため、計算コストと逆行列を存在するようサンプルを収集する必要がある問題である。
【００２０】
本発明では、上記の問題を対処した自然方策勾配法として「ＴＤ誤差を利用した自然方策勾配法（Natural policy gradient utilizing Temporal Differences:以下、ＮＴＤと呼ぶ）」を提案する。１つ目の問題に対しては、割引報酬を用いて方策勾配を求めることが要求されるので、割引報酬に関する方策勾配を理論的に議論し、ある条件のもと平均報酬と同様に勾配が求まる定理を示す。２つ目の問題に対しては、状態価値関数のＴＤ誤差を状態空間ではなく状態行動空間で定義することで、教師あり学習をすれば逆行列演算なしで、自然勾配に必要な方策勾配が求まることに関する定理を示す。そして、この２つの定理のもとＮＴＤを定式化する。
【００２１】
以下、図面を参照して本発明の実施の形態について説明する。
以下の説明で明らかとなるとおり、本発明は、ロボット、プラント、移動機械（電車、自動車）などの制御問題として、幅広い応用を持つ。
【００２２】
ただし、以下では、本発明の具体的な適用例として、特に簡単なロボットの自動制御問題を対象として説明を行う。しかしながら、本発明は、このような応用に限定されるものではなく、より一般的に、対象システムの時間発展が複雑な場合の対象システムの制御に適用することができる。そのようなものの例としては、巨大プラント（溶鉱炉、原子力プラント）、マルチリンクロボット（ヒューマノイドロボット）、ノンホロノームシステム（宇宙ステーション）、地下鉄ホームでの人の流れなどがある。これらは、いずれも古典的制御法での制御が困難であり、かつ重要な制御対象である。
【００２３】
（１．本発明のシステム構成）
図１は、本発明の制御方法および制御プログラムが適用される制御器を用いたシステム１０００の一例を示す概念図である。
【００２４】
図１を参照して、システム１０００は、制御対象となる被制御装置２００と、この被制御装置２００に対して制御信号を与えるためのコンピュータ１００とを備える。
【００２５】
図１を参照してこのコンピュータ１００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）上の情報を読込むためのＣＤ−ＲＯＭドライブ１０８およびフレキシブルディスク（Flexible Disk、以下ＦＤ）１１６に情報を読み書きするためのＦＤドライブ１０６を備えたコンピュータ本体１０２と、コンピュータ本体１０２に接続された表示装置としてのディスプレイ１０４と、同じくコンピュータ本体１０２に接続された入力装置としてのキーボード１１０およびマウス１１２とを含む。
【００２６】
図２は、このコンピュータ１００の構成をブロック図形式で示す図である。
図２に示されるように、このコンピュータ１００を構成するコンピュータ本体１０２は、ＣＤ−ＲＯＭドライブ１０８およびＦＤドライブ１０６に加えて、それぞれバスＢＳに接続されたＣＰＵ（Central Processing Unit ）１２０と、ＲＯＭ（Read Only Memory) およびＲＡＭ （Random Access Memory）を含むメモリ１２２と、直接アクセスメモリ装置、たとえば、ハードディスク１２４と、被制御装置２００とデータの授受を行うための通信インタフェース１２８とを含んでいる。ＣＤ−ＲＯＭドライブ１０８にはＣＤ−ＲＯＭ１１８が装着される。ＦＤドライブ１０６にはＦＤ１１６が装着される。
【００２７】
被制御装置２００からは、コンピュータ１００に対して被制御装置２００の状態を示すパラメータ（状態量）の情報、たとえば、被制御装置２００の可動部分の位置、速度、加速度、角度、角速度等の情報が与えられる。一方、コンピュータ１００からは、被制御装置２００に対して、これら状態量を制御するための制御情報が制御信号として与えられる。
【００２８】
なお、ＣＤ−ＲＯＭ１１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）やメモリカードなどでもよく、その場合は、コンピュータ本体１０２には、これらの媒体を読取ることが可能なドライブ装置が設けられる。
【００２９】
本発明の制御器の主要部は、コンピュータハードウェアと、ＣＰＵ１２０により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ１１８、ＦＤ１１６等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ１０８またはＦＤドライブ１０６等により記憶媒体から読取られてハードディスク１２４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１２４にコピーされる。そうしてさらにハードディスク１２４からメモリ１２２中のＲＡＭに読出されてＣＰＵ１２０により実行される。なお、ネットワーク接続されている場合には、ハードディスク１２４に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。
【００３０】
図１および図２に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ１１６、ＣＤ−ＲＯＭ１１８、ハードディスク１２４等の記憶媒体に記憶されたソフトウェアである。
【００３１】
なお、一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該ネットワークパラメータ学習装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめてネットワークパラメータ学習装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００３２】
［制御方法の一般的説明］
以下、本発明の構成について、その理論的な構成をまず説明する。
【００３３】
（制御器の構成）
（２．ＮＴＤの理論）
２．１  準備：割引報酬の場合の方策勾配
以下では、マルコフ決定過程について考えることにし、制御対象（制御器の環境）は状態遷移確率（時刻ｔにおいて、状態ｘtであるときに行動（制御）ｕtを実行することで状態がｘt+1となる確率）と報酬関数ｒt+1＝ｒ（ｘt，ｕt）（なお、ｒt+1＝ｒ（ｘt＋１，ｘt，ｕt）の場合にも同様に議論できる）によって特徴づけられるものとする。なお、この報酬関数については、制御対象の制御目標に応じて予め定められているものとする。
【００３４】
状態入力ｘ∈Ｘから行動出力ｕ∈Ｕへの写像を方策と呼び、以下のように確率的に表現する。
【００３５】
【数１】
2007065929.tif 000003
【００３６】
ここで、θは方策のパラメータで、方策を規定する。以下ではパラメータθを意識する必要がない場合、表記の煩雑さを避けるため添字θを省略する。あらゆる方策πに関して、初期状態ｘ0∈Ｘに依存せず、以下のような定常分布が存在すると仮定する。
【００３７】
【数２】
2007065929.tif 000004
【００３８】
つまり、すべての状態が１つの同値類に属するというエルゴート性を仮定している。報酬ｒは状態行動の組（ｘ，ｕ）からの写像で定まり、試行ごとに生じるとする。この時、以下の式（１）の目的関数の最大化として方策勾配法を考える。
【００３９】
【数３】
2007065929.tif 000005
【００４０】
ここで、＜…＞は期待値を表す。
すなわち、各試行で得られる報酬の平均値を最大にする方策の獲得を目的とする。
【００４１】
ここで、状態価値関数を以下のように表現する。
【００４２】
【数４】
2007065929.tif 000006
【００４３】
さらに、状態行動価値関数を以下のように表現する。
【００４４】
【数５】
2007065929.tif 000007
【００４５】
このとき、方策πに従い行動した際、割引率γのもと得られる割引累積報酬に関して、状態価値関数と状態行動価値関数を次のように定義する。
【００４６】
【数６】
2007065929.tif 000008
【００４７】
したがって、「方策勾配」と呼ばれる方策パラメータθにおける目的関数の勾配は、以下のように表現される。
【００４８】
【数７】
2007065929.tif 000009
【００４９】
ここで、この方策勾配を、平均報酬を用いずに定める定理を次に示す。
［定理１］
十分条件１のもと方策勾配は以下の式（２）で定まる。
【００５０】
【数８】
2007065929.tif 000010
【００５１】
ここで、ｂ（ｘ）は状態に関する任意の関数であり、ベースライン関数と呼ばれる。
［十分条件１］
十分に小さい定数ε に対して、以下の式が成立する。
【００５２】
【数９】
2007065929.tif 000011
【００５３】
なお、定理１の証明については、後に説明する。
（割引率γの方策勾配への影響）
次に、割引率γが方策勾配へ与える影響について検討しておく。
【００５４】
累積報酬に割引がない極限γ→１の場合、十分条件１の分子は分母に対して、（１―γ）の項を持つためにε→０となる。よって、定理１の式（２）の等号は成立し、平均報酬を用いて求まる方策勾配と同様になる。つまり割引率γ∈[０，１)が大きい程、式（２）は偏りの小さい真に近い方策勾配方向を表している。一方この時、価値関数は遠い未来まで考慮した値になるので学習に時間かかり、またその値も大きくなるので、方策勾配の推定値に関する分散は大きくなる。逆にγを小さくすれば、偏りは大きくなるが分散は小さくなる。
【００５５】
以上より、割引率γは方策勾配推定値の偏りと分散とのトレードオフを制御するパラメータになることがわかる。
【００５６】
類似した内容は、文献１：J. Baxter and P. Bartlett: “Direct gradient-based reinforcement learning:”, Technical report, Australian National University, Research School of Information Sciences and Engineering(1999)でも報告されているが、本発明では、報酬が選択した行動にも依存する場合に関してより正確に考慮していることになる。
【００５７】
（２．２  状態価値関数のＴＤ誤差からの関数近似器の構築）
以下では、状態価値関数のＴＤ誤差を近似するための線形関数近似器を考える。まず、基底関数は、状態行動対と方策のパラメータから以下の式（３）のように規定される。
【００５８】
【数１０】
2007065929.tif 000012
【００５９】
このとき、この基底関数をもつ線形関数近似器が以下のように表されるものとする。
【００６０】
【数１１】
2007065929.tif 000013
【００６１】
上記線形関数近似器について、任意の関数Ｏ（ｘ，ｕ）に関し、以下の式（４）のような自乗誤差を考える。
【００６２】
【数１２】
2007065929.tif 000014
【００６３】
ここで、以下の関係が成り立つ。
【００６４】
【数１３】
2007065929.tif 000015
【００６５】
ここで、さらに、以下のことがいえる。
【００６６】
【数１４】
2007065929.tif 000016
【００６７】
したがって、以下のことが成り立つ。
【００６８】
【数１５】
2007065929.tif 000017
【００６９】
これより方策勾配を定めるのに必要最低限な近似器の基底関数が規定されるため、一般に真の価値関数を学習するより低次元化した問題となり都合が良い。
【００７０】
ただし、理論的に任意の関数ｂ（ｘ）は何であっても方策勾配に対して偏りは生じないのだが、以下の式（６）の制約がある。
【００７１】
【数１６】
2007065929.tif 000018
【００７２】
このため、文献２：R. S. Sutton, D. McAllester, S. Singh and Y. Mansour:“Policy gradient methods for reinforcement learning with function approximation”, Advances in Neural Information Processing Systems, Vol. 12, MIT Press (2000)では、目的関数が、以下の条件を満たせば、関数近似器の学習途中における方策勾配の分散が小さなることが指摘されている。
【００７３】
【数１７】
2007065929.tif 000019
【００７４】
つまり、言い換えると、以下のことがいえる。
【００７５】
【数１８】
2007065929.tif 000020
【００７６】
ここで、アドバンテージ関数とは、状態ｘにおいて今後期待される累積報酬に対して、行動ｕを選択した際の相対的な価値関数である。しかし、アドバンテージ関数は従来のＴＤ法では学習できず、最小二乗法等を用いた幾つかの学習法は報告されているが、必ずしも簡単には求まらない。
【００７７】
そこで、本発明では、以下に説明するとおり、状態行動空間で定義された状態価値関数のＴＤ誤差を用いて、アドバンテージ関数を目的関数とする以下の線形関数近似器を従来よりも容易に構築する定理を示す。
【００７８】
【数１９】
2007065929.tif 000021
【００７９】
その前に、ＴＤ誤差δとは状態価値関数と即時報酬からBellman方程式より、以下の式（７）により定義される。
【００８０】
【数２０】
2007065929.tif 000022
【００８１】
従来は、このＴＤ誤差は、状態価値関数を更新する用途だけで試行ごとに使い捨てされる値であったが、本発明では、これを関数近似器の構築にも活用する。
【００８２】
このとき、以下の［定理２］が成り立つ。
【００８３】
【数２１】
2007065929.tif 000023
【００８４】
なお、定理２の証明についても、後で説明する。
（２．３  ＮＴＤアルゴリズムの導出）
自然勾配法はパラメータ空間をリーマン空間としてみた場合に、最適な方向へパラメータを動かす勾配法である。リーマン空間における関数Ｒ（θ）の最急勾配方向は、以下の式で与えられる。
【００８５】
【数２２】
2007065929.tif 000024
【００８６】
ここで、上記式中のノーテーションは以下のとおりである。
【００８７】
【数２３】
2007065929.tif 000025
【００８８】
強化学習におけるフィッシャー情報行列は、方策パラメータθの確率分布π（下付添え字θ）の場合、ＫＬダイバージェンスの２次のテイラー展開から以下のように表される。
【００８９】
【数２４】
2007065929.tif 000026
【００９０】
このとき、文献３：S. Kakade: “A natural policy gradient”, Advances in Neural Information Processing Systems, Vol. 14, MIT Press (2002)によれば、以下のことがいえる。
【００９１】
【数２５】
2007065929.tif 000027
【００９２】
さらに、文献４：J. Peters, S. Vijayakumar and S. Schaal: “Reinforcement learning for humanoid robotics”, Third IEEE-RAS International Conference on Humanoid Robots (2003).によれば、以下のことが成り立つ。
【００９３】
【数２６】
2007065929.tif 000028
【００９４】
すなわち、以下の関係が成り立つ。
【００９５】
【数２７】
2007065929.tif 000029
【００９６】
以上により、定理１および定理２を用いると、割引報酬のもとでの自然方策勾配は次のように求まる。
【００９７】
【数２８】
2007065929.tif 000030
【００９８】
よって、結論としては、以下の基底関数と線形関数近似器で状態価値関数のＴＤ誤差を近似した際の重みは、方策パラメータθにおける平均報酬Ｒ(θ)の自然勾配になる。
【００９９】
【数２９】
2007065929.tif 000031
【０１００】
（２．４  ＮＴＤアルゴリズムの実装）
ＮＴＤアルゴリズムの実装にあたっては、ＴＤ誤差の関数近似器（時間差分近似器：以下、ＴＤ近似器）を学習するにあたって、いかにして状態価値関数を構築するかが問題となる。
【０１０１】
このとき、以下の定理３が成り立つ。
【０１０２】
【数３０】
2007065929.tif 000032
【０１０３】
定理３の証明は以下の通りである。
【０１０４】
【数３１】
2007065929.tif 000033
【０１０５】
ここで、式（９）は、割引価値関数の定義、式（６）および価値は各時間ステップで独立であるというＴＤ近似器の性質により導かれる。ここで、状態行動価値関数は、方策が静的で定常状態に収束するのであれば、現在の方策にのみ依存する。定理１より、式（９）の状態価値関数の推定値は、式（２）のベースライン関数と見なされるので、更新されたパラメータωは偏りを持たない。
【０１０６】
したがって、ＴＤ近似器のパラメータωは、ＴＤ近似器の適格度減衰率が割引率に等しいという条件では、偏りのない自然勾配を表すことになるので、ＮＴＤアルゴリズムは、たとえば、文献３に記載されている「自然方策勾配法」と同等の適性を有していることになる。
【０１０７】
すなわち、方策は、単に、よりよい行動に向かうだけでなく、最良の行動に向かうことになる。これは、方策パラメータ間の相関の影響を受けることがないためである。
【０１０８】
もっとも、式（８）において、期待値は０となるとしても、無視した項の分散が大きくなるので、ＴＤ近似器の適格度減衰率が割引率に近づくとＴＤ近似器の期待値の分散も大きくなる。一方で、適格度減衰率が０であれば、パラメータωは、近似された価値関数の方向に更新される。したがって、適格度減衰率の値が０と割引率の間の値をとる適格度トレースは、このような両極端な場合の中間の状態となる。
【０１０９】
ＮＴＤアルゴリズムにおいては、各試行ごとＴＤ誤差近似器の重みωを忘却させる係数βを導入し、ωを試行ごとに以下のように更新する。
【０１１０】
【数３２】
2007065929.tif 000034
【０１１１】
これにより、あまり経験できないような状態行動対のＴＤ誤差推定値は０に減衰するので、学習の不全により推定値の分散が大きくなることで生じる方策への悪影響を抑えられる。忘却率β＝０の時、単に強化信号に状態価値関数のＴＤ誤差を用いる方策勾配法と一致する。つまり、忘却係数βは自然方策勾配と通常の方策勾配のバランスを制御するパラメータとなる。
【０１１２】
図３は、本発明の制御器の構成の概念図である。
本発明の制御器は、行動、すなわち、制御信号を制御対象に与える処理を行って、制御対象の状態量を観測器（たとえば、位置センサ、角度センサ、加速度センサ、角加速度センサなど）で観測し、この観測結果によりＴＤ誤差を求め、求められたＴＤ誤差を状態行動空間で捉えて、ＴＤ誤差近似器の線形結合重み（自然方策勾配）を更新し、これにより方策を更新する。そして、更新された方策により、さらに、制御対象が制御される。一方、更新された方策の自然対数の方策パラメータによる微分により、ＴＤ誤差近似器の基底が与えられる。
【０１１３】
（ＮＴＤアルゴリズム）
図４および図５は、ＮＴＤアルゴリズムを示すフローチャートである。
【０１１４】
まず、図４を参照して、以下の各パラメータの初期化が行われる（Ｓ１００）。
【０１１５】
【数３３】
2007065929.tif 000035
【０１１６】
続いて、制御対象に応じて、事前に得られている値に、以下に示すメタパラメータである学習率、割引率、適格度減衰率を設定する（Ｓ１０２）。
【０１１７】
【数３４】
2007065929.tif 000036
【０１１８】
なお、状態価値関数の基底とＴＤ誤差近似器の基底は、以下のとおりである。
【０１１９】
【数３５】
2007065929.tif 000037
【０１２０】
次に、以下のような初期状態ｘ0の観測を行う（Ｓ１０４）。
【０１２１】
【数３６】
2007065929.tif 000038
【０１２２】
時間ステップｔを０に初期化する（Ｓ１０６）。
（行動ステップ）
以下のように行動（制御処理）ｕtを決定し、実行する（Ｓ１０８）。
【０１２３】
【数３７】
2007065929.tif 000039
【０１２４】
さらに、以下のように状態と報酬を観測する（Ｓ１１０）。
【０１２５】
【数３８】
2007065929.tif 000040
【０１２６】
（クリティック評価ステップ）
つぎに、クリティック適格度を以下のように更新する（Ｓ１１２）。
【０１２７】
【数３９】
2007065929.tif 000041
【０１２８】
ＴＤ誤差を以下のとおり算出する。
【０１２９】
【数４０】
2007065929.tif 000042
【０１３０】
さらに、ＴＤ誤差により、以下のように状態価値関数のパラメータを更新する（Ｓ１１４）。
【０１３１】
【数４１】
2007065929.tif 000043
【０１３２】
続いて、ＴＤ誤差近似器のパラメータを以下のとおり更新する（Ｓ１１８）。
【０１３３】
【数４２】
2007065929.tif 000044
【０１３４】
（方策更新）
ステップＳ１１８で得られたパラメータにより、以下のように方策パラメータを更新する（Ｓ１２０）。
【０１３５】
【数４３】
2007065929.tif 000045
【０１３６】
以下の式に従い、ＴＤ誤差近似器の忘却処理を行う（Ｓ１２２）。
【０１３７】
【数４４】
2007065929.tif 000046
【０１３８】
制御処理を終了する条件（たとえば、所定時間の経過など）が満足されていなければ（Ｓ１２４）、時間ステップｔをインクリメントして（Ｓ１２６）、処理は、ステップＳ１０８に復帰する。
【０１３９】
上述したように、ＮＴＤアルゴリズムでは、各パラメータを適格度トレースをとりながら、逐次的に更新していくので、各パラメータ、適格度トレースの値等は各時間ステップで、メモリ１２２またはハードディスク１２４に格納される。
【０１４０】
なお、φ(ｘ)が「任意」というのは、ＴＤ誤差近似器の基底ψは、式（３）であるべきであるのに対し、φ（ｘ）はアルゴリズムによる制約を受けないという意味である。つまり、アルゴリズムの使用者が好みの関数近似を使用することができることを意味する。もちろん、φ（ｘ）に脆弱な（正確でない）関数近似器を用いれば、φ（ｘ）からのＴＤ誤差が真値から大きくはずれ、自然方策勾配の推定に大きなバイアスがのり制御即の学習が困難になったり、逆に複雑（学習するパラメータが多）すぎる関数近似器を用いればφ（ｘ）の学習に時間が膨大なるので、制御則の学習も遅くなることが予想される。しかし、本発明では、上述したとおり、φ（ｘ）が脆弱な場合でも、ＴＤ誤差近似器パラメータの更新の際に適格度トレースを用いることで、φ（ｘ）に起因する自然方策勾配のバイアスを減らすことができる。
【０１４１】
以上のような処理により、逆行列の計算等を行うことなく、計算量を抑制しつつ、実タスクに適用可能な自然方策勾配法を実現することが可能となる。
（４．シミュレーション実験）
以下では、以上説明した本発明の有用性の検証のために行ったシミュレーション実験の結果について説明する。
（４．１  学習のプラトー回避能の検証）
４．１．１  ２状態のマルコフ決定過程問題
図６は、シミュレーションに用いた２状態のマルコフ決定過程(ＭＤＰ)を示す概念図である。
【０１４２】
２つの状態s1，s2はそれぞれ元の状態に留まる行動ｕ=selfと他方の状態に移動する行動ｕ=crossの２種類の行動をもつ。報酬ｒは図６で示したように設定した。
【０１４３】
方策は各状態siに対して１つの方策パラメータθiを用いて、以下のようにとシグモイド関数で表現した。
【０１４４】
【数４５】
2007065929.tif 000047
【０１４５】
状態は２つｘ∈{s1，s2}なので、方策も２つのパラメータθ≡(θ1，θ2)Tにより規定される。
【０１４６】
従来の方策勾配法ではプラトーに陥り最適方策の獲得が困難となる初期条件θ＝(１．４，−２．１)Tから１．０×１０5試行回学習させ、プラトーの回避能を調べた。
４．１．２  実験結果
自然勾配度合いを制御する忘却係数β＝{0、 0.99、 0.995、 0.999、0.9995、 1} についてそれぞれ５回実験し、その平均値を求めた。
【０１４７】
方策パラメータθの学習率については、以下により定めた。
【０１４８】
【数４６】
2007065929.tif 000048
【０１４９】
ただし、β＝１の時は、方策パラメータθの学習率が０となるため、β＝0.9997の場合の学習率を採用した。それ以外のメタパラメータは以下のとおりに統一した。
【０１５０】
【数４７】
2007065929.tif 000049
【０１５１】
図７は、平均報酬についてのシミュレーション結果を示す図である。図７の横軸は学習試行回数を、縦軸は近傍５００試行分の平均報酬を表している。本タスクでの最適方策は状態ｘ＝s2で行動ｕ＝selfを選択し続ける方策であり、そのときの平均報酬は２となる。図７から忘却係数β→１に近づくほど、プラトーへ陥ることなく最適方策の学習が可能であったことがわかる。
【０１５２】
本タスクではθ1が高くなれば、状態s1の定常分布が高くなり状態s2の定常分布は低くなる。またθ1が関しても同様に逆な影響がある。つまり、方策パラメータのバランスにより定常分布が定まり、それに依存して方策の目的関数Ｒ(θ)が決まる。これはＲ(θ)に関して方策パラメータ間の依存性に相関があることを意味し、方策パラメータθはユークリッド構造ではなくリーマン構造をもつ。よって、本タスクのように単純であっても適切に自然勾配方向を推定すべきであることがわかる。
【０１５３】
以上より、最適方策を獲得できたβ→１においては適切な自然方策勾配の推定ができていたが、低い忘却係数βでは自然方策勾配の推定ができずにプラトーへ陥ってしまったと考えられる。
【０１５４】
図８は、方策パラメータθの変化を位相平面で示す図である。同じタスクで文献３において解析的に求められた位相平面と図８（ａ）を比べれば、β＝１の時は解析的に求まる自然方策勾配の位相平面とほぼ一致し、β＝０の時は通常の方策勾配とほぼ一致していることが確認できる。
【０１５５】
また、図８（ｂ）は、方策に適格度トレースを適用して、更新に状態価値関数のＴＤ誤差を用いた従来の方策勾配法でも実験をした結果を示す。この従来法は価値関数の学習が不全であっても良い方策を獲得できることが示されているが、図８（ｂ）より自然勾配方向の推定はできず、プラトーへ陥っていることがわかる。
（４．２  フィシャー情報行列に起因する特異に対する学習の頑健性の検証）
４．２．１  線形化倒立振子制御問題状態
状態（角度、角速度）の範囲を以下の通りとする。
【０１５６】
【数４８】
2007065929.tif 000050
【０１５７】
行動をトルクｕとした線形化倒立振子制御問題を用いた。各試行間は２０ｍｓｅｃとし、１エピソードは１０ｓｅｃ経過もしくは状態設定範囲から外れた場合に終了し、状態をリセットして新しいエピソードを始めた。方策は状態空間に均等に動径基底関数（Radial Basis Function:ＲＢＦ）を配置したＮＧｎｅｔ（文献５：K. Doya: “Reinforcement learning in continuous time and space”, Neural Computation, 12, pp. 219-245 (2000)）の出力ｎ（ｘ）を用いて、以下のとおりとした。
【０１５８】
【数４９】
2007065929.tif 000051
【０１５９】
つまり方策パラメータはθ＝(θμ、θσ)で規定される。
自然勾配法は入力分布に関する情報により定まるフィッシャー情報行列の逆行列の計算を含むため、一般に大量のサンプル数が必要となる。強化学習の場合、入力分布とは方策パラメータθに関する入力の分布を意味する。よって、もしサンプル数は同じのまま、方策パラメータの数を規定するＲＢＦの数が増えれば、各パラメータに対する入力が少なくなるので、直接フィッシャー情報行列を計算する必要がなくても、自然方策勾配法は
不安定になることが予想される。そこで、状態に対する各ＲＢＦの数が(２×２)、(３×３)、(４×４)の場合において、文献４の従来法である最小二乗法を用いた自然方策勾配法「自然アクタークリティック法」とＮＴＤ法を実験し、学習の頑健性を比較した。
【０１６０】
なお、この例では倒立振り子を制御対象としているため、観測される状態量としては、（角度、角速度）を用いているが、より一般には、制御対象となる物理システムの自由度に応じて、上述した（角度、角速度）以外の状態量を用いることになる。
４．２．２  実験結果
図９は、シミュレーションで用いたメタパラメータを示す図である。図９のようにメタパラメータをそれぞれ設定し、１００ｍｉｎ間学習させた。
【０１６１】
図１０は、ＮＴＤ法と文献４に記載のＮＡＣ法での平均報酬の推移を比較して示す図である。
【０１６２】
図１０により、自然アクタークリティック法（ＮＡＣ）ではＲＢＦ数が増えるにつれて、学習が遅くまた困難になることがわかる。一方、ＮＴＤ法ではＲＢＦ数の増加によって、むしろ学習が加速している。よって、従来法に比べ、ＮＴＤ法はフィッシャー情報行列に起因する特異に対して頑健であることが示唆される。
（４．３  振り上げ倒立振り子問題）
トルクが制限されている状態での振り上げ倒立振り子問題は、強化学習のよく知られたベンチマークである。
【０１６３】
多くの場合、回転を持続するという準最適な方策を除くために、振り子が回転しすぎた場合にエピソードを終了させるための発見論的な方法が採用される。
【０１６４】
本発明に関しては、このような発見論的な方法をとる代わりに、報酬関数を以下のように設定した。
【０１６５】
【数５０】
2007065929.tif 000052
【０１６６】
ＮＴＤ法と文献６：H. Kimura and S. Kobayashi: “An analysis of actor/critic algorithms using eligibility traces: Reinforcement learning with imperfect value function”, The 15th International Conference on Machine Learning, pp. 278-286 (1998)に記載された方法とを比較した。
【０１６７】
図１１は、振り上げ振り子問題のシミュレーションを示す図である。
図１１（ａ）は、方策の概念図である。方策は、１０個の隠れ状態を持つ３層のニューラルネットワークから構成される。その出力は、正規分布の中心値と標準偏差である。
【０１６８】
図１１（ｂ）は累積報酬の時間変化であり、図１１（ｃ）は、１０ｍｉｎにおける平均回転数である。
【０１６９】
図１１（ｂ）、図１１（ｃ）からは、ＮＴＤ法は最適方策を獲得できているのに対して、従来法では、プラトーに陥っているのがわかる。
【０１７０】
以上のとおり、強化学習の実問題においてもＮＴＤ法はプラトーに陥らずに学習が可能であり、これは他の機械学習の分野の自然勾配法の特徴と一致している。
（定理の証明）
（１．定理１の証明）
文献７：S. P. Singh、 T. Jaakkola and M. I. Jordan: “Learning without state-estimation in partially observable markovian decision processes”、 International Conference on Machine Learning、 pp. 284-292 (1994)によれば、割引のある状態価値関数と平均報酬には、以下の関係が成り立つ。
【０１７１】
【数５１】
2007065929.tif 000053
【０１７２】
これを用いると、平均報酬の勾配は以下の式（１０）のように表せる。
【０１７３】
【数５２】
2007065929.tif 000054
【０１７４】
右辺第２項は、以下のように変形できる。
【０１７５】
【数５３】
2007065929.tif 000055
【０１７６】
式（１１）への変形は、定常分布の以下の性質を利用している。
【０１７７】
【数５４】
2007065929.tif 000056
【０１７８】
式（１２）を式（１０）に代入すると、以下の式（１３）が得られる。
【０１７９】
【数５５】
2007065929.tif 000057
【０１８０】
式（１３）は、十分条件１と以下の関係を用いている。
【０１８１】
【数５６】
2007065929.tif 000058
【０１８２】
（定理１の証明終わり）
（２．定理２の証明）
以下のような状態行動空間を考える。
【０１８３】
【数５７】
2007065929.tif 000059
【０１８４】
この状態行動空間での状態価値関数のＴＤ誤差の期待値は以下で与えられる。
【０１８５】
【数５８】
2007065929.tif 000060
【０１８６】
この状態空間での状態価値関数のＴＤ誤差の期待値は０であることに注意すると、状態行動価値関数はBellmann方程式により以下のようになる。
【０１８７】
【数５９】
2007065929.tif 000061
【０１８８】
両辺から状態価値関数を引けば、直ぐさま、以下の関係式を得る。
【０１８９】
【数６０】
2007065929.tif 000062
【０１９０】
（定理２の証明終わり）
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１９１】
【図１】本発明の制御方法および制御プログラムが適用される制御器を用いたシステム１０００の一例を示す概念図である。
【図２】コンピュータ１００の構成をブロック図形式で示す図である。
【図３】本発明の制御器の構成の概念図である。
【図４】ＮＴＤアルゴリズムを示す第１のフローチャートである。
【図５】ＮＴＤアルゴリズムを示す第２のフローチャートである。
【図６】シミュレーションに用いた２状態のマルコフ決定過程(ＭＤＰ)を示す概念図である。
【図７】平均報酬についてのシミュレーション結果を示す図である。
【図８】方策パラメータθの変化を位相平面で示す図である。
【図９】シミュレーションで用いたメタパラメータを示す図である。
【図１０】ＮＴＤ法とＮＡＣ法での平均報酬の推移を比較して示す図である。
【図１１】振り上げ振り子問題のシミュレーションを示す図である。
【符号の説明】
【０１９２】
１００  コンピュータ、１０２  コンピュータ本体、１０４  ディスプレイ、１０６  ＦＤドライブ、１０８  ＣＤ−ＲＯＭドライブ、１１０  キーボード１１０、１１２  マウス、１１８  ＣＤ−ＲＯＭ、１２０  ＣＰＵ、１２２  メモリ、１２４  ハードディスク、１２８  通信インタフェース、２００  被制御装置、１０００  システム。
【図１】
2007065929.tif 000063
【図２】
2007065929.tif 000064
【図３】
2007065929.tif 000065
【図４】
2007065929.tif 000066
【図５】
2007065929.tif 000067
【図６】
2007065929.tif 000068
【図９】
2007065929.tif 000069
【図１０】
2007065929.tif 000070
【図７】
2007065929.tif 000071
【図８】
2007065929.tif 000072
【図１１】
2007065929.tif 000073