(57)【要約】  【課題】  自然状態行動勾配（ＮＳＧ）の推定に関して分散を小さくすることによって、意思決定モデルの構築にかかる時間を短縮すること。  【解決手段】  マルコフ決定過程を用いる意思決定モデルを解くための自然状態行動勾配学習法において、ＮＳＧの推定に関して分散が大きくなり、多くの学習ステップを要してしまうという問題を解決するために、従来のＮＳＧの推定式を観察して、そこに含まれているＬＳＤが二次の項で表れていることに着目した。一般にＬＳＤは推定誤差をもつので、ＮＳＧの推定式がＬＳＤが二次の項を含むと、その誤差も二次のオーダーで効いてくるため、ＮＳＧの推定量の分散が非常に大きくなる。そして、ＮＳＧの推定式が、ＬＳＤの一次の項のみを含むように統計量の更新と、ＮＳＧの更新のアルゴリズムを改善した。  これによって、ＮＳＧの推定に関して分散が小さくなり、以って、意思決定モデルの構築にかかる時間を短縮することができた。【選択図】  図３
2010092247.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより、離散的マルコフ決定過程に従い、環境の状態の観測結果に基づき、意思決定を行う制御器であって、
統計量を保持する手段と、
方策パラメータを含む確率関数として、方策を与える手段と、
環境の状態を観測する手段と、
少なくとも環境の状態の関数である報酬の値を取得する手段と、
前記観測された環境の状態と、前記報酬の値と、前記方策を用いて、前記統計量を更新する手段と、
前記統計量を用いて、自然状態行動勾配を推定する手段と、
前記推定された自然状態行動勾配を用いて、方策パラメータを更新する手段を有し、
前記自然状態行動勾配の推定量は、方策パラメータに関する定常分布の対数の偏微分であるＬＳＤを、一次の項でのみもつ、
制御器。
【請求項２】
前記方策が、多項ロジットモデル、ロジスティックシグモイド関数、及びニューラルネットワークから選ばれたものである、請求項１の制御器。
【請求項３】
前記統計量を更新する手段が、下記の式に基づき前記統計量を更新し、
【数１】
2010092247.tif 000016
ここでaは行動、sは環境の状態、rは報酬、添え字+1は１時刻先をあらわし、θは方策パラメータ、π(a|s;θ)は方策であり、
【数２】
2010092247.tif 000017
は、前記観測された環境の状態であり、
前記自然状態行動勾配を推定する手段が、下記の式に基づき前記自然状態行動勾配を推定し、
【数３】
2010092247.tif 000018
ここで、  ここで、α ∈ [0,1]は、Kakadeの自然方策勾配（ＮＰＧ）方向(α=0)と、自然状態行動勾配（ＮＳＧ）方向(α=1)を補間するパラメータ、Ｃ~は、大きさが[e+1,d]であった行列Ｃの上側[e,d]の部分行列であり、Ωは、ＬＳＤ推定値に関する重み行列であり、
方策パラメータを更新する手段が、下記の式に基づき、前記方策パラメータを更新し、
【数４】
2010092247.tif 000019
ここで、ηは、方策パラメータの学習率である、請求項１の制御器。
【請求項４】
前記制御器が、ロボットのシステムにおける制御器である、請求項１の制御器。
【請求項５】
コンピュータにより、離散的マルコフ決定過程に従い、環境の状態の観測結果に基づき、意思決定を行う制御方法であって、
方策パラメータを含む確率関数として、方策を与えるステップと、
環境の状態を観測するステップと、
少なくとも環境の状態の関数である報酬の値を取得するステップと、
前記観測された環境の状態と、前記報酬の値と、前記方策を用いて、前記統計量を更新して保持するステップと、
前記統計量を用いて、自然状態行動勾配を推定するステップと、
前記推定された自然状態行動勾配を用いて、方策パラメータを更新するステップを有し、
前記自然状態行動勾配の推定量は、方策パラメータに関する定常分布の対数の偏微分であるＬＳＤを、一次の項でのみもつ、
制御方法。
【請求項６】
前記方策が、多項ロジットモデル、ロジスティックシグモイド関数、及びニューラルネットワークから選ばれたものである、請求項５の制御方法。
【請求項７】
前記統計量を更新するステップが、下記の式に基づき前記統計量を更新し、
【数５】
2010092247.tif 000020
ここでaは行動、sは環境の状態、rは報酬、添え字+1は１時刻先をあらわし、θは方策パラメータ、π(a|s;θ)は方策であり、
【数６】
2010092247.tif 000021
は、前記観測された環境の状態であり、
前記自然状態行動勾配を推定する手段が、下記の式に基づき前記自然状態行動勾配を推定し、
【数７】
2010092247.tif 000022
ここで、  ここで、α ∈ [0,1]は、Kakadeの自然方策勾配（ＮＰＧ）方向(α=0)と、自然状態行動勾配（ＮＳＧ）方向(α=1)を補間するパラメータ、Ｃ~は、大きさが[e+1,d]であった行列Ｃの上側[e,d]の部分行列であり、Ωは、ＬＳＤ推定値に関する重み行列であり、
方策パラメータを更新するステップが、下記の式に基づき、前記方策パラメータを更新し、
【数８】
2010092247.tif 000023
ここで、ηは、方策パラメータの学習率である、請求項５の制御方法。
【請求項８】
前記制御方法が、ロボットのシステムにおける制御である、請求項５の制御方法。
【請求項９】
コンピュータにより、離散的マルコフ決定過程に従い、環境の状態の観測結果に基づき、意思決定を行う制御プログラムであって、
前記コンピュータに、
方策パラメータを含む確率関数として、方策を与えるステップと、
環境の状態を観測するステップと、
少なくとも環境の状態の関数である報酬の値を取得するステップと、
前記観測された環境の状態と、前記報酬の値と、前記方策を用いて、前記統計量を更新して保持するステップと、
前記統計量を用いて、自然状態行動勾配を推定するステップと、
前記推定された自然状態行動勾配を用いて、方策パラメータを更新するステップを実行させる制御プログラムであって、
前記自然状態行動勾配の推定量は、方策パラメータに関する定常分布の対数の偏微分であるＬＳＤを、一次の項でのみもつ、
制御プログラム。
【請求項１０】
前記方策が、多項ロジットモデル、ロジスティックシグモイド関数、及びニューラルネットワークから選ばれたものである、請求項９の制御プログラム。
【請求項１１】
前記統計量を更新するステップが、下記の式に基づき前記統計量を更新し、
【数９】
2010092247.tif 000024
ここでaは行動、sは環境の状態、rは報酬、添え字+1は１時刻先をあらわし、θは方策パラメータ、π(a|s;θ)は方策であり、
【数１０】
2010092247.tif 000025
は、前記観測された環境の状態であり、
前記自然状態行動勾配を推定する手段が、下記の式に基づき前記自然状態行動勾配を推定し、
【数１１】
2010092247.tif 000026
ここで、  ここで、α ∈ [0,1]は、Kakadeの自然方策勾配（ＮＰＧ）方向(α=0)と、自然状態行動勾配（ＮＳＧ）方向(α=1)を補間するパラメータ、Ｃ~は、大きさが[e+1,d]であった行列Ｃの上側[e,d]の部分行列であり、Ωは、ＬＳＤ推定値に関する重み行列であり、
方策パラメータを更新するステップが、下記の式に基づき、前記方策パラメータを更新し、
【数１２】
2010092247.tif 000027
ここで、ηは、方策パラメータの学習率である、請求項９の制御プログラム。
【請求項１２】
前記制御プログラムが、ロボットのシステムにおける制御プログラムである、請求項９の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、勾配法に基づき制御される制御器、制御方法及び制御プログラムに関し、より詳しくは、勾配法に基づき、確率的な意思決定モデルを取得する手法に関するものである。
【背景技術】
【０００２】
従来知られている確率的な意思決定モデルとして、マルコフ決定過程がある。マルコフ決定として定式化される問題は、ビジネス上の意思決定モデル、ロボット、プラント、移動機械（電車、自動車など）などの自律的制御問題として幅広い応用領域をもつ。
【０００３】
特開２００５−２３８４２２は、学習されたユーザの情動遷移モデルが記憶されている長期記憶部をもつロボット装置を開示する。この技法において、情動遷移モデルを構築するために離散マルコフ決定過程が用いられている。
【０００４】
特開２００７−６５９２９は、対象とするシステムの時間発展がマルコフ過程として記述される際に、システムの状態に対する制御則である方策をシステムの状態量の観測によりＴＤ誤差を利用して学習する制御器を開示する。このシステムはさらに、方策に基づいて、システムを制御するための制御信号を生成する制御信号生成手段と、システムの状態量を観測する状態量検知手段と、状態と制御信号に依存する予め定められた報酬を獲得する報酬獲得手段とを備える。また、ＴＤ誤差の近似器のパラメータに基づいて獲得される、方策の自然勾配により、方策を更新することが開示される。
【０００５】
上記特開２００７−６５９２９及び、下記非特許文献[1],[2],[3],[4],[5]は特に、方策勾配強化学習に関するものである。ところが、方策勾配強化学習においては、単純なマルコフ決定過程であっても、学習のプラトー、すなわち、いくら試行数を増して学習しても学習効果がほとんど現れない期間に陥ることがあったため、目的方策の獲得までに非現実的な時間ステップ数を要してしまう、という問題があった。
【０００６】
そこで上記問題を解決すべく、非特許文献[6]などによって、ＮＳＧ(自然状態行動勾配）学習法が提案された。これは、ＮＳＧを用いて、下記の式によって、方策パラメータθを逐次的に更新する勾配法である。
θ := θ + ηＮＳＧ(θ)
この式で、ηは学習率である。ＮＳＧ学習法は、学習のプラトーに陥る可能性が最も低いことが知られている。
【０００７】
【特許文献１】特開２００５−２３８４２２
【特許文献２】特開２００７−６５９２９
【非特許文献１】[1] R. J. Williams, Simple statistical gradient-following algorithm for connectionist learning. Machine Learning. 8:229-256, 1992
【非特許文献２】[2] H. Kimura and S. Kobayashi. An analysis of actor/critic algorithms using eligibility traces: Reinforcement learning with imperfect value function. In International Conference on Machine Learning, pages 278-286,1998.
【非特許文献３】[3] J. Baxter, P. Bartlett, and L.Weaver. Experiments with infinite-horizon policy-gradient estimation. Journal of Artificial Intelligence Research, 15:351-381, 2001.
【非特許文献４】[4] J. Peters, S. Vijayakumar, and S. Schaal. Natural actor-critic. In European Conference on Machine Learning, 2005.
【非特許文献５】[5] T. Morimura, E. Uchibe, and K. Doya. Utilizing natural gradient in temporal difference reinforcement learning with eligibility traces. In International Symposium on Information Geometry and its Applications, pages 256-263, 2005.
【非特許文献６】[6] T. Morimura, E. Uchibe, J. Yoshimoto, and K. Doya. A new natural gradient of average reward for policy search. In European Conference on Machine Learning, 2008.
【非特許文献７】[7] R. S. Sutton and A. G. Barto. Reinforcement Learning. MIT Press, 1998.
【非特許文献８】[8] T. Morimura. Effcient Task-independent Reinforcement Learning Methods based on Policy Gradient. PhD thesis, Nara Institute of Science and Technology, 2008.
【非特許文献９】[9] 森村哲郎、内部英治、吉本潤一郎、銅谷賢治、「平均方策こう配法：平均報酬の自然こう配に基づく方策探索」電子通信学会誌 2008/6 Vol. J91 D No.6 p.1515-1527
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、このような従来技術において、ＮＳＧの推定に関して分散が大きくなり、依然として多くの学習ステップを要してしまうという問題があった。
【０００９】
ここで、従来技術におけるＮＳＧをもう少し詳細に述べてみる。先ず、離散時間マルコフ決定過程（ＭＤＰ）が、有限状態集合Ｓと、有限行動集合Ａで定義される。また、有限状態集合の要素s∈Ｓと、有限行動集合の要素a∈Ａを考える。そうして、ＭＤＰでは、各時間ステップtで、学習主体は、方策パラメータθ∈Ｒdによって規定される方策π(a|s;θ)に従い、行動atを選択する。ここで、dはパラメータθの次元であり、Ｒdはd次元実数ベクトルの集合である。
【００１０】
そして、状態遷移確率Pr(st+1|st,at)に従って新しい状態st+1に遷移し、有界な報酬関数r(st,at,st+1)により定まる即時報酬rt+1を獲得する。
【００１１】
そこで、目的は、即時報酬の時間平均であるところの、平均報酬を局所最大化する方策パラメータθ*を同定することである。下記が平均報酬R(θ)の式である。E{..}は、期待値をあらわす。
【数１】
2010092247.tif 000003
【００１２】
ここで、∇θという演算を次のように定義する。
【数２】
2010092247.tif 000004
ここで、[...]Tは、転置されたベクトルをあらわす。このような式により、ＮＳＧ(θ)は、次のように定義される。
【数３】
2010092247.tif 000005
ここで、∇θ ln dθ(s)は、状態の定常分布で、dθ(s)≡Pr(s|θ)である。
特に∇θ ln dθ(s)は、方策パラメータに関する定常分布の対数の偏微分であり、ＬＳＤと呼ばれる。
【００１３】
本願発明者は、従来のＮＳＧの推定式を観察して、そこに含まれているＬＳＤが二次の項で表れていることに着目した。一般にＬＳＤは推定誤差をもつため、ＮＳＧの推定式がＬＳＤが二次の項を含むと、その誤差も二次のオーダーで効いてくるため、ＮＳＧの推定量の分散が非常に大きくなる。
【００１４】
従って、この発明の目的は、ＮＳＧ学習法において、ＮＳＧの推定に関して分散を小さくすることにある。
【００１５】
この発明の更なる目的は、ＮＳＧの推定に関して分散を小さくすることによって、意思決定モデルの構築にかかる時間を短縮することにある。
【課題を解決するための手段】
【００１６】
本発明者は、研究の結果、ＮＳＧの推定式において、ＬＳＤ推定値の二次の項をなくし、ＬＳＤ推定値の一次の項のみにすることができることに想到した。以下にその実現手順を説明する。なお、以下のステップは、コンピュータによって自動的に処理されることに留意されたい。
【００１７】
以下の手順自体は、基本的には、上記非特許文献７に記載されたActor-Critic手法に基づく。上記非特許文献７と異なるのは、方策パラメータの更新方向をＮＳＧとし、どのように統計量を用いてＮＳＧを推定するかである。
【００１８】
本発明は、以下のステップを、方策パラメータθが収束する、すなわち更新幅が0に落ち着くまで繰り返す。
【００１９】
先ず、Critic-1として、各時間ステップtで、ＮＳＧを推定するための以下の統計量を更新する。
【数４】
2010092247.tif 000006
ここで、φ(s) ∈ Ｒe（eは、φ(s)の次元数）は、学習主体が各状態で観測できる唯一の状態変数である状態特徴ベクトルであり、φ~、ψ、ψ~は、以下のように定義される。ここで、[..]は、ベクトルをあらわし、[..]Tは、ベクトルの転置をあらわす。また、添え字+1は１時刻先をあらわす。
【数５】
2010092247.tif 000007
【００２０】
次に、Critic-2として、上記で計算した統計量を用いて、閉形式で、下記の式により、ＮＳＧの推定値を計算する。
【数６】
2010092247.tif 000008
ここで、α ∈ [0,1]は、Kakadeの自然方策勾配（ＮＰＧ）方向(α=0)と、自然状態行動勾配（ＮＳＧ）方向(α=1)を補間するパラメータ、Ｃ~は、大きさが[e+1,d]であった行列Ｃの上側[e,d]の部分行列である。また、Ωは、例えば非特許文献８のChapter 4, Algorithm 1によって定まる、ＬＳＤ推定値に関する重み行列である。より詳しく説明すると、ΩTφ(s)が、ＬＳＤ推定値である。
【００２１】
そこで、（必要に応じてＮＳＧの推定値の収束性を判定して、収束していれば、）下記の式で、方策パラメータθを更新する。
【数７】
2010092247.tif 000009
ここで、ηは、方策パラメータの学習率であり、0より大きい適当な実数である。
【００２２】
上記の式で、ΩをＬＳＤ推定値と見なすことができ、すると、上記のＮＳＧの推定値を計算する式には、ＬＳＤ推定値が一次でしか現れていないことが見て取れる。本発明者による実験によれば、この式でＮＳＧの推定値を計算することにより、従来の方法と比較して、分散が減り、また得られる報奨の平均値が高まった。
【発明の効果】
【００２３】
この発明によれば、マルコフ決定過程に基づく確率的な意思決定モデルにおいて、ＮＳＧの推定に関して分散を小さくすることができ、以って意思決定モデルの構築にかかる時間を短縮することができる、という効果が得られる。
【００２４】
実際、ＮＳＧの推定量の分散が大きい場合、その推定量が信頼できるものとなるまでに非常に多くのサンプル数（時間ステップ数）が必要となるという問題が生じてくる。特に、1サンプルを獲得するためのコストが高い場合、これは非常にクリティカルな問題となることが知られている。そして、ほとんどのロボットや実際のシステムでは、限られたサンプル数で学習する必要があるので、必要となるサンプル数は少ないほどありがたい。本発明による分散の少ないＮＳＧの推定を用いると、少ないサンプル数でＮＳＧの推定が可能となるため、少ない時間での意思決定モデルの構築ができるという有用な効果が期待できる。
【発明を実施するための最良の形態】
【００２５】
以下、図面に従って、本発明の実施例を説明する。これらの実施例は、本発明の好適な態様を説明するためのものであり、発明の範囲をここで示すものに限定する意図はないことを理解されたい。また、以下の図を通して、特に断わらない限り、同一符号は、同一の対象を指すものとする。
【００２６】
図１は、本発明を実施するためのハードウェア構成の例を示すブロック図である。この例は、ロボットの制御システムに関わるものである。
【００２７】
図１において、システム・バス１０２には、ＣＰＵ１０４と、ランダム・アクセス・メモリ（ＲＡＭ）１０６と、読取り専用メモリ（ＲＯＭ）１０８と、ハードディスク・ドライブ（ＨＤＤ）１１０が接続されている。
【００２８】
ＣＰＵ１０４は、インターナショナル・ビジネス・マシーンズから入手可能な、ＰｏｗｅｒＰＣ（Ｒ）などの組み込みシステム向けＣＰＵを使用することができる。また、ＲＯＭ１０８には、組み込み用Ｌｉｎｕｘ（Ｒ）などの、ＣＰＵ１０４に適合する、組み込み用オペレーティング・システムが格納されており、オペレーティング・システムは、図示しないが、電源投入時にＲＡＭ１０６にロードされ、ＣＰＵ１０４その他周辺装置を制御する動作を行う。
【００２９】
ハードディスク・ドライブ１１０には、様々な統計的パラメータなど、永続的に保存され且つ随時書き換えられる可能性のあるデータが格納される。後で述べる本発明に係る処理プログラムは、ＲＯＭ１０８に格納することもできるし、ハードディスク・ドライブ１１０に格納することできる。
【００３０】
本発明に係る処理プログラムによって計算される様々な統計量やパラメータは、一時的なものであれば、ＲＡＭ１０６にストアされるが、永続的に保持する必要がある場合は、ハードディスク・ドライブ１１０に保存される。
【００３１】
システム・バス１０２にはさらに、所定の入出力インターフェース（図示しない）を介して、センサ１１２及び、アクチュエータ１１４が接続されている。センサ１１２は例えば、ＧＰＳや、特開２００５−２７４３６３に記載されているような室内無線局の三角測量技術などを用いた、位置検出装置である。これによって検出された位置の信号は、システム・バス１０２を介してＣＰＵ１０４に送られ、後述する本発明の処理に従い、自然状態行動勾配などのパラメータを計算するために使用される。
【００３２】
アクチュエータ１１４は、これには限定されないが、例えば特開２００２−３０７３３７に記載されているような、ＣＰＵ１０４からシステム・バス１０２を経由して送られる駆動信号に基づき、モータなどにより、適宜四輪を駆動して、ロボットを室内で二次元的に移動させる機構である。
【００３３】
図２は、本発明の前提となる確率的な意思決定モデルのシステムを説明するための機能ブロック図である。このシステムでは、離散時間マルコフ決定過程（ＭＤＰ）が、有限状態集合Ｓと、有限行動集合Ａで定義される。また、有限状態集合の要素s∈Ｓと、有限行動集合の要素a∈Ａを考える。そうして、ＭＤＰでは、各時間ステップtで、学習主体は、方策パラメータθ∈Ｒdによって規定されるπ(a|s;θ)という確率モデルをもつ方策２０２に従い、行動atを選択する。ここで、dはパラメータθの次元であり、Ｒdはd次元実数ベクトルの集合である。
【００３４】
行動atは、図１のアクチュエータ１１４の駆動を引き起こし、ロボットは、学習する環境２０４としての所定の室内を移動する。その移動に従い、図２に示すシステムは、即時報酬rt+1を受け取り、状態量は、st+1となる。
【００３５】
状態量は、観測器２０６によって観測され、観測器２０６の観測結果φ(s)は、方策２０２と、ＮＳＧ推定器２０８に入力される。ＮＳＧ推定器２０８は、方策２０２からも入力を得る。ＮＳＧ推定器２０８の推定値は、方策パラメータθの更新ブロック２１０に入力され、そうして推定された方策パラメータθは、方策２０２に反映される。なお、方策パラメータθの更新ブロック２１０は、その更新処理の際に、方策２０２からの入力を利用する。
【００３６】
特に、方策２０２と、ＮＳＧ推定器２０８と、方策パラメータθの更新ブロック２１０とは、環境から獲得されたパラメータに基づき、あたかもＣＰＵ１０４が主体となって計算し更新していくように見なされるので、学習主体２００と呼ぶことにする。
【００３７】
次に、図３のフローチャートを参照して、本発明の実施例に係る処理をより詳細に説明する。この処理に係るプログラムは、予めＲＯＭ１０８または、ハードディスク・ドライブ１１０に格納され、ＲＡＭ１０６に実行可能にロードされる。
【００３８】
ステップ３０２では、方策π(a|s;θ)が規定される。離散時間マルコフ決定過程では、π(a|s;θ)≡Pr(a|s;θ)で与えられる。
【００３９】
ここで、状態sを直接観測が困難でも、状態sに関する情報を特徴ベクトルφ(s)として観測できれば十分であることを理解されたい。なお、φ(s)∈Ｒeであり、
eはベクトルφ(s)の次元数である。状態sを直接観測できる場合、例えば、φ(s)の次元数eを状態数と等しくし、異なるsではφ(s)の異なる要素を1とし、1以外の要素は0となるようにφ(s)を設定する。
【００４０】
π(a|s;θ)の具体的な確率モデルとしては、多項ロジットモデル、ロジスティックシグモイド関数、あるいは、ニューラルネットワークなどを利用することができる。
【００４１】
離散時間マルコフ決定過程では、前述のように、各時間ステップtで、学習主体し、方策パラメータθ∈Ｒdによって規定されるπ(a|s;θ)という確率モデルをもつ方策に従い、行動atを選択する。そして状態遷移確率Pr(st+1|st;θ)によって新しい状態st+1に遷移し、有界な報奨関数r(st,at,st+1)により定まる即時報酬rt+1を獲得する。報奨関数r()は、有界であるなら、どのようなものでもよく、課題に応じて設計者が決める。例えば、ロボットに、得点を獲得することを目的とするゲームを対戦で行わせるなら、得点を入れた時間ステップでは正の大きい報酬、得点を取られた時間ステップでは負の報酬、それ以外では報酬がゼロになるようにする。
【００４２】
そこで、方策パラメータθを決めるとは、次の式であらわされる、即時報酬の時間平均である、平均報酬を局所最大化する方策パラメータθ*を同定することである。
【数８】
2010092247.tif 000010
こうして同定された方策パラメータθ*により規定される方策π(a|s;θ*)は、目的方策と呼ばれる。
【００４３】
なお、この発明の前提として、方策π(a|s;θ)は、パラメータθに関して滑らか（すなわち、偏微分可能）であり、状態遷移確率と方策により規定されるマルコフ連鎖は、エルゴード性、すなわち、初期状態によらない定常分布をもつとする。
【００４４】
図３のフローチャートに戻って、ステップ３０４では、以下の処理で使用されるパラメータが初期化される。先ず、忘却率βt∈[0,1]が適当に選ばれる。これは、tに依存しない一定値に選んでもよいし、計算されたＮＳＧの値などに応じて、値を変化させてもよい。また、学習率ηt > 0も、特にtに依存しない正の実数であってよい。あるいは、ＮＳＧの値などに応じて、収束に近づくと、学習率ηtの値を小さくして、収束を早めるようにすることもできる。
【００４５】
さらにステップ３０４で、統計量の計算に使用されるパラメータ、A, B, C, D, E, x, y, F, G, zが全て0にセットされる。なお、ここでは、添え字を表示していないが、以下の文脈との整合性をとるなら、A0, B0, C0,... などと表される。
【００４６】
ステップ３０６では、tが0にセットされる。
【００４７】
ステップ３０８では、t > 0であるかどうかが判断される。すると、最初の段階ではt := 0とセットされていたので、ここの判断は否定的となって、ステップ３１０で、φ(st)の観測が行われる。これは、例えば図１の構成では、センサ１１２により位置を検知することである。ここで、φ(s) ∈ Ｒe（eは、φ(s)の次元数）は、学習主体が各状態で観測できる唯一の状態変数である状態特徴ベクトルであり、実際は、以下では、φ以外にφ~、ψ、ψ~も使用される。φ~、ψ、ψ~は、以下のように定義される。ここで、[..]は、ベクトルをあらわし、[..]Tは、ベクトルの転置をあらわす。
【数９】
2010092247.tif 000011
【００４８】
ステップ３１０の後は、ステップ３１２に進む。そこでは、下記のことが行われる。
(1) 方策π(at|st;θ)に従い、行動atを決定する。
(2) 環境に対して、行動atを実施する。これは、例えば図１の構成では、アクチュエータ１１４を動作させて、ロボットを移動させることである。
(3) 行動atの結果として、新しい状態st+1に遷移する。
(4) tを1つ増分する。
【００４９】
こうしてステップ３０８に戻ると、最早再びt=0となることはないので、ステップ３０８からステップ３１０の経路に進むことはない。こうして、ステップ３１４に進みそこで、ステップ３１０と同様に、φと、φ~、ψ、ψ~とが観測される。ステップ３１０と異なるのは、ここでは、即時報酬r(st,at,st+1)の値も取得されることである。
【００５０】
ステップ３１６では、下記の一連の式に従い、統計量が更新される。
【数１０】
2010092247.tif 000012
【００５１】
ステップ３１８では、方策更新条件を満たすかどうかが判断される。方策更新条件としては、様々なものが考えられるが、例えば、適当に1より大きい整数mを定めて、mod(t,m) = 0であることを以って、方策更新条件を満たすとしてよい。mod(t,m)は、tをmで割った余りを出力する関数である。なお、方策更新条件を判断するためのステップは必須ではないが、ステップ３１８がないと、毎回ステップ３２０でのＮＳＧ推定量の計算が行われることになる。そのことは、計算の負担を増やし効率的でないことがあるので、ステップ３１８を入れてＮＳＧ推定量の計算の頻度を減らした次第である。
【００５２】
さて、ステップ３１８で方策更新条件を満たすと判断されると、ステップ３２０では、下記の式に従い、ＮＳＧ推定量の計算が行われる。
【数１１】
2010092247.tif 000013
この式で、||zt||は、ztの成分の２乗の和をとった値の平方根である。なお、上記式には、逆行列の計算があらわれるが、上記逆行列を直接計算するかわりに、数値計算の安定性のために、擬似逆行列を用いても良い。例えば、擬似逆行列として、ムーア・ペンローズの擬似逆行列がある。
また、
【数１２】
2010092247.tif 000014
が、ＮＳＧ推定量をあらわす。
【００５３】
さらにここで、α ∈ [0,1]は、KakadeのＮＰＧ方向(α=0)と、ＮＳＧ方向(α=1)を補間するパラメータ、Ｃt~は、大きさが[e+1,d]であった行列Ｃtの上側[e,d]の部分行列である。このKakadeのＮＰＧ方向の技法は、S. Kakade: "A natural policy gradient", Advances in Neural Information Processing Systems, Vol.14, MIT Press (2002)に記載されており、また、上記特開２００７−６５９２９でも述べられている。
【００５４】
ステップ３２２では、下記の式に従い、方策パラメータθが更新される。
【数１３】
2010092247.tif 000015
ここで、ηtは、方策パラメータの学習率である。
【００５５】
ステップ３２４では、学習終了条件を満たすかどうかが判断される。なお、ステップ３１８で方策更新条件を見たさない場合は、ステップ３１８から、いきなりステップ３２４に来る。
【００５６】
学習終了条件とは、例えば、tがある所与のステップ数Tを超えたかどうかである。あるいは、方策パラメータθの前回の値との変化量が、ある閾値以下になったことで以って判定してもよい。
【００５７】
ステップ３２４で、学習終了条件が満たされると、方策パラメータθが確定されて、この処理は終了する。
【００５８】
ステップ３２４で、学習終了条件が満たされないなら、ステップ３１２に戻って、処理が継続する。
【００５９】
なお、上記実施例では、本発明の確率的な意思決定モデルを、ロボットに適用した例で説明したが、これは限定されず、ビジネス上の意思決定モデル、プラント、移動機械（電車、自動車など）などの自律的制御問題を適用可能な、さまざまな適用技術があることを、この分野の当業者なら理解するであろう。
【図面の簡単な説明】
【００６０】
【図１】本発明を実施するためのハードウェアの一例を示すブロック図である。
【図２】本発明の動作原理を説明するための機能ブロック図である。
【図３】本発明の処理のフローチャートを示す図である。
【符号の説明】
【００６１】
２００・・・学習主体
２０２・・・方策
２０４・・・環境
２０６・・・観測器
２０８・・・ＮＳＧ推定器
２１０・・・方策パラメータの更新ブロック
【図１】
2010092247.tif 000028
【図２】
2010092247.tif 000029
【図３】
2010092247.tif 000030