強化学習
エージェントの行動(action)の選択は、方策(policy)と呼ばれる写像としてモデル化することができる。
π : A × S → [ 0 , 1 ] {\displaystyle \pi :A\times S\rightarrow [0,1]}
π ( a , s ) = Pr ( a t = a ∣ s t = s ) {\displaystyle \pi (a,s)=\Pr(a_{t}=a\mid s_{t}=s)}
方策の写像は、状態 s {\displaystyle s} において行動 a {\displaystyle a} を選択する確率を与える。決定論的な方策(全ての確率が 0 または 1)を考えても良い。
htm
Sutton, Richard S.; Barto, Andrew G. (2018). Reinforcement Learning: An Introduction (2 ed.). MIT Press. ISBN 978-0-262-03924-6. http://incompleteideas.net/sutton/book/the-book.html
Sutton, Richard S. (1988). “Learning to predict by the method of temporal differences”. Machine Learning 3: 9–44. doi:10.1007/BF00115009. http://incompleteideas.net/sutton/publications.html#TD_paper.
Szita, Istvan; Szepesvari, Csaba (2010). "Model-based Reinforcement Learning with Nearly Tight Exploration Complexity Bounds" (PDF). ICML 2010. Omnipress. pp. 1031–1038. 2010年7月14日時点のオリジナル (PDF)よりアーカイブ。
最初の問題は、価値が収まる前に(一部または全ての状態で)手順が方策を変更できるようにすることによって対応できる。ただし収束を妨げて問題となる可能性もある。現在のほとんどのアルゴリズムではこれを行い、一般化方策反復(generalized policy iteration)という種類のアルゴリズムを作り出すことができる。多くのアクター・クリティック法(actor-critic methods)はこの範疇(はんちゅう)に属する。
2番目の問題は、軌跡がその中の任意の状態-行動ペアに関与できるようにすることで修正できる。これは3番目の問題にもある程度有効であるが、収益が高い分散を持つ場合により優れた解決策は、再帰的ベルマン方程式(recursive Bellman equation)に基づくサットンの時間差分法(temporal difference methods、TD法)である。TD法における計算法には、インクリメンタル法(各遷移後にメモリを変更し、遷移を破棄する)またはバッチ法(遷移をバッチ処理し、バッチに基づいて推定値を一回計算する)がある。