マルコフ決定過程
MDP は線形計画法または動的計画法で解くことができる。ここでは後者によるアプローチを示す.
いま,ある(定常な)方策 π {\displaystyle \pi } を採用した場合における割引報酬和 V π ( s ) = E π [ ∑ t = 0 ∞ γ t r t + 1 | s 0 = s ] {\textstyle V^{\pi }(s)=\mathbb {E} _{\pi }[\sum _{t=0}^{\infty }\gamma ^{t}r_{t+1}\ |s_{0}=s]} は現在の状態 s {\displaystyle s} のみに依存し、これを 状態価値関数 (state-value function) と呼ぶ( E π [ ⋅ ] {\displaystyle \mathbb {E} _{\pi }[\cdot ]} は方策 π {\displaystyle \pi } の下での条件付き期待値)。 この状態価値関数 V π ( s ) {\displaystyle V^{\pi }(s)} は次式を満たす。
制約付きマルコフ決定過程 (Constrained Markov Decision Process; CMDP) はマルコフ決定過程の拡張である。 MDP と CMDP には3つの基本的な違いがある:
ある行動をほかのものの代わりに適用した後で(複数の)コストが発生する
CMDP は線形計画法のみで解くことが出来る(動的計画法を用いることはできない)
終端時刻における方策が初期状態に依存する
CMDP の応用例は数多く存在し、最近ではロボット工学におけるモーションプランニングに用いられている。
MDP における基本的な問題設定は、現在の状態が s {\displaystyle s} が与えられたときに意思決定者の取る行動 a ∈ A {\displaystyle a\in A} を既定する方策 (policy) を求めることである。 方策は通常 s , a {\displaystyle s,a} の条件付き分布 P ( a | s ) {\displaystyle P(a|s)} として規定され、状態 s {\displaystyle s} に 行動 a {\displaystyle a} を取る確率を π ( s , a ) {\displaystyle \pi (s,a)} と表記する。
方策を求める際に用いられるゴール(目的関数)は、典型的には現在時刻から無限区間先の未来までにおける「割引された」報酬の累積値が用いられる:
ここで γ ∈ [ 0 , 1 ] {\displaystyle \gamma \in [0,1]} は割引率 (discount rate) と呼ばれる値であり、現在の報酬と未来の報酬との間における重要度 (importance) の差異を表している。 状態が確率的に遷移することから上の値は確率変数となるため、通常はその期待値が用いられる。