強化学習
すべての状態において、これらの最適値を達成する方策を最適(optimal)と呼ぶ。この強い意味で最適な方策は、期待収益 ρ π = E [ V π ( S ) ] {\displaystyle \rho ^{\pi }=E[V^{\pi }(S)]} を最大化するという意味でも「最適」であることは明らかである。ここで、 S {\displaystyle S} は初期状態の分布 μ {\displaystyle \mu } からランダムにサンプリングした状態(したがって μ ( s ) = Pr ( s 0 = s ) {\displaystyle \mu (s)=\Pr(s_{0}=s)} )である。最適性を定義するには状態価値で十分だが、行動価値を定義しておくと有用である。状態 s {\displaystyle s} 、行動 a {\displaystyle a} 、方策 π {\displaystyle \pi } が与えられたとき、 π {\displaystyle \pi } の下での状態-行動ペア ( s , a ) {\displaystyle (s,a)} の行動価値は、
Q π ( s , a ) = E  [ R ∣ s , a , π ] , {\displaystyle Q^{\pi }(s,a)=\operatorname {E} [R\mid s,a,\pi ],\,}
で定義される。ここで R {\displaystyle R} は、状態 s {\displaystyle s} で最初に行動 a {\displaystyle a} を取り、その後 π {\displaystyle \pi } に従っているときのランダム収益を表している。