強化学習
R = ∑ t = 0 ∞ γ t r t {\displaystyle R=\sum _{t=0}^{\infty }\gamma ^{t}r_{t}}
ここで、 r t {\displaystyle r_{t}} はステップ t {\displaystyle t} における報酬であり、 γ ∈ [ 0 , 1 ) {\displaystyle \gamma \in [0,1)} は割引率である。割引率 γ {\displaystyle \gamma } は1未満に設定され、遠い未来の事象ほど重み付けは小さくなる。
アルゴリズムは、期待収益が最大になるような方策を見つける必要がある。MDPの理論から、一般性を損なうことなく、探索をいわゆる「定常方策」(stationary policies)の集合に限定できることが知られている。ある方策が返す行動分布が、(観察しているエージェントの履歴から)最後に訪れた状態にのみ依存する場合、その方策は「定常的」(stationary)である。探索はさらに決定論的な定常方策に限定されることがある。「決定論的定常方策」(deterministic stationary policy)は、現在の状態に基づいて「決定論的」に行動を選択する。このような方策は、状態の集合から行動の集合へのマッピングとして識別できるので、一般性を損なうことなく、これらの方策はこのようなマッピングと識別することができる。
最後に、上記の方法はみな、初めにモデルを訓練するアルゴリズムと組み合わせることができる。たとえば、Dynaアルゴリズムは経験からモデルを訓練し、実際の遷移に加えて、よりモデル化された遷移を価値関数に与えることができる。このような方法はノンパラメトリックモデルに拡張できる場合があり、たとえば、遷移を単純に保存して学習アルゴリズムに「再生」させるなどの方法がある。
モデルの使用には価値関数を更新する以外の方法もある。たとえば、モデル予測制御 (en:英語版) では、モデルを用いて挙動を直接更新する。
安全な強化学習(safe reinforcement learning、SRL)とは、システムの訓練や配置の過程で、その合理的な性能を確保し安全制約を尊重することが重要な問題において、期待収益を最大化する方策を学習する過程と定義することができる。
環境は新しい状態 s t + 1 {\displaystyle s_{t+1}} に移動し、遷移(transition) ( s t , a t , s t + 1 ) {\displaystyle (s_{t},a_{t},s_{t+1})} に関連付けられる報酬 r t + 1 {\displaystyle r_{t+1}} が決定される。強化学習エージェントの目標は、期待累積報酬を最大化する方策 π : A × S → [ 0 , 1 ] {\displaystyle \pi :A\times S\rightarrow [0,1]} , π ( a , s ) = Pr ( a t = a ∣ s t = s ) {\displaystyle \pi (a,s)=\Pr(a_{t}=a\mid s_{t}=s)} を学習することである。
この問題をMDPとして定式化すると、エージェントが環境の現在の状態を直接観測することを仮定し、この場合、問題は完全観測可能(full observability)であると言う。しかし、エージェントが一部の状態しか観測できない場合、あるいは観測された状態がノイズによって破損している場合、エージェントは部分観測可能(partial observability)であると呼ばれ、正式にはその問題を部分観測可能マルコフ決定過程(partially observable Markov decision process)として定式化しなければならない。どちらの場合も、エージェントが使用できる行動の集合は制限を受ける可能性がある。たとえば、口座残高の状態が正である制約を課すことができる。