マルコフ決定過程
MDP では方策 π ( s ) {\displaystyle \pi (s)} を計算する際に現在の状態 s {\displaystyle s} が既知であることを仮定している。 実際には状態観測に不確実性が伴う場合などこの仮定が成り立たない場合が多く、このような場合の一般化として部分観測マルコフ決定過程 (Partially Observable Markov Decision Process; POMDP) が用いられる。