部分観測マルコフ決定過程
O : S × A × Ω → [ 0 , 1 ] {\displaystyle O:{\mathcal {S}}\times {\mathcal {A}}\times \Omega \to [0,1]} : 条件付き観測確率の集合
各時刻において,環境はある状態 s ∈ S {\displaystyle s\in S} にあるエージェントは行動 a ∈ A {\displaystyle a\in A} をとり,それに影響を受け環境は状態 s ′ {\displaystyle s'} に確率 T ( s ′ ∣ s , a ) {\displaystyle T(s'\mid s,a)} で遷移する. 同時刻において,エージェントは遷移後の状態に依存し確率分布 O ( o | s , a ) {\displaystyle O(o|s,a)} に従う観測 o ∈ Ω {\displaystyle o\in \Omega } を得る. 最後に,エージェントは環境から報酬 R ( s , a ) {\displaystyle R(s,a)} を受け取る. 形式的には、POMDP は隠れマルコフモデル (HMM) に行動および行動を変更する動機を与える報酬を付与したものと解釈することができる。