部分観測マルコフ決定過程
POMDP は実世界の多くの種類の問題に用いることが出来る. 注目すべき応用には,虚血性心疾患の患者の特別療法に対する POMDP の活用,痴呆患者の支援技術, 絶滅の危機に瀕し発見の難しいスマトラトラの保護,および航空機の衝突回避が含まれる.
POMDP の基本的な問題設定における目標 (goal) は、各時刻においてエージェントが受け取る未来の割引された報酬の期待値 E [ ∑ t = 0 ∞ γ t r t ] {\textstyle E\left[\sum _{t=0}^{\infty }\gamma ^{t}r_{t}\right]} の最大化である. ここで r t {\displaystyle r_{t}} はエージェントが時刻 t {\displaystyle t} に受け取る即時報酬 (immediate reward) である。 また、 γ ∈ [ 0 , 1 ] {\displaystyle \gamma \in [0,1]} は割引因子 (discount factor) であり、他の遠い報酬と比べて即時報酬をどの程度好むかを規定する. γ = 0 {\displaystyle \gamma =0} のとき,エージェントは即時に得られる報酬の期待値の最大化のみを考慮し, γ = 1 {\displaystyle \gamma =1} のとき未来の報酬の累積和の期待値の最大化を考慮する.