部分観測マルコフ決定過程
POMDPは 組 ⟨ S , A , T , R , Ω , O ⟩ {\displaystyle \langle {\mathcal {S}},{\mathcal {A}},T,R,\Omega ,O\rangle } で定義される:
S = { s 1 , ... , s N } {\displaystyle {\mathcal {S}}=\{s^{1},\ldots ,s^{N}\}} : 状態 (state) の有限集合
A = { a 1 , ... , a K } {\displaystyle {\mathcal {A}}=\{a^{1},\ldots ,a^{K}\}} : 行動 (action) の有限集合
T : S × A × S → [ 0 , 1 ] {\displaystyle T:{\mathcal {S}}\times {\mathcal {A}}\times {\mathcal {S}}\to [0,1]} : 条件付き状態遷移確率
R : S × A → R {\displaystyle R:{\mathcal {S}}\times {\mathcal {A}}\to \mathbb {R} } : 報酬関数 (reward function)
Ω {\displaystyle \Omega } : 観測の集合