部分観測マルコフ決定過程
このうち, τ {\displaystyle \tau } と r {\displaystyle r} は元のPOMDPからそれぞれ次のように導出される:
ここで Pr ( o | a , b ) {\displaystyle \Pr(o|a,b)} は前節で導出した値であり, Pr ( b ′ | b , a , o ) {\displaystyle \Pr(b'|b,a,o)} は次のように与えられる.
Pr ( b ′ | b , a , o ) = { 1 if the belief update with arguments b , a , o returns b ′ 0 otherwise . {\displaystyle \Pr(b'|b,a,o)={\begin{cases}1&{\text{if the belief update with arguments }}b,a,o{\text{ returns }}b'\\0&{\text{otherwise }}\end{cases}}.}
エージェントにとって自身の信念(または belief MDP における状態の値)は既知であるため、信念 MDP はもはや部分観測でないことに注意されたい。
たいていの場合、(元のモデルにおける)各状態への信念はある程度の値をもっているため、 "元の" MDP である行動が特定の状態からしか利用できないような状況であっても、対応する belief MDP ではその行動をすべての状態で取ることができる。
組み合わせ爆発の問題をはらむため,POMDP の厳密解を求めることは実用上困難であることが多い. そのため,POMDP の解を近似する手法が複数提案されている. グリッドベースのアルゴリズムでは価値関数を信念空間内の点集合として計算し,最適行動を決定するための計算など,グリッドの点集合に含まれない信念状態の値が必要な場合は補完する. より最近の研究では,サンプリングや一般化 (genelization technique),および問題の構造を利用する手法などが用いられ,膨大な状態を伴うより大きい領域を扱うよう POMDP を拡張する. 例えば,点ベースの手法では,信念空間において関連する領域への計画を拘束するため,到達可能な信念をランダムにサンプルする. 主成分分析を用いた次元削減も調べられている.