部分観測マルコフ決定過程
部分観測マルコフ決定過程(ぶぶんかんそくマルコフけっていかてい、英: partially observable Markov decision process; POMDP)はマルコフ決定過程 (MDP) の一般化であり,状態を直接観測できないような意思決定過程におけるモデル化の枠組みを与える.
POMDP は実世界におけるあらゆる逐次的な意思決定過程をモデル化するのに十分であり,ロボットのナビゲーションや機械整備 (machine maintenance),および不確実な状況下でのプランニングなどに応用されている. POMDP はオペレーションズリサーチを起源とし,のちに人工知能や自動計画のコミュニティに引き継がれた.
環境の状態に関する情報を得るため、エージェントは行動 a {\displaystyle a} と 観測 o {\displaystyle o} に基づき自身のもつ状態の信念 (belief) を更新する必要がある. ここで信念 b {\displaystyle b} は状態空間 S {\displaystyle {\mathcal {S}}} 上の確率分布として与えられる。 b ( s ) ∈ [ 0 , 1 ] {\displaystyle b(s)\in [0,1]} は環境が状態 s ∈ S {\displaystyle s\in {\mathcal {S}}} にいる確率を表す.
マルコフ性のおかげで,すべての状態にわたる信念は直前の状態の信念,取った行動,そして現在の観測のみから修正することが出来る. 現在ステップにおける信念 b : S → [ 0 , 1 ] {\displaystyle b:{\mathcal {S}}\to [0,1]} ,および行動 a {\displaystyle a} と 観測 o {\displaystyle o} が得られた後,信念は次のように更新される:
ここで 1 / Pr ( o | b , a ) {\displaystyle 1/\Pr(o|b,a)} は正規化定数であり, Pr ( o | b , a ) {\displaystyle \Pr(o|b,a)} は次式で与えられる.
.