部分観測マルコフ決定過程
任意の信念 b {\displaystyle b} に対する特定の行動 a = π ( b ) {\displaystyle a=\pi (b)} を π {\displaystyle \pi } と表す。 ここで目的関数は無限ホライズンの期待割引報酬和 (expected total discounted reward) と仮定する. R {\displaystyle R} がコストとして定義される場合,目的関数は期待コストの最小化となる.
信念の初期値を b 0 {\displaystyle b_{0}} としたときの政策 π {\displaystyle \pi } に対する期待報酬 (expected reward) は次のように定義される:
ここで γ < 1 {\displaystyle \gamma <1} は割引因子である. 最適な政策 π ∗ {\displaystyle \pi ^{*}} は長期的な報酬の最適化により次のように得られる:
ここで b 0 {\displaystyle b_{0}} は初期信念である.