ベルマン方程式
max a 0 { F ( x 0 , a 0 ) + β [ max { a t } t = 1 ∞ ∑ t = 1 ∞ β t − 1 F ( x t , a t ) : a t ∈ Γ ( x t ) , x t + 1 = T ( x t , a t ) , ∀ t ≥ 1 ] } {\displaystyle \max _{a_{0}}\left\{F(x_{0},a_{0})+\beta \left[\max _{\left\{a_{t}\right\}_{t=1}^{\infty }}\sum _{t=1}^{\infty }\beta ^{t-1}F(x_{t},a_{t}):a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t\geq 1\right]\right\}}
ただし次の条件のもとで:
a 0 ∈ Γ ( x 0 ) , x 1 = T ( x 0 , a 0 ) . {\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}
ここで時刻1での状態が x 1 = T ( x 0 , a 0 ) {\displaystyle x_{1}=T(x_{0},a_{0})} となることを知りつつ、アクション a 0 {\displaystyle a_{0}} を選ぶ。この新しい状態は、時刻1以降すべての決定に影響を与える。 未来全体の決定問題は、右側の角括弧の中に現れている。