ベルマン方程式
これらの仮定の下で、無限の未来までを考慮した決定問題(無限期間の最適化問題) は次式となる。
V ( x 0 ) = max { a t } t = 0 ∞ ∑ t = 0 ∞ β t F ( x t , a t ) , {\displaystyle V(x_{0})\;=\;\max _{\left\{a_{t}\right\}_{t=0}^{\infty }}\sum _{t=0}^{\infty }\beta ^{t}F(x_{t},a_{t}),}
ただし次の条件のもとで:
a t ∈ Γ ( x t ) , x t + 1 = T ( x t , a t ) , ∀ t = 0 , 1 , 2 , ... {\displaystyle a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t=0,1,2,\dots }
想定された拘束条件のもとで目的関数を最適化した結果としての、最適な値を表現するものとして V ( x 0 ) {\displaystyle V(x_{0})} を定義したことに注意しよう。この関数を価値関数 (value function)と呼ぶ。最適値は初期状態によって変化するから、価値関数 V ( x 0 ) {\displaystyle V(x_{0})} は初期状態 x 0 {\displaystyle x_{0}} の関数となる。