态方程如下其中 "y" 是 "n" × 1 的状态变数向量，"u" 是 "k" × 1 的控制变数向量，"A" 是 "n" × "n" 的状态递移矩阵，"B" 是 "n" × "k" 的控制系数矩阵，"Q" ("n" × "n") 是对应半正定状态损失函数矩阵，"R" ("k" × "k") 是对应正定的控制损失函数矩阵。从最后时间往前的推导可以找到每一个时间的最佳控制解其中对应正定cost-to-go矩阵 "P" 会依下式，配合formula_6，以逆向时间推导这个就是离散时间的代数Ric