状态空间下求解，HJB方程是充份必要条件。其解是针对开回路的系统，但也允许针对闭回路系统求解。HJB方程也可以扩展到随机系统。一些经典的变分问题，例如最速降线问题，可以用此方法求解。HJB方程的基础是以1950年代由理查德·贝尔曼及其同仁提出的动态规划。对应的离散系统方程式一般称为贝尔曼方程。在连续时间的结果可以视为由卡尔·雅可比及威廉·哈密顿提出，经典力学中哈密顿－雅可比方程的延伸。
最佳控制的问题.考虑在时间formula_1内，以下确定系统最佳控制的问题：其中"C