以扩展到随机系统。一些经典的变分问题，例如最速降线问题，可以用此方法求解。HJB方程的基础是以1950年代由理查德·贝尔曼及其同仁提出的动态规划。对应的离散系统方程式一般称为贝尔曼方程。在连续时间的结果可以视为由卡尔·雅可比及威廉·哈密顿提出，经典力学中哈密顿－雅可比方程的延伸。
最佳控制的问题.考虑在时间formula_1内，以下确定系统最佳控制的问题：其中"C"[ ]为纯量成本函数，"D"[ ]为计算其最终状态时效力时或经济值的函数，"x"("t")为系统状态向量，