整个状态空间求解，HJB方程是最佳解的充份必要条件。若可以求解formula_17，就可以找到达到最小成本的控制formula_18。一般而言，HJB方程不会有一个传统光滑函数的解。为了这些情形发展了许多广义解的表示方式，包括皮埃尔-路易·利翁及的粘性解，Andrei Izmailovich Subbotin的极小化极大演算法等。
延伸到随机问题.上述的作法主要是应用贝尔曼的最优化原理，以及在时间上由最终时间倒推求解，针对随机控制问题也可以用类似的作法求最佳解。考虑以下的问题