近似Hessian矩阵一般以单位矩阵等作为初期值. 最优化问题的解formula_27由根据近似所得的formula_23计算出的Newton步长更新得出.以下为该算法的总结:
与逆矩阵的关联.若formula_35是一个凸二次函数，且Hessian矩阵formula_6正定，我们总是希望由拟牛顿法生成的矩阵formula_37收敛于Hessian矩阵的逆formula_38。这是基于叠代值更新最小 (least-change update) 的拟牛顿法系列的一个实例。S