顿法, 通常用于第一步之后的叠代. 只要牛顿法适用, 其收敛于最小值或最大值的速度均颇快于最速下降法. 事实上, 对于每一个极小值, 都存在一个邻域formula_51使得, 只要Hessian矩阵是可逆的且是一个关于formula_52的Lipschitz连续函数, 以formula_53为初值, 步长formula_54的牛顿法是二次收敛的.求一个高维问题的Hessian矩阵的逆矩阵是一件颇费工夫的事情. 在实际应用中, 通常会用向量formula_55作为线性方程组的解. 这个求解过程中,