sian矩阵难以甚至无法计算时，拟牛顿法便可派上用场。
搜索极值.与牛顿法相同, 拟牛顿法是用一个二次函数以近似目标函数formula_1. formula_1的二阶泰勒展开是其中, formula_4表示formula_1的梯度, formula_6表示Hessian矩阵formula_7的近似. 梯度formula_4可进一步近似为下列形式令上式等于formula_10, 计算出Newton步长formula_11, 然后构造formula_7的近似formula_6满足