以牛顿法为基础设计的，求解非线性方程组或连续的最优化问题函数的零点或极大、极小值的算法。当牛顿法中所要求计算的雅可比矩阵或Hessian矩阵难以甚至无法计算时，拟牛顿法便可派上用场。
搜索极值.与牛顿法相同, 拟牛顿法是用一个二次函数以近似目标函数formula_1. formula_1的二阶泰勒展开是其中, formula_4表示formula_1的梯度, formula_6表示Hessian矩阵formula_7的近似. 梯度formula_4可进一步近似为下列形式令上式等