牛顿法是微积分学中, 通过叠代以求解可微函数formula_1的零点的一种算法 (即求formula_2使得formula_3). 而在最优化中, 牛顿法通常被运用于求解一个二次可微函数formula_1的一阶导数formula_5的零点 (即求formula_2使得formula_7), 同时也是formula_1的驻点. 因此从另一个角度而言，应用于最优化的牛顿法是搜索函数formula_9的最小值或最大值的一种算法。一维问题的牛顿法主要步骤如下:取一个点formula_10为初值, 依如下公式叠代