根据多元函数的泰勒展开公式,我们对目标函数在x0点处做泰勒展开,有:
忽略二次及以上的项,并对上式两边同时求梯度,得到函数的导数(梯度向量)为:
其中
即为Hessian矩阵,在后面我们写成H。令函数的梯度为0,则有:
这是一个线性方程组的解。如果将梯度向量简写为g,上面的公式可以简写为:
从初始点x0处开始,反复计算函数在处的Hessian矩阵和梯度向量,然后用下述公式进行迭代:
最终会到达函数的驻点处。其中
称为牛顿方向。