考虑如下序列formula_11使得因此可得到如果顺利的话序列formula_14收敛到期望的局部极小值。注意每次迭代"步长"formula_15可以改变。右侧的图片示例了这一过程，这里假设formula_9定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线（水平集），即函数formula_9为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度"下降"方向，将最终到达碗底，即函数formula_9局部极小值的点。Section: