a_15可以改变。右侧的图片示例了这一过程，这里假设formula_9定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线（水平集），即函数formula_9为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度"下降"方向，将最终到达碗底，即函数formula_9局部极小值的点。
例子.梯度下降法处理一些复杂的非线性函数会出现问题，例如Rosenbrock函数其最小值在formula_20处，数值为formula_