梯度下降法（）是一个一阶最优化算法，通常也称为最陡下降法，但是不该与近似积分的最陡下降法（）混淆。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的"反方向"的规定步长距离点进行迭代搜索。如果相反地向梯度"正方向"迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。
描述.梯度下降方法基于以下的观察：如果实值函数formula_1在点formula_2处可微且有定义，那么函数formula_1在formula_2点沿着梯度相