最急降下法
n 次のベクトル x = (x1, x2, ... , xn) を引数とする関数を f (x) としてこの関数の極小値を求めることを考える。
勾配法では反復法を用いて x を解に近づけていく。k 回目の反復で解が x の位置にあるとき、最急降下法では次のようにして値を更新する。
x ( k + 1 ) = x ( k ) − α grad  f ( x ( k ) ) = x ( k ) − α [ ∂ f ( x ( k ) ) / ∂ x 1 ( k ) ∂ f ( x ( k ) ) / ∂ x 2 ( k ) ⋮ ∂ f ( x ( k ) ) / ∂ x n ( k ) ] {\displaystyle {\begin{aligned}{\boldsymbol {x}}^{(k+1)}={\boldsymbol {x}}^{(k)}-\alpha \operatorname {grad} f({\boldsymbol {x}}^{(k)})={\boldsymbol {x}}^{(k)}-\alpha {\begin{bmatrix}\partial f({\boldsymbol {x}}^{(k)})/\partial x_{1}^{(k)}\\\partial f({\boldsymbol {x}}^{(k)})/\partial x_{2}^{(k)}\\\vdots \\\partial f({\boldsymbol {x}}^{(k)})/\partial x_{n}^{(k)}\end{bmatrix}}\end{aligned}}}