ニュートン法
ニュートン法は、接線を一次近似式、接線のx切片を一次近似式の零点と考えることにより、より高次元の関数の場合に一般化できる。 対象となる関数を f: R → R, x ∈ R とし、
f ( x ) = 0 {\displaystyle f(\mathbf {x} )=\mathbf {0} }
なる点 x を求めるには次のようにする。(f が同じ次元の空間の間の関数であることに注意せよ。)
まず、今 x0 ∈ R が既知であるとする。x0における f(x) の一次近似式
f ( x 0 ) + ∂ f ( x 0 ) ( x − x 0 ) {\displaystyle f(\mathbf {x} _{0})+\partial f(\mathbf {x} _{0})(\mathbf {x} -\mathbf {x} _{0})}
を考える。ただし、∂f(x0) は、m × m のヤコビ行列である。
この一次近似式の零点を求める。ヤコビ行列∂f(x0) が正則行列であるとして、
f ( x 0 ) + ∂ f ( x 0 ) ( x − x 0 ) = 0 {\displaystyle f(\mathbf {x} _{0})+\partial f(\mathbf {x} _{0})(\mathbf {x} -\mathbf {x} _{0})=\mathbf {0} }
初期値 x 0 {\displaystyle x_{0}} を解の十分近くに選ぶことを要求した上で、
f ( x ) = 0 {\displaystyle f(x)=0\,}
の解を考える(解の存在を仮定する)。 f ( x ) {\displaystyle f(x)} の x = x 0 {\displaystyle x=x_{0}} でのテーラー展開をすると
f ( x ) = f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + O ( ( x − x 0 ) 2 ) {\displaystyle f(x)=f(x_{0})+f^{\prime }(x_{0})(x-x_{0})+O((x-x_{0})^{2})}
このとき、(右辺)=0の解は、(左辺)=0の根の x 0 {\displaystyle x_{0}} での多項式次数一次の近似となっている。 右辺の解は
x = x 0 − f ( x 0 ) f ′ ( x 0 ) {\displaystyle x=x_{0}-{\frac {f(x_{0})}{f^{\prime }(x_{0})}}}
次に、この近似値が、 x 0 {\displaystyle x_{0}} より根に近づいている ということに関する意味を考える。