多変数の微分
多変数の微分(たへんすうのびぶん)は、多変数関数を、局所的に線形写像(ヤコビ行列)で近似する手法である。本記事では、多変数微分の理論的な側面について解説する。
n 次元実数ベクトル空間 \mathbb{R}^n とは、集合としては
\mathbb{R}^n = \left\{ \left. \left( \begin{matrix}
x_1  \\
\vdots   \\
x_n  \\
\end{matrix} \right)\ \left| \begin{matrix}
x_1,\cdots ,x}_{n\in \mathbb{R}  \\
\end{matrix} \right. \right\} \right.        (1-2)
である。つまり n 個の実数 x}_{1\ ,\ \cdots \ ,\ x}_{n を用いて
\left( \begin{matrix}
x_1  \\
\vdots   \\
x_n  \\
\end{matrix} \right)  (1-3)
の形で表せるもの全てを集めてきたものである。
特に、以下で定まる \mathbf{e}_i を、第 i 標準ベクトルという。
\mathbf{e}_1 =\left( \begin{matrix}
1  \\
\vdots   \\
0  \\
\end{matrix} \right),\ \cdots , \mathbf{e}_n =\left( \begin{matrix}
0  \\
\vdots   \\
1  \\
\end{matrix} \right)    (1-8)
である。
次に \mathbb{R}^n, \mathbb{R}^m の標準座標系を定義する。\mathbb{R}^n に対し、
\textit{r}_j(\mathbf{x})=\langle\mathbf{x}\ |\ \mathbf{e}_j\rangle    (1-6)
とし、これを \mathbb{R}^n の第 j 座標関数という。ここで \langle \cdot | \cdot \rangle は内積を表す。つまり、
\textit{r}_j\left(\left( \begin{matrix}
x_1  \\
\vdots   \\
x_n  \\
\end{matrix} \right)\right)=x_j    (1-7)
である。
\mathbb{R}^n 標準座標系とは、\textit{r}_1, \textit{r}_2, \cdots , \textit{r}_n の組 \langle\textit{r}_1,\textit{r}_2,\cdots ,\textit{r}_n\rangle のことである。当然、
\textbf{x}=\left( \begin{matrix}
x_1  \\
\vdots   \\
x_n  \\
\end{matrix} \right)=\sum\limits_{j=1}^{n}r_j(\mathbf{x})\textbf{e}_j    (1-9)
が成立する。\mathbb{R}^m にも、同様に、\mathbf{e}_1\,\cdots ,\mathbf{e}_m や、標準座標系 \langle \textit{r}_1, \textit{r}_2, \cdots , \textit{r}_m\rangle が定まっている。
さて、次節にて、多変数ベクトル値関数を考えるが、定義域側 (\mathbb{R}^n) の標準座標系を \langle \textit{r}_1, \textit{r}_2, \cdots , \textit{r}_n\rangle と表記し、値域側 (\mathbb{R}^m) の標準座標系も \langle \textit{r}_1, \textit{r}_2, \cdots , \textit{r}_m\rangle と表記していては紛らわしいので、\mathbb{R}^n の標準座標系を \langle\textit{x}_1, \textit{x}_2, \cdots , \textit{x}_n\rangleと書くことにする。つまり、
\begin{align}
&x_j(\mathbf{x})=r_j(\mathbf{x})\\
&y_i(\mathbf{y})=r_i(\mathbf{y})
\end{align}    (1-10)
とする。
以降、「\mathbb{R}^n に、標準座標系 \rangle x_1, \cdots, x_n \langle が定まっているとする」と宣言した場合には、式 (1-10) のように考えることにする。
\mathbb{R}^n に標準座標系 \langle\textit{x}_1, \cdots, \textit{x}_n\rangle が定まっているとし、\mathbb{R}^m に標準座標系 \langle\textit{y}_1, \cdots, \textit{y}_m\rangleが定まっているとする。
\textbf D を \mathbb{R}^n の部分集合とし、
\mathbf{f}(x_1, \dots, x_n) = \left( \begin{matrix}
f_1(x_1, \dots, x_n)  \\
\vdots  \\
f_m(x_1, \dots, x_n)  \\
\end{matrix} \right)    (1-1)
を、\textbf D 上で定義された \mathbb{R}^m に値を取る多変数ベクトル値関数という。
以降 f_i は \textbf{f} の第 i 成分を表す。f_i は以下の性質を満たす。
f_i(\mathbf{x}) = y_i \circ \mathbf{f}(\mathbf{x}) =y_i( \mathbf{f}(\mathbf{x}))
= \langle \mathbf{e}_i|\mathbf{f}(\mathbf{x}) \rangle    (1-11)
\mathbf{f}(x_1, \dots , x_n) = \left( \begin{matrix}
f_1(x_1,\dots,x_n)  \\
\vdots  \\
f_m(x_1,\dots,x_n)  \\
\end{matrix} \right)
= \sum\limits_{i=1}^m f_i(\mathbf{x})\mathbf{e}_i
\mathbb{R}^n に、標準座標系 \langle\textit{x}_1, \cdots, \textit{x}_n\rangle が定まっているとし、\mathbb{R}^m に、標準座標系 \langle\textit{y}_1, \cdots, \textit{y}_m\rangle が定まっているとする。
\textbf D を、\mathbb{R}^n の開集合とし、
\mathbf{f}(x_1, \dots, x_n) = \left( \begin{matrix}
f_1(x_1, \dots , x_n)  \\
\vdots  \\
f_m(x_1, \dots , x_n)  \\
\end{matrix} \right)    (1-1)
を、\textbf D 上で定義された \mathbb{R}^{m} に値を取る多変数ベクトル値関数とする。
ここで f}_{i は \textbf{f} の第 i 成分を表す。
\textbf{p} を \textbf D 内の点とし、\textbf{a} を \mathbb{R}^n のベクトルとする(\textbf{p} は \textbf{p}\in\textbf{D} でなければならないが \textbf{a} は \textbf{a}\notin\textbf Dであってよい)。
\textbf{p}, \textbf{a} は固定されているものとする。
このとき、\textbf{f} が \textbf{p} で \textbf{a} について偏微分可能であるとは、以下の極限値
\underset{t\to 0}{\mathop{\lim }\,\,\,\frac{\,\,\mathbf{f}(\mathbf{p}+t\mathbf{a})-\mathbf{f}(\mathbf{p})}{t}    (1-4)
が存在することを意味する。
このとき \textbf{f}の\textbf{p}における、\textbf{a} について偏微分商、
{\left. \partial_{[\mathbf{a}]} \mathbf{f} \right〕_{[\mathbf{p}]}
を、以下のように定義する。
{\left. \partial_{[\mathbf{a}]} \mathbf{f} \right〕_{[\mathbf{p}]}\ =\ \underset{t\to 0}{\mathop{\lim }\,\,\,\frac{\,\,\mathbf{f}(\mathbf{p}+t\mathbf{a})-\mathbf{f}(\mathbf{p})}{t}   (1-5)
\textbf{f} の第 i 成分 {f}_{i} は以下の等式を満たす。
f_i(\mathbf{x}) = y_i \circ \mathbf{f}(\mathbf{x}) = \langle\mathbf{e}_i\ |\ \mathbf{f}(\mathbf{x}) \rangle    (1-11)
上式において \langle \cdot |\cdot \rangle は内積を意味する。
式 (1-10), (1-11) を用いて、{f}_{i} を((1-5) の定義式通りに)\textbf{p} で \textbf{a} について偏微分することを考える。
\textbf{f} が \textbf{p} で \textbf{a} について偏微分可能ならば、f_i は \textbf{p} で \textbf{a} について偏微分可能で、
\begin{align}
{\left. \partial_{[\mathbf{a}]} f_i \right〕_{[\mathbf{p}]}
&= \underset{t\to 0}{\mathop{\lim }\,\,\,\frac{\,\,{f}_{i}(\mathbf{p}+t\mathbf{a})-{f}_{i}(\mathbf{p})}{t}\\
&= \textbf{e}_i \cdot
\left( \underset{t\to 0}{\mathop{\lim }\,\,\,\,
\left( \frac{\,\,\mathbf{f}(\mathbf{p} + t\mathbf{a}) - \mathbf{f}(\mathbf{p})}{t} \right) \right)\\
&= {}^t{\textbf{e}_{i} \cdot {\left. \partial_{[\mathbf{a}]} \textbf{f} \right〕_{[\mathbf{p}]}\\
&= {\left. \partial_{[\mathbf{a}]} \textbf{f} \right〕_{[\mathbf{p}]} \cdot \textbf{e}_i
\end{align}    (1-12)
が成立する。
逆に、式(1-1)より、
\mathbf{f}(x_1,\dots,x_n)=\left( \begin{matrix}
f_1(x_1,\dots, x_n)  \\
\vdots  \\
f_m(x_1,\dots, x_n)  \\
\end{matrix} \right)
= \sum\limits_{i=1}^{m} f_i(\mathbf{x}) \mathbf{e}_i    (1-13)
なので、f_1,\cdots, f_m すべてが \textbf{p} で \textbf{a} について偏微分可能であれば、\textbf{f} も微分可能で、
\left. \partial }_{[\mathbf{a}]\mathbf{f} \right〕_{[\mathbf{p}]=\left( \begin{matrix}
{\left. \partial_{[\mathbf{a}]} f_1 \right〕_{[\mathbf{p}]}  \\
\vdots   \\
{\left. \partial_{[\mathbf{a}]} f_m \right〕_{[\mathbf{p}]}  \\
\end{matrix} \right)  (1-14)
が成立する。これは式 (1-13) の両辺に、式 (1-5) の右辺の極限をとれば証明できる。
(1-6) の各成分、つまり {\left. \partial_{[\mathbf{a}]} f_i \right〕_{[\mathbf{p}]} は、それぞれ、(1-15) に示す t についての一変数スカラー値関数
f_i {}^\circ l_{[\mathbf{a},\mathbf{p}]} (t) = f_i(t \mathbf{a} + \mathbf{p})      (1-15)
を、t = 0 において(一変数スカラー値意味で)微分したものである。つまり、
{\left. \partial_{[\mathbf{a}]} f_i \right〕_{[\mathbf{p}]}
= {\left. \frac{d(f_i {}^\circ l_{[\mathbf{a},\mathbf{p}]})}{dt} \right〕_{t=0}
= {\left. \frac{d f_i(t\mathbf{a}+\mathbf{x}_0)}{dt} \right〕_{t=0}      (1-16)
である。但し、l_{[\mathbf{a},\mathbf{p}]} は、
l_{[\mathbf{a}, \mathbf{p}]}(t) = t\mathbf{a} + \mathbf{p}  (1-17)
で定まる \mathbb{R}^n の直線である。
また、後述の合成写像の微分法則 (3-7) を用いると (1-16) の計算はさらにすすめられる。この結果は第三節で後述する。
\textbf{f} の点 \mathbf{p} における「(\mathbb{R}^nの)
ベクトル \mathbf{e}_j」に対する偏微分商、即ち \partial_{[\mathbf{e}_j]} \mathbf{f}[\mathbf{p}] を、
{\left. \frac{\partial \mathbf{f}{\partial x_j} \right〕_{[\mathbf{p}]}
と書く。 即ち、
{\left. \frac{\partial \mathbf{f}{\partial x_j} \right〕_{[\mathbf{p}]}
= \partial_{[\mathbf{e}_{j}]} \mathbf{f}[\mathbf{p}]
= \underset{t\to 0}{\mathop{\lim }\,\,\,
\frac{\textbf{f}(t\mathbf{e}_{i}+\mathbf{p})-\textbf{f}(\mathbf{p})}{t}  (1-18)
と表記する。
また、\textbf{f} の第 i 成分、つまり f}_{i の点 \mathbf{p} における「(\mathbb{R}^n の)ベクトル \mathbf{e}_j」に対する偏微分商 \partial_{[\mathbf{e}_{j}]} f_i[\mathbf{p}] を、{\left. \frac{\partial f_i}{\partial x_j} \right〕_{[\mathbf{p}]} と表記する。
ここで、\textbf{e}_{1}\,\cdots ,\textbf{e}_{n} は、それぞれ \mathbb{R}^n 標準基底であり、\textbf{e}_j は、第 j 標準ベクトルを意味する。
\textbf{f} が \textbf{p} において、\textbf{e}_1\,\cdots ,\textbf{e}_n 全てに対して偏微分可能であるとき、
{(J\mathbf{f})}_{[\mathbf{p}]} = \left( \begin{matrix}
{\left. \frac{\partial f_1}{\partial x_1} \right〕_{[\mathbf{p}]}
& \cdots
& {\left. \frac{\partial f_1}{\partial x_n} \right〕_{[\mathbf{p}]}  \\
& \vdots & \\
{\left. \frac{\partial f_m}{\partial x_1} \right〕_{[\mathbf{p}]}
& \cdots
& {\left. \frac{\partial f_m}{\partial x_n} \right〕_{[\mathbf{p}]}  \\
\end{matrix} \right)    (1-20)
を \textbf{f} の \mathbf{p} におけるヤコビ行列という。
\textbf{D} を \mathbb{R}^n の開集合とし、
\textbf{f}(\mathbf{x})=\left( \begin{matrix}
f_1(\mathbf{x})  \\
\vdots   \\
f_m(\mathbf{x})  \\
\end{matrix} \right)    (2-1)
を、\textbf D 上で定義された \mathbb{R}^m に値を取る多変数ベクトル値関数とする。
\textbf{p} を \textbf D 内の点とする(つまり \textbf{p}\in\textbf{D})。このとき、\textbf{f} が \textbf{p} で微分可能であるとは、
\underset{\mathbf{x}\to \mathbf{p}{\mathop{\lim }\,\,\,\left( \frac{\mathbf{f}(\mathbf{x})-\left( \mathbf{A}(\mathbf{x}-\mathbf{p})+\mathbf{f}(\mathbf{p}) \right)}{\left\| \mathbf{x}-\mathbf{p} \right\〕 \right)=0    (2-2)
を充たす n\times m 行列 \textbf{A} が存在することを意味する。この \textbf{A} を、\textbf{f} の \textbf{p} における微分という。
\textbf x -\textbf p=\textbf h とおくと、次のようにも表せる。
\quad \ \displaystyle \lim_{\textbf h \to \textbf 0} \dfrac{ \| f( \textbf p + \textbf h)-f( \textbf p)-A \textbf h \〕=0
\textbf{f} が \textbf{p} で微分可能であるとき、(2-2) を満たす n\times m 行列はひとつしか存在しない。つまり、n\times m 行列 \textbf{B} が、
\underset{\mathbf{x}\to \mathbf{p}{\mathop{\lim }\,\,\,\,\left( \frac{\mathbf{f}(\mathbf{x})-\left( \mathbf{B}(\mathbf{x}-\mathbf{p})+\mathbf{f}(\mathbf{p}) \right)}{\left\| \mathbf{x}-\mathbf{p} \right\〕 \right)=0    (2-3)
を満たすとすると、
\textbf{A}=\textbf{B}    (2-4)
が成立する。
\textbf{f} が \textbf{p} で微分可能であるとき、\textbf{f} は \textbf{p} で任意のベクトル \textbf{a} に対して偏微分可能である。実際、
\begin{align}
&\left( \frac{\mathbf{f}(t\mathbf{a}+\mathbf{p})-\mathbf{f}(\mathbf{p})}{t} \right)-\mathbf{A}\cdot \mathbf{a}\\
&=\, \left( \frac{\textbf{f}(t\mathbf{a}+\mathbf{p})-\left( \mathbf{A}\cdot \left( \left( t\mathbf{a}+\mathbf{p} \right)-\mathbf{p} \right)+\textbf{f}(\mathbf{p}) \right)}{\left\| \left( t\mathbf{a}+\mathbf{p} \right)-\mathbf{p} \right\〕 \right)\left\| \mathbf{a} \right\|
\end{align}  (2-5)
ここで、
\,\underset{t\to 0}{\mathop{\lim }\,\,\,\left( \frac{\textbf{f}(t\mathbf{a}+\mathbf{p})-\left( \mathbf{A}\cdot \left( \left( t\mathbf{a}+\mathbf{p} \right)-\mathbf{p} \right)+\textbf{f}(\mathbf{p}) \right)}{\left\| \left( t\mathbf{a}+\mathbf{p} \right)-\mathbf{p} \right\〕 \right)    (2-6)
は、(2-2) に \mathbf{x}=\mathbf{p}+t\mathbf{a} を代入したに過ぎないため(従って (2-2) の特別な場合に過ぎない)、(2-5) の両辺の t\to 0 極限は 0 となる。従って、
\underset{t\to 0}{\mathop{\lim }\,\,\,\,\,\frac{\textbf{f}(t\mathbf{a}+\mathbf{p})-\textbf{f}(\mathbf{p})}{t}=\mathbf{A}\cdot \mathbf{a}    (2-7)
となる。以上より \textbf{f} が \textbf{p} で微分可能であるとき、\textbf{f} は \textbf{p} で \mathbb{R}^n の任意のベクトル \textbf{a} に対して偏微分可能であることが示された。
式 (1-5), (2-6) から、\textbf{f} が \textbf{p} で微分可能ならば
{\left. \partial_{[\mathbf{a}]} \textbf{f} \right〕_{[\mathbf{p}]}
=\mathbf{A}\cdot \mathbf{a}    (2-8)
であることが分かる。
式 (1-2-8) に \textbf{e}_1\,\cdots ,\textbf{e}_n を代入すると、
{\left. \frac{\partial \textbf{f}{\partial x_j} \right〕_{[\mathbf{p}]}=\mathbf{A} \cdot \mathbf{e}_j    (2-9)
である。従って \textbf{f}の \textbf{p} での微分 \textbf{A} の第 j 列は、
\left. \frac{\partial \mathbf{f{\partial x}_{j} \right〕_{[\mathbf{p}]}    (2-10)
第 i , j 成分は
{\left. \frac{\partial f_i}{\partial x_j} \right〕_{[\mathbf{p}]}    (2-11)
となる。従って、
\mathbf{A}=\left( \begin{matrix}
{\left. \frac{\partial \mathbf{f}{\partial x_1} \right〕_{[\mathbf{p}]}
& \cdots
& {\left. \frac{\partial \mathbf{f}{\partial x_n} \right〕_{[\mathbf{p}]}
\end{matrix} \right)
= \left( \begin{matrix}
{\left. \frac{\partial f_1}{\partial x_1} \right〕_{[\mathbf{p}]}
& \cdots
& {\left. \frac{\partial f_1}{\partial x_n} \right〕_{[\mathbf{p}]}  \\
& \vdots & \\
{\left. \frac{\partial f_m}{\partial x_1} \right〕_{[\mathbf{p}]}
& \cdots
& {\left. \frac{\partial f_m}{\partial x_n} \right〕_{[\mathbf{p}]}  \\
\end{matrix} \right)
=(J\mathbf{f})}_{[\mathbf{p}]    (2-12)
となる。
「誤差項」の導入を行う。
\textbf{f} と \textbf{p} に対し、\textbf{f} の \textbf{p} における誤差項(ランダウの記号){\textbf{o}_{[\textbf{f},\textbf{p}]} を
\mathbf{o}_{[\mathbf{f},\mathbf{p}]}(\mathbf{x})
= \mathbf{f}(\mathbf{x})-\left( {(J\mathbf{f})}_{[\mathbf{p}]} \cdot (\mathbf{x}-\mathbf{p})+\mathbf{f}(\mathbf{p}) \right)    (2-13)
によって定める。
\underset{\textbf{x}\to \mathbf{p}{\mathop{\lim }\,\,{\mathbf o}_{[\mathbf{f},\mathbf{p}]}=\mathbf{0}    (2-14)
\underset{\mathbf{x}\to \mathbf{p}{\mathop{\lim }\,\,\frac\mathbf{0}    (2-15)
であることが分かる。
(2-14) は、以下の恒等式
\mathbf{f}(\mathbf{x})={(J\mathbf{f})}_{[\mathbf{p}]} \cdot (\mathbf{x}-\mathbf{p})+\mathbf{f}(\mathbf{p})+{\mathbf o}_{[\mathbf{f},\mathbf{p}]}(\mathbf{x})    (2-16)
の \textbf{x} に \textbf{p} を代入すれば直ちに得られる。
(2-16) の恒等式ことを、本記事では \textbf{f} の点 \textbf{p} における一次展開ということにする。
(2-15) 式は、(2-2) 式に (2-13) 式を代入したに過ぎないが、{\textbf{o_{[\textbf{f},\textbf{p}]} が一次の微小量であることを意味しており、思想的には重要である。
(2-16) 式と (2-13) 式を見比べると、ヤコビ行列は \textbf{f} の一次近似を表していると見ることができる。
つまり、点 \textbf{p} の近傍で \textbf{f} は