矩阵微积分

在數學中， **矩陣微積分**是多元微積分的一種特殊表達，尤其是在矩陣空間上進行討論的時候。它把單個函數對多個變量或者多元函數對單個變量的偏導數寫成向量和矩陣的形式，使其可以被當成一個整體被處理。這使得要在多元函數尋找最大或最小值，又或是要為微分方程系統尋解的過程大幅簡化。這裡我們主要使用統計學和工程學中的慣用記法，而張量下標記法更常用於物理學中。

## 記法

在本小節中，我們在表示向量和矩陣時，通過用單個變量來表示許多變量的方式，把矩陣記法的效用發揮到最大。接下來我們用不同字體來區分純量、向量和矩陣。我們使用 _M_(_n_,_m_) 來表示包含 _n_ 行 _m_ 列的 _n×m_ 實矩陣的空間。該空間中的一般矩陣用粗體大寫字母表示，例如 **A**，**X**，**Y** 等。而若該矩陣屬於 _M_(_n_,1)，即列向量，則用粗體小寫字母表示，如 **a**，**x**，**y** 等。特別地，_M_(1,1) 中的元素為純量，用小寫斜體字母表示，如 _a_，_t_，_x_ 等。**X**T 表示矩陣轉置，tr (**X**) 表示矩陣的跡，而 det (**X**) 或 |**X**| 表示行列式。除非專門註明，所有函數都默認屬於光滑函數 _C_1。 通常字母表前半部分的字母 (a, b, c, …) 用於表示常量，而後半部分的字母 (t, x, y, …) 用於表示變量。

## 向量求導

由於向量可看成僅有一列的矩陣，最簡單的矩陣求導為向量求導。

這裡的標記方法可以通過如下方式表達大部分向量微積分：把 _n_ 維向量構成的空間 _M_(_n_,1) 等同為歐氏空間 **R**n， 純量 _M_(1,1) 等同於 **R**。對應的向量微積分的概念在每小節末尾列出。

### 向量對純量求導

向量 $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$ 關於純量 _x_ 的導數可以（用分子記法）寫成

　
: ${\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}$

這裡的「分子布局記法」一般指，在表示導數向量（或矩陣）時，該導數的行數等於導數表達式 ${\frac {\partial \mathbf {y} }{\partial x}}$ 中處於分子部分的參數維度，即 $\mathbf {y} $ 的維度大小 $m$ ；若採用分母布局記法，則導數的行數等於導數表達式中處於分母部分的參數維度，即 $x$ 的維度大小。分子布局記法的結果與分母布局記法的結果互為轉置關係。

在向量微積分中，向量 $\mathbf {y} $ 關於純量 $x$ 的導數也被稱為向量 $\mathbf {y} $ 的**切向量**， ${\frac {\partial \mathbf {y} }{\partial x}}$ 。注意這裡 $\mathbf {y} :\mathbb {R} \rightarrow \mathbb {R} ^{n}$ 。

**例子** 簡單的樣例包括歐式空間中的速度向量，它是位移向量（看作關於時間的函數）的切向量。更進一步而言， 加速度是速度的切向量。

### 純量對向量求導

純量 _y_ 對向量 $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$ 的導數可以（用分子記法）寫成

　
: ${\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}$

在向量微積分中，純量 _y_ 在的空間 **R**n(其獨立坐標是 **x** 的分量) 中的梯度是純量 _y_ 對向量 **x** 的導數的轉置。在物理學中，電場是電勢的負梯度向量。

純量函數 _f_(**x**) 對空間向量 **x** 在單位向量 **u**（在這裡表示為列向量）方向上的方向導數可以用梯度定義：

　
: $\nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} $

使用剛才定義的純量對向量的導數的記法，我們可以把方向導數寫作 $\nabla _{\mathbf {u} }f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\top }\mathbf {u} $ 這類記法在證明乘法法則和鏈式法則的時候非常直觀，因為它們與我們熟悉的純量導數的形式較為相似。

### 向量對向量求導

前面兩種情況可以看作是向量對向量求導在其中一個是一維向量情況下的特例。類似地我們將會發現有關矩陣的求導可被以一種類似的方式化歸為向量求導。

向量函數 (分量為函數的向量) $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$ 對輸入向量 $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$ 的導數，可以（用分子記法) 寫作

　
: ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}$

在向量微積分中，向量函數 **y** 對分量表示一個空間的向量 **x** 的導數也被稱為**前推 (微分)**，或**雅可比矩陣**。

向量函數 **f** 對 **R**n 空間中向量 **v** 的前推為 $d\,\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\,\mathbf {v} $

## 矩陣求導

有兩種類型的矩陣求導可以被寫成相同大小的矩陣：矩陣對純量求導和純量對矩陣求導。它們在解決應用數學的許多領域常見的最小化問題中十分有用。類比於向量求導，相應的概念有**切矩陣**和**梯度矩陣**。

### 矩陣對純量求導

矩陣函數 **Y** 對純量 _x_ 的導數被稱為**切矩陣**，(用分子記法) 可寫成：

　
: ${\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}$

### 純量對矩陣求導

定義在元素是獨立變量的 _p_×_q_ 矩陣 **X** 上的純量函數 _y_ 對 **X** 的導數可以 (用分子記法) 寫作

　
: ${\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}$

定義矩陣上的重要的純量函數包括矩陣的跡和行列式。

類比於向量微積分，這個導數常被寫成如下形式：

　
: $\nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}$

類似地，純量函數 _f_(**X**) 關於矩陣 **X** 在方向 **Y** 的**方向導數**可寫成

　
: $\nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right)$

梯度矩陣經常被應用在估計理論的最小化問題中，比如卡爾曼濾波算法的推導，因此在這些領域中有著重要的地位。

## 參考文獻

* Fang, Kai-Tai; Zhang, Yao-Ting. Generalized multivariate analysis. Science Press (Beijing) and Springer-Verlag (Berlin). 1990. ISBN 3540176519. 9783540176510.
* Kollo, Tõnu; von Rosen, Dietrich. Advanced multivariate statistics with matrices. Dordrecht: Springer. 2005. ISBN 978-1-4020-3418-3.
* Pan, Jianxin; Fang, Kaitai. Growth curve models and statistical diagnostics. Beijing: Science Press. 2007. ISBN 9780387950532.

## 延伸閱讀

## 外部連結