梯度

在向量微積分中，梯度（gradient）是一種關於多元導數的概括。平常的一元（單變量）函數的導數是標量值函數，而多元函數的梯度是向量值函數。多元可微函數$f$在點$P$上的梯度，是以$f$在$P$上的偏導數為分量的向量。

就像一元函數的導數表示這個函數圖形的切線的斜率，如果多元函數在點$P$上的梯度不是零向量，則它的方向是這個函數在$P$上最大增長的方向、而它的量是在這個方向上的增長率。

梯度向量中的幅值和方向是與坐標的選擇無關的獨立量。

在歐幾里德空間或更一般的流形之間的多元可微映射的向量值函數的梯度推廣是雅可比矩陣。在巴拿赫空間之間的函數的進一步推廣是弗雷歇導數。

## 梯度的解釋

<image>

假設有一個房間，房間內所有點的溫度由一個標量場$\phi$給出的，即點$(x,y,z)$的溫度是$\phi(x,y,z)$。假設溫度不隨時間改變。然後，在房間的每一點，該點的梯度將顯示變熱最快的方向。梯度的大小將表示在該方向上的溫度變化率。

考慮一座高度在$(x, y)$點是$H(x, y)$的山。$H$這一點的梯度是在該點坡度（或者說斜度）最陡的方向。梯度的大小告訴我們坡度到底有多陡。

梯度也可以告訴我們一個數量在不是最快變化方向的其他方向的變化速度。再次考慮山坡的例子。可以有條直接上山的路其坡度是最大的，則其坡度是梯度的大小。也可以有一條和上坡方向成一個角度的路，例如投影在水平面上的夾角為60°。則，若最陡的坡度是40%，這條路的坡度小一點，是20%，也就是40%乘以60°的餘弦。

這個現象可以如下數學的表示。山的高度函數$H$的梯度點積一個單位向量給出表面在該向量的方向上的斜率。這稱為方向導數。

## 定義

<image>

純量函數 $f \colon \mathbb{R}^n \mapsto \mathbb{R}$的梯度表示為：$\nabla f$ 或$\operatorname{grad} f$，其中 $\nabla$（nabla）表示向量微分算子。

函數 $f$的梯度，$\nabla f$，為向量場且對任意單位向量 v 滿足下列方程式:

$\big(\nabla f(x)\big)\cdot \mathbf{v} = D_{\mathbf v} f(x)$。

### 直角坐標系

$\nabla f$在三維直角坐標系中表示為

$\nabla f =\begin{pmatrix} {\frac{\partial f}{\partial x}}, {\frac{\partial f}{\partial y}}, {\frac{\partial f}{\partial z}} \end{pmatrix} =\frac{\partial f}{\partial x} \mathbf{i} + \frac{\partial f}{\partial y} \mathbf{j} + \frac{\partial f}{\partial z} \mathbf{k}$。

i, j, k 為標準的單位向量，分別指向 x, y 跟 z 座標的方向。

（參看偏導數和向量。）

雖然使用坐標表達，但結果是在正交變換下不變，從幾何的觀點來看，這是應該的。

舉例來講，函數$f(x,y,z)=2x+3y^2-\sin (z)$的梯度為：

$\nabla f = \begin{pmatrix} {2}, <pre> {6y}, {-\cos (z)} </pre> \end{pmatrix} =2\mathbf{i}+ 6y\mathbf{j} -\cos(z)\mathbf{k}$。

### 圓柱坐標系

在圓柱坐標系中，$f$ 的梯度為：

$\nabla f(\rho, \varphi, z) = \frac{\partial f}{\partial \rho}\mathbf{e}_\rho + \frac{1}{\rho}\frac{\partial f}{\partial \varphi}\mathbf{e}_\varphi + \frac{\partial f}{\partial z}\mathbf{e}_z$。

ρ 是 P 點與 z-軸的垂直距離。

φ 是線 OP 在 xy-面的投影線與正 x-軸之間的夾角。

z 與直角坐標的 $z$ 等值。

eρ, eφ 跟 ez 為單位向量，指向座標的方向。

### 球坐標系

在球坐標系中：

$\nabla f(r, \theta, \varphi) = \frac{\partial f}{\partial r}\mathbf{e}_r + \frac{1}{r}\frac{\partial f}{\partial \theta}\mathbf{e}_\theta + \frac{1}{r \sin\theta}\frac{\partial f}{\partial \varphi}\mathbf{e}_\varphi$。

其中θ為極角，φ方位角。

## 實值函數相對於向量和矩陣的梯度

相對於n×1向量x的梯度算子記作$\nabla_{\boldsymbol{x}}$，定義為

$$\nabla_{\boldsymbol{x}} \overset{\underset{\mathrm{def}}{}}{=} \left[ \frac{\partial }{\partial x_1}, \frac{\partial }{\partial x_2},\cdots,\frac{\partial }{\partial x_n} \right]^T=\frac{\partial }{\partial \boldsymbol{x}}$$

### 對向量的梯度

以n×1實向量x為變元的實標量函數f(x)相對於x的梯度為一n×1列向量x，定義為

$$\nabla_{\boldsymbol{x}} f(\boldsymbol{x})\overset{\underset{\mathrm{def}}{}}{=} \left[ \frac{\partial f(\boldsymbol{x})}{\partial x_1}, \frac{\partial f(\boldsymbol{x})}{\partial x_2},\cdots,\frac{\partial f(\boldsymbol{x})}{\partial x_n} \right]^T=\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}}$$

m維行向量函數$\boldsymbol{f}(\boldsymbol{x})=[f_1(\boldsymbol{x}),f_2(\boldsymbol{x}),\cdots,f_m(\boldsymbol{x})]$相對於n維實向量x的梯度為一n×m矩陣，定義為

$$\nabla_{\boldsymbol{x}} \boldsymbol{f}(\boldsymbol{x})\overset{\underset{\mathrm{def}}{}}{=} \begin{bmatrix} \frac{\partial f_1(\boldsymbol{x})}{\partial x_1} &\frac{\partial f_2(\boldsymbol{x})}{\partial x_1} & \cdots & \frac{\partial f_m(\boldsymbol{x})}{\partial x_1} \\ \frac{\partial f_1(\boldsymbol{x})}{\partial x_2} &\frac{\partial f_2(\boldsymbol{x})}{\partial x_2} & \cdots & \frac{\partial f_m(\boldsymbol{x})}{\partial x_2} \\ \vdots &\vdots & \ddots & \vdots \\ \frac{\partial f_1(\boldsymbol{x})}{\partial x_n} &\frac{\partial f_2(\boldsymbol{x})}{\partial x_n} & \cdots &\frac{\partial f_m(\boldsymbol{x})}{\partial x_n} \\ \end{bmatrix}=\frac{\partial \boldsymbol{f}(\boldsymbol{x})}{\partial \boldsymbol{x}}$$

### 對矩陣的梯度

標量函數$f(\boldsymbol{A})$相對於m×n實矩陣A的梯度為一m×n矩陣，簡稱梯度矩陣，定義為

$$\nabla_{\boldsymbol{A}} f(\boldsymbol{A})\overset{\underset{\mathrm{def}}{}}{=} \begin{bmatrix} \frac{\partial f(\boldsymbol{A})}{\partial a_{11}} &\frac{\partial f(\boldsymbol{A})}{\partial a_{12}} & \cdots & \frac{\partial f(\boldsymbol{A})}{\partial a_{1n}} \\ \frac{\partial f(\boldsymbol{A})}{\partial a_{21}} &\frac{\partial f(\boldsymbol{A})}{\partial a_{22}} & \cdots & \frac{\partial f(\boldsymbol{A})}{\partial a_{2n}} \\ \vdots &\vdots & \ddots & \vdots \\ \frac{\partial f(\boldsymbol{A})}{\partial a_{m1}} &\frac{\partial f(\boldsymbol{A})}{\partial a_{m2}} & \cdots &\frac{\partial f(\boldsymbol{A})}{\partial a_{mn}} \\ \end{bmatrix}=\frac{\partial f(\boldsymbol{A})}{\partial \boldsymbol{A}}$$

### 法則

以下法則適用於實標量函數對向量的梯度以及對矩陣的梯度。

- 線性法則：若$f(\boldsymbol{A})$和$g(\boldsymbol{A})$分別是矩陣A的實標量函數，c1和c2為實常數，則
- $$\frac{\partial [c_1 f(\boldsymbol{A})+c_2 g(\boldsymbol{A})]}{\partial \boldsymbol{A}}=c_1\frac{\partial f(\boldsymbol{A})}{\partial \boldsymbol{A}}+c_2 \frac{\partial g(\boldsymbol{A})}{\partial \boldsymbol{A}}$$
- 乘積法則：若$f(\boldsymbol{A})$，$g(\boldsymbol{A})$和$h(\boldsymbol{A})$分別是矩陣A的實標量函數，則
- $$\frac{\partial f(\boldsymbol{A})g(\boldsymbol{A})}{\partial \boldsymbol{A}}=g(\boldsymbol{A})\frac{\partial f(\boldsymbol{A})}{\partial \boldsymbol{A}}+f(\boldsymbol{A}) \frac{\partial g(\boldsymbol{A})}{\partial \boldsymbol{A}}$$
- $$\frac{\partial f(\boldsymbol{A})g(\boldsymbol{A})h(\boldsymbol{A})}{\partial \boldsymbol{A}}=g(\boldsymbol{A})h(\boldsymbol{A})\frac{\partial f(\boldsymbol{A})}{\partial \boldsymbol{A}}+f(\boldsymbol{A})h(\boldsymbol{A})\frac{\partial g(\boldsymbol{A})}{\partial \boldsymbol{A}}+f(\boldsymbol{A})g(\boldsymbol{A})\frac{\partial h(\boldsymbol{A})}{\partial \boldsymbol{A}}$$
- 商法則：若$g(\boldsymbol{A})\neq 0$，則
- $$\frac{\partial f(\boldsymbol{A})/ g(\boldsymbol{A})}{\partial \boldsymbol{A}}=\frac{1}{g(\boldsymbol{A})^2} \left[ g(\boldsymbol{A})\frac{\partial f(\boldsymbol{A})}{\partial \boldsymbol{A}}-f(\boldsymbol{A}) \frac{\partial g(\boldsymbol{A})}{\partial \boldsymbol{A}} \right]$$
- 鏈式法則：若A為m×n矩陣，且$y=f(\boldsymbol{A})$和$g (y)$分別是以矩陣A和標量y為變元的實標量函數，則
- $$\frac{\partial g(f(\boldsymbol{A}))}{\partial \boldsymbol{A}}=\frac{d g (y)}{dy} \frac{\partial f(\boldsymbol{A})}{\partial \boldsymbol{A}}$$

## 流形上的梯度

一個黎曼流形$M$上的對於任意可微函數$f$的梯度$\nabla f$是一個向量場，使得對於每個向量 $\xi$。

$$\langle \nabla f, \xi \rangle := \xi f$$

其中$\langle \cdot, \cdot \rangle$代表$M$上的內積（度量）而$\xi f (p), p\in M$是$f$在點$p$，方向為$\xi (p)$的方向導數。換句話說，如果$\varphi :U\subseteq M\mapsto \mathbb{R}^n$為$p$附近的局部座標，在此座標下有$\xi (x)=\sum_j a_j (x)\frac{\partial}{\partial x_{j} }$,則$\xi f (p)$將成為：

$\xi(f \mid_{p}) := \sum_j a_j(\frac{\partial}{\partial x_{j} }(f \circ \varphi^{-1}) \mid_{\varphi (p)})$。

函數的梯度和外微分相關，因為$\xi f = df(\xi)$，實際上內積容許我們可以用一種標準的方式將1-形式$df$和向量場$\nabla f$建立聯繫。由$\nabla f$的定義，$df(\xi)=\langle \nabla f, \xi \rangle$，這樣$f$的梯度可以"等同"於0-形式的外微分$df$，這裡"等同"意味著：兩集合$\{df \}$和$\{\nabla f \}$之間有1對1的滿射。

由定義可算流形上$\nabla f$的局部座標表達式為：

$\nabla f=\sum_{ik} g^{ik}\frac{\partial f}{\partial x^{k}}\frac{\partial}{\partial x^{i}}$。

請注意這是流形上對黎曼度量 $ds^2=\sum_{ij}g_{ij}dx^i dx^j$的公式，跟$\mathbb{R}^n$ 裡直角座標的公式不同。常常我們寫時會省略求和$\sum$符號，不過為了避免混淆，在這裡的公式還是加上去了。