弗雷歇導數

數學中，弗雷歇導數（Fréchet derivative）是在賦范向量空間上定義的導數。這個名稱得自法國數學家莫里斯·弗雷歇，通常用於將單個實變量的實值函數的導數推廣到多個實變量的向量值函數的情況，並且用於定義變分法中廣泛應用的泛函導數。

一般來說，它將導數的概念從實值函數的一維情況推廣到賦范空間上的函數。弗雷歇導數應與加托導數相對比，後者是經典方向導數的推廣。

弗雷歇導數在數學分析和物理科學中的非線性問題中有廣泛應用，特別是在變分法、非線性分析和非線性泛函分析中。

## 定義

設 $V$ 和 $W$ 是賦范向量空間，並且有開集 $U\subseteq V$。一個映射 $f : U \to W$ 稱為是在 $x \in U$ 「弗雷歇可微」的，若存在有界線性算子 $A:V\to W$ 使得$$\lim_{\|h\| \to 0} \frac{\| f(x + h) - f(x) - Ah\|_W}{\|h\|_V} = 0.$$這裡的極限是指通常意義上的度量空間函數極限（參見度量空間上的函數和極限點）， $V$ 和 $W$ 充當了兩個度量空間，上面的表達式則作為從 $V$ 中取值的 $h$ 的函數。因此，對於 $V$ 中非零元素構成的、收斂到零向量（$h_n \to 0$）的任一序列 $\langle h_n\rangle_{n=1}^{\infty}$，上面的極限都存在。等價地，以下一階展開式成立：$$f(x + h) = f(x) + Ah +o(h),$$其中$o$是小o符號。一旦存在這樣一個運算符 $A$，它將是唯一的，所以我們將其記作 $A\triangleq Df(x)$ 並稱其為 $f$ 在 $x$ 處的「弗雷歇導數」。

考慮在 $U$ 中任意一點上都弗雷歇可微的 $f$，若映射$$Df : U \to B(V,W) : x \mapsto Df(x)$$是連續的（其中 $B(V,W)$ 表示 $V$ 到 $W$ 的全體有界線性算子構成的空間），那麼稱 $f$ 是 $C^1$ 的。注意這與要求「各點 $x\in U$ 處的弗雷歇導數 $Df(x) : V \to W$ 都連續」是不同的（有界性和連續性往往等價，這時這一點已得到保證而無需再做要求）。

弗雷歇導數是實函數 $f : \R \to \R$ 的普通導數的一個推廣。$\R$ 到 $\R$ 的線性映射不過是乘上一個實數罷了，此例的弗雷歇導數 $D f(x)$ 就是函數 $t \mapsto f'(x)t$。

## 性質

在一點弗雷歇可微的映射在該點連續。

弗雷歇導數是以下意義上的線性運算：設 $f:V \to W$ 和 $g:V \to W$ 是在 $x$ 可微的兩個映射， $c$ 是一個標量（實數或複數），則弗雷歇導數具有以下性質：

$$D(cf)(x) = cDf(x)$$ $$D(f+g)(x) = Df(x) + Dg(x).$$

鏈式法則在這種意義上仍然有效：如果 $f : U \to Y$ 在 $x \in U$ 可微且 $g : Y \to W$ 在 $y = f(x)$ 可微，那麼它們的複合 $g \circ f$ 可微於 $x$，且這個導數是前述導數的複合：$$D(g \circ f)(x) = Dg(f(x)) \circ Df(x).$$

## 有限維情況

有限維空間中的弗雷歇導數就是通常的導數。特別地，它的坐標表示就是雅可比矩陣。

考慮 $\mathbb R^n$ 的開子集 $U$ 上的映射 $f : U \subseteq \R^n \to \R^m$，如果 $f$ 在一點 $a\in U$ 處是弗雷歇可微的，那麼它的導數是$$\begin{cases} Df(a) : \R^n \to \R^m \\ Df(a)(v) = J_f(a) v \end{cases}$$其中 $J_f(a)$ 表示 $f$ 在 $a$ 處的雅可比矩陣。

此外， $f$ 的偏導數由$$\frac{\partial f}{\partial x_i}(a) = Df(a)(e_i) = J_f(a) e_i$$給出，其中 $\left\{ e_i \right\}$ 是 $\R^n$ 的典範基。由於導數是線性函數，對於任一向量 $h \in \R^n$，可以定義 $f$ 沿 $h$ 的方向導數$$Df(a)(h) = \sum_{i=1}^n h_i \frac{\partial f}{\partial x_i}(a).$$

如果所有偏導數 $f$ 都存在且連續，那麼 $f$ 是弗雷歇可微的（也是 $C^1$ 的）。反之則不然，例如函數$$f(x, y) = \begin{cases} (x^2+y^2)\sin \left ((x^2+y^2)^{-1/2} \right ) & (x, y) \neq (0, 0)\\ 0 & (x, y) = (0, 0) \end{cases}$$在 $(0, 0)$ 是弗雷歇可微的，但沒有連續的偏導數。

## 無限維的例子

無限維中最簡單（且非平凡）的一個例子是這樣一種情況：弗雷歇導數的域為希爾伯特空間 $H$，且我們所感興趣的映射是其上的範數 $\|\,\cdot\,\| : H \to \R$。

首先考慮 $x \neq 0$ 的情況，我們可以構造這樣一個線性泛函 $D$，它滿足$$Dv := \left\langle v,\frac{x}{\|x\|}\right\rangle.$$ 接下來驗證它是 $\|\cdot\|$ 在 $x$ 處的弗雷歇導數，於是我們考察弗雷歇可微條件中被求極限的表達式：$$\begin{align} \frac{|\|x+h\|-\|x\|-Dh|}{\|h\|} &=\frac{|\|x\|\|x+h\|-\langle x,x\rangle-\langle x,h\rangle|}{\|x\|\|h\|} \\[8pt] &=\frac{|\|x\|\|x+h\|-\langle x,x+h\rangle|}{\|x\|\|h\|} \\[8pt] &=\frac{|\langle x,x\rangle \langle x+h,x+h\rangle-\langle x,x+h\rangle^2|}{\|x\|\|h\|(|\|x\|\|x+h\|+\langle x,x+h\rangle|)} \\[8pt] &=\frac{\langle x,x \rangle \langle h,h \rangle-\langle x,h \rangle^2}{\|x\|\|h\|(|\|x\|\|x+h\|+\langle x,x+h\rangle|)} \\ &{} \end{align}$$利用範數和內積的連續性，我們得到：$$\begin{align} \lim_{\|h\|\to 0}\frac{|\|x+h\|-\|x\|-Dh|}{\|h\|} &= \lim_{\|h\|\to 0} \frac{\langle x,x \rangle \langle h,h \rangle-\langle x,h \rangle^2}{\|x\|\|h\|(|\|x\|\|x+h\|+\langle x,x+h\rangle|)} \\[8pt] &= \frac{1}{2\|x\|^3}\lim_{\|h\|\to 0}\frac{\langle x,x \rangle \langle h,h \rangle-\langle x,h \rangle^2}{\|h\|} \\[8pt] &= \frac{1}{2\|x\|^3}\lim_{\|h\|\to 0}\left(\langle x,x\rangle\|h\|-\langle x,h\rangle \left\langle x,\frac{h}{\|h\|}\right\rangle\right) \\[8pt] &= \frac{1}{2\|x\|^3}\left(\lim_{\|h\|\to 0}\langle x,x\rangle\|h\|-\lim_{h\to 0}\langle x,h\rangle \left\langle x,\frac{h}{\|h\|}\right\rangle \right ) \\[8pt] &= \frac{1}{2\|x\|^3}\left(0-\lim_{\|h\|\to 0}\langle x,h\rangle \left\langle x,\frac{h}{\|h\|}\right\rangle \right ) \\[8pt] &= -\frac{1}{2\|x\|^3}\left(\lim_{\|h\|\to 0}\langle x,h\rangle \left\langle x,\frac{h}{\|h\|}\right\rangle \right ) \\[8pt] \end{align}$$由於柯西-施瓦茨不等式，式中的內積$$\left\langle x,\frac{h}{\|h\|}\right\rangle$$有上界 $\|x\|$。又容易注意到 $\lim_{\|h\|\to 0}\langle x,h\rangle = 0$，因此整個極限為零。

接下來我們將展示範數在 $x=0$ 處是不可微的，也就是說，不存在有界線性泛函 $D$ 使得可微條件中的那個極限為 $0$。

令 $D$ 是任意一個線性泛函。里斯表示定理表明可以找到某個 $a \in H$ 使得 $D$ 被 $Dv = \langle a, v\rangle$ 唯一地確定，考慮$$A(h) = \frac{|\|0+h\| - \|0\|-Dh|}{\|h\|} = \left|1-\left\langle a, \frac{h}{\|h\|}\right\rangle\right|.$$為了使範數在 $0$ 處可微，我們必須有$$\lim_{\|h\|\to 0} A(h) = 0.$$我們將證明這對於任意 $a$ 都不成立。當 $a = 0$ 時，顯然有 $A(h) = 1$。現在考慮 $a\neq 0$ 的情況：如果我們選取 $h$ 趨於零的方向為 $-a$ （也就是說， $h = t\cdot(-a)$，其中 $t \to 0^+$），那麼 $A(h) = |1+\|a\|| > 1 > 0$，因此至少知道哪怕這個極限存在，也一定不為零。通過進一步考察其他趨向 0 的方式，可以發現這個極限實際上根本不存在。

綜上所述，該範數在原點處的弗雷歇導數不存在。這與有限維下的結果是一致的。

## 與加托導數的關係

一個映射 $f : U \subseteq V \to W$ 稱為是在 $x \in U$ 處「加托可微」的，若 $f$ 在 $x$ 處沿所有方向的方向導數都存在。這意味著存在一個映射 $g : V \to W$ 使得$$g(h) = \lim_{t \to 0} \frac{f(x + th) - f(x)}{t}$$其中 $t$ 取值自向量空間 $V$ 的標量數域（$t$ 通常是實數）。

如果$f$ 在 $x$ 是弗雷歇可微的，那麼它在此處也是加托可微的，並且 $g$ 正是弗雷歇導數所給出的線性算子 $A = D f(x)$。

然而，並非每個加托可微映射都是弗雷歇可微的。這類似於以下事實：一個函數在某一點的所有方向導數的存在並不能保證此函數在該點的全導數的存在（甚至也不能保證此函數的連續性）。例如，如下定義的具有兩個實變量的實值函數 $f$：$$f(x, y) = \begin{cases} \frac{x^3}{x^2+y^2} & (x, y) \neq (0, 0)\\ 0 & (x, y) = (0, 0) \end{cases}$$它在原點 $(0, 0)$ 連續且加托可微，而它在原點的導數是$$g(a, b) = \begin{cases} \frac{a^3}{a^2+b^2}& (a, b) \neq (0, 0)\\ 0 & (a, b) = (0, 0) \end{cases}$$ $g$ 並非一個線性算子，因此上述函數不是弗雷歇可微的。

更一般地說，對於有以下形式的任何函數 $f(x, y) = g(r) h(\phi)$ （其中 $r$ 和 $\phi$ 是 $(x, y)$ 的極坐標），如果 $g$ 在 $0$ 處可微且 $h(\phi + \pi) = -h(\phi)$，那麼 $f$ 在原點 $(0,0)$ 處加托可微。但僅當 $h$ 是正弦函數時，加托導數才是線性的、弗雷歇導數才存在。

另一種情況是，如下定義的 $f$ $$f(x, y) = \begin{cases} \frac{x^3y}{x^6+y^2} & (x, y) \neq (0, 0)\\ 0 & (x, y) = (0, 0) \end{cases}$$在 $(0, 0)$ 加托可微，其加托導數處處為零，從而是一個線性算子。然而， $f$ 在 $(0, 0)$ 不連續（沿著曲線 $\left(t, t^3\right)$ 接近原點就可以看出這一點）。因此 $f$ 在原點不可能是弗雷歇可微的。

一個更微妙的例子是$$f(x, y) = \begin{cases} \frac{x^2y}{x^4+y^2}\sqrt{x^2+y^2} & (x, y) \neq (0, 0)\\ 0 & (x, y) = (0, 0) \end{cases}$$這是一個連續函數，且在 $(0, 0)$ 處加托可微，此處的加托導數是線性的——該導數總是為零。然而， $f$ 不是弗雷歇可微的。如果是的話，它的弗雷歇導數應與其加托導數一致，從而將是零算子 $A = 0$，進而極限$$\lim_{\|h\|_2 \to 0} \frac{|f((0, 0) + h) - f(0, 0) - Ah|}{\|h\|_2} = \lim_{h = (x,y) \to (0,0)} \left|\frac{x^2y}{x^4+y^2}\right|$$必須為零。然而，沿著曲線 $\left(t, t^2\right)$ 接近原點即可看出這個極限不存在,因為函數值等於$1/2$而不等於零。

之所以會出現這些情況，是因為加托導數的定義只要求差商沿每個方向單獨收斂，而沒有對不同方向的收斂速度提出要求。因此，對於給定的收斂目標 $\varepsilon$ （參見Ε-δ語言），雖然從每個方向看來，給定點的某鄰域中該方向的差商都在 $\varepsilon$ 限定的範圍內，但是這些鄰域對於不同的方向可能是不同的，並且可能存在一系列方向使得這些鄰域變為任意小的。如果沿這些方向選擇點的序列，則同時考慮所有方向的弗雷歇導數定義中的商可能不會收斂。因此，線性加托導數的存在若要保證弗雷歇導數的存在，還須要求差商在所有方向上一致收斂。

下面的例子僅適用於無窮維情況。設 $X$ 是巴拿赫空間， $\varphi$ 是 $X$ 上一個在 $x = 0$ 處不連續的線性泛函（參見不連續線性泛函）。令$$f(x) = \|x\| \varphi(x).$$ $f(x)$ 在 $x = 0$ 有加托導數 $0$。然而由於極限$$\lim_{x \to 0} \varphi(x)$$不存在， $f(x)$ 不是弗雷歇可微的。

## 高階導數

若映射 $f : U \to W$ 在開集 $U\subset V$ 上是弗雷歇可微的，其弗雷歇導數$$D f : U \to L(V, W)$$是從 $U$ 到空間 $L(V, W)$ （$V$ 到 $W$ 的全體有界線性算子構成的空間）的一個映射。可以定義這個映射本身的弗雷歇導數，即所謂 $f$ 的「二階導數」$$D^2 f : U \to L(V, L(V, W)).$$為方便處理二階導數，注意右側的空間就是 $V$ 到 $W$ 的全體連續雙線性映射所構成的巴拿赫空間 $L^2(V \times V, W)$，因為若 $\varphi$ 是 $L(V, L(V, W))$ 的元素，則 $$\varphi(x)(y) = \psi(x, y)$$ 定義了 $L^2(V \times V, W)$ 中的元素 $\psi$ 與 $\varphi$ 對應，反之亦然。（一個關於 $x$ 線性的映射 $\varphi$ 若滿足 $\varphi(x)$ 關於 $y$ 線性，那麼它和對 $x$ 和 $y$ 具有雙線性的 $\psi$ 是一樣的。）

可以再求$$D^2 f : U \to L^2(V\times V, W)$$的弗雷歇導數來得到「三階導數」，其在每個點將給出一個「三線性映射」，依此類推。$n$ 階導數$$D^n f : U \to L^n(V \times V \times \cdots \times V, W),$$在每一點處都將是一個連續多重線性映射。遞歸地，一個映射 $f$ 在 $U$ 上 $n+1$ 次弗雷歇可微的條件是：它在 $U$ 上 $n$ 次弗雷歇可微，並且對於任一 $x \in U$ 都存在一個連續的 $n+1$ 重線性映射 $A$ 使得極限$$\lim_{h_{n+1} \to 0} \frac{ \left\| D^nf \left(x + h_{n+1} \right)(h_1, h_2, \ldots, h_n) - D^nf(x)(h_1, h_2, \ldots, h_n) - A \left(h_1, h_2, \ldots, h_n, h_{n+1} \right) \right\| }{\left\|h_{n+1}\right\|} = 0$$對取值於 $V$ 的有界子集中的 $h_1, h_2, \ldots, h_n$ 一致收斂。這時， $A$ 就是 $f$ 在 $x$ 處的 $(n+1)$ 階弗雷歇導數。

此外，我們可以將空間$L^n\left(V \times V \times \cdots \times V, W\right)$ 等價為 $L\left(\bigotimes_{j=1}^n V_j, W\right)$，而其成員 $f\left(x_1, x_2, \ldots, x_n\right) = f\left(x_1 \otimes x_2 \otimes \cdots \otimes x_n\right)$，從而將弗雷歇導數視為一個普通的線性映射。

## 弗雷歇偏導數

通常的偏導數是為以下形式的函數定義的 $f: \R^n \to \R$。而在本節中，我們會將其推廣到映射的域和目標空間（到達域）是任意（實的或復的）巴拿赫空間的情況。設 $V_1, \ldots, V_n$ 和 $W$ 是（具有相同的標量域的）巴拿赫空間，其上有一點 $a = \left(a_1, \ldots, a_n\right) \in \prod_{i=1}^n V_i$，對於映射 $f : \prod_{i=1}^n V_i \to W$，若函數$$\varphi_i : V_i \to W:x \mapsto f(a_1, \ldots, a_{i-1}, x, a_{i+1}, \ldots a_n)$$在點 $a_i$ 是弗雷歇可微的，那麼稱 $f$ 在點 $a$ 有第 $i$ 偏導數 $\partial_i f(a) := D\varphi_i(a_i)$。注意 $\partial_if(a)$ 是一個 $V_i$ 到 $W$ 的線性變換。啟發式地說，假定 $f$ 在 $a$ 有第 $i$ 偏導數，固定所有 $a_j(j\neq i)$ 而只改變 $a_i$ 時 $f$ 的變化量被偏導數 $\partial_if(a)$ 線性地逼近了。我們可以用小o符號將其表達為$$f(a_1, \ldots, a_i+h, \ldots a_n) - f(a_1, \ldots, a_n) = \partial_if(a)(h) + o(h).$$

## 推廣到拓撲向量空間

弗雷歇導數的概念可以推廣到任意拓撲向量空間 $X$ 和 $Y$。令 $U$ 是 $X$ 的一個包含原點的開子集，而映射$f: U \to Y$ 滿足 $f(0) = 0$，我們將先定義「該映射的導數為 0 意味著什麼」。如果：對於每個 0 的開鄰域 $W \subseteq Y$，存在一個 0 的開鄰域 $V\subseteq X$ 和一個函數 $o: \R \to \R$ 使得$$\lim_{t\to 0} \frac{o(t)}{t} = 0,$$且對於原點的某個鄰域內的所有 $t$ 都有 $f(tV) \subseteq o(t) W$，那麼稱 $f$ 與 0 相切。

現在可以除去 $f(0)=0$ 這個限定了。$f$ 在一點 $x_0 \in U$ 弗雷歇可微，若：存在連續線性算子 $\lambda : X \to Y$ 使得映射 $h\mapsto f(x_0 + h) - f(x_0) - \lambda h$ 與 0 相切。(Lang p. 6)

如果弗雷歇導數存在，那麼它就唯一。此外，加托導數也必然存在且等於弗雷歇導數，也就是說$$\forall v \in X,\quad\lim_{\tau \to 0}\frac{f(x_0 + \tau v) - f(x_0)}{\tau} = f'(x_0) v,$$其中 $f'(x_0)$ 是弗雷歇導數。在一點處弗雷歇可微的函數必然在該點連續，並且弗雷歇可微函數之和或其標量倍數也是可微的，因此在一點處弗雷歇可微的函數所構成的空間是在該點連續的函數的子空間。鏈式法則、乘積法則仍可成立，只要：拓撲向量空間 $Y$ 也是一個代數，而其乘法是連續的。

## 外部連結

- B. A. Frigyik, S. Srivastava and M. R. Gupta, Introduction to Functional Derivatives, UWEE Tech Report 2008-0001.
- http://www.probability.net 這個網頁主要是關於基本的機率和測度理論，但是有的章節在巴拿赫空間中的弗雷切導數方面寫得很好（關於雅可比公式的章節），所有的結果都給出了證明。