柯西-施瓦茨不等式

柯西-施瓦茨不等式（Cauchy–Schwarz inequality），又稱施瓦茨不等式或柯西-布尼亞科夫斯基-施瓦茨不等式或柯西不等式，在多個數學領域中均有應用的不等式；例如線性代數的矢量，數學分析的無窮級數和乘積的積分，和機率論的方差和協方差。它被認為是最重要的數學不等式之一。它有一些推廣，如赫爾德不等式。

不等式以奧古斯丁-路易·柯西，赫爾曼·施瓦茨，和維克托·布尼亞科夫斯基命名。

## 敘述

$V$ 是個複內積空間，則對所有的 $v,\,w \in V$ 有：

(a) $\|v\|\|w\|\geq |\langle v,\,w \rangle|$

(b) $\|v\|\|w\| = |\langle v,\,w \rangle|$ $\Leftrightarrow$ 存在 $\lambda \in \C$ 使 $v = \lambda \cdot w$

證明請見內積空間#柯西-施瓦茨不等式。

## 特例

### 實數

對有限實數數列 ${\{x_i \in \mathbb{R} \}}_{i = 1}^{n}$和${\{y_i \in \mathbb{R} \}}_{i = 1}^{n}$，有

$$\left(\sum_{i=1}^n x_i y_i\right)^2 \leq \left(\sum_{i=1}^n x_i^2\right) \left(\sum_{i=1}^n y_i^2\right)$$

也就是

$$(x_1^2 +x_2^2 + \cdots + x_n^2)(y_1^2 +y_2^2 + \cdots + y_n^2) \ge (x_1 y_1 + x_2 y_2 + \cdots + x_n y_n)^2$$

等式成立時存在實數$\lambda \in \R$，對於任意的正整數$i \in \N$有

$$y_i = \lambda x_i$$

此定理可以根據點積為內積的事實，然後設：

$$x = (x_1,\,\dots,\,x_n) \in \R^n$$

$$y = (y_1,\,\dots,\,y_n) \in \R^n$$

這樣根據一般內積空間的柯西不等式就可以得証，也可以如下依據實數的性質直接證明

證明考慮一個關於$t$的一元二次方程式 : $(x_1 t + y_1)^2 + \cdots + (x_n t + y_n)^2 = 0$ (1) 也就是 : $(x_1^2 +x_2^2 + \cdots + x_n^2) t^2 + 2 (x_1 y_1 + x_2 y_2 + \cdots + x_n y_n) t + (y_1^2 +y_2^2 + \cdots + y_n^2) = 0$ (1') 因為對於任意實數$t\in\R$有 : $(x_1 t + y_1)^2 + \cdots + (x_n t + y_n)^2 \geq 0$ 所以$t$的二次方程式(1')不是沒有實數解，不然就是有重根，這樣的話，根據二次方程的公式解有 : $D = 4 (x_1 y_1 + x_2 y_2 + \cdots + x_n y_n)^2 - 4 (x_1^2 +x_2^2 + \cdots + x_n^2) (y_1^2 +y_2^2 + \cdots + y_n^2) \leq 0$ 即 : $(x_1^2 +x_2^2 + \cdots + x_n^2)(y_1^2 +y_2^2 + \cdots + y_n^2) \ge (x_1 y_1 + x_2 y_2 + \cdots + x_n y_n)^2$(2) 另一方面，(2)等號成立等價於$D = 0$，這正好就是(1)有重根的情況，換句話說 : $x_1 t + y_1 = \cdots = x_n t + y_n = 0$ 而$-t$就是定理要求的$\lambda \in \R$，故本定理得證。$\Box$

### 複數

$n$維複數空間$\C^n$事實上是個定義在域$\C$(也就是純量母空間)上的複係數內積空間，只要對任意$x,\,y \in \C^n$定義如下的內積函數：

$$x = (x_1,\,\dots,\,x_n) \in \C^n$$

$$y = (y_1,\,\dots,\,y_n) \in \C^n$$

$$\langle x, \, y \rangle := \sum^n_{i=1} x_i\overline{y_i}$$

$$\|x\|^2 := \langle x, \, x \rangle = \sum^n_{i=1} x_i\overline{x_i} = \sum^n_{i=1} |x_i|^2$$

這樣根據一般內積空間的柯西不等式就有：

$$|\langle x, \, y \rangle| \leq \|x\|\|y\|$$

直接以複數性質證明的事實上與一般內積空間的證明方法雷同，請參閱內積空間#柯西-施瓦茨不等式。

### 矩陣

一般線性代數的書籍習慣將複數版本的柯西不等式以矩陣表示，換句話說，取：

$$\mathbf{x} = \begin{bmatrix} <pre> x_1 \\ \ldots \\ x_n </pre> \end{bmatrix}$$

$$\mathbf{y} = \begin{bmatrix} <pre> y_1 \\ \ldots \\ y_n </pre> \end{bmatrix}$$

$\mathbf{x}^\star := \begin{bmatrix} <pre> \overline{x_1} & \dots & \overline{x_n} </pre> \end{bmatrix}$(共軛加上轉置)

這樣的話，複數版本的柯西不等式可以重寫為：

$$\mathbf{x}^\star\mathbf{y} \leq (\mathbf{x}^\star\mathbf{x})(\mathbf{y}^\star\mathbf{y})$$

注意到矩陣乘法偷懶地把只有一個元素的矩陣視為那個元素本身，而且為了符合矩陣乘法和線性映射的對應：

$$T(\mathbf{x}) = \mathbf{T}\mathbf{x} = \begin{bmatrix} <pre> T_{11} & \cdots & T_{1n} \\ \vdots & &\vdots\\ T_{nn} & \cdots & T_{nn} \\ </pre> \end{bmatrix} \begin{bmatrix} <pre> x_1 \\ \vdots \\ x_n </pre> \end{bmatrix}$$

必須把內積空間的線性定義改為：（也就是符合狄拉克符號的習慣）

線性｜對所有 $a,\,v,\,w \in V$｜$\langle a,\, v \oplus w \rangle = \langle a,\, v \rangle + \langle a,\, w \rangle$

對所有 $v,\,w \in V$ 和所有 $\lambda \in F$｜$\langle v,\, \lambda\cdot w\rangle =\lambda \times \langle v,\,w\rangle$

但這並沒有產生任何新的性質。而等號成立地條件也只是換種說法，說成是$\mathbf{x}$與$\mathbf{y}$線性相關。

### Lp空間

- 對平方可積的複值函數，有

$\left|\int_{\R^n} f(x) \overline{g(x)}\,dx\right|^2 \leq \int_{\R^n} |f(x)|^2\,dx \int_{\R^n} |g(x)|^2 \,dx$。

可一般化為赫爾德不等式。

- 原不等式可以增強至拉格朗日恆等式

$\langle x,x\rangle \cdot \langle y,y\rangle = |\langle x,y\rangle|^2 + |x \times y|^2$。

這是

$$\left(\sum_{i=1}^n x_i y_i\right)^2 = \left(\sum_{i=1}^n x_i^2\right) \left(\sum_{i=1}^n y_i^2\right)-\left(\sum_{1\le i < j\le n}(x_i y_j - x_j y_i)^2\right)$$

## 同名的定理

### 正定對稱算子

$V$是個複內積空間，如果$W \subseteq V$， $A:W \to V$，這時如果對所有$a \in W$ 都有$\langle A(a), a \rangle \geq 0$，稱$A$是$V$的一個正定算子（positive operator）。

類似的，如果對所有$a,\,b \in W$ 都有$\langle A(a),\, b \rangle = \langle a,\, A(b) \rangle$，稱$A$是$V$的一個對稱算子（symmetric operator）。

對於複係數內積空間$V$的線性子空間$W \subseteq V$，如果$A:W \to V$是個正定對稱的線性映射，則對於任意$x, y \in W$有：

$$|\langle A(x), \, y \rangle|^2 \leq \langle A(x), \, x \rangle \langle A(y), \, y \rangle$$

證明若 $x = y = 0_V$，注意到對於任意$z \in W$有 : $\begin{align} \langle\, A(0_V),\, 0_V \,\rangle &= \langle\, A(0_V),\, z \oplus (-1) \cdot z \,\rangle \\ &= \langle\, A(0_V),\, z \,\rangle - \langle\, A(0_V),\, z \,\rangle \\ &= 0 \end{align}$ 所以這種情況下，本不等式成立。若考慮$x,\,y \in W$ 且 $x,\,y \neq 0_V$，取 : $e_x = \frac{1}{| \langle\, A(x),\, x \,\rangle |} \cdot x$ : $e_y = \frac{1}{| \langle\, A(y),\, y \,\rangle |} \cdot y$ : $\alpha = \langle A(e_x),\,e_y \rangle$ 則 $\begin{align} \langle\, A[e_x \oplus (-\alpha) \cdot e_y],\, e_x \oplus (-\alpha) \cdot e_x\,\rangle &= \langle\, A(e_x) \oplus (-\alpha) \cdot A(e_y),\, e_x \oplus (-\alpha) \cdot e_x\,\rangle \\ &= \langle\, A(e_x),\, e_x \,\rangle - \alpha \langle\, A(e_y) ,\, e_x \,\rangle - \overline{\alpha} \langle\, A(e_x) ,\, e_y \,\rangle + \alpha\overline{\alpha} \langle\, A(e_y),\, e_y \,\rangle \\ &= 1 - \alpha\overline{\alpha} - \overline{\alpha}\alpha + \alpha\overline{\alpha} \\ &= 1- \left| \frac{ \langle\, A(x),\, y \,\rangle }{ \langle\, A(e_x),\, e_x \,\rangle \langle\, A(e_y),\, e_y \,\rangle } \right|^2 \\ &\geq 0 \end{align}$ 所故得証。$\Box$

考慮到對稱算子$A$在有有限基底的向量空間中都可以唯一的表示成某個埃爾米特矩陣$\mathbf{A}$，一般線性代數的書籍習慣以如下的形式表示：

$|\mathbf{A}\mathbf{x^\star}\mathbf{y}|^2 \leq (\mathbf{A}\mathbf{x^\star}\mathbf{x})(\mathbf{A}\mathbf{y^\star}\mathbf{y})$

另外，正定算子對應的矩陣元素都必須$\geq 0$，所以正定對稱算子對應的$\mathbf{A}$是對稱且非負的矩陣。

這個定理無法視為本章所述的柯西不等式的特例，因為$\langle\, A(x) ,\, x \,\rangle = 0$不一定能推出$x = 0_V$，如：

$$A: \C^{2 \times 1} \to \C^{2 \times 1}$$

$$A\left( \begin{bmatrix} <pre> x \\ y </pre> \end{bmatrix} \right) = \begin{bmatrix} <pre> 1 & 1 \\ 1 & 1 </pre> \end{bmatrix} \begin{bmatrix} <pre> x\\ y </pre> \end{bmatrix}$$

$$\left\langle\, \begin{bmatrix} <pre> a_1 \\ a_2 </pre> \end{bmatrix} ,\, \begin{bmatrix} <pre> b_1 \\ b_2 </pre> \end{bmatrix} \,\right\rangle := a_1\overline{b_1} +a_2\overline{b_2}$$

話，那：

$$\left\langle\, A \left( \begin{bmatrix} <pre> 1\\ -1 </pre> \end{bmatrix} \right) ,\, \begin{bmatrix} <pre> 1\\ -1 </pre> \end{bmatrix} \,\right\rangle = \left\langle \begin{bmatrix} <pre> 1 & 1 \\ 1 & 1 </pre> \end{bmatrix} \begin{bmatrix} <pre> 1\\ -1 </pre> \end{bmatrix} ,\, \begin{bmatrix} <pre> 1\\ -1 </pre> \end{bmatrix} \right\rangle = \left\langle \begin{bmatrix} <pre> 0\\ 0 </pre> \end{bmatrix} ,\, \begin{bmatrix} <pre> 1\\ -1 </pre> \end{bmatrix} \right\rangle = 0$$

所以

$$f:\C^{2 \times 1} \times \C^{2 \times 1} \to \C$$

$$f(\mathbf{x},\,\mathbf{y}) = \langle\, \mathbf{A}\mathbf{x},\,\mathbf{y} \,\rangle$$

不一定有非退化的性質，而不能視為內積，所以就無法直接套用內積空間的柯西不等式。這也意味著以上定理等號成立的條件，不必然是線性相關。

### 複變函數中的柯西不等式

設 $f(z)$在區域$D$及其邊界上解析，$a$ 為$D$內一點，以$a$為圓心做圓周 $C_R:|z-a|=R$，只要$C_R$及其內部$G$均被$D$包含，則有：

$$\left| f^{(n)}(z_{0})\right|\leq \frac{n!M}{R^n}\qquad (n=1,2,3,...)$$

其中，M是$|f(z)|$的最大值，$M=\max \limits_{|x-a|\in R}|f(x)|$。

## 其它推廣

$\sqrt{\sum_{i=1}^n (\sum_{j=1}^m a_{ij})^2} \le \sum_{j=1}^m \sqrt{\sum_{i=1}^n a_{ij}^2}$

$m\ge \alpha >0,(\sum_{i=1}^n \prod_{j=1}^m a_{ij})^{\alpha} \le \prod_{j=1}^m \sum_{i=1}^n a_{ij}^{\alpha}$

若$\displaystyle q_i\ge 0,\sum_i q_i=1$，則$\displaystyle (x^*A^{\sum_i a_i q_i}x)\le \prod_i (x^*A^{a_i}x)^{q_i}$