投影 (線性代數)

<image>

在線性代數和泛函分析中，投影是從向量空間映射到自身的一種線性變換$P$，滿足$P^2=P$,也就是說，當$P$兩次作用於某個值，與作用一次得到的結果相同（冪等）。是日常生活中「平行投影」概念的形式化和一般化。同現實中陽光將事物投影到地面上一樣，投影變換將整個向量空間映射到它的其中一個子空間，並且在這個子空間中是恆等變換。

## 定義

投影的嚴格定義是：一個從向量空間V射到它自身的線性變換 P 是投影，若且唯若$P^2 = P$。另外一個定義則較為直觀：P 是投影，若且唯若存在V的一個子空間W，使得 P 將所有V中的元素都映射到W中，而且 P 在W上是恆等變換。用數學的語言描述，就是：

$\exists W$，使得$\forall u \in V, P(u) \in W$，並且$\forall u \in W, P(u)= u$

## 簡單例子

在現實生活中，陽光在地面上留下各種影子。這就是投影變換最直白的例子。可以理想化地假設陽光都是沿著同一個方向（比如說垂直於地面的角度）照射而來，大地是嚴格的平面，那麼，對於任意一個物體（比如說一隻正在飛行的鳥），它的位置可以用向量 (x, y, z) 來表示，而這隻鳥在陽光下對應著一個影子，也就是 (x, y, 0)。這樣的一個變換就是一個投影變換。它將三維空間中的向量 (x, y, z) 到映射到向量 (x, y, 0)。這是在 x-y 平面上的投影。這個變換可以用矩陣表示為

$$P = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{bmatrix}$$

因為對任意一個向量 (x, y, z)，這個矩陣的作用是：

$$P \begin{bmatrix} x \\ y \\ z \end{bmatrix} = \begin{bmatrix} x \\ y \\ 0 \end{bmatrix}$$

注意到如果一個向量原來就是表示地面上的一點的話（也就是說它的z分量等於0），那麼經過變換 P 後不會有改變。也就是說這個變換在子空間 x-y 平面上是恆等變換，這證明了 P 的確是一個投影。

另外。

$$P^2 \begin{bmatrix} x \\ y \\ z \end{bmatrix} = P \begin{bmatrix} x \\ y \\ 0 \end{bmatrix} = \begin{bmatrix} x \\ y \\ 0 \end{bmatrix};$$

所以 P = P2，這也證明 P 的確是投影。

## 基本性質

<image>

這裡假定投影所在的向量空間W是有限維的（因此不需要考慮如投影的連續性之類的問題）。假設子空間U與V分別為 P 的像空間與零空間（也叫做核）。那麼按照定義，有如下的基本性質:

- 按照定義，P是等冪的（即$P^2=P$）
- P 在像空間U上是恆等變換：$\forall x \in U, \quad P(x) = x$
- 整個向量空間可以分解成子空間U與V的直和：$W = U \oplus V$。也就是說，空間裡的每一個向量$x \in W$，都可以以唯一的方式寫成兩個向量$u$與$v$的和：$x = u + v$，並且滿足$u=Px$, $v=x-Px=(I-P)x$, 其中$u \in U$、$v \in V$。

用抽象代數的術語來說，投影 P 是冪等的線性映射（P2 = P）。因此它的極小多項式是$X^2-X=X(X-1)$。因式分解後可以看到，這個多項式只有相異的單根（沒有多重根），因此 P 是可對角化矩陣。極小多項式也顯示出了投影的特性: 像空間與零空間分別是是對應於特徵值1和0的特徵空間，並給出了整個空間的一個直和分解。

正如日常生活中陽光沿著一定的方向將影子投射到地面上，一般的投影變換也可以稱為是沿著W到U上的投影。由於向量空間分解成直和的方式一般不是唯一的（陽光可以順著不同的方向照射），給定一個子空間 V（地面），一般的說有很多到V 的投影（沿不同的W）。

## 正交投影

如果向量空間$V$被賦予了內積且是完備的，那麼就可以定義正交和其它相關的概念(比如線性算子的自伴隨性)了。正交投影是指值域$U$和零空間$W$相互正交的投影，也就是說，對於任意$u \in U$，$w \in W$，它們的內積$(u|w)$都等於0。一個投影是正交投影，若且唯若它是自伴算子，以下為證明：如果投影 $P$ 是自伴算子，那麼

$\forall u = P(v) \in U,$ $w \in W:$

$(u|w) = \left( P(v) | w \right) = \left( v | P^*(w) \right) = \left( v | P(w) \right) = \left( v | 0 \right) = 0,$ 其中$P^*$ 表示 $P$ 的伴隨算子。

所以 $P$ 是正交投影。相反的，如果 $P$ 是正交投影，由於

$\forall v \in V: \, v - P(v) \in W,$ 因此我們有

$$\forall v_1, \, v_2 \in V:0 = \left( P(v_1) |(v_2 - P(v_2))\right) = \left( v_1 | (P^* - P^* P)(v_2) \right) .$$

鑑於 $v_1, \, v_2$ 是任意選取的，必然有 $P^* - P^* P = 0$ 或 $P^* = P^* P,$ 由於$P^*P$一定是自伴算子，因此可知 $P^*$與$P$ 也是自伴算子。

這意味著正交投影的矩陣有特殊的性質。如果投影是在實向量空間中，那麼它對應的矩陣是對稱矩陣: $P = P^T$。如果投影是在虛向量空間中，那麼它的矩陣則是埃爾米特矩陣:$P = P^*$

### 例子

正交投影的最簡單的情況是到（過原點）直線上的正交投影。如果 u 是這條直線的單位方向向量，則投影給出為

$$P_u = u u^* \ $$

這個算子保留 u 不變（$P_u (u)= u u^* u = u \| u \|^2 = u$），並且它作用在所有正交於 u 的向量上都是0（如果$(u|v) = 0$，那麼 $P_u (v)= u u^* v = u (u|v) = 0$），證明它的確是到包含 u 的直線上的正交投影。

這個公式可以推廣至到在任意維的子空間上的正交投影。設 u1, …, uk 是子空間 U 的一組正交基，並設 A 為一個n×k 的矩陣，它的列向量是 u1, …, uk。那麼投影：

$P_A = A A^T \ $

也是正交的。矩陣 AT 是在 U 的正交補變為零的偏等距同構，而 A 是把 U 嵌入底層向量空間的等距同構。PA 的值域因此是 A 的「終空間」(final space)。ATA 是在 U 上的恆等算子也是明顯的。

正交條件也可以去除。如果 u1, …, uk 是(不必須正交)基，而 A 是有這些向量作為列的矩陣，則投影是

$P_A = A (A^T A)^{-1} A^T \,$。

矩陣 AT 仍把 U 嵌入到低層向量空間中但一般不再是等距的。矩陣 (ATA)−1 是恢復規範的「規範化因子」。例如，秩-1 算子 uuT 不是投影，如果

u

2 之後，我們得獲得了到 u 所生成的子空間的投影 u(uTu)−1uT。

所有這些公式對於複數內積空間也成立，假如用共軛轉置替代轉置。

### 斜投影

術語斜投影有時用來提及非正交投影。這些投影也用來在二維繪圖中表示空間圖形(參見斜投影)，儘管不如正交投影常用。

斜投影用它們的值域和零空間來定義。有給定值域和零空間的投影的矩陣表示的公式可如下這樣找到。設向量 u1, …, uk 形成了投影的值域的基，並把這些向量組合到 n×k 矩陣 A 中。值域和零空間是互補空間，所以零空間有維度 n − k。它推出零空間的正交補有維度 k。設 v1, …, vk 形成這個投影的零空間的正交補的基，並把這些向量組合到矩陣 B 中。則投影定義為

$P = A (B^T A)^{-1} B^T \,$。

這個表達式一般化上面給出的正交投影公式。

## 在賦范向量空間上的投影

當底層向量空間 X 是(不必需有限維)賦范向量空間，需要考慮無關於有限維情況的分析問題，假定現在 X 是巴拿赫空間。

上面討論的多數代數概念轉移到這個上下文後倖存下來了。給定的 X 的直和分解成補子空間仍指定一個投影，反之亦然。如果 X 是直和 X = U ⊕ V，則定義自 P(u + v) = u 的算子仍是有值域 U 和核 V 的投影。明顯的也 P2 = P。反過來說，如果 P 是在 X 上的投影，就是說 P2 = P，則很容易驗證 (I − P)2 = (I − P)。換句話說，(I − P) 也是投影。關係 I = P + (I − P) 蘊涵了 X 是直和 Ran(P) ⊕ Ran(I − P)。

但是相對於有限維情況，投影一般不必須是連續的。如果 X 的子空間 U 在規範拓撲下不閉合，則到 U 上的投影是不連續的。換句話說，連續投影 P 的值域一定是閉合子空間。進一步的，連續投影(事實上，一般的連續線性算子)的核是閉合的。所以連續投影 P 把 X 分解成兩個互補的閉合子空間: X = Ran(P) ⊕ Ker(P) = Ran(P) ⊕ Ran(I − P)。

反命題在有額外假定條件下也成立。假設 U 是 X 的閉合子空間。如果存在一個閉合子空間 V 使得 X = U ⊕ V，則有值域 U 和核 V 的投影 P 是連續的。這是從閉合圖定理推出的。假定 xn → x 而 Pxn → y。需要證明 Px = y。因為 U 是閉合的且 {Pxn} ⊂ U, y 位於 U 中，就是說 Py = y。還有 xn − Pxn = (I − P)xn → x − y。因為 V 是閉合的且 {(I − P)xn} ⊂ V，我們有了 x − y ∈ V，就是說 P(x − y) = Px − Py = Px − y = 0，這證明了這個斷言。

上述論證利用 U 和 V 都是閉合的假定。一般的說，給定一個閉合子空間 U, 不需要存在一個互補的閉合子空間 V，儘管對於希爾伯特空間總是可以採取正交補得到。對於巴拿赫空間，一維子空間總是有閉合的補子空間。這是 哈恩-巴拿赫定理的直接推論。設 U 是 u 的線性擴張。通過哈恩-巴拿赫定理，存在一個有界線性泛函 φ，使得 φ(u) = 1。算子 P(x) = φ(x)u 滿足 P2 = P，就是說它是個投影。φ 的有界性蘊涵了 P 的連續性，因此 Ker(P) = Ran(I − P) 是 U 的閉合補子空間。

## 應用

投影（正交與非正交投影）在演算法領域和特定線性代數問題中有重要應用。

- QR分解（參見豪斯霍爾德變換和格拉姆-施密特正交化）
- 奇異值分解
- 化為海森伯格矩陣形式（許多特徵值演算法的第一步）
- 線性回歸