投影_(线性代数)

在線性代數和泛函分析中，**投影**是從向量空間映射到自身的一種線性變換 $P$ ，滿足 $P^{2}=P$ , 也就是說，當 $P$ 兩次作用於某個值，與作用一次得到的結果相同（冪等）。是日常生活中「平行投影」概念的形式化和一般化。同現實中陽光將事物投影到地面上一樣，投影變換將整個向量空間映射到它的其中一個子空間，並且在這個子空間中是恆等變換。

## 定義

投影的嚴格定義是：一個從向量空間 **V** 射到它自身的線性變換 _P_ 是投影，若且唯若 $P^{2}=P$ 。另外一個定義則較為直觀：_P_ 是投影，若且唯若存在 **V** 的一個子空間 **W**，使得 _P_ 將所有 **V** 中的元素都映射到 **W** 中，而且 _P_ 在 **W** 上是恆等變換。用數學的語言描述，就是：

　
: $\exists W$ ，使得 $\forall u\in V,P(u)\in W$ ，並且 $\forall u\in W,P(u)=u$

## 簡單例子

在現實生活中，陽光在地面上留下各種影子。這就是投影變換最直白的例子。可以理想化地假設陽光都是沿著同一個方向（比如說垂直於地面的角度）照射而來，大地是嚴格的平面，那麼，對於任意一個物體（比如說一隻正在飛行的鳥），它的位置可以用向量 (_x_, _y_, _z_) 來表示，而這隻鳥在陽光下對應著一個影子，也就是 (_x_, _y_, 0)。這樣的一個變換就是一個投影變換。它將三維空間中的向量 (_x_, _y_, _z_) 到映射到向量 (_x_, _y_, 0) 。這是在 _x_-_y_ 平面上的投影。這個變換可以用矩陣表示為

　
: $P={\begin{bmatrix}1&0&0\\0&1&0\\0&0&0\end{bmatrix}}$

因為對任意一個向量 (_x_, _y_, _z_) ，這個矩陣的作用是：

　
: $P{\begin{bmatrix}x\\y\\z\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}}$

注意到如果一個向量原來就是表示地面上的一點的話（也就是說它的 _z_ 分量等於 0），那麼經過變換 _P_ 後不會有改變。也就是說這個變換在子空間 _x_-_y_ 平面上是恆等變換，這證明了 _P_ 的確是一個投影。

另外，

　
: $P^{2}{\begin{bmatrix}x\\y\\z\end{bmatrix}}=P{\begin{bmatrix}x\\y\\0\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}};$

所以 _P_ = _P_2，這也證明 _P_ 的確是投影。

## 基本性質

這裡假定投影所在的向量空間 **W** 是有限維的（因此不需要考慮如投影的連續性之類的問題）。假設子空間 **U** 與 **V** 分別為 _P_ 的像空間與零空間（也叫做核）。那麼按照定義，有如下的基本性質:

1. 按照定義，P 是等冪的（即 $P^{2}=P$ ）
2. _P_ 在像空間 **U** 上是恆等變換： $\forall x\in U,\quad P(x)=x$
3. 整個向量空間可以分解成子空間 **U** 與 **V** 的直和： $W=U\oplus V$ 。也就是說，空間裡的每一個向量 $x\in W$ ，都可以以唯一的方式寫成兩個向量 $u$ 與 $v$ 的和： $x=u+v$ ，並且滿足 $u=Px$ , $v=x-Px=(I-P)x$ , 其中 $u\in U$ 、 $v\in V$ 。

用抽象代數的術語來說，投影 _P_ 是冪等的線性變換（_P_2 = _P_）。因此它的極小多項式是 $X^{2}-X=X(X-1)$ 。因式分解後可以看到，這個多項式只有相異的單根（沒有多重根），因此 _P_ 是可對角化矩陣。極小多項式也顯示出了投影的特性：像空間與零空間分別是是對應於特徵值 1 和 0 的特徵空間，並給出了整個空間的一個直和分解。

正如日常生活中陽光沿著一定的方向將影子投射到地面上，一般的投影變換也可以稱為是沿著 **W** 到 **U** 上的投影。由於向量空間分解成直和的方式一般不是唯一的（陽光可以順著不同的方向照射），給定一個子空間 _V_（地面），一般的說有很多到 _V_ 的投影（沿不同的 **W**）。

## 正交投影

如果向量空間 $V$ 被賦予了內積且是完備的，那麼就可以定義正交和其它相關的概念 (比如線性算子的自伴隨性) 了。正交投影是指值域 $U$ 和零空間 $W$ 相互正交的投影，也就是說，對於任意 $u\in U$ ， $w\in W$ ，它們的內積 $(u|w)$ 都等於 0。一個投影是正交投影，若且唯若它是自伴算子，以下為證明：如果投影 $P$ 是自伴算子，那麼

　
: $\forall u=P(v)\in U,$ $w\in W:$

　
: $(u|w)=\left(P(v)|w\right)=\left(v|P^{*}(w)\right)=\left(v|P(w)\right)=\left(v|0\right)=0,$ 其中 $P^{*}$ 表示 $P$ 的伴隨算子。

所以 $P$ 是正交投影。相反的，如果 $P$ 是正交投影，由於

　
: $\forall v\in V:\,v-P(v)\in W,$ 因此我們有

　
: $\forall v_{1},\,v_{2}\in V:0=\left(P(v_{1})|(v_{2}-P(v_{2}))\right)=\left(v_{1}|(P^{*}-P^{*}P)(v_{2})\right).$

鑑於 $v_{1},\,v_{2}$ 是任意選取的，必然有 $P^{*}-P^{*}P=0$ 或 $P^{*}=P^{*}P,$ 由於 $P^{*}P$ 一定是自伴算子，因此可知 $P^{*}$ 與 $P$ 也是自伴算子。

這意味著正交投影的矩陣有特殊的性質。如果投影是在實向量空間中，那麼它對應的矩陣是對稱矩陣: $P=P^{T}$ 。如果投影是在虛向量空間中，那麼它的矩陣則是埃爾米特矩陣: $P=P^{*}$

### 例子

正交投影的最簡單的情況是到（過原點）直線上的正交投影。如果 _u_ 是這條直線的單位方向向量，則投影給出為

　
: $P_{u}=uu^{*}\ $

這個算子保留 _u_ 不變（ $P_{u}(u)=uu^{*}u=u\|u\|^{2}=u$ ），並且它作用在所有正交於 _u_ 的向量上都是 0（如果 $(u|v)=0$ ，那麼 $P_{u}(v)=uu^{*}v=u(u|v)=0$ ），證明它的確是到包含 _u_ 的直線上的正交投影。

這個公式可以推廣至到在任意維的子空間上的正交投影。設 _u_1, …, _u_k 是子空間 _U_ 的一組正交基，並設 _A_ 為一個 _n_×_k_ 的矩陣，它的列向量是 _u_1, …, _u_k。那麼投影：

　
: $P_{A}=AA^{T}\ $

也是正交的。矩陣 _A_T 是在 _U_ 的正交補變為零的偏等距同構，而 _A_ 是把 _U_ 嵌入底層向量空間的等距同構。_PA_ 的值域因此是 _A_ 的「終空間」(final space)。_A_T_A_ 是在 _U_ 上的恆等算子也是明顯的。

正交條件也可以去除。如果 _u_1, …, _u_k 是 (不必須正交) 基，而 _A_ 是有這些向量作為列的矩陣，則投影是

　
: $P_{A}=A(A^{T}A)^{-1}A^{T}\,$ 。

矩陣 _A_T 仍把 _U_ 嵌入到低層向量空間中但一般不再是等距的。矩陣 (_A_T_A_)−1 是恢復規範的「規範化因子」。例如，秩 - 1 算子 _uu_T 不是投影，如果 ||_u_|| ≠ 1。在除以 _u_T_u_ = \|_u_\|2 之後，我們得獲得了到 _u_ 所生成的子空間的投影 _u_(_u_T_u_)−1_u_T。

所有這些公式對於複數內積空間也成立，假如用共軛轉置替代轉置。

### 斜投影

術語**斜投影**有時用來提及非正交投影。這些投影也用來在二維繪圖中表示空間圖形 (參見斜投影)，儘管不如正交投影常用。

斜投影用它們的值域和零空間來定義。有給定值域和零空間的投影的矩陣表示的公式可如下這樣找到。設向量 _u_1, …, _u_k 形成了投影的值域的基，並把這些向量組合到 _n_×_k_ 矩陣 _A_ 中。值域和零空間是互補空間，所以零空間有維度 _n_ − _k_。它推出零空間的正交補有維度 _k_。設 _v_1, …, _v_k 形成這個投影的零空間的正交補的基，並把這些向量組合到矩陣 _B_ 中。則投影定義為

　
: $P=A(B^{T}A)^{-1}B^{T}\,$ 。

這個表達式一般化上面給出的正交投影公式。

## 在賦范向量空間上的投影

當底層向量空間 _X_ 是 (不必需有限維) 賦范向量空間，需要考慮無關於有限維情況的分析問題，假定現在 _X_ 是巴拿赫空間。

上面討論的多數代數概念轉移到這個上下文後倖存下來了。給定的 _X_ 的直和分解成補子空間仍指定一個投影，反之亦然。如果 _X_ 是直和 _X_ = _U_ ⊕ _V_，則定義自 _P_(_u_ + _v_) = _u_ 的算子仍是有值域 _U_ 和核 _V_ 的投影。明顯的也 _P_2 = _P_。反過來說，如果 _P_ 是在 _X_ 上的投影，就是說 _P_2 = _P_，則很容易驗證 (_I_ − _P_)2 = (_I_ − _P_)。換句話說，(_I_ − _P_) 也是投影。關係 _I_ = _P_ + (_I_ − _P_) 蘊涵了 _X_ 是直和 Ran (_P_) ⊕ Ran(_I_ − _P_)。

但是相對於有限維情況，投影一般不必須是連續的。如果 _X_ 的子空間 _U_ 在規範拓撲下不閉合，則到 _U_ 上的投影是不連續的。換句話說，連續投影 _P_ 的值域一定是閉合子空間。進一步的，連續投影 (事實上，一般的連續線性算子) 的核是閉合的。所以連續投影 _P_ 把 _X_ 分解成兩個互補的閉合子空間: _X_ = Ran(_P_) ⊕ Ker(_P_) = Ran(_P_) ⊕ Ran(_I_ − _P_)。

反命題在有額外假定條件下也成立。假設 _U_ 是 _X_ 的閉合子空間。如果存在一個閉合子空間 _V_ 使得 _X_ = _U_ ⊕ _V_，則有值域 _U_ 和核 _V_ 的投影 _P_ 是連續的。這是從閉合圖定理推出的。假定 _xn_ → _x_ 而 _Pxn_ → _y_。需要證明 _Px_ = _y_。因為 _U_ 是閉合的且 {_Pxn_} ⊂ _U_, _y_ 位於 _U_ 中，就是說 _Py_ = _y_。還有 _xn_ − _Pxn_ = (_I_ − _P_)_xn_ → _x_ − _y_。因為 _V_ 是閉合的且 {(_I_ − _P_)_xn_} ⊂ _V_，我們有了 _x_ − _y_ ∈ _V_，就是說 _P_(_x_ − _y_) = _Px_ − _Py_ = _Px_ − _y_ = 0，這證明了這個斷言。

上述論證利用 _U_ 和 _V_ 都是閉合的假定。一般的說，給定一個閉合子空間 _U_, 不需要存在一個互補的閉合子空間 _V_，儘管對於希爾伯特空間總是可以採取正交補得到。對於巴拿赫空間，一維子空間總是有閉合的補子空間。這是 哈恩 - 巴拿赫定理的直接推論。設 _U_ 是 _u_ 的線性擴張。通過哈恩 - 巴拿赫定理，存在一個有界線性泛函 _φ_，使得 _φ_(_u_) = 1。算子 _P_(_x_) = _φ_(_x_)_u_ 滿足 _P_2 = _P_，就是說它是個投影。_φ_ 的有界性蘊涵了 _P_ 的連續性，因此 Ker (_P_) = Ran(_I_ − _P_) 是 _U_ 的閉合補子空間。

## 應用

投影（正交與非正交投影）在算法領域和特定線性代數問題中有重要應用。

* QR 分解（參見豪斯霍爾德變換和格拉姆 - 施密特正交化）
* 奇異值分解
* 化為海森伯格矩陣形式（許多特徵值算法的第一步）
* 線性回歸

## 參見

* 中心矩陣，它是投影矩陣的例子。
* 正交化
* 不變子空間
* 透視投影

## 註解

## 引用

* N. Dunford and J.T. Schwartz, _Linear Operators, Part I: General Theory_, Interscience, 1958.
* Carl D. Meyer, _Matrix Analysis and Applied Linear Algebra （頁面存檔備份，存於網際網路檔案館）_ , Society for Industrial and Applied Mathematics, 2000. ISBN 978-0-89871-454-8.