在模式識別中，費雪線性判別（Fishers linear discriminant）是一種線性判別方法，其意圖是在分類類別為 c 類時，將 d 維空間（樣品點是 d 維向量）中的資料點投影到 c1 維空間上去，使得不同類的樣本點在這個空間上的投影儘量分離，同類的儘量緊湊。 兩類情況 在二類判別時，費雪線性判別將 d 維空間中的資料點投影到一條直線上去，使得不同類的樣本點在這條直線上的投影儘量分離，同類的樣本點在這條直線上儘量緊湊。假設有兩類樣本集 mathcal D_1 的類別為 ω1，樣本數為 n1，mathcal D_2 的類別為 ω2，樣本數為 n2。定義樣本均值 mi 和類內散佈 Si。 mathbf m_ifrac 1n_i sum_xin mathcal D_i mathbf xi12 mathbf S_isum_xin mathcal D_i left mathbf xmathbf m_i right left mathbf xmathbf m_i rightti12 投影直線的方向向量為 w，樣本投影在直線上的值為 y。則可得兩類樣本投影后的均值和類內散佈為 tilde m_i 和 tilde s2_i，i12。 ymathbf wtmathbf x quad tilde m_imathbf wtmathbf m_ii12 begin align tilde s2_i sum_yin mathcal Y_i left ytilde m_i right2 sum_xin mathcal D_i left mathbf wtmathbf xmathbf wtmathbf m_i right2 sum_xin mathcal D_i mathbf wt left mathbf xmathbf m_i rightleft mathbf xmathbf m_i rightt mathbf w mathbf wt mathbf S_i mathbf w end align 要使不同類的樣本點的投影儘量分離，同類儘量緊湊，可以使兩類的投影的均值的差異儘量大，其方差的和儘量小，也就是要求 frac left tilde m_1tilde m_2 right2 tilde s2_1tilde s2_2 最大化。 begin align boldsymbol Jmathbf w frac left tilde m_1tilde m_2 right2 tilde s2_1tilde s2_2 frac left mathbf wtmathbf m_1mathbf wtmathbf m_2 right2mathbf wt mathbf S_1 mathbf wmathbf wt mathbf S_2 mathbf w frac mathbf wt left mathbf m_1mathbf m_2 rightleft mathbf m_1mathbf m_2 rightt mathbf w mathbf wt left mathbf S_1 mathbf S_2 right mathbf w frac mathbf wt mathbf S_B mathbf w mathbf wt mathbf S_W mathbf w end align mathbf S_Bleft mathbf m_1mathbf m_2 rightleft mathbf m_1mathbf m_2 rightt mathbf S_Wleft mathbf S_1 mathbf S_2 right 可以證明當 w 滿足 mathbf S_B wlambda mathbf S_W w，即 w 的方向與 mathbf S_W1 left mathbf m_1mathbf m_2 right 相同時，J w 取得最大值。剩下的問題就是如何求解閾值 w0，也就是在這個一維空間中把兩類分開的那個點的位置。當 J w 超過 w0 就判決為某一類別 ω，否則就判決為另一類別。然而目前並沒有一個通用的選取方法。 在兩個類別的分佈是多元正態分佈，且協方差矩陣相同時，根據貝葉斯決策理論，mathbf wmathbf Sigma1 left mathbf u_1mathbf u_2 right，並且 w0 是一個與 w 和先驗機率有關的常數。我們可以用樣本均值與樣本協方差去估計 ui 和 Σ。更一般地說，如果我們對投影后的資料進行平滑，或用一維高斯函式進行擬合，ω0 就位於使兩類的後驗機率相同的位置上。 多類情況 費雪線性判別在面對二類判別時，將兩類樣本向一條直線投影，也就是將資料從 d 維空間向 1 維空間投影。這樣在面對 c 個類的判別時，所要做就是將資料從 d 維空間向 c1 維空間投影。這就需要推廣投影方程、類間散佈矩陣 SB 和類內散佈矩陣 SW。從 d 維空間向 c1 維空間的投影是透過 c1 投影方程進行的： y_imathbf wt_i mathbf xmathbf xin mathcal D_i quad i1ldotsc1 這裡的 mathcal D_i 為第 i 類的樣本集。設 mathbf yy_1y_2ldotsy_c1t quad mathbf Ww_1w_2ldotsw_c1 ，c1 個方程可以更簡練地表達： mathbf ymathbf Wt mathbf xmathbf yin mathcal Y_i quad i1ldotsc1 這裡的 mathcal Y_i 為第 i 類的樣本的投影向量集。類間散佈矩陣 SB 和類內散佈矩陣 SW 可以由總體散佈矩陣 ST 和總體均值向量 m 推導得到： mathbf mfrac 1n sum_mathbf x mathbf xfrac 1n sum_i1c n_imathbf m_i qquad mathbf S_Tsum_mathbf xmathbf xmathbf mmathbf xmathbf mt begin align mathbf S_T sum_i1c sum_mathbf x in mathcal D_imathbf xmathbf m_imathbf m_imathbf mmathbf xmathbf m_imathbf m_imathbf mt sum_i1c sum_mathbf x in mathcal D_imathbf xmathbf m_imathbf xmathbf m_itsum_i1c sum_mathbf x in mathcal D_imathbf m_imathbf mmathbf m_imathbf mT end align 由此定義類間散佈矩陣 SB 和類內散佈矩陣 SW： mathbf S_Wsum_i1c sum_mathbf x in mathcal D_imathbf xmathbf m_imathbf xmathbf m_it quad mathbf S_Bsum_i1c sum_mathbf x in mathcal D_imathbf m_imathbf mmathbf m_imathbf mT mathbf S_Tmathbf S_Wmathbf S_B 那麼樣本資料的投影向量的類間散佈矩陣 widetilde mathbf S_mathbf B 和類內散佈矩陣 widetilde mathbf S_mathbf W：即為： widetilde mathbf S_mathbf Bsum_i1c sum_mathbf y in mathcal Y_iwidetilde mathbf m_iwidetilde mathbf mwidetilde mathbf m_iwidetilde mathbf mTmathbf Wt mathbf S_B mathbf W widetilde mathbf S_mathbf Wsum_i1c sum_mathbf y in mathcal Y_imathbf ywidetilde mathbf m_imathbf ywidetilde mathbf m_itmathbf Wt mathbf S_W mathbf W 與兩類情況類似，要找到某一 W 使得類內散佈儘量小，類間散佈儘量大。但這裡的類內散佈和類間散佈不再是一個值，而是一個矩陣。矩陣的行列式是矩陣的特徵值的乘積，也就是資料在各個主要方向的方差的積，相當於類別散佈超橢球體的體積的平方。故使用行列式來度量散佈，這樣判別函式即為 boldsymbol Jmathbf wfrac widetilde mathbf S_mathbf Bwidetilde mathbf S_mathbf Wfrac mathbf Wt mathbf S_B mathbf Wmathbf Wt mathbf S_W mathbf W 可以證明，當 W 的列向量 wi 是 mathbf S_Bmathbf w_imathbf lambda_i mathbf S_Wmathbf w_i 的廣義特徵向量時，可以使得 J w 最大。因為 SB 中 c 個秩為 1 或 0 的矩陣相加，而且其中只有 c1 個矩陣是相互獨立的。所以 SB 的秩最多為 c1。所以最多隻有 c1 個特徵向量是非零的。 應用 人臉識別 在人臉識別中，每一個人臉影像具有大量的畫素點。LDA 主要用來將特徵減少到一個可以處理的數目在進行分類。每一個新的維度都是原先畫素值的線性組合，這就構成了一個模板。這樣獲得的線性組合被稱為 Fisher faces 而透過主成分分析獲得的則稱為特徵臉。 參考文獻 分類：統計學