線性判別分析（，縮寫：LDA）是對費舍爾的線性鑑別方法的歸納，這種方法使用統計學，模式識別和機器學習方法，試圖找到兩類物體或事件的特徵的一個線性組合，以能夠特徵化或區分它們。所得的組合可用來作為一個線性分類器，或者，更常見的是，為後續的分類做降維處理。 LDA 與變異數分析（ANOVA）和迴歸分析緊密相關，這兩種分析方法也試圖透過一些特徵或測量值的線性組合來表示一個因變數。Fisher R A 1936 McLachlan G J 2004 然而，變異數分析使用類別型的自變數和連續型的因變數，而判別分析則使用連續型自變數和類別型因變數（即類標籤）。Analyzing Quantitative Data An Introduction for Social Researchers Debra WetcherHendricks p288 邏輯斯諦迴歸和機率迴歸比變異數分析更類似於 LDA，因為他們也是用連續型自變數來解釋類別型因變數。LDA 的基本假設是自變數是常態分佈的，當這一假設無法滿足時，在實際應用中更傾向於用上述的其他方法。 LDA 也與主成分分析（PCA）和因素分析緊密相關，它們都在尋找最佳解釋資料的變數線性組合。Martinez A M Kak A C 2001 LDA 明確地嘗試在不同資料類之間建立模型，而 PCA 則不考慮類別上的不同（只是在保留大部分訊息的前提下降低維度數），因素分析則是根據相異處而非相同處來建立特徵組合。判別分析跟因素分析的差異還在於，它不是一個相互依存技術：即必須區分出自變數和因變數（也稱為準則變數）的不同。 當自變數每一次的觀察測量值都是連續量的時候，LDA 能發揮作用。如果是處理類別型自變數，與 LDA 相對應的技術稱為判別反應分析。Perriere G Thioulouse J 2003 二類 LDA 考慮在已知類別 y 中每一個物件或事件的一組觀察量 vec x （也稱為特徵、屬性、變數或測量）；這一組樣本稱為訓練集。分類問題即為在給定觀察量 vec x 為 y 類的情況下找一個良好的預測器，使得任意具有相同分佈的樣品（未必來自訓練集合）都能被正確地判斷。 LDA 的方法是，透過假設條件機率密度函式 p vec xy0 和 p vec xy1 都是正態分佈，分別具有均值和協方差 left vec mu_0 Sigma_0right 和 left vec mu_1 Sigma_1right。根據這一假設，貝葉斯最佳解決方案是如果預測點的可能性比率之對數值低於某一閾值 T，其就屬於第二類： vec x vec mu_0T Sigma_01 vec x vec mu_0 lnSigma_0 vec x vec mu_1T Sigma_11 vec x vec mu_1 lnSigma_1 T 如果沒有任何進一步的假設，所得到的分類器稱為 QDA（二次判別分析）。 相反地，LDA 做出額外簡化的同方差性假設（即不同類之間的協方差相同，Sigma_0 Sigma_1 Sigma），並且協方差是滿秩的。在這種情況下，可以消掉一些項： vec xT Sigma_01 vec x vec xT Sigma_11 vec x vec xT Sigma_i1 vec mu_i vec mu_iT Sigma_i1 vec x 因為 Sigma_i 是埃爾米特矩陣 如此一來，上面的判斷準則就變成了判斷點積的閾值是否大於某常數 c vec w cdot vec x c 而 vec w Sigma1 vec mu_1 vec mu_0 c frac 12Tvec mu_0T Sigma_01 vec mu_0vec mu_1T Sigma_11 vec mu_1 這意味著，一個輸入 vec x 屬於類 y 的標準就純粹成為一個已知觀察值的線性組合的函式。 從幾何學的角度來看這個結論通常會有些幫助：判斷一個輸入 vec x 是否為類 y 的標準就是一個將多維空間上的點 vec x 投影到向量 vec w （我們僅僅考慮其方向）的函式。換句話說，如果相對應的 vec x 位於一個垂直於 vec w 的超平面的某一側，那麼觀察值就屬於 y 類。平面的位置由閾值 c 來決定。 k 類正則判別分析 正則判別分析法（CDA）尋找最優區分類別的座標軸（k1 個正則座標，k 為類別的數量）。 這些線性函式是不相關的，實際上，它們透過 n 維資料雲定義了一個最最佳化的 k1 個空間，能夠最優的區分 k 個類（透過其在空間的投影）。詳細請參見下面的 多類 LDA。 費舍爾的線性判別 費舍爾的線性判別和 LDA 的叫法往往是可以互換使用，儘管費舍爾最早的文章 Fisher R A 1936 實際上描述了一個稍微不同的判別，他沒有作出一些類似 LDA 所作的假設，比如正態分佈的各類或者相等的類協方差。 假設觀察的兩個類分別有均值 vec mu_0 vec mu_1 和協方差 Sigma_0Sigma_1 。那麼特徵的線性組合 vec w cdot vec x 將具有均值 vec w cdot vec mu_i 和協方差 vec wT Sigma_i vec w 其中 i01 。費舍爾把區分這兩類分佈的規則為類間方差與類內方差的比率： Sfrac sigma_text between2sigma_text within2 frac vec w cdot vec mu_1 vec w cdot vec mu_02vec wT Sigma_1 vec w vec wT Sigma_0 vec w frac vec w cdot vec mu_1 vec mu_02vec wT Sigma_0Sigma_1 vec w 從某種意義上說，這一方法是測量類標籤的信噪比。它可以顯示，當滿足如下條件時，會產生最大的區分 vec w propto Sigma_0Sigma_11vec mu_1 vec mu_0 當 LDA 的假設滿足時，上述方程式就是 LDA。 一定要注意的向量 vec w 是判別超平面的法線。 以二維空間為例，能區分兩類的最優線就是與 vec w。 一般來說，要判別資料點投影到 vec w；然後從一維分佈中選取區分資料的最佳閾值。選取閾值沒有通用的規則。然而，如果兩類的投影點顯示出近似的分佈，那麼選取兩個均值的投影 vec w cdot vec mu_0 和 vec w cdot vec mu_1 之間的超平面是比較合適的。在這種情況下， vec w cdot vec x c 條件下的閾值引數 c 可以明確表達為： c vec w cdot frac12 vec mu_0 vec mu_1 frac 12 vecmu_1T Sigma1 vecmu_1 frac 12 vecmu_0T Sigma1 vecmu_0 大津演算法與費舍爾的線性判別有些相關，它的建立是透過最優選取黑白間的閾值，來二元化灰度影像中畫素的直方圖，既能使黑白畫素兩類間的方差最大化，又能使兩類內各自的方差最小化。 多類 LDA 當出現超過兩類的情況時，可以使用由費舍爾判別派生出的分析方法，它延伸為尋找一個保留了所有類的變化性的子空間。這是由 CRRao 總結出來的。假設，C 個類中每一個類都有均值 mu_i 和相同的協方差 Sigma 。 那麼，類間的變化可以透過類均值的協方差來定義 Sigma_b frac 1C sum_i1C mu_imu mu_imuT 這裡 mu 是各類均值的均值。在 vec w 的方向區分類有下式給出 S frac vec wT Sigma_b vec wvec wT Sigma vec w 這意味著如果 vec w 是 Sigma1 Sigma_b 的特徵向量，等同於用對應的特徵值進行分類。 如果 Sigma1 Sigma_b 是可對角化矩陣，特徵之間的變化性就會被保留在 C1 個最大特徵值對應的特徵向量構成子空間內（因為 Sigma_b 最大可能的秩是 C1）。與 PCA 相同，這些特徵向量的主要用途是縮減特徵數。較小的特徵值對應的特徵向量對訓練資料的選擇非常敏感，所以常常需要使用下段中描述的調整方法。 如果只是為了分類，而不需要降維，還有一些替代技術可用。例如，多個類本身就是分離的，可用費舍爾判別或者 LDA 對每個區進行分類。一個常見的例子是 一個對其餘，指的是從一個類裡出來的點，放入一組裡，其他的歸入另一組，這就可以用 LDA。這將導致 C 類分類器，它的結果是組合在一起的。另一個常見的方法就是配對分類，給每一對類別建立一個分類器（總共有 C C12 個分類器，再將每個分類器的結果綜合得到最終結果。 增量 LDA 要實現典型的 LDA 技術前提是所有的樣本都必須提前準備完畢。但有些情況下，沒有現成的完整資料集或者輸入觀察資料是流的形式。這樣，就要求 LDA 的特徵提取有能力隨著觀察新樣本的增加而更新 LDA 的特徵，而不是在整個資料集上執行演算法。例如，在移動機器人或即時臉部識別等即時應用中，提取的 LDA 特徵能隨著新觀察值即時更新是非常重要的。這種能夠透過簡單觀察新樣本來更新 LDA 特徵的技術就叫做增量 LDA 演算法，在過去二十年裡，它已經被廣泛的研究過。Catterjee 和 Roychowdhury 提出了一種增量自組織 LDA 演算法來更新 LDA 特徵。另外，Demir 和 Ozmehmet 提出利用誤差改正和赫布學習規則的線上本地學習演算法來更新 LDA 特徵。最後，Aliyari 等人提供了快速增量 LDA 演算法。 實際使用 在實際中，類的均值和協方差都是未知的。然而，它們可以從訓練集合中估算出來。最大似然估計和最大後驗機率估計都可以用來替代上述方程裡面的相應值。雖然協方差的估值在某種意義上是最優的，即使對類的正態分佈假設是正確的，也並不能表明用這些估值替換得到的判別是最優的。 另一個應用 LDA 和費舍爾判別的複雜情況是，每個樣品測量值的數量（即每個資料向量的維度）超過類中的樣品數量。在這種情況下，協方差估值不是滿秩，因此不能取逆。有幾種方法可以應對這種情況。一種是在上述公式中使用廣義逆陣替代通常的逆矩陣。不過，先把問題投影到 Sigma_b 構成的子空間上可以得到更好的數字穩定性。另一個處理小樣本的策略是，用協方差矩陣的收縮估算，可以表達為以下數學式 Sigma 1lambda Sigmalambda I 這裡 I 的單位矩陣， lambda 是的收縮度或歸一引數。這產生了歸一判別分析或收縮判別分析的框架。 此外，在許多實際情形中線性判別是不合適的。 LDA 和費舍爾判別可以透過核函式擴充套件到非線性分類。原始的觀察值有效的對映到一個高維的非線性空間裡。在這個非線性空間裡的線性分類，就相當於在原始空間裡面的非線性分類。最常用的例子就是核函式費舍爾判別。 LDA 可以推廣到多類判別分析，其中 c 變為一個具有 N 個可能狀態，而不是兩個狀態的類別變數。類似地，如果各類的條件機率密度 p vec xmid ci 都是正態分佈有共同的協方差，那麼 P cmidvec x 的充分統計量就是協方差逆矩陣在 N 個均值構成的子平面上仿射的 N 個投影值。這些投影值可以透過解廣義特徵值問題來找到，分子是以均值為樣本構成的協方差矩陣，分母是共有協方差矩陣。詳情參見上述 多類 LDA。 應用領域 除了下面給出的例項，LDA 應用於市場定位和產品管理。 破產預測 在基於財務比率和其他金融變數的破產預測中，LDA 是第一個用來系統解釋公司進入破產或存活的統計學工具。儘管受到財務比率不遵守 LDA 正態分佈假設的限制，Edward Altman 的 1968 年模型仍然是實際應用的領先者。 臉部識別 在計算機化的臉部識別中，每一張臉由大量畫素值表達。 LDA 在這裡的主要作用是把特徵的數量降到可管理的數量後再進行分類。每一個新的維度都是模板裡畫素值的線性組合。使用費舍爾線性判別得到的線性組合稱為費舍爾臉，而透過主成分分析（PCA）得到稱為特徵臉。 市場營銷 在市場營銷，判別分析曾經常用於透過市場調查或其他資料收集手段，找出那些能區分不同客戶或產品型別的多個因素。如今用的更多的是邏輯斯諦迴歸或其他方法。在市場營銷中使用判別分析的具體步驟如下描述： 制定問題並收集資料 識別消費者評估產品的一些顯著屬性一 用定量市場研究技術（例如市場調查）從潛在消費者中收集關於他們對產品所有屬性的評分資料。資料收集階段通常是由專業的市場調查公司完成的。調查人員選擇一系列屬性，請參與者對他們給出 1 到 5（或者 1 到 7，1 到 10）的評分。通常選 5 到 20 個屬性。通常包括：易用度，重量，準確度，耐用性，色彩度，價格，或尺寸。根據研究的產品選擇不同的屬性。在調查中對所有的產品都問相同的問題。多個產品的資料編碼後，輸入統計分析程式，比如 R，SPSS 或 SAS。（這一步與因子分析法一樣）。 估計的判別函式的係數並確定統計顯著水平和有效性 選擇適當的判別分析方法。直接的方法涉及估計判別函式，以便所有的預測器同時被評估。逐步的方法順序進入的預測器。當因變數只有兩類或狀態時，適用兩組的方法。因變數多於三個是，用多類判別方法。在 SPSS 或者 SAS 裡的 F 統計包，用 Wilkss Lambda 檢驗顯著水平。最常用的有效性檢驗方法是，將樣本分為兩組：估計 分析樣本和驗證樣本。估計樣本用來構建判別函式，驗證樣本構建分類矩陣，其中包括正確分類和不正確分類的數量。正確分類案例的百分比稱為命中率。 將結果畫在二維圖裡，定義維度，並解釋結果。統計程式（或相關模組）會將結果做出圖。圖中包括每個產品（通常為二維空間）。每個產品之間的距離表明他們不同的程度。研究者必須給每個維度註明標籤。整個過程需要主觀判斷，非常具有挑戰性。參見感知對映。 生物醫學研究 判別分析在醫學的主要應用是評估患者的嚴重程度和對疾病結果的預後判斷。比如，在回顧分析中，根據患者的病情分為幾組：輕微，中度和嚴重。透過對臨床和實驗室分析結果的研究，揭示被研究組中哪些變數是統計上不同的。使用這些變數建立判別函式，幫助將未來的患者客觀的劃分到輕微，中度和嚴重的類別裡。 在生物學中，類似的原則被用以劃分和定義不同的生物物件。例如，用傅立葉變換紅外光譜定義沙門氏菌的噬菌體類別，檢測大腸桿菌的動物來源以研究它的毒力因子 等。 地球科學 這種方法可用於區分蝕變帶。例如，當很多帶的不同資料都現成時，判別分析可以從資料中找到模式並有效的對它分類。Tahmasebi P Hezarkhani A Mortazavi M 2010 Application of discriminant analysis for alteration separation sungun copper deposit East Azerbaijan Iran Australian Journal of Basic and Applied Sciences 6 4 564576 參考 資料探勘 決定樹學習 因素分析 核函式費舍爾判別分析 邏輯斯諦迴歸 多維標度 模式識別 感知器 偏好迴歸 二次分類器 引用 擴充套件閱讀 Duda R O Hart P E Stork D H 2000 Pattern Classification 2nd ed Wiley Interscience ISBN 0471056693 MR 1802993 Hilbe J M 2009 Logistic Regression Models Chapman HallCRC Press ISBN 9781420075755 Mika S et al 1999 Fisher Discriminant Analysis with Kernels IEEE Conference on Neural Networks for Signal Processing IX 4148 doi101109NNSP1999788121 Mark Burdon and Paul Harpur ReConceptualising Privacy and Discrimination in an Age of Talent Analytics 2014 37 University of New South Wales Law Journal 2 6797121 Miranda Terry and Paul Harpur The New Era of Segmenting Society on Ability Lines Workplace Analytics and Disability Discrimination Society for Disability Studies Atlanta USA 1013 June 2015 H Richard McFarland and Donald St P Richards Exact Misclassification Probabilities for PlugIn Normal Quadratic Discriminant Functions I The EqualMeans Case Journal of Multivariate Analysis 2001 vol 77 issue 1 pages 2153 link to article H Richard McFarland and Donald St P Richards Exact Misclassification Probabilities for PlugIn Normal Quadratic Discriminant Functions II The Heterogeneous Case Journal of Multivariate Analysis 2002 vol 82 issue 2 pages 299330 link to article 外部連結 ALGLIB contains opensource LDA implementation in C C Pascal VBA Psychometricade opensource LDA implementation in Java LDA tutorial using MS Excel Biomedical statistics Discriminant analysis wwwpowercamccchli 中文的影片介紹包含 Kernel Method PCA KPCA LDA GDA and SVMs Category 分類演演算法 Category 多變數統計 Category 統計分類 Category 市場學