線性判別分析

線性判別分析是對費舍爾的線性鑑別方法的歸納，這種方法使用統計學，模式識別和機器學習方法，試圖找到兩類物體或事件的特徵的一個線性組合，以能夠特徵化或區分它們。所得的組合可用來作為一個線性分類器，或者，更常見的是，為後續的分類做降維處理。LDA與變異數分析。 邏輯斯諦迴歸和機率迴歸比變異數分析更類似於LDA，因為他們也是用連續型自變數來解釋類別型因變數。LDA的基本假設是自變數是常態分佈的，當這一假設無法滿足時，在實際應用中更傾向於用上述的其他方法。LDA也與主成分分析的不同。當自變數每一次的觀察測量值都是連續量的時候，LDA能發揮作用。如果是處理類別型自變數，與LDA相對應的技術稱為判別反應分析。二類LDA.考慮在已知類別 "y" 中每一個物件或事件的一組觀察量 formula_1 都能被正確地判斷。:338LDA 的方法是，透過假設條件機率密度函式 formula_3 和 formula_4 都是正態分佈，分別具有均值和協方差formula_5 和 formula_6。根據這一假設，貝葉斯最佳解決方案是如果預測點的可能性比率之對數值低於某一閾值 T，其就屬於第二類：formula_7如果沒有任何進一步的假設，所得到的分類器稱為QDA。相反地，LDA做出額外簡化的同方差性假設，並且協方差是滿秩的。在這種情況下，可以消掉一些項：formula_9formula_10 因為formula_11是埃爾米特矩陣如此一來，上面的判斷準則就變成了判斷點積的閾值是否大於某常數 "c"formula_12而formula_13formula_14這意味著，一個輸入 formula_2 屬於類 "y" 的標準就純粹成為一個已知觀察值的線性組合的函式。從幾何學的角度來看這個結論通常會有些幫助：判斷一個輸入 formula_2 是否為類 "y" 的標準就是一個將多維空間上的點 formula_2 投影到向量 formula_18的函式。換句話說，如果相對應的 formula_2 位於一個垂直於 formula_18 的超平面的某一側，那麼觀察值就屬於"y"類。平面的位置由閾值c來決定。"k"類正則判別分析.正則判別分析法。詳細請面的“多類LDA”。費舍爾的線性判別."費舍爾的線性判別"和"LDA"的叫法往往是可以互換使用，儘管費舍爾最早的文章實際上描述了一個稍微不同的判別，他沒有作出一些類似LDA所作的假設，比如正態分佈的各類或者相等的類協方差。假設觀察的兩個類分別有均值formula_21和協方差formula_22。那麼特徵的線性組合formula_23將具有均值formula_24和協方差formula_25 其中formula_26。費舍爾把區分這兩類分佈的規則為類間方差與類內方差的比率：formula_27從某種意義上說，這一方法是測量類標籤的信噪比。它可以顯示，當滿足如下條件時，會產生最大的區分formula_28當LDA的假設滿足時，上述方程式就是LDA。一定要注意的向量formula_29是判別超平面的法線。 以二維空間為例，能區分兩類的最優線就是與formula_29。一般來說，要判別資料點投影到formula_29；然後從一維分佈中選取區分資料的最佳閾值。選取閾值沒有通用的規則。然而，如果兩類的投影點顯示出近似的分佈，那麼選取兩個均值的投影formula_32和formula_33之間的超平面是比較合適的。在這種情況下，formula_12條件下的閾值引數c可以明確表達為：formula_35.大津演算法與費舍爾的線性判別有些相關，它的建立是透過最優選取黑白間的閾值，來二元化灰度影象中畫素的直方圖，既能使黑白畫素兩類間的方差最大化，又能使兩類內各自的方差最小化。多類LDA.當出現超過兩類的情況時，可以使用由費舍爾判別派生出的分析方法，它延伸為尋找一個保留了所有類的變化性的子空間。這是由 C.R.Rao 總結出來的。 假設，C個類中每一個類都有均值formula_36和相同的協方差formula_37。 那麼，類間的變化可以透過類均值的協方差來定義formula_38這裡formula_39是各類均值的均值。在formula_18的方向區分類有下式給出formula_41這意味著如果formula_18是formula_43的特徵向量，等同於用對應的特徵值進行分類。如果formula_43是可對角化矩陣，特徵之間的變化性就會被保留在"C-1"個最大特徵值對應的特徵向量構成子空間內。與PCA相同，這些特徵向量的主要用途是縮減特徵數。較小的特徵值對應的特徵向量對訓練資料的選擇非常敏感，所以常常需要使用下段中描述的調整方法。如果只是為了分類，而不需要降維，還有一些替代技術可用。例如，多個類本身就是分離的，可用費舍爾判別或者LDA對每個區進行分類。一個常見的例子是“一個對其餘”，指的是從一個類裡出來的點，放入一組裡，其他的歸入另一組，這就可以用LDA。這將導致C類分類器，它的結果是組合在一起的。另一個常見的方法就是配對分類，給每一對類別建立一個分類器（總共有"C"("C" − 1)/2個分類器)，再將每個分類器的結果綜合得到最終結果。增量LDA.要實現典型的LDA技術前提是所有的樣本都必須提前準備完畢。但有些情況下，沒有現成的完整資料集或者輸入觀察資料是流的形式。這樣，就要求LDA的特徵提取有能力隨著觀察新樣本的增加而更新LDA的特徵，而不是在整個資料集上執行演算法。例如，在移動機器人或實時臉部識別等實時應用中，提取的LDA特徵能隨著新觀察值實時更新是非常重要的。這種能夠透過簡單觀察新樣本來更新LDA特徵的技術就叫做增量LDA演算法，在過去二十年裡，它已經被廣泛的研究過。 Catterjee和Roychowdhury提出了一種增量自組織LDA演算法來更新LDA特徵。 另外，Demir和Ozmehmet提出利用誤差改正和赫布學習規則的線上本地學習演算法來更新LDA特徵。 最後，Aliyari等人提供了快速增量LDA演算法。實際使用.在實際中，類的均值和協方差都是未知的。然而，它們可以從訓練集合中估算出來。最大似然估計和最大後驗機率估計都可以用來替代上述方程裡面的相應值。雖然協方差的估值在某種意義上是最優的，即使對類的正態分佈假設是正確的，也並不能表明用這些估值替換得到的判別是最優的。另一個應用LDA和費舍爾判別的複雜情況是，每個樣品測量值的數量超過類中的樣品數量。 在這種情況下，協方差估值不是滿秩，因此不能取逆。有幾種方法可以應對這種情況。一種是在上述公式中使用廣義逆陣替代通常的逆矩陣。不過，先把問題投影到formula_45構成的子空間上可以得到更好的數字穩定性。 另一個處理小樣本的策略是，用協方差矩陣的收縮估算，可以表達為以下數學式formula_47這裡formula_48的單位矩陣，formula_49是的"收縮度"或"歸一引數。"這產生了歸一判別分析 或收縮判別分析的框架。此外，在許多實際情形中線性判別是不合適的。 LDA和費舍爾判別可以透過核函式擴充套件到非線性分類。原始的觀察值有效的對映到一個高維的非線性空間裡。在這個非線性空間裡的線性分類，就相當於在原始空間裡面的非線性分類。最常用的例子就是核函式費舍爾判別。LDA可以推廣到多類判別分析，其中"c"變為一個具有"N"個可能狀態，而不是兩個狀態的類別變數。類似地，如果各類的條件機率密度 formula_50都是正態分佈有共同的協方差，那麼formula_51的充分統計量就是協方差逆矩陣在"N"個均值構成的子平面上仿射的"N"個投影值。這些投影值可以透過解廣義特徵值問題來找到，分子是以均值為樣本構成的協方差矩陣，分母是共有協方差矩陣。詳情述“多類LDA”。應用領域.除了下面給出的例項，LDA應用於市場定位和產品管理。破產預測.在基於財務比率和其他金融變數的破產預測中，LDA是第一個用來系統解釋公司進入破產或存活的統計學工具。儘管受到財務比率不遵守LDA正態分佈假設的限制，Edward Altman的1968年模型仍然是實際應用的領先者。臉部識別.在計算機化的臉部識別中，每一張臉由大量畫素值表達。 LDA在這裡的主要作用是把特徵的數量降到可管理的數量後再進行分類。每一個新的維度都是模板裡畫素值的線性組合。使用費舍爾線性判別得到的線性組合稱為"費舍爾臉"，而透過主成分分析得到稱為"特徵臉"。市場營銷.在市場營銷，判別分析曾經常用於透過市場調查或其他資料收集手段，找出那些能區分不同客戶或產品型別的多個因素。如今用的更多的是邏輯斯諦迴歸或其他方法。在市場營銷中使用判別分析的具體步驟如下描述：生物醫學研究.判別分析在醫學的主要應用是評估患者的嚴重程度和對疾病結果的預後判斷。比如，在回顧分析中，根據患者的病情分為幾組：輕微，中度和嚴重。透過對臨床和實驗室分析結果的研究，揭示被研究組中哪些變數是統計上不同的。使用這些變數建立判別函式，幫助將未來的患者客觀的劃分到輕微，中度和嚴重的類別裡。在生物學中，類似的原則被用以劃分和定義不同的生物物件。例如，用傅立葉變換紅外光譜定義沙門氏菌的噬菌體類別， 檢測大腸桿菌的動物研究它的毒力因子 等。地球科學.這種方法可用於區分蝕變帶。例如，當很多帶的不同資料都現成時，判別分析可以從資料中找到模式並有效的對它分類。