線性判別分析

線性判別分析 ( LDA ) 是對費舍爾的線性鑑別方法的歸納 ， 這種方法使用統計學 ， 模式識別和機器學習方法 ， 試圖找到兩類物體或事件的特徵的一個線性組合 ， 以能夠特徵化或區分它們 。 所得的組合可用來作爲一個線性分類器 ， 或者 ， 更常見的是 ， 爲後續的分類做降維處理 。 LDA與變異數分析 （ ANOVA ） 和迴歸分析緊密相關 ， 這兩種分析方法也試圖透過一些特徵或測量值的線性組合來表示一個因變量 。 然而 ， 變異數分析使用類別型的自變量和連續型的因變量 ， 而判別分析則使用連續型自變量和類別型因變量 （ 即類標籤 ） 。 邏輯迴歸和概率迴歸比變異數分析更類似於LDA ， 因爲他們也是用連續型自變量來解釋類別型因變量 。 LDA的基本假設是自變量是常態分佈的 ， 當這一假設無法滿足時 ， 在實際應用中更傾向於用上述的其他方法 。 LDA也與主成分分析 （ PCA ） 和因素分析緊密相關 ， 它們都在尋找最佳解釋數據的變量線性組合 。 LDA明確地嘗試在不同數據類之間建立模型 ， 而PCA則不考慮類別上的不同 （ 只是在保留大部分訊息的前提下降低維度數 ） ， 因素分析則是根據相異處而非相同處來建立特徵組合 。 判別分析跟因素分析的差異還在於 ， 它不是一個相互依存技術 ： 即必須區分出自變量和因變量 （ 也稱爲準則變量 ） 的不同 。 當自變量每一次的觀察測量值都是連續量的時候 ， LDA能發揮作用 。 如果是處理類別型自變量 ， 與LDA相對應的技術稱爲判別反應分析 。