特徵選擇

在機器學習和統計學中 ， 特徵選擇  也被稱爲變量選擇 、 屬性選擇 或變量子集選擇 。 它是指 ： 爲了構建模型而選擇相關特徵 （ 即屬性 、 指標 ） 子集的過程 。 使用特徵選擇技術有三個原因 ： 簡化模型 ， 使之更易於被研究人員或用戶理解 ， 縮短訓練時間 ， 改善通用性 、 降低過擬合 （ 即降低方差 ） 要使用特徵選擇技術的關鍵假設是 ： 訓練數據包含許多冗餘 或無關 的特徵 ， 因而移除這些特徵並不會導致丟失信息 。 冗餘 或無關 特徵是兩個不同的概念 。 如果一個特徵本身有用 ， 但如果這個特徵與另一個有用特徵強相關 ， 且那個特徵也出現在數據中 ， 那麼這個特徵可能是冗餘的 。 特徵選擇技術與特徵提取有所不同 。 特徵提取是從原有特徵的功能中創造新的特徵 ， 而特徵選擇則只返回原有特徵中的子集 。 特徵選擇技術的常常用於許多特徵但樣本 （ 即數據點 ） 相對較少的領域 。 特徵選擇應用的典型用例包括 ： 解析書面文本和微陣列數據 ， 這些場景下特徵成千上萬 ， 但樣本只有幾十到幾百個 。