過適

在統計學中 ， 過適 ( 或稱擬合過度 ） 是指過於緊密或精確地匹配特定資料集 ， 以致於無法良好地擬合其他資料或預測未來的觀察結果的現象 。 過擬合模型指的是相較有限的數據而言 ， 參數過多或者結構過於複雜的統計模型 。 發生過擬合時 ， 模型的偏差小而方差大 。 過擬合的本質是訓練算法從中不自覺獲取了信息並表達在了模型結構的參數當中 。 相較用於訓練的資料總量來說 ， 一個模型只要結構足夠複雜或參數足夠多 ， 就總是可以完美地適應資料的 。 過適一般可以視爲違反奧卡姆剃刀原則 。 與過擬合相對應的概念是欠擬合 ( 或稱 ： 擬合不足 ） ； 它是指相較於數據而言 ， 模型參數過少或者模型結構過於簡單 ， 以至於無法捕捉到數據中的規律的現象 。 發生欠擬合時 ， 模型的偏差大而方差小 。 在機器學習或人工神經網路中 ， 過擬合與欠擬合有時也被稱爲 「 過訓練  」 和 「 欠訓練  」 。 之所以存在過擬合的可能 ， 是因爲選擇模型的標準和評價模型的標準是不一致的 。 舉例來說 ， 選擇模型時往往是選取在上表現最好的模型 ； 但評價模型時則是觀察模型在訓練過程中不可見數據上的表現 。 當模型嘗試 「 記住 」 訓練數據而非從訓練數據中學習規律時 ， 就可能發生過擬合 。 一般來說 ， 當參數的自由度或模型結構的複雜度超過資料所包含資訊內容時 ， 擬合後的模型可能使用任意多的參數 ， 這會降低或破壞模型泛化的能力 。 在統計學習和機器學習中 ， 爲了避免或減輕過適現象 ， 須要使用額外的技巧 （ 如模型選擇 、 交叉驗證 、 提前停止 、 正則化 、 剪枝 、 貝葉斯信息量準則 、 赤池信息量準則或dropout ） 。 這些方法大致可分爲兩類 ： 1. 對模型的複雜度進行懲罰 ， 從而避免產生過於複雜的模型 ； 2. 在驗證數據上測試模型的效果 ， 從而模擬模型在實際工作環境的數據上的表現 。