歸納偏置

當學習器去預測其未遇到過的輸入的結果時 ， 會做一些假設 （ Mitchell, 1980 ） 。 而學習演算法中的歸納偏置  則是這些假設的集合 。 機器學習試圖去建造一個可以學習的演算法 ， 用來預測某個目標的結果 。 要達到此目的 ， 要給於學習演算法一些訓練樣本 ， 樣本說明輸入與輸出之間的預期關係 。 然後假設學習器在預測中逼近正確的結果 ， 其中包括在訓練中未出現的樣本 。 既然未知狀況可以是任意的結果 ， 若沒有其它額外的假設 ， 這任務就無法解決 。 這種關於目標函數的必要假設就稱爲歸納偏置 （ Mitchell, 1980; desJardins and Gordon, 1995 ） 。 一個典型的歸納偏置例子是奧卡姆剃刀 ， 它假設最簡單而又一致的假設是最佳的 。 這裏的一致是指學習器的假設會對所有樣本產生正確的結果 。 歸納偏置比較正式的定義是基於數學上的邏輯 。 這裏 ， 歸納偏置是一個與訓練樣本一起的邏輯式子 ， 其邏輯上會蘊涵學習器所產生的假設 。 然而在實際應用中 ， 這種嚴謹形式常常無法適用 。 在有些情況下 ， 學習器的歸納偏置可能只是一個很粗糙的描述 （ 如在人工神經網路中 ） ， 甚至更加簡單 。