帰納バイアス
機械学習アルゴリズムによく見られる帰納バイアスを列挙する。
条件付き独立性の最大化:ベイズ推定の枠組みで考えられる場合、条件付き独立性を最大化しようとする。これは、単純ベイズ分類器で使用される帰納バイアスである。
交差検証誤差の最小化:交差検証誤差が最小の仮説を選択する。ノーフリーランチ定理から、交差検証にもバイアスがあることが分かっている。
マージンの最大化:2つのクラスの間に境界を引くとき、境界の幅を最大にしようとする。このバイアスはサポートベクターマシンで用いられている。異なるクラスは広い境界によって分離される傾向があるとの仮定である。
最小記述長:仮説を立てる際には、仮説の記述の長さを最小限にするよう努める。
最少特徴量:ある特徴量が有用であるという十分な根拠がない限り、その特徴量は削除されるべきである。これが特徴選択アルゴリズムの背景にある仮定である。
最近傍:クラスが未知の事例に対し、特徴量空間内の近傍にある大多数の事例と同じクラスに属すると推測する。これはK近傍法で用いられるバイアスである。近いケースは同じクラスに属する傾向があるとの仮定である。