偏りと分散
誤差のうち、訓練データの揺らぎから生じる分。バリアンスが大きすぎることは、本来の出力ではなく、訓練データのランダムなノイズを学習していることを意味し、過剰適合している。
バイアス-バリアンス分解(bias–variance decomposition)とは、汎化誤差の期待値をバイアス+バリアンス+ノイズの3つの和に分解することである。
バイアス-バリアンスのトレードオフは、全ての教師あり学習で生じる。人間の学習において、人間がヒューリスティクスを使用することの有効性の説明にも使用されている。