偏りと分散

偏りと分散やバイアス-バリアンスのトレードオフ（かたよりとぶんさんのトレードオフ、）とは、統計学と機械学習において、パラメータの推定においてバイアス（偏り）を減らすと標本間のバリアンス（分散）が増え、同時にその逆も成立する、という予測モデルの特徴のことである。
バイアス-バリアンスのジレンマ（bias–variance dilemma）やバイアス-バリアンスの問題（bias–variance problem）とは、誤差の原因であるバイアスとバリアンスの両方を同時に減らそうとする際の対立の事であり、教師あり学習のアルゴリズムが訓練データの内容を超えて汎化する際の課題となる。
バイアス-バリアンス分解（bias–variance decomposition）とは、汎化誤差の期待値をバイアス＋バリアンス＋ノイズの3つの和に分解することである。
バイアス-バリアンスのトレードオフは、全ての教師あり学習で生じる。人間の学習において、人間がヒューリスティクスを使用することの有効性の説明にも使用されている。
日本語での訳語.
統計学では通常 bias は偏り、variance は分散と翻訳するが、この文脈ではバイアスとバリアンスとカタカナで表記されることが多い。書籍『パターン認識と機械学習』の翻訳者はバイアス-バリアンスと訳し、書籍『統計的学習の基礎』の翻訳者はバイアス-分散と訳した。
二乗誤差のバイアス-バリアンス分解.
データとして入力 formula_1 があり、出力は formula_2 とする。真の関数 formula_3 が存在し、formula_4 は平均0分散 formula_5 のノイズである。
真の関数 formula_6 を可能な限り近似した formula_7 を推定したいとする。可能な限りの意味として、ここでは二乗誤差 formula_8 を訓練データだけでなく、全てのデータにおいて最小化したいとする。ここで formula_2 はノイズ formula_4 を含んでいるので、原理上、完璧に推定することは不可能である。
訓練データから formula_11 を推定する教師あり学習のアルゴリズムは無数にあるが、どのアルゴリズムであっても、二乗誤差の期待値は以下のように分解できる。
導出.
二乗誤差のバイアス-バリアンス分解は以下のように導出できる。formula_15 および formula_16 と簡略に表記する。分散の定義より、
これを式変形すると下記になる。
f は決定論的なので、
formula_20 と formula_21 より
formula_23 より
formula_4 と formula_11 は独立なので、以下のように式変形できる。
手法.
次元削減や特徴選択はモデルを簡単にすることによりバリアンスを減らせる。訓練データを増やすこともバリアンスを減らせる。特徴量を追加することはバイアスを減らす傾向にあるが、バリアンスの追加が犠牲となる。
学習アルゴリズムはバイアスとバリアンスのバランスを調整するパラメータがあることが多い。以下はその例。
バイアス-バリアンスのトレードオフを解決する1つの方法は、混合モデルとアンサンブル学習である。例えば、ブースティングでは複数の弱学習器（バイアスが大きい）を組み合わせることでバイアスを下げることができ、バギングでは強学習器を組み合わせることでバリアンスを減らせる。
人間の学習への適用.
バイアス-バリアンスのジレンマは機械学習の文脈で広く議論されているが、人間の認知の文脈でも検討されていて、Gerd Gigerenzer 等による学習ヒューリスティクスの研究がある。経験がまばらであまり特徴付けられていない状況で、高バイアス低バリアンスのヒューリスティクスにて、このジレンマを解決して、人間の脳は学習していると主張している。バイアスが小さすぎる学習手法は、新しい状況への汎化能力が乏しく、世界の真の状態を不適切に推定する、という事実を反映している。これらのヒューリスティクスは相対的に簡単であるが、多くの状況に対してより良い推定をもたらす。
Stuart Geman 等は、一般物体認識をゼロから学習することは不可能であり、ある種の"固い配線"があり、それを経験により調整する形が必要であるということを、バイアス-バリアンスのジレンマは意味していると主張している。なぜなら、高バリアンスを避けるために、自由すぎるモデルは非現実的なほどの大量の訓練データを必要とするからである。