偏りと分散
次元削減や特徴選択はモデルを簡単にすることによりバリアンスを減らせる。訓練データを増やすこともバリアンスを減らせる。特徴量を追加することはバイアスを減らす傾向にあるが、バリアンスの追加が犠牲となる。
学習アルゴリズムはバイアスとバリアンスのバランスを調整するパラメータがあることが多い。以下はその例。
線形モデルや一般化線形モデルでは、正則化により、バリアンスを減らしバイアスを増やせる。
ニューラルネットワークでは、隠れ層を大きくすることで、バリアンスを増やしバイアスを減らせる。一般化線形モデル同様、正則化も使える。
k近傍法では、kを増やすことで、バリアンスを減らしバイアスを増やせる。
決定木では、木の深さでバリアンスを調整できる。
バイアス-バリアンスのトレードオフを解決する1つの方法は、混合モデルとアンサンブル学習である。例えば、ブースティングでは複数の弱学習器(バイアスが大きい)を組み合わせることでバイアスを下げることができ、バギングでは強学習器を組み合わせることでバリアンスを減らせる。
1 2 Gigerenzer, Gerd; Brighton, Henry (2009). “Homo Heuristicus: Why Biased Minds Make Better Inferences”. Topics in Cognitive Science 1: 107–143. doi:10.1111/j.1756-8765.2008.01006.x. PMID 25164802.
↑ C.M. ビショップ『パターン認識と機械学習』丸善出版、2012年。ISBN 4621061224。
↑ Trevor Hastie『統計的学習の基礎』共立出版、2014年。ISBN 432012362X。
↑ “The Bias–Variance Tradeoff”. University Edinburgh (2007年). 2014年8月19日閲覧。
↑ Shakhnarovich, Greg (2011年). “Notes on derivation of bias-variance decomposition in linear regression”. 2014年8月21日時点のオリジナルよりアーカイブ。2014年8月20日閲覧。
↑ Belsley, David (1991). Conditioning diagnostics : collinearity and weak data in regression. New York: Wiley. ISBN 978-0471528890