版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。
展开

理解 Bias 与Variance

有监督学习中,预测误差的来源主要有两部分,分别为 bias 与variance,模型的性能取决于 bias 与variance 的tradeoff ,理解 bias 与variance 有助于我们诊断模型的错误,避免 over-fitting 或者 under-fitting.
我们知道,不同的model对同一testing data的performance是不同的,而且不一定越复杂的model表现越好,那么误差来自于哪儿呢?这就是本节要讨论的问题。而误差主要有两个来源:
举个例子,f^∗用来估计f̂,而两者之间的差就是误差。

怎么估算Biase和Variance?-----数理统计中的点估计

①抽取样本
②计算样本的均值,方差
③使用统计量近似估计总体的方差,均值
Baise与Variance直观解释
①baise就相当于眼睛一开始瞄的准不准,是否有偏差以及偏差的多少。
②variance就是瞄准之后手是否抖动或者是其他外部因素导致偏离。

Variance

Bias

Bias v.s. Variance

总结:
欠拟合(large bias):①重新设计model,②增加更多的特征,③换用复杂model
过拟合(large variance):①增加data,②Regularization---强迫使得曲线更加平滑
真正实际中需要在baise与variance之间进行权衡!!!

交叉验证思想