如果结果是0,就说明模型预测不能预测因变量。 如果结果是1。就说明是函数关系。 如果结果是0-1之间的数,就是我们模型的好坏程度。 化简上面的公式 ,分子就变成了我们的均方误差MSE,下面分母就变成了方差:
问题 5: 以上评估指标有没有缺陷,如果有,该怎样改进?
以上的评估指标是基于误差的均值对进行评估的,均值对异常点(outliers)较敏感,如果样本中有一些异常值出现,会对以上指标的值有较大影响,即均值是非鲁棒的。
1.5 解决评估指标鲁棒性问题
我们通常用一下两种方法解决评估指标的鲁棒性问题:
剔除异常值设定一个相对误差 ,当该值超过一定的阈值时,则认为其是一个异常点,剔除这个异常点,将异常点剔除之 后。再计算平均误差来对模型进行评价。使用误差的分位数来代替如利用中位数来代替平均数。例如 MAPE:
MAPE是一个相对误差的中位数,当然也可以使用别的分位数。
2、分类(Classification)算法指标
精度 Accuracy混淆矩阵 Confusion Matrix准确率(查准率) Precision召回率(查全率)RecallFβ ScoreAUC Area Under CurveKS Kolmogorov-Smirnov
2.1 精度 Acc
预测正确的样本的占总样本的比例,取值范围为[0,1],取值越大,模型预测能力越好。
其中:
精度评价指标对平等对待每个类别,即每一个样本判对 (0) 和判错 (1) 的代价都是一样的。
问题 6: 精度有什么缺陷?什么时候精度指标会失效?
对于有倾向性的问题,往往不能用精度指标来衡量。比如,判断空中的飞行物是导弹还是其他飞行物,很显然为了减少损失,我们更倾向于相信是导弹而采用相应的防护措施。此时判断为导弹实际上是其他飞行物与判断为其他飞行物实际上是导弹这两种情况的重要性是不一样的;对于样本类别数量严重不均衡的情况,也不能用精度指标来衡量。比如银行客户样本中好客户990个,坏客户10个。如果一个模型直接把所有客户都判断为好客户,得到精度为99%,但这显然是没有意义的。
对于以上两种情况,单纯根据Accuracy来衡量算法的优劣已经失效。这个时候就需要对目标变量的真实值和预测值做更深入的分析。
2.2 混淆矩阵 Con