system: [SYSTEM]

user: 4. 葡萄酒数据实验结果 本次实验的样本数据共计1599个，所选用的试验方法分别为决策树[ 10 ] ，Bagging，Adaboost，人工神经网络[ 11 ] ，最近邻方法，随机森林[ 12 ] ，常用核函数的两个核函数(高斯和线性)的支持向量机，组合核函数的支持向量机(本文所提出的方法)来分别拟合数据，使用十折交叉验证的方法来验证本文所提出的方法是否比其他的方法效果要好(误判率是否是最低的一个)。下面分别介绍各种方法拟合葡萄酒数据的结果以及十折交叉验证的结果。 4.1. 决策树方法 决策树是我们用于拟合分类数据的方法，而且其效果往往优于经典统计的方法。本文首先使用决策树拟合葡萄酒数据，输出结果如图2、图3以及表2所示。从图2中，我们可以知道决策树在对葡萄酒进行分类时各个理化指标以及化学成分的分节点在何处，这对我们了解决策树是如何生成一棵树很有帮助。图3，这是葡萄酒数据生成的一棵决策树。最关键还是要看表3，因为表3为我们提供决策树的分类效果。从表3中，我们可以知道决策树将第一类(低等)葡萄酒全部被错分给第二类(中等)葡萄酒，第二类葡萄酒中有108个葡萄酒数据样本被错分给第三类(高等)葡萄酒，并且第三类葡萄酒中有107个葡萄酒数据样本被错分给第二类葡萄酒。计算其误判率为17.39%。虽然其误判率低于20%，但是如今的葡萄酒市场越来越大，而且随着人们生活水平的不断提高，人们对于物质的要求越来越高，那么决策树对葡萄酒质量预测的精确度就显得不够好。这就需要我们寻找对葡萄酒质量预测的精确度更高的方法。 4.2. Bagging方法 Bagging方法是数据挖掘常用的方法，其分类效果往往优于经典统计的效果。本文使用Bagging方法拟合葡萄酒数据的结果如图4以及表3所示。从图4中，我们可以看出，Bagging方法在葡萄酒数据分类时各个理化指标以及化学成分的重要性是不一样的，非挥发性酸、硫酸盐以及酒精含量在Bagging方法在葡萄酒数据分类时，重要性要大一些，其他变量重要性差不多。从最为关键的表3中，我们可以看出，我们可以知道决策树将第一类(低等)葡萄酒全部被错分给第二类(中等)葡萄酒，第二类葡萄酒中有38个葡萄酒数据样本被错分给第三类(高等)葡萄酒，并且第三类葡萄酒中有154个葡萄酒数据样本被错分给第二类葡萄酒。计算其误判率为15.94%。相比决策树效果好一些，但是其误判率还是相对有些高。 图2. 葡萄酒数据的决策树输出结果 图3. 葡萄酒数据的决策树 Table 2 Decision tree classification results on wine dat 1 2 3 1 0 63 0 2 0 1211 108 3 0 107 110 表2. 决策树对葡萄酒数据的分类结果 Table 3 Bagging classification results of wine dat 1 2 3 1 0 63 0 2 0 1281 38 3 0 154 63 表3. Bagging对葡萄酒数据的分类结果 图4. Bagging拟合葡萄酒数据时的变量重要性图 4.3. 随机森林 随机森林方法是数据挖掘常用的方法，其分类效果往往优于经典统计的效果。本文使用随机森林方法拟合葡萄酒数据的结果如图5以及表4所示。从最为关键的表4中，我们可以看出，我们可以知道决策树将第一类(低等)葡萄酒中有50个葡萄酒数据样本被错分给第二类(中等)葡萄酒，第二类葡萄酒中有59个葡萄酒数据样本被错分给第三类(高等)葡萄酒，并且第三类葡萄酒中有143个葡萄酒数据样本被错分给第二类葡萄酒。计算其误判率为15.76%。相比决策树和Bagging方法效果好一些，但是其误判率还是相对有些高。 4.4. 人工神经网络 人工神经网络方法是数据挖掘常用的方法，其分类效果往往优于经典统计的效果。本文使用人工神经网络方法拟合葡萄酒数据的结果表5所示。从最为关键的表5中，我们可以看出，我们可以知道决策树将第一类(低等)葡萄酒中有62个葡萄酒数据样本被错分给第二类(中等)葡萄酒，第一类葡萄酒中有1个葡萄酒数据样本被错分给第三类(高等)葡萄酒，第二类葡萄酒中有60个葡萄酒数据样本被错分给第三类(高等)葡萄酒，并且第三类葡萄酒中有139个葡萄酒数据样本被错分给第二类葡萄酒。计算其误判率为16.32%。相比决策树效果好一些，但是其误判率相比于随机森林和Bagging方法略高些。 4.5. 支持向量机 支持向量机方法是数据挖掘常用的方法，其分类效果往往优于经典统计的效果。本文使用支持向量机(线性核函数)方法拟合葡萄酒数据的结果如图5以及表4所示。从最为关键的表4中，我们可以看出决策树将第一类(低等)葡萄酒全部被错分给第二类(中等)葡萄酒，第二类葡萄酒中有76个葡萄酒数据样本 图5. 随机森林拟合葡萄酒数据时的变量重要性图 Table 4 Classification of wine data by random fores 1 2 3 1 13 50 0 2 0 1260 59 3 0 143 74 表4. 随机森林对葡萄酒数据的分类结果 Table 5 Classification results of grape wine by artificial neural networ 1 2 3 1 1 61 1 2 0 1259 60 3 0 139 78 表5. 人工神经网络对葡萄酒数据的分类结果 被错分给第三类(高等)葡萄酒，并且第三类葡萄酒中有120个葡萄酒数据样本被错分给第二类葡萄酒。计算其误判率为16.20%。相比决策树和Bagging方法效果好一些，但是其误判率还是相对有些高。支持向量机(线性核函数)对葡萄酒数据的分类结果如表6所示。 4.6. 支持向量机(组合核函数) 支持向量机(组合核函数)是本文基于常用支持向量机的核函数线性组合得到新的支持向量机方法。首先本文通过参数网格搜索，将惩罚因子 定位48，新核的迹约束 定为 ，得到特征向量 ，则其新的核函数为 ，本文使用支持向量机(组合核函数)方法拟合葡萄酒数据的结果，如表7所示。从最为关键的表4中，我们可以看出，我们可以知道决策树将第一类(低等)葡萄酒中有30个葡萄酒数据样本被错分给第二类(中等)葡萄酒，第二类葡萄酒中有18个葡萄酒数据样本被错分给第三类(高等)葡萄酒，并且第三类葡萄酒中有79个葡萄酒数据样本被错分给第二类葡萄酒。计算其误判率为7.94%。相比其他数据挖掘方法都要好一些。 4.7. 十折交叉验证结果 下面我们使用十折交叉验证的方法来验证究竟是那种方法最优的。十折交叉验证的输出结果如表8 Table 6 Support vector machine (linear kernel function) classification results on wine dat 1 2 3 1 0 63 0 2 0 1243 76 3 0 120 97 表6. 支持向量机(线性核函数)对葡萄酒数据的分类结果 Table 7 Support vector machine (combined kernel function) classification results on wine dat 1 2 3 1 33 30 0 2 0 1301 18 3 0 79 138 表7. 支持向量机(组合核函数)对葡萄酒数据的分类结果 Table 8 The various methods of wine classification data validation ten-fold cross-validation rate of false positive 分类方法 误判率 决策树 0.1575832 Bagging 0.1518992 Adaboost 0.1524813 随机森林 0.1488992 人工神经网络 0.1593449 支持向量机(线性核函数) 0.1625522 支持向量机(高斯核函数) 0.1553949 最近邻方法 0.1519273 支持向量机(组合核函数) 0.1097768 表8. 各种方法对葡萄酒数据分类的十折交叉验证验证的误判率 所示，可以看出支持向量机(组合核函数)是这些方法中误判率最小的一个。说明支持向量机(组合核函数)的方法在对葡萄酒数据拟合效果要优于其他的常用数据挖掘方法。