system: [SYSTEM]

user: 3. 红酒化学成分数据聚类分析 葡萄酒是通过发酵而成的含多种营养成分的饮料酒，其原料为新鲜葡萄或葡萄汁，是对人体有益的酒精饮品，其品种与质量都受到广泛的关注。长期以来，葡萄酒的品类和质量的评定都是通过葡萄酒各项指标得分的求和来确定，而葡萄酒指标的得分则是根据高资质的品酒员的感官指标来衡量 [ 13 ]。然而这种评判模式，主观因素的成分过大，评判的结果存在较大的不确定性，所以利用葡萄酒本身的化学成分，进行聚类分析，客观、合理的评定葡萄酒类别及质量是十分重要的。本文对意大利的红酒的化学成分进行聚类分析，通过聚类得到的结果，划分出红酒的品种，根据品种所得到的特征评价品种质量的好坏，并与实际的红酒品种进行比对，评价聚类结果的好坏。 3.1. 数据来源 本文所采用的数据来自于UCI (University of California Irvine)，选用2007年的意大利同一地区的葡萄酒化学成分分析数据，其中包含178个样本与13个指标，所有的指标均已转化为数值变量来进行分析。13个指标分别为：红酒品牌、酒精浓度、苹果酸含量、灰度、灰的碱度、镁含量、总酚类化合物量、类黄酮量、原花青素年、颜色强度、色调、稀释酒、脯氨酸。所有的指标均为数值变量。原始数据前26个样本如图1所示。 图1. 原始数据前26个样本 3.2. 指标筛选与数据预处理 在进行聚类分析前我们要对指标进行筛选，我们做聚类不需要红酒品种这一指标，所以去掉这一指标；苹果酸，是葡萄中主要的有机酸之一。葡萄酒中，苹果酸软化成乳酸进行发酵，影响葡萄酒的酸度与香味是十分重要的指标进行保留；而灰度和灰的碱度两个指标都是对葡萄酒碱灰的度量，所有去掉灰的指标留下灰的碱度的指标；对于不同的酒厂生产的葡萄酒用的水源是不同的，所以水中矿物质镁的含量也是值得被保留的指标；总酚类化合物与类黄酮都是对发酵方式的度量，只考虑其中一个指标即可，我们去掉总分类化合物的指标；而花青素、颜色强度与色调都是对选用葡萄的度量，色调与颜色强度指标想重复去掉色调的指标；脯氨酸是植物蛋白质的组分之一，并可以游离状态广泛存在于植物体中。在干旱、盐渍等胁迫条件下，许多植物体内脯氨酸大量积累，是对葡萄酒酿造过程中选取其它植物作为配料的度量保留。所以选择后的指标为：酒精浓度、苹果酸含量、灰的碱度、镁含量、类黄酮量、原花青素年、颜色强度、稀释酒、脯氨酸九个指标。这九个所选取的指标能使我们很好的进行聚类，且评价聚类后的红酒类别的质量。所对应处理的前21个数据样本如图2所示。 我们对数据观察发现，数据本身比较完整并无有缺失值的情况，不需要对数据做缺失值填补。我们接下来看一下数据的均值，最大值、最小值、中位数等，如图3所示。 图2. 指标筛选后的前21个数据样本 图3. 数据各指标的统计值 从图3我们可以看到，脯氨酸、镁含量的均值都比较高，远远高于其它几个指标，苹果酸、类黄酮、原青花素、稀释酒的差别并不大，为了避免在聚类时因部分指标的值更大而在聚类中产生主导作用，所以我们需要对原始数据进行标准化，使得每个指标都具有相同的尺度。标准化后的部分数据样本如图4所示。 我们可以看到标准化后的数据如图5所示，脯氨酸、镁含量的均值已经显著下降，与各样本的指标尺度已经相同，至此我们可以开始聚类分析。 图4. 标准化后的部分数据样本 图5. 标准化后数据各指标的统计值 3.3. 聚类结果及分析 3.3.1. K-means聚类 我们选用R软件，对处理后的178个样本及9个指标采用K-means聚类方法进行聚类，再结合样本原有的分类指标，考察聚类的准确性与现实的解释意义。在进行聚类时，类的选择十分的重要，这里我们采用计算不同k值下的Gap统计值来确定最优的K，如图6，我们可以明显的看到，GAP统计值在从1到3有明显的上升趋势，而在3以后统计值一直在0.65附近进行波动，所以从GAP统计值的图中我们可以明显的看到选择K = 3是最合理的，所以在接下来的聚类中我们选择K = 3聚为三类。 图6. GAP统计值随k值趋势图 聚类结果如图7所示，从图中我们可以明确地看到，所有的样本被聚为了三类，组间距离与总体距离的比值在48.7%，代表组与组之间的距离不是很大，聚类组与组之间的差异并不算很显著。 图7. 聚类结果图 接下来我们来看，聚类所得到的每一个类别的大小如图8所示，我们可以看到每个类的样本数都比较的均衡差距不远，整体样本被均衡的分为了三个类。 图8. 各类的样本数 为了更加清晰的展示聚类的结果，对聚类进行可视化，做出聚类结果图如图9所示。 我们可以明显的看到，聚类的效果还是十分理想的，类与类间的划分明确，可以看到前面的50~60个样本基本分为一类，中间的样本基本聚为一类，后部分的样本基本聚为一类。而且每个类的类中心比较明确。下面我们需要对类的聚集做出解释，为何会形成这样的聚类，所以我们需要对每一类的特征值进行研究，如图10所示。 图9. 聚类结果可视化图 图10. 各类特征值均值 从图10我们可以分析出，三个类在酒精度的差异上是很大的，第一种、第三种红酒度数较高，而第二种红酒度数较低，从苹果酸指标上来看，第一种和第三种红酒的酸味是比较淡的，而第二种红酒酸味值较高属于比较酸的红酒，灰的碱度来看第三种红酒明显小于第一第二种红酒，说明第三种酒的发酵时间是小于第一二种酒的；从镁含量来看第一种红酒与第三种红酒是相近的有可能采用同一水源，而第二种红酒几乎不含有镁矿物质，猜测可能采用纯净水进行红酒的酿造；从类黄酮指标看来第三种红酒的含量非常小，所以发酵的时间会比较短，正好印证了前面灰的碱度指标所反映出来的发酵时间的推断；原花青素与颜色强度指标应该联合起来一起考察，因为它们都是对于葡萄酒生产时所选用葡萄的度量指标，综合来看三个类所选用的葡萄都不相同，第一种酒、第二种酒都选用青葡萄进行酿造，第三种酒选用红葡萄进行酿造，但在酿造出来的结果上第一种红酒颜色较浅，第二三种酒的颜色都比较深；稀释酒指标与酒精指标相对应也反映出了三种酒酒精浓度的问题；脯氨酸作为度量配方的指标也看出三种酒之间的差异，第一、二种酒都在酒中添加了其余的植物才会有高比例的脯氨酸含量，而第三种酒还是以葡萄为主进行的酿造。 综合上述的分析来看，聚类产生的三种红酒，第一种属于酒精含量较高，酸度较低，用青葡萄酿造，发酵时间较长，颜色较深且纯粹，含有的营养最高，属于优质红酒；第二种酒酒精含量低，酸度较高，用青葡萄酿造，发酵时间长，颜色很深偏红中带黑，所含营养较低，属于品质较差的红酒；第三种酒酒精含量高，酸度适中，采用红葡萄酿造，发酵时间短，颜色较浅，所含营养适中，属于中等质量红酒。 因原始数据中带有样本本身的分类招标，在聚类的过程中我们把指标剔除，现用聚类后的结果与分类指标进行比对，做出可视化图像如图11。 图11. 样本原分类与K-means聚类的对比 我们可以发现，聚类的精准度是比较不错的，聚类的结果也表明聚类所做出的红酒品类划分与品酒员给出的经验划分高度一致，聚类的效果十分理想。 3.3.2. 层次聚类 同样利用已经处理后的178个样本及9个指标进行层次聚类的分析，来与K-menas聚类来进行对比，延用已处理好的原数据，层次聚类结果，进行可视化后如图12所示。 从图12我们可以通过颜色明显的看到，被聚为了三类，同时样本的类分配的比较均衡，第二类只略微少于第三类。从数值结果来看，前64个样本被划为一类，中间67个样本被划为一类，后47个样本被聚为一类。如图13所示。 从图13我们可以得到。层次聚类与K-means聚类是有差别的，K-means聚类的各个类的样本数分别为63， 51， 64，在第二类与第三类的样本数上有较大的差异。再来对比两个聚类方法的聚类结果。通过对比图12与图7可以知道，在层次聚类方法中的第二类与K-means聚类的第三类的样本是基本一致的，可以看作层次聚类出来的第二类为K-means聚类的第三类，层次聚类出来的第三类为K-means聚类的第二类。 图12. 层次聚类结果图 图13. 各类样本数 下面我们需要对类的聚集做出解释，为何会形成这样的聚类，计算每个类样本所有指标的均值后，如图14所示。 图14. 层次聚类类别特征值 从图14我们可以分析出，三个类在酒精度的差异上是很大的，第一种、第三种红酒度数较高，而第二种红酒度数较低，从苹果酸指标上来看，第二种和第三种红酒的酸味是比较高的果酸含量高的红酒，而第一种红酒酸味值较低，灰的碱度来看第三种红酒明显小于第一第二种红酒，说明第三种酒的发酵时间是小于第一二种酒的；从镁含量来看第一种红酒与第三种红酒镁含量高微量元素多营养价值高，而第二种红酒几乎不含有镁矿物质，营养价值小；从类黄酮指标看来第三种红酒的含量非常差别大，所以发酵的时间也各不相同；原花青素与颜色强度指标反应出，第一种酒、第三种酒都选用青葡萄进行酿造，第三种酒选用红葡萄进行酿造，但在酿造出来的结果上第二种红酒颜色较浅，第一、三种酒的颜色都比较深；稀释酒指标与酒精指标相对应也反映出了三种酒酒精浓度的问题；脯氨酸作为度量配方的指标也看出三种酒之间的差异，第一、二种酒都在酒中添加了其余的植物才会有高比例的脯氨酸含量，而第三种酒还是以葡萄为主进行的酿造。 综合上述的分析来看，聚类产生的三种红酒，第一种属于酒精含量较高，酸度较低，用青葡萄酿造，发酵时间较长，颜色浅红剔透，含有的营养最高，属于优质红酒；第二种酒酒精含量低，酸度较高，用青葡萄酿造，发酵时间长，颜色很浅，所含营养较低，属于品质较差的红酒；第三种酒酒精含量高，酸度适中，采用红葡萄酿造，发酵时间短，颜色较浅，所含营养适中，属于中等质量红酒。 再来把层次聚类的结果与样本原分类指标进行比对，如图15所示。 图15. 样本原分类与层次聚类的对比 可也看到聚类的效果也是十分不错的，比较结果说明，对于在本文使用的数据层次聚类方法的效果十分不错，产生的聚类结果与原本数据的分类指标都高度吻合，说明聚类的红酒品类结果与品酒员的经验评价结果是一致的。 3.3.3. Dbscan聚类 同样利用已经处理后的178个样本及9个指标进行DBSCAN聚类的分析，因DBSCAN是基于密度的聚类方法，所以我们优先选定领域内最少点个数为5，并计算距离参数的取值。计算的结果如图16所示。 观察图16，图16是由矩阵中的k = 5的最近邻的距离，然后按距离从小到大排序后，绘制而成的图像，可以明显观察到在y = 2.5处，出现比较明显的拐点。所以我们的最优距离参数(eps)取值为2.5。参数设置完毕后进行DBSCAN方法的聚类，结果如图17展示。 图16. 样本点K-距离曲线 图17. Dbscan算法聚类结果图 把聚类的结果进行可视化绘图展示为图18。 图18. DBSCAN算法聚类结果可视化展示图 我们可以看到在DBSCAN这种基于密度的聚类方法得到聚类结果为一个类，即只有一个红酒品类。参考原本数据中被剔除的红酒品种指标有三种红酒品种，说明聚类的效果十分不理想，出现这种结果的原因是DBSCAN聚类方法认为这三种类在密度上的差别不大，所以归为了同一类处理。DBSCAN聚类的结果与样本原分类指标进行比对，如图19所示。 图19. 样本原分类与DBSCAN聚类的对比 也可以看到聚类的效果很不理想，DBSCAN聚类方法并没有明显的区分出原始指标的类别来；只划分出了一个大类，说明现有的红酒化学成分数据并不适用于DBSCAN的聚类方法。 3.4. 聚类结果对比分析 把三种聚类方法的结果与原始数据指标分类绘图对比，如图20所示。 对本文使用的红酒化学成分数据来说，K-means聚类与层次聚类得到的效果更好，是最接近原原始样本指标品种分类的；DBSCAN聚类方法的效果不理想并没有得到预期想要的聚类效果，说明本文的样本数据不适用于DBSCAN聚类方法。K-means聚类的结果为三类，分别对应63、51、64个样本，而且得到每个聚类的特征向量，对聚类的结果能有更好的解释。层次聚类得到的结果与K-means聚类类似得聚类为三类，分别对应64，67，47个样本，在第二类与第三类上与K-means聚类有所差异，但差别不大。DBSCAN聚类结果为一类，对应174个样本，余下四个样本当作异常值点，对比原始样本品种分类不具有指导意义。综合来看，本文所研究的数据，聚类效果最好的为K-means聚类，且根据聚类效果与特征向量可以划分为三类，第一种属于酒精含量较高，酸度较低，用青葡萄酿造，发酵时间较长，颜色较深且纯粹，含有的营养最高，属优质红酒；第二种酒酒精含量低，酸度较高，用青葡萄酿造，发酵时间长，颜色很深偏红中带黑，所含营养较低，属于品质较差的红酒；第三种酒酒精含量高，酸度适中，采用红葡萄酿造，发酵时间短，颜色较浅，所含营养适中，属于中等质量红酒，对比品酒员给出的葡萄酒各项指标得分加和而得到的经验红酒品种分类也高度吻合。 图20. 样本原分类与聚类结果的对比