system: [SYSTEM]

user: 3. 在线评论文本挖掘 3.1. 词云分布 在对语义进行分析时，提取评论中的高频词是非常有必要的，把握高频语义词对理解文本内容和客户在乘坐飞机过程中的重点关注服务非常重要，但是个性化的词汇不具有代表性 [ 3 ] [ 4 ] 。对于不同情感倾向的乘客评论，会有不同的高频词汇，正面情感中的高频词汇体现了乘客对航空公司比较满意的服务特征。反之，负面情感中的高频词汇体现了乘客不满的服务特征，航空公司应致力于维持自己的优势，完善自己的不足。 利用python工具，统计预处理后评论词汇的词频，按照词频降序排序，去掉热词中的单字，分别绘制词频排在前50热词的词频图，正面和负面倾向评论词云图如图1和图2。 图1. 正面评价词云 图2. 负面评价词云 观察词云图发现，在正面评价中，出现较多的服务特征有空乘、服务、准时、值机、安检、机场、餐食、座椅，可以说明这几项服务是乘客在整个航程体验中比较满意的。此外，正面评论中出现较多的评价性词汇有准时抵达、快捷、舒适、好吃，都是正面体验词汇。在负面评价中，出现较多的服务特征有延误、机场、客舱、行李、餐食、卫生、摆渡，说明这几项服务是导致乘客对航空公司留有不好印象的原因，与之相关的体验性词汇是难吃、拥挤、不好、垃圾等负面词汇。 3.2. 基于LDA评论分析 LDA主题模型在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型 [ 5 ] 。运用主题模型，能够发现文本中使用词语的规律，并且把规律相似的文本联系到一起，以寻求非结构化文本集中的有用信息。对于航空公司的评论，代表航空公司的词语如“空乘”、“服务”、“餐食”等会频繁地出现在评论中，运用主题模型，将航空公司的服务特征词汇与评论中情感描述性词汇联系起来，从而深入了解乘客对航空公司评价的聚焦点及乘客对某一特征的情感倾向。 LDA模型认为每篇文档的每个词都是通过“一定的概率选择了某个主题，并从这个主题中以一定的概率选择了某个词语”。LDA模型也被称为3层贝叶斯概率模型，包含文档(d)、主题(z)和词(w)3层结构，能够有效地对文本进行建模 [ 6 ] [ 7 ] 。通过LDA主题模型，能够挖掘数据集中的潜在主题，进而分析数据集的集中关注点和其相关特征词。 虽然LDA可以直接对文本做主题分析，但是文本的正面评价和负面评价混淆在一起，并且由于分词粒度的影响(否定词、程度词等)，可能在一个主题下生成一些令人迷惑的词语。因此，将文本分为正面评价和负面评价两个文本，再分别进行LDA主题分析。 经过LDA主题分析后，评论文本被聚成5个主题，每个主题下生成5个最有可能出现的词语以及相应的概率，表1显示了乘客正面评论文本中的潜在主题，表2显示了乘客负面评论文本中的潜在主题。 Table 1 Airlines positive evaluation potential theme 主题1 主题2 主题3 主题4 主题5 好 抵达 餐食 飞机 好 空乘 准时 好吃 延误 服务 服务 安检 服务 到达 餐食 抵达 值机 好吃 提前 空乘 准时 快捷 空乘 起飞 安检 表1. 航空公司正面评价潜在主题 Table 2 Airlines negative evaluation potential theme 主题1 主题2 主题3 主题4 主题5 延误 机场 延误 延误 延误 飞机 东航 差 飞机 难吃 小时 慢 空乘 机场 餐食 航班 安检 态度 小时 差 餐食 小时 小时 航班 小时 表2. 航空公司负面评价潜在主题 根据对航空公司正面评价的5个潜在主题的特征词提取，主题1主要反映了空乘服务好，主题2主要反映了飞机准时抵达和安检值机快捷，主题3主要反映了飞机餐食好吃，主题4主要反映了飞机提前起飞延误到达，主题5主要反映了餐食和服务好。 根据对航空公司负面评价的5个潜在主题的特征词提取，主题1主要反映了飞机航班延误，主题2主要反映了机场安检慢，主题3主要反映了空乘态度差，主题4主要反映了航班延误，和主题1类似，主题5主要反映了餐食难吃。在各个主题中，延误多次作为高频词出现，说明在负面评价中，延误无疑是重要的一个原因。 3.3. 影响因素探究 3.3.1. TF-IDF模型 TF-IDF是一种用于统计字词对于一个文件的重要度的计算方法。在使用TF-IDF方法时需要一个语料库(corpus)，用来模拟语言的使用环境。 词频(TF) = 某个词在文章中的出现次数/文章总词数 逆文档频率(IDF) = log (语料库的文档总数/包含该词的文档总数 + 1) TF-IDF = 词频(TF)*逆文档频率(IDF) 在TF-IDF模型当中，如果某个词出现的频率较高，并且在整个文本中出现的频率较低，那么该词汇就会有较大的TF-IDF值。对现在的文本评论内容，采用TF-IDF权重构建文档词条矩阵，将文本评论转为词向量矩阵 [ 8 ] 。 由于分词后的词汇数量太多，选取了高频词来做分析。根据词频分析结果，选取“服务、空乘、准时、安检、值机、餐食、座椅、机场、延误、客舱、行李、摆渡”12个高频词，将7562条文本评论转化为7562*12维的矩阵向量，通过Python编程计算得到词向量矩阵，表3展示前3条评论的向量矩阵。 Table 3 Section comments on the vector matrix of tex Contents 服务 空乘 准时 安检 值机 餐食 座椅 机场 延误 客舱 行李 摆渡 star 安检很快，餐食好吃，准时抵达， 空乘服务好 0.30 0.31 0.32 0.35 0 0.39 0 0 0 0 0 0 5 空乘人员不通知乘客吃饭时收小桌板，感觉服务不到位的事情还有很多 0.08 0.08 0 0 0 0 0 0 0 0 0 0 5 安检很快，餐食好吃 0 0 0 0.46 0 0.51 0 0 0 0 0 0 5 表3. 部分评论文本的向量矩阵 3.3.2. 相关系数法 相关系数是是研究变量之间线性相关程度的量，由于研究对象的不同，相关系数有多种计算方式，本文计算皮尔逊相关系数，其中皮尔逊相关系数的计算公式如下： r = ∑ i = 1 n ( X i − X ¯ ) ( Y i − Y ¯ ) ∑ i = 1 n ( X i − X ¯ ) 2 ∑ i = 1 n ( Y i − Y ¯ ) 2 对转化后的数值向量，计算各个服务特征和满意度评分(star)的相关系数，观察各个特征和对总分的影响性，计算相关系数矩阵如表4。根据相关系数表可知，延误、客舱、行李、摆渡和评分之间呈现负相关关系，这些关键词的TF-IDF值越大，满意度评分(star)越低，其他特征和总分之间呈现正相关关系。其中，对总分影响最大的特征是延误、服务、准时、空乘，说明了航班的准时与否对乘客的总体航程体验满意度影响最大。 Table 4 Correlation coefficient matri 服务 空乘 准时 安检 值机 餐食 座椅 机场 延误 客舱 行李 摆渡 star 服务 1.00 0.97 0.10 0.12 0.15 0.03 0.14 0.04 −0.21 −0.12 −0.09 −0.07 0.35 空乘 0.97 1.00 0.10 0.12 0.15 0.03 0.14 0.04 −0.20 −0.11 −0.09 −0.08 0.34 准时 0.10 0.10 1.00 0.09 0.14 −0.01 0.07 0.02 −0.21 −0.11 −0.08 −0.08 0.35 安检 0.12 0.12 0.09 1.00 0.22 0.07 0.14 0.14 −0.16 −0.08 −0.07 −0.06 0.26 值机 0.15 0.15 0.14 0.22 1.00 0.06 0.17 0.16 −0.18 −0.10 −0.08 −0.07 0.30 餐食 0.03 0.03 −0.01 0.07 0.06 1.00 0.15 0.17 −0.08 −0.01 −0.06 −0.05 0.11 座椅 0.14 0.14 0.07 0.14 0.17 0.15 1.00 0.18 −0.15 −0.09 −0.07 −0.06 0.26 机场 0.04 0.04 0.02 0.14 0.16 0.17 0.18 1.00 −0.10 −0.05 −0.04 −0.02 0.16 延误 −0.21 −0.20 −0.21 −0.16 −0.18 −0.08 −0.15 −0.10 1.00 0.08 −0.01 0.00 −0.46 客舱 −0.12 −0.11 −0.11 −0.08 −0.10 −0.01 −0.09 −0.05 0.08 1.00 0.01 0.00 −0.22 行李 −0.09 −0.09 −0.08 −0.07 −0.08 −0.06 −0.07 −0.04 −0.01 0.01 1.00 0.06 −0.13 摆渡 −0.07 −0.08 −0.08 −0.06 −0.07 −0.05 −0.06 −0.02 0.00 0.00 0.06 1.00 −0.12 star 0.35 0.34 0.35 0.26 0.30 0.11 0.26 0.16 −0.46 −0.22 −0.13 −0.12 1.00 表4. 相关系数矩阵 3.3.3. 决策树法 决策树在特征重要性选择中有很好的效果，使用决策树可以分析出哪个特征在满意度评分中起更大的作用，得出影响乘客满意度的因素，这里利用基尼指数法来进行评价。 将变量重要性评分用VIM来表示，将Gini指数用GI表示，现有12个特征 X 1 、 ，现在要计算出每个特征 的Gini指数评分 V I M j G i n i 。 Gini指数的计算公式为 G I m = ∑ k = 1 K ∑ k ′ ≠ k P m k P ′ m k = 1 − ∑ k = 1 K p m k 2 其中，K表示有K个类别， 表示节点m中类别k所占的比例。直观的说，就是随便从节点m中随机抽取两个样本，其类别标志不一致的概率。特征 X j 在节点m的重要性可以表示为加权不纯度的减少 V I M j m ( G I n i ) = N m * G I m − N l * G I l − N r * G I r 其中， N m 、 N l 、 N r 分别表示节点m左节点I和右节点r的样本数；GI l 和GI r 分别表示分枝后两个新节点的Gini指数。 这里我们采用CART分类树，用基尼指数选择最优特征，同时决定该特征的最优二值切分点。利用12个维度的词向量矩阵和分值变量，将数据划分为训练集和测试集，在训练集上训练数据，构建决策树模型，同时利用网格调参获取最优参数，最后在测试集上验证模型的准确率，通过python构建决策树，得到的准确率为78.5%，对一个文本评论，能够准确预测乘客打分分值的概率为78.5%。 在构建完成的决策树模型之后，对转化后的数值向量利用决策树计算得到特征重要性，绘制重要性分数图形如图3，查看各个特征对打分的影响性。根据特征重要性分数图形可知，延误对打分的影响性最大，且远远多于其他特征，前四名依次是服务、准时、延误、值机，摆渡、安检和机场对打分的影响性最小，和相关系数得到的结果基本对应。 图3. 特征重要性