system: [SYSTEM]

user: 3. 基于文本挖掘的产品评价方法构建 3.1. 产品评价研究流程 由于互联网的高速发展，数据呈指数形式增长，数据爆发式增长给我们带来了大量数据知识财富，数据挖掘由此应运而生，而数据挖掘的分支文本挖掘更是挖掘领域中的一颗冉冉升起的新星，用其从文本数据库中提取、识别出高质量的信息。而这些信息不仅能为政府、企业、公益组织合理规划产品结构提供必要的支持与参考，也可以给个人日常生活的决策做正确的导向。本章将利用文本挖掘的知识和技术以及模糊综合评价模型，设计基于文本信息挖掘的产品评价研究流程框架，得到其流程框架如图1所示。 图1. 产品评价研究流程框架 3.2. 研究设计思路 3.2.1. 文本收集 全面、可靠以及真实的数据集的收集是执行文本挖掘过程的第一步，本文研究手机质量的评价问题，就必须使用手机评价文本信息库，而构成评价文本信息库中的数据全部来自于互联网且以网页的形式存在的，所以本研究利用网络爬虫软件来从网络上获取手机评价文本信息。目前存在的网络爬虫软件众多，我们通过大量的测试和比较，发现Python语言的爬虫框架Scrapy是一个抓取效率和精度非常高的Web抓取框架。本文首先选取中国手机市场销售量前9的手机品牌为数据获取的来源，手机品牌为：iPhone、OPPO、三星、华为、小米、魅族、一加、美图和努比亚，然后使用Python语言的爬虫框架Scrapy在京东商城中对所选取手机品牌最新机型的评论信息进行收集，共收集了用于手机评价指标提取的32，000条手机评价的语句，其中包含两款手机评价对象OPPO和iPhone各7000条手机评论。其中搜集到的OPPO手机评论如“OPPO手机颜色很漂亮，看着还是蛮高级的，另外拍照效果真心不错！”以及iPhone手机评论如“外观好看，拍照效果也不错。也有创新，系统生态延续了苹果的品质。缺点就是性价比太低，用户体验较差。(该评价仅限个人体验过的系统)”。 3.2.2. 特征的提取 搜集的文本信息要经过文本的预处理，而文本预处理的成功与否将直接影响到后面的特征提取与选择。本节主要借助R语言来对搜集到的手机评价文本数据集进行预处理。 首先要对搜集到的产品评价数据集进行清洗，去除一些无意义的网络标记以及出现的乱码，基于初步收集到的数据集，对文本进行初步的清洗，去除文本中出现的没有价值或价值含量极低的信息，它主要包括文本去重、短句删除。文本去重就是去除文本信息中信息重复的部分，由于从网络中获取的数据存在重复的信息，文本去重可以提高文本处理的效率，提高文本分析的准确性。短句删除是把长度小于或等于4个字符的文本资料删除，删除之后可以过滤掉很多对文章贡献极低的信息。 经过数据清洗后，手机评价数据集剩余31，378条有价值的手机评价，OPPO手机评价数据集剩余6873条有价值的手机评价，iPhone手机评价数据集剩余6902条有价值的手机评价。 中文分词是文本预处理过程的关键步骤之一。本文使用中国科学院计算技术研究所研制的汉语词法分析系统ICTCLAS进行分词。经过中文分词后还需要进行词性的标注，例如“第一次买美图手机”，进行分词处理和词性标注后我们得到“第一/m次/qv买/v美/b图/n手机/n”。经过中文分词与词性标注的处理我们得到很多产品特征词或者是属性词，这就是我们进行中文分词所希望得到的。 在利用R软件去除停用词之后，利用词频统计的方式统计出各个独立词的词组的频数，并过滤掉不表示产品特性的词组，留下表示产品特性的词组按照频数由高到低排列。手机评论信息经过文本预处理后得到的部分高频词及词频如表1所示。从中可以看出顾客对速度、流畅、系统等表示手机运行速度的和屏幕、拍照和外观等表示手机硬件设施的关注度非常高。 3.2.3. 评价指标的确定 文本信息经过预处理之后得到了产品属性词以及其频率的排序，我们从表1中可以看出表示产品属性词很多，如果我们把众多的产品属性词一一进行分析，那工作量将非常庞大，为了减少工作量并保证实验的有效性，本文选取词频高的产品属性词作为产品特征词。根据手机评论的特征词以及综合手机评价领域的文献，本文选取软件和硬件2个评价指标作为手机评价的一级指标，同时选取电池、功能、屏幕、外观、系统、相机等6个手机的特征词作为手机评价的二级指标。手机评价指标体系层次结构如图2所示。 Table 1 High frequency words and frequenc 编号(N) 词语(K) 词频(I) 编号(N) 词语(K) 词频(I) 编号(N) 词语(K) 词频(I) (1) 速度 2194 (8) 外观 1070 (15) 续航 528 (2) 屏幕 2011 (9) 电池 988 (16) 性能 505 (3) 拍照 1672 (10) 运行 985 (17) 指纹 500 (4) 流畅 1302 (11) 功能 895 (18) 反应 789 (5) 手感 1265 (12) 包装 673 (19) 颜色 434 (6) 系统 1264 (13) 充电 670 (20) 软件 345 (7) 漂亮 1114 (14) 清晰 530 (21) 摄像头 339 表1. 高频词及词频 图2. 手机评价指标体系层次结构图 3.3. 产品综合评价 3.3.1. 指标的情感性分析 由于产品评价指标有不同的特性，而不同的特性有不同的属性词，所以要把不同的评价指标的属性词对应到其所属的特性中，即评价指标属性词分类。对于分类后的属性词，本文中利用机器分类器ROSTCM6中的情感分析来对各评价指标属性词的文本信息进行倾向性分析。文本挖掘情感挖掘有两个主要目标：第一，它决定给定的文本是否包含客观或主观的句子。客观句子表示它包含关于产品的事实信息时。主观句子代表个人对所需产品的情感。第二，提取消费者评论的观点并进行分类，其分为三类：积极情绪、中性情绪和消极情绪。本文对数据清洗后的iPhone和OPPO手机数据库进行情感性分析后，得到iPhone和OPPO手机的各指标的倾向分析结果分别如图3、图4所示。 由图3和图4显示可知：对于iPhone手机，在相机指标中积极情绪最多，而在屏幕指标中消极情绪最多；对于OPPO手机，在屏幕指标中积极情绪最多，而在系统指标中消极情绪最少。 3.3.2. 指标权重的确定 在对产品进行综合评价时，各评价指标所占的权重是不同的，权重选取的合适与否将会对综合评价结果的准确性产生影响。目前权重的确定方法有很多，如AHP法和德尔菲法等。本文采用文本预处理过程中TF-IDF算法以及综合有关专家意见确定了各评级指标的权重 A n 。 A n 是一个模糊子集，评价指标的 权重分配表示为： A n = ( a n 1 ， a n 2 ， a n 3 ， ⋯ ， a n k ) ， ( n = 1 ， 2 ， ⋯ ， m ) ，其中 a n j > 0 且 ∑ j = 1 k a n j 。 图3. iPhone手机评价指标倾向分析结果 图4. OPPO手机评价指标倾向分析结果 确定每个指标 u n j 对评价等级V的隶属度 r n j i ( j = 1 ， 2 ， ⋯ ， k ， i = 1 ， 2 ， ⋯ ， s ) 。然后得出指标集 U n 上子指标模糊关系矩阵 R n ，再对模糊矩阵进行合成运算，使其得出一级综合评价 B n ， B n = A n ∘ R n = ( b n 1 ， b n 2 ， ⋯ ， b n s ) ， ( n = 1 ， 2 ， ⋯ ， m ) 。 利用以上确定的指标权重 A = ( a 1 ， a 2 ， ⋯ ， a m ) 和评价结果 B n ， ( n = 1 ， 2 ， ⋯ ， m ) ，得出单个指标评价矩阵 R如公式1所示， R = [ B 1 B 2 ⋮ B m ] = [ b 11 b 12 b 21 b 22 ⋯ b 1 s ⋯ b 2 s ⋮ ⋮ b m 1 b m 2 ⋮ ⋮ ⋯ b m s ] (1) 最后可以得出的综合评价结果B如公式2所示， B = A ∘ R = A ∘ [ B 1 B 2 ⋮ B m ] = ( b 1 ， b 21 ， ⋯ ， b s ) (2) 从中可以看出，该模型存在两种模糊集，其一为评价指标集U上反映人们的偏好结构模糊权重向量，其二为反映人们价值观念的模糊关系矩阵R。 综上，在进行模糊综合评价时，本文采用文本预处理过程中TF-IDF算法，另外综合有关专家意见确定指标的权重，得出各指标的权重如表2所示。 Table 2 Distribution weight of each indicato 一级指标(权重A) 二级标权重(Ai) U1软件(0.6) U11系统(0.711) U12功能(0.289) U2硬件(0.4) U21电池(0.169) U22相机(0.244) U23屏幕(0.235) U24外观(0.252) 表2. 各指标的分配权重 3.3.3. 模糊综合评价 本文利用R语言的tm包为iPhone及OPPO手机的各指标的倾向分析结果做归一化处理，得到各评价指标所对应的数值如表3表示。 Table 3 Number corresponding to evaluation inde OPPO手机 iPhone手机 电池 0.8599 0.8605 相机 0.9149 0.9026 屏幕 0.9170 0.9081 外观 0.9192 0.9178 系统 0.8371 0.8557 功能 0.8792 0.8689 表3. 评价指标所对应的数值 从表3中可以看出，用户对OPPO手机的外观设计满意度最高，但是对于其电池和系统的满意度还是比较低的。相对于iPhone手机而言，OPPO手机在电池、系统方面满意度较低，在相机和外观等方面满意度较高。由此为OPPO手机的提供商提供了建议以及决策的依据，使其能够更好的满足大众的消费偏好。 据模糊评价模型，最终可计算综合评价结果B结果：Bo = 0.8726，Bi = 0.8766，Bo < Bi，表明iPhone手机综合质量较优于OPPO手机综合质量，但相差不大。 顾客和企业对评价结果进行综合分析，对其决策而言有非常重要的意义。 对于厂商：可以通过评价指标所对应的值找出顾客满意度低的指标，进而做出决策，改进创新使手机的性能更优，使性能更符合消费者的预期，本例中可以看出同时，OPPO手机在电池、系统等方面满意度较低，急需改进创新。而iPhone手机在系统功能等方面顾客的满意度较低，急需改进。 对于顾客：可以根据参考指标值和自己对手机的偏好特性进行选择，作为自己的决策的依据，例如，喜欢拍照的可以选择OPPO，对系统偏爱高的可以选择iPhone。