system: [SYSTEM]

user: 3. 白沙评论预处理和情感词典的构建 3.1. 语料的获取 3.1.1. 研究的对象 本文的目的是从不同地域、不同方面对白沙(和天下)进行情感分析，具有较强的时效性。首先从烟悦网(http://www.yanyue.cn/)上爬取相关的评论，而烟悦网是国内最大的烟民交流网站。评论抓取时间为自商品上架到2018年11月中旬，相关评论的详细网址如图1。 图1. 烟悦网的首页 3.1.2. 数据获取 本文爬取数据所用的软件为Python，Python相比较其他编程语言而言，第一是它抓取网页文档接口更简洁；第二是它本身提供了很多简洁的文档处理功能 [ 16 ] 。 爬虫主要分为三步：抓取页面、分析页面和存储数据。首先是抓取页面，主要使用的是Requests库，在抓取网页代码后，下一步就是从网页中提取信息，这里主要使用Beautiful Soup库和正则表达式相结合的解析方法，这样既快速又准确的提取出有用信息。最后将这些信息存储到文档中。 最终抓取出来的部分数据如表1。 3.2. 语料的预处理 3.2.1. 评论的预规范 烟悦网站上有很多评论是具有随意性的，它们大多数为非规范语言、句法结构较为混乱，且文本中又含有错别字、繁体字、重复评论、无用评论、广告等价值信息较低的评论。因此，不能对获取的文本语料直接进行分词。首先要做的是修改语料库中的错别字、去噪声、繁化简、剔除重复和无用评论。 目前，对文本中出现的错别字只能人工检查和修改。接下来剔除一些重复和无用评论。如“极品极品”、“此评论涉及广告、转让、求购等，已被删除”等。 Table 1 Some sample dat 评论 评论者所在的省份 和天下，非常纯。烟吐出来比一般烟更多。空心过滤嘴。软金砂口感的加强版。女人抽还行！ 四川省 感觉一般，外观不错 湖南省 包装精美，初尝味道柔和醇甜相当有档次，甚至偶尔感觉接近蓝熊的香醇口感，不错！ 广东省 烟还可以，性价比不高。 广东省 这个烟真心不错。。烟嘴空芯。。。我喜欢。。现在也是口粮之一。推荐给大家。。这款烟不愧为白沙之最。很香。。。现在一直抽。 河北省 味道，包装一般，不过仁者见仁智者见智，看个人口味，应该当当礼品烟 甘肃省 不好抽，就抽一个逼格，真正的还是建议南京九五至尊或者黄鹤楼 江西省 烟气非常细腻口感甘甜绝对的好烟说啦嗓子的你是买到假烟了 北京市 味道很香，感冒抽都不难受，外观低调奢华，刚看到以为就40多的样子，结果是百元档的（' 浙江省 湖南长沙人，真心觉得这烟难抽，与同价位的其他烟相比，性价比不是一般的低，与它一样的还有硬蓝芙 湖南省 表1. 部分评论数据样例 3.2.2. 文本分词 在汉语中，单单的一个词并不足以表达一个意思，且它们之间没有明显的分隔符，因此，需要对文本语料进行分词处理。分词的结果的对后续的情感分析有着不可忽视的影响。如果分词不佳，即使后面的算法再完美也无法得到好的效果。 本文采用Python软件中的分词工具模块“Jieba”进行分词。由于评论表达的多元化，且烟草专有名词的存在，在分词的过程中需要自定义用户词典。搜狗拼音输入法作为荣获多个国内软件大奖的电脑中文输入法生产厂商，其中会有一些关于烟草专业名词的收录，本文根据搜狗拼音输入法的230种香烟词库，并辅以自己建立的词典，作为分词的用户字典进行分词。 对文本分词时会出现一些频率极高或者极低的介词、代词、虚词等词语或者特殊符号，它们与后续的情感分析没有什么关系。如“你”、“我”、“他”、“的”、“……”等。为了降低计算机的运算复杂度，提高计算机的运行效率。因此，文本分词时需要建立停用词表直接对这些词语进行删除。 在文本分词中，会出现一些英文单词。比如“FB”、“VERYGOOD”等。遇到这种情况可以特殊处理。“FB”在烟草行业中一般有“要面子”的意思，“FB”烟是高价烟、腐败烟的简称，而“VERYGOOD”可以翻译成“非常好”这样的中文词汇进行分词。 分词效果如表2。 3.3. 基于情感词典的情感分析 情感词典的构建 情感词是指在文本语料中表示情感色彩的名词、形容词、副词、动词、感叹符号和常用的习惯性表达或者短语等。它常常被用来表达文本的情感倾向，文本情感分析最基础的就是构建一个适用性程度高的情感词典，因此，情感词的研究和分析就成了研究文本情感分析的最重要的环节 [ 17 ] 。 Table 2 Example of word segmentation effec 感觉 一般 外观 不错 包装 精美 初尝 味道 柔和 醇甜 有档次 感觉 接近 蓝熊 香醇 口感 不错 还可以 性价比 不高 这个烟 真心 不错 烟嘴 空芯 喜欢 口粮 推荐 这款烟 不愧为 白沙之最 很香 一直抽 味道 包装 一般 仁者见仁 智者见智 口味 当当 礼品烟 不好抽 抽 逼格 建议 南京九五至尊 黄鹤楼 价格 太高 味道 一般 性价比 不高 醇香 浓烈 一款 好烟 满足感 很强 这烟 不错 很纯 湖南 很多 老板 抽 湖南 还 卖得 贵点 120 一包 不得不说 价位 这烟 在我心中 仅次 大重九 唯独 一点 涩 算是 这烟 特色 稍稍 探 舌尖 抽 感觉 烟气 温热 香甜 表2. 分词效果样例 通过阅读国内外的文献了解到，文本情感倾向分析研究领域还没有一个可以通用的情感词典，在国外，由Princeton大学的心理学家，语言学家和计算机工程师联合设计了一种基于认知语言学的英语词典WordNet，它不是光把单词以字母顺序排列，而且按照单词的意义组成一个“单词的网络”。哈佛大学在1966年整理编著了GI (General Inquirer)词典，并在其中列出了每个词的情感属性，是目前英文文本分析中经常选用的资料之一。尽管国内在文本挖掘领域的研究起步比较晚，有关中文的情感词典比较稀少，虽是如此，但还是有专家和学者已经整理出很多实用性较强且权威的情感词典。下表列出了国内主要的情感词典资源，如表3。 Table 3 Main emotional dictionary in Chin 词典类别 简介 NTUSD情感词典 台湾大学整理编著的中文情感词典NTUSD，它有两个版本，一个是简体中文版，另一个是繁体中文版。每个版本都包括了2810个正面情感词汇和8276个负面情感词汇。 知网HowNet 中科院的董振东教授耗时多年建立的中国第一个电子知识系统。它包含了6个中文情感分析词集和6个英文情感分析词集，并将每个词集划分为6类：正面评价词语、正面情感词语、负面评价词语、负面情感词语、主张词语、程度级别词语。 《哈工大信息检索研究室同义词词林扩展版》 本词表是《同义词词林》的扩充，是由哈尔滨工业大学整理编著的，一共包含了77343条词语。在《同义词词林》的三层分类系统的基础上，增加了两层编码，一共具有五层结构，并提供五级编码。目前已经推出了1.0版本，可以满足很多领域研究的应用。 《情感词汇本体》 该情感词汇本体由大连理工大学信息检索研究室独立整理标注完成。 表3. 国内主要的情感字典 情感词的收集和研究是一个循序渐进的过程。在目前的文本情感研究中，一般把情感词分为表示褒义的正面情感词以及贬义的负面情感词。因此，本文根据这两方面并结合情感词典对语料中的评论进行评分。 在中英文中，都有用某种修饰手法来表达自己情感程度或情感极性反转的习惯，例如英语中的比较级、最高级、否定式等修辞形式，中文中也常用“非常”、“特别”、“相当”、“不”、“没有”等程度副词或者否定词来修饰。 程度副词是对一个形容词或者副词在程度上加以限定或修饰的副词，一般位置在被修饰的形容词或者副词之前。在文本评论中，评论者为了强调自己对商品的喜恶程度会大量使用副词，这种程度副词的表示会对判断用户的情感有着重要的作用。如“朋友拿来抽过。很不错。特别喜欢。但是特别贵哦。”在这句话中，有两个程度副词“特别”分别修饰了“喜欢”和“贵”，“很”修饰了“不错”，这些修饰词都表达了一种更加强烈的情感倾向。如果去掉了这些程度词的话，就没有那么明显的情感态度。因此，程度副词在中文文本分类中不可或缺。 本文根据知网HowNet的219个程度级别词语并查找相关资料进行程度副词词典的构建，用于计算情感得分。蔺璜等人提出可以把程度副词设定为极量、高量、中量、低量四个不同的等级，并人为的设定不同程度副词的权值。根据这些程度副词代表的感情强度赋予它们不同的值，从强到弱分别取2.0、1.7、1.2、0.6，具体情况如表4。 Table 4 Degree adverbs dictionar 程度 权值 个数 词汇 极量 2 72 百分之百、倍加、备至、不得了、多多、不可开交、不亦乐乎、不堪、不折不扣、齁、充分、到头、地地道道、彻头彻尾、非常、极、极为、逾常、截然、尽、惊人地绝、绝顶、绝对、绝对化、刻骨、酷、满、满贯、满心、莫大、奇、入骨、甚为等。 高量 1.7 69 不过、不胜、大为、惨、沉、尤其、沉沉、特、出奇、多、多么、分外、格外、够戗、好、好不、何等、很、够瞧的、很是、坏、可、老大、良、超微结构、太甚、特别、尤、多加、尤为、尤以、远、着实、曷、碜、不为过、超、超额、超外差、超物质、出头、多、浮、过、过度、过分、过火、过劲、不少、过了头、过猛等。 中量 1.2 37 如斯、足、益、这般、足足、尤甚、逾、愈、更加、愈……愈、愈发、愈来愈、远远、越……越、越发、越加、越来越、越是、这样、益发、愈加、大不了、愈益、多、更、更进一步、更为等。 低量 0.6 41 半点、一点儿、不大、不甚、一些、不怎么、相当、聊、轻度、些小、弱、丝毫、微、相对、稍为、稍许、挺、没怎么、未免、些、些微、一点、有点、不丁点儿、有些等。 表4. 程度副词词典 除了程度副词，否定词也是副词的一种，一般为表示否定意义的词语，根据中文表达常识可知，一般情况下否定词修饰的情感词其极性会发生反转。如“味道很香，感冒抽都不难受，外观低调奢华，刚看到以为就40多的样子，结果是百元档的”这句话，“难受”在一般文本中表达的情感是负面的，但在其前面加上了“不”就变成了正面情感。但在中文语句中含有多重否定的句法，当否定词在句子中出现的次数是奇数时，表示否定意思；当否定词在句子中出现的次数是偶数时，表示肯定意思。结合本文的语料库和中文表达习惯，本文收集了71个否定词，其权值设定为−1，具体情况如表5。 Table 5 Negative word dictionar 权值 个数 词汇 −1 71 不大、否、不丁点儿、未尝、未曾、从未有过、不甚、不怎么、聊、没怎么、不可以、无须、怎么不、几乎不、非、从来不、从不、放弃、不用、不曾、不该、毫无、不必、不会、不好、不能、很少、极少、没有、不是、难以、放下、扼杀、终止、停止、反对、缺乏、缺少、不、不要、甭、勿、别、未、反、没、木有、无、请勿、并非、决不、永不、毋、莫、从未、尚未等。 表5. 否定词词典