system: [SYSTEM]

user: 4. 情感语义词向量的构建 在传统的词向量模型基础上，为了更加有效地结合文本的情感信息，抽取更加深层次的语义情感信息，本文构建了更加有效的情感词向量模型算法，将情感词典和情感词频-逆文档概率，情感词向量三者有效地结合起来，充分地考虑到了三者的优点，本文提出了结合情感词向量和情感词典的D & W词向量、结合情感词向量和情感词频的T & W词向量、结合情感词频和情感词典以及情感词向量的SSW情感语义词向量。 4.1. 基于机器算法的情感词典的构建 目前的情感词典主要是包含正向和负向两种情感，为了满足多元情感分析任务，本文根据之前提出的在基本的正向，负向，中性三种极性情感的基础上将情感极性强度划分成8中基本的情感颗粒，结合机器学习的相应方法，减少人工手工标注的工作量，自动化构建相应的多元情感词典。 本文提出了结合词向量的相似性大小，用词聚类的方法来判断文本词语的情感极性大小，具体的，就是先通过人工选择一些情感词语作为我们的种子词语，然后通过词语之间的相似性判断来对情感词典进行扩充，利用种子词语和新的词语之间的关系来计算词语的情感极性大小。 本文的多元情感词典参考了大连理工大学的中文情感词典的构建方法，具体的种子词典的构建是先选择8种情感大类，在这8种基本的大类情感下面再进一步的选择其中的情感文本关键词作为我们的情感词典基准词，每种情感类别下面的情感基准词的大小数量不一样，但是他们的情感极性得分是统一的，得分的范围是：[−0.8， 0.8]，情感文本基准词的最终构建结果如表5所示。 4.2. 基于Word2vec与Tf-idf的T & W词向量研究 我们在文本情感特征的选择和文本情感特征的加权基础上面，结合基于机器学习的特征选择和基于深度学习词向量的特征选择方法，对于文本情感特征的特征进行加权，构建了基于Word2vec和tf-idf的加权词向量特征构建方法，然后对文本的情感极性进行判断。 这里面把整个tf-idf作为衡量整个词语的重要程度权重，Tf-IDF表示的是一个词语在整个文档中的重要程度，其主要有两个部c分组成：词频TF和逆文档概率IDF，主要公式： Tf-IDF = TF ∗ IDF 对于word2vec词向量部分，我们显示使用word2vec中的CBOW模型训练语料库，得到相应的词向量模型，然后将文档中的所有对应的相同单词的词向量进行叠加求和得到所有词语的词向量表示： R ( d j ) = ∑ t word2vec ( t )       where   t ∈ d j 其中： word2vec ( t ) 表示词语的词向量表示。 接下来我们先后分别取得对应语料库的Word2vec词向量和TF-IDF词向量的特征表示方法，再将二者有效的进行结合即可得到新的基于Word2vec与Tf-idf的词向量表示。 W_R ( d j ) = ∑ t word2vec ( t ) ∗ tfidf i ， j 这样，我们就结合了Word2vec的词向量表示的词语语义信息，同时，我们又将tf-idf表达的词频信息进行了有效的结合起来，这样新的词向量用来提高文本的多元情感分类的准确率。 Table 5 Emotion dictionary example 情感类别 情感词语 情感极性 情感数量 高兴(Happiness) 喜悦、开心、欢喜、称心、 振奋、快活、欢乐、快乐、 起劲、兴奋、愉悦、安乐、 0.8 12 生气(Anger) 愤怒、起火、生机、活气、 发怒、不满、负气、活力、 朝气、发火、赌气、动怒 -0.6 14 厌恶(Disgust) 憎恶、嫌恶、恨恶、厌烦、 可恶、讨厌、憎恨、腻烦 -0.8 8 悲伤(Sadness) 心酸、悲哀、哀思、酸楚、 难过、痛苦、伤心、痛心、 -0.5 8 害怕(Fear) 惊恐、畏惧、畏缩、畏怯、 -0.7 12 吃惊(Surprise) 惊讶、惊异、惊奇、受惊、 惊诧、惊呀、惊愕、诧异 0.2 8 轻视(Contempt) 小看、渺视、鄙夷、看不起、 藐视、轻蔑、忽视、歧视、 小瞧、轻茂、鄙视、看轻、 -0.4 24 中性(Neutral) 生活、爱情、活动、情况… 0 100 表5. 情感词典实例 4.3. 基于Word2vec与情感词典结合的D & W词向量研究 本文基于上面介绍的情感词典得到了情感词语的情感极性得分大小，同时，基于情感的词向量得到了情感词语语义表示，为了将二者有效的进行结合，本文提出了基于情感词向量和基于情感词典的词向量构建过程，将情感词语的情感极性强度和情感词语的词向量结合起来，改进了传统的词向量只包含情感词语单纯的语义信息的构建模型，以此来希望提升我们最后的文本情感分析准确率。 本文结合词向量的相似性大小，用词聚类的方法来判断文本词语的情感极性大小，具体的，就是先通过人工选择一些情感词语作为我们的种子词语，然后通过词语之间的相似性判断来对情感词典进行扩充，利用种子词语和新的词语之间的关系来计算词语的情感极性大小得到了文本词语的情感词典语料，然后结合情感词语的词向量构建了最终的情感语义词向量。 具体的词向量构建过程为： 1) 将语料库的文本词语进行预训练过程； 2) 对于语料库里面的词语选中一部分作为种子词典，并且给出这些种子语料的情感极性得分词典； 3) 对于每种情感分类的情感种子词语进行加和求平均得到每种情感的中心词向量； 4) 将每种情感得到的平均词向量作为虚拟的中心词语聚类中心，计算每个新词与聚类中心的词向量相似度大小， 5) 并且将每个新词与聚类中心的词向量相似度大小进行从小到大的排序； 6) 选择上一步得到的最大相似度的情感类别作为新词的情感类别； 7) 并且根据新词与聚类中心词语的相似度大小与种子文本得情感极性得分得到最终的新词的情感极性权重得分； 8) 这样就得到了新词的情感极性得分。 4.4. 基于Word2vec与Tf-idf、情感词典结合的SSW词向量研究 传统的词向量模型根据中心词的上下文来表示中心词，表达出了词向量的语义信息，这样的分布式词向量可以简单的处理基本的文本任务，但是在基于文本的情感分析任务处理中并不能够有效的结合文本的情感信息，所以这样的词向量语义信息是一种不包含情感信息的浅层语义信息，所以为了更加有效的结合文本的情感信息，抽取更加深层次的语义情感信息，本文提出的基于情感词典和Tf-idf (词频-逆文档)概率，word2vec词向量三者有效的结合起来，充分的考虑到了三者优点，将词频，词义，词性三者结合起来，并且将其应用在深度学习模型的词向量特征表示上面，实验证明对比以前的词向量模型，有效的提升了文本分类效果。 Word2vec的词向量模型虽然在更高的层次上面得到了文本的语义特征词向量，但是Word2vec的两种模型：基于CBOW和Skip-gram的词向量算法都没有能够将文本的情感信息有效的蕴含起来，所以，在构建新的语义情感的词向量上面需要先将情感词典，文本词向量的语义信息有效的结合起来，本文先分别基于机器学习算法构建了新的情感词典，对比以前的情感词典构建过程更加的直接有效，然后结合基本的词频-逆文档特征选择算法，Word2vec算法将文本的词频信息，情感信息，语义信息有效的结合起来并且将新构建的情感语义词向量与原来的词向量进行了对比试验，有效的证明了本文提出的情感语义词向量的有效性。 具体的词向量构建过程为： 1) 将语料库的文本词语进行预训练过程；选择相应的文本特征进行特征训练过程，分别得到对应的TF-IDF和Word2vec特征词向量； 2) 对于语料库里面的词语选中一部分作为种子词典，并且给出这些种子语料的情感极性得分词典；同时改进相应的TF-IDF特征选择过程，得到新的改进的TF-IDF特征选择词向量； 3) 分别将得到的文本的改进的TF-IDF特征词向量与Word2vec特征词向量的结果保存起来； 4) 对于每种情感分类的情感种子词语进行加和求平均得到每种情感的中心词向量； 5) 将每种情感得到的平均词向量作为虚拟的中心词语聚类中心，计算每个新词与聚类中心的词向量相似度大小，并且进行从小到大的排序 6) 选择上一步得到的最大相似度的情感类别作为新词的情感类别； 7) 并且根据新词与聚类中心词语的相似度大小与种子文本得情感极性得分得到最终的新词的情感极性权重得分。 8) 将之前得到的情感极性得分与改进的TF-IDF特征词向量、Word2vec特征词向量的乘积作为最终的情感语义特征词向量。