system: [SYSTEM]

user: 5. 基于深度学习的多元情感分析实验 传统的CNN和RNN模型只能解决简单的句子级别文本情感分类，而我们的神经网络模型需要结合文本的情感和语义信息，进行单词词向量的联合训练，因此本文提出了新的修改升级的神经网络模型，将文本的情感和语义信息都包含进行，进行叠加模块训练，因此新的CNN和RNN神经网络包含3个层次模块的文本信息，分别是文本的词频特征信息、情感特征信息、语义特征信息、对应的相关新的CNN模型分别是CNN-DW、CNN-TW、CNN-SSW，同样的，相应的RNN模型分别是RNN-DW、RNN-TW、RNN-SSW，同时改进了相关的卷积神经网络结构和递归神经网络结构，提升了实验效果，提高了准确率，从而验证了结合情感词向量和情感词典的D & W词向量、结合情感词向量和情感词频的T & W词向量、结合情感词频和情感词典以及情感词向量的SSW情感语义词向量的有效性。 5.1. 实验数据集 为了比较本文提出的三种词向量模型在多元情感分类模型任务上的效果，我们结合前面第四章得到的多元情感文本数据集进行了相关的实验分析，结合深度学习的CNN和RNN等模型进行了对比实验效果。 该实验数据为多元的情感类别文本，具体的是多元情感的语义情感数据集标签是与我们之前提出的多元情感分类一致的，一共包含8中基本的情感颗粒，最大化的减少文本极性情感强度之间的干扰和误判，这里面我们提出了基于多元情感分析的细颗粒划分指标，充分反应情感持有者的情感强度，不仅包含文本情感的极性分析，而且包含了文本情感的极性强度分析，将二者充分的进行了融合。 我们需要先定义好各种情感极性对应的情感标签，其对应过程如表6、表7和表8所示。 其中统计得到相应的情感标签数量如下。 5.2. 实验基准系统 为了比较本文提出的将CNN和RNN模型与文本的情感和语义信息都包含进来，进行叠加模块训练效果，需要将新的CNN和RNN神经网络包含3个层次模块的文本信息，分别是文本的词频特征信息、情感特征信息、语义特征信息、对应的相关新的CNN模型分别是CNN-DW、CNN-TW、CNN-SSW，同样的，相应的RNN模型分别是RNN-DW、RNN-TW、RNN-SSW。为了比较相应的词向量模型效果，需要先设置基准系统，方便我们进行对比观察结果，相关的实验标准参照词向量模型是将如下两个基本词向量模型进行平均计算： Table 6 Emotional tag classificatio 情感标签 情感内容 1 高兴 2 生气 3 厌恶 4 悲伤 5 害怕 6 吃惊 7 轻视 8 中性 表6. 情感标签分类 Table 7 Various emotional tag statistic Emotion Size Despise 10，309 Neutral 109，634 Angry 13，305 Sad 31，811 Disgust 7397 Surprise 10，936 Fear 2358 Happy 82，442 表7. 各种情感标签统计图 Table 8 Emotional polarity distributio 情感极性 文本数量 中性 109， 634 (34%) 非中性 158，558 (66%) 表8. 情感极性分布图 1) CBOW：根据输入的上下文来预测中心词构建的语义词向量模型， 2) Skip-gram：根据输入的中心词的上下文来构建中心词对应的上下文语义的词向量模型。 5.3. 基于CNN模型的多元情感分析实验 针对基于卷积神经网络CNN模型的多元文本情感分类实验，我们采用的卷积神经网络结构依次如下是：Embedding ® Convection ® Pooling ® Activation，其中Embedding和Convection之间的Dropout、以及Pooling和Activation之间的Dropout，我们都将其大小设置为0.20，其中输入层词向量维度大小是100，并且卷积层的滤波器将相应的输入层词向量矩阵分成3个region，每个region分别设置32个滤波器，一共采用的数量是96个滤波器，滤波器的大小是(2， 3， 4)，就是说将滤波器设置成3种状况，分别是2 * 3 * 32，2 * 4 * 32，3 * 4 * 32的3种状况，每种状况下的滤波器设置得到的每个region是32维度的特征向量，池化层，采用的是最大池化层策略，激活层通过Softmax激活函数得到8中情感类别的概率大小，再与标准的情感类别比较得到误差反向传播即可，如图5所示。 5.4. 基于RNN模型的多元情感分析实验 因为CNN神经网络模型无法获取对应的很长的文本序列信息，这里面我们选择使用双向的LSTM长短记忆单元神经网络模型来进行文本词向量的对比试验，Bi-LSTM在序列标注、命名体识别、seq2seq等模型有很多场景都有应用，它能够更好的表达文本上下文信息，而且Bi-LSTM可以获取变长且双向的的n元语法信息，更加适合拟合文本序列信息，如图6所示。 我们的网络结构依次是：Embedding ® Convection ® Pooling ® Activation，其中相应的Embedding和Convection之间的Dropout、以及Pooling和Activation之间的Dropout，我们都将其大小设置为0.25，其中输入层词向量维度大小是100，激活函数同样选择Softmax激活函数，分别结合RNN-DW、RNN-TW、RNN-SSW三种词向量模型得到相应的情感分类结果。 图7是Bi-LSTM用于分类问题的网络结构原理示意图，其中LSTM节点分别是前向和后向的双向RNN的输出表示，这里面需要注意的是LSTM单元之间的相互连接和FC层的表示，同样，最终的输出层使用的是Softmax函数输出。 5.5. 实验结果对比 通过与基准实验的对比，获取了多元情感类别在3种词向量下面分别通过深度学习实验得到的相应结果如下图8~图15所示。 图5. 基于CNN模型的多元情感分析实验设置 图6. LSTM结构示意图 图7. 基于Bi-LSTM模型的多元情感分析实验设置 图8. Despise实验对比结果 图9. Angry实验对比结果 图10. Neutral实验对比结果 图11. Sad实验对比结果 图12. Disgust实验对比结果 图13. Surprise实验对比结果 图14. Fear实验对比结果 为了更加方便的突出我们的实验对比结果，我们计算了多元情感类别在3中词向量模型下面的深度学习文本分类实验中的平均F1值、Precision、Recall值作为我们的实验对比指标，得到了相应的实验对比分析结果如下图16~图18所示。 5.6. 实验结论总结 根据上面的词向量实验对比分析，可以简单的得出以下结论： 1) 在构建多元情感数据公开集上面，本文提出的基于情感词典和情感语义的几种词向量在CNN和RNN深度学习模型上面都取得比基准词向量要好的分类效果，说明将情感信息和词向量信息有效的结合起来，能够在文本情感分类任务中取得更加优秀的效果。 图15. Happy实验对比结果 图16. 深度学习分别在3种词向量下的文本情感分类F1值效果对比图 图17. 深度学习分别在3种词向量下的文本情感分类Precision值效果对比图 图18. 深度学习分别在3种词向量下的文本情感分类Recall值效果对比图 2) 在本章提出的基于深度学习的几种词向量上面：结合情感词向量和情感词典的D & W词向量、结合情感词向量和情感词频和T & W词向量、结合情感词频和情感词典以及情感词向量的SSW情感语义词向量对比中，可以看出SSW的效果要比其他两种词向量的效果好很多，说明将文本情感信息和语义信息结合起来对比其他的词向量模型对于文本情感分类任务可以提升分类效果。 3) 可以看出在基于深度学习的几种词向量模型的情感分类任务中，基于语义词向量学习模型的分类效果是最差的，说明仅仅将文本的词义信息作为情感特征去进行情感分类的效果是最差的，不能够有效的得到情感的上下文语序语义信息以及情感信息，因此其分类效果对比其他词向量进行的特征选择效果相比很差。 4) 在深度学习实验中，对比基于情感词典和情感词向量的D & W词向量模型、结合情感词向量和情感词频的T & W词向量模型，二者相对比基本的基于词频的特征词向量BOW模型和单纯的词向量CBOW和Skip-gram提升了分类效果，因为二者加入了情感信息和词频信息，比单纯的词频信息和词向量信息好很多，说明需要在情感分类任务中加入多层次的词向量信息。