system: [SYSTEM]

user: 4. 实验 4.1. 超参数设置 在本文模型中，输入的是经过嵌入处理的字符向量。神经网络每批训练大小为64，总共迭代20个epoch，每训练100个时间步验证一次性能，并保存最好结果。激活函数设置为ReLU，学习率设置为1e−3，若1000轮迭代性能未提升则衰减为一半，部分参数如表1所示。本文模型设置了5种尺度的卷积核，分布在2层Inception结构中。2层代替全连接层的卷积核大小为1，部分卷积具体结构如表2所示。 Table 1 Experimental parameters and specification 参数名 含义 参数取值 batch_size 每批训练大小 64 num_epochs 最大训练轮数 20 learning_rate 学习率 1e-3 embedding_dim 词向量维度 128 vocab_size 词汇表大小 5000 表1. 实验超参数与规格 Table 2 Convolution kernel structur 卷积核名称 卷积尺寸 卷积核数量 kernel_size1 1 256 kernel_size3 3 256 kernel_size4 4 256 kernel_size5 5 256 kernel_size6 6 256 表2. 卷积核结构 4.2. 评价标准 对模型的性能评估需要有效的评估标准，本文分类效果的评估方法分为两种，第一种是对分类任务中不同分类标签的精度(Precision)、召回率(Recall)和Ｆ1值进行宏观平均和加权平均计算，用来衡量模型在准确率方面的性能。第二种是记录每10个时间步模型的loss值和准确率(Accuracy)，用来衡量模型在收敛速度方面的性能。 其中精度是分为一类的样本中，正确分类的样本的比例；召回率是该类正确分类的样本与该类全部样本的比例，衡量的是分类系统的分类完整率。Ｆ值是召回率和准确率的加权调和平均，因为召回率和准确率在文本分类中同等重要，所以常用的为F1值。损失函数(Loss function)是用来估量模型的预测分类与真实分类的不一致程度。准确率(accuracy)是所有样本中分类正确样本所占的比例。 4.3. 实验数据 本文搜集了4种中文数据集，包含长文本和短文本，所有数据都经过分词处理。 复旦大学数据集：该数据集由复旦大学自然语言处理小组收集整理，用于训练文本分类模型。其中test_corpus为测试语料，共9833篇文档；train_corpus为训练语料，共9804篇文档，两个预料各分为20个相同类别，20个类别文件夹下存放着对应类别的文档。 THUCnews新闻数据集：该数据集由清华大学自然语言处理实验室搜集与整理，通过过滤筛选2005~2011年间新浪新闻数据生成，包含74万篇新闻文档，均为UTF-8纯文本格式，并重新整合划分出彩票、教育、娱乐、科技等14个分类类别，所有文档均按对应类别储存在14个类别文件夹下。 搜狐新闻数据集：该数据集来自搜狐新闻2012年6月~7月期间网站18个频道的新闻数据，所有分类混合保存在128个文档中，由搜狐实验室收集整理。数据格式为url网页代码，需要进行额外的处理。 头条新闻数据集：该数据集拥有15个分类共38w条数据，数据来源于头条新闻，单条数据长度较短，适合用来训练短文本的模型分类。 为了增加数据集的有效性和丰富性，我们将上述4个数据集中相同或相似分类的数据随机抽取组合构成一个新数据集，新数据集共有财经、房产、教育、科技、运动、游戏、娱乐、军事、旅游、文化10个分类，每个分类6000条数据，按照7:2:1的比例分为训练集、测试集、验证集，并将文本每一条数据统一为分类标签 + /t + 文本的方式。在进入模型训练前进行乱序操作，保证实验的真实性和泛化能力。具体如表3所示。 Table 3 Data sample distributio 训练集 测试集 验证集 样本数 42000 12000 6000 表3. 数据样本分布 4.4. 实验与结果分析 4.4.1. 对Inception结构和全卷积效果的验证 为了体现Bn层、Inception结构和全卷积对模型的性能提升有不同的作用，我们分别设置了charcnn，添加了bn层的bn-charcnn，将charcnn全连接层替换为全卷积和全局平均池化的CharFcn，添加了Inception结构的Inception-charcnn，以及本文提出的添加了Inception结构的Inception-CharFcn，共5个模型在上文构造的新数据集上进行对比实验，5个模型除了charcnn都添加了批量标准化层。表4中列出的是不同模型在准确率、召回率和f1值上的对比结果，其中准确率保留小数点后两位，召回率和f1值为每个分类的加权平均只保留整数位。图2和图3列出的是Charcnn、CharFcn、Inception-charcnn、Inception-CharFcn，4个模型在新数据集的训练过程中准确率和Loss值随时间变化的曲线图。 总结上述数据可知，添加bn层、Inception结构和全卷积的模型在数据集上都获得了性能的提升。添加了批量标准化层的bn-charcnn相较于charcnn准确率明显上升。而使用了全卷积层的charfcn虽然准确率逊色于Bn-charcnn，但是其收敛速度和准确率相较于Charcnn都有明显的提升。使用了Inception结构的Inception-CharFcn和Inception-CharCnn，对比没有使用该结构的模型准确率有明显提升，且收敛速度加快。而Inception-CharFcn与Inception-CharCnn对比，虽然准确率的提升并不明显，但是在训练时Inception-CharFcn模型的准确率和损失函数的收敛速度都有加快，对缩短训练时间有帮助。 Table 4 Comparison of test results of the mode 模型 准确率(%) 召回率(%) F1值(%) charcnn 85.43 85 85 Bn-charcnn 87.60 88 88 CharFcn 87.44 87 87 Inception-CharCnn 88.83 89 89 Inception-CharFcn 88.89 89 89 表4. 模型的测试结果对比 图2. 训练过程中准确率随时间变化曲线 图3. 训练过程中损失随时间变化曲线 4.4.2. 对比实验 为了从更多的角度来验证本文提出的神经网络模型在中文文本分类中的有效性和适用性，本文选取了多个模型进行在THUCnews的中文数据上进行对比实验，其中传统文本文本分类方法选择logistic回归和随机森林(Random Forest)，神经网络模型选用c-lstm、testcnn、testrnn、twoCNNTextRelation、FastTest，BERT，6种在多种nlp任务中表现优异的神经网络模型与改进模型。由表5中的实验数据对比可知，在与上述模型的比较中，本文模型在准确率上拥有不逊于其他优秀分类模型的准确率，并超过了传统分类方法和一些神经网络。 可以得出结论，本文提出的bn-charfcn在文本分类任务中表现良好，同时能加快cnn的收敛速度，且表现优于传统方法，值得深入研究。 Table 5 Comparison of accuracy between Inception-CharFcn model and other model 模型 准确率 logistic回归 94.23 随机森林 92.28 c-lstm 95.78 textcnn 96.33 textrnn 93.83 twoCNNTextRelation 96.07 FastTest 95.51 BERT 96.96 Inception-CharFcn 96.86 表5. Inception-CharFcn模型与其他模型准确率对比