system: [SYSTEM]

user: 3. 基于FinBERT-CRF框架的证券领域新闻实体识别模型 为了进一步扩充证券领域知识图谱的情感分类属性，本章针对非结构化证券领域新闻文本，构建了一种基于FinBERT-CRF的证券领域新闻文本命名实体识别模型，用于识别新闻中的专有企业实体，以结合市场当时情绪扩充知识图谱中实体的情感表现。由于所爬取的证券领域新闻文本未自身带有企业实体标注，故我们采用了DataFountain金融领域实体新闻任务数据集进一步训练本节所提出的模型，并通过已训练模型对证券领域新闻文本进行实体识别，而DataFountain数据集中带有企业实体标注的规模较小，故在模型BERT部分的初始参数设置时，通过复用了FinBert [ 4 ] 中在金融领域情感分析任务中已训练参数，有效减少数据规模小所带来训练不佳等影响，同时在参数优化阶段我们通过CRF损失函数对模型进行训练。本节将首先就本章模型FinBERT-CRF模型框架展开介绍，之后通过对比实验训练该命名实体识别模型，最后对其算法进行进一步分析并讨论结果证明模型算法的有效性。 3.1. 模型结构 在基于FinBERT-CRF的金融领域中文命名实体识别模型，我们首先设计BERT框架作为编码器并生成词向量，之后通过Linear层进行非线性映射生成概率矩阵，最后通过CRF (Conditional Random Field)损失函数 [ 5 ] 对输入标签进行学习反馈得到最终结果。模型框架如图3所示。 图3. FinBERT-CRF模型框架 从图3可以看出，模型共分为三个模块，分别为输入层、编码层以及输出层。在输入层中我们将输入的中文文本样本，转换为模型可识别的文本格式输入文本序列 ( x 0 ， x 1 ， x 2 ， ⋯ ， x N ) 。在编码层中我们主要将输入文本序列转换为已处理的特征向量格式。输入层中的文本 x = ( x 0 ， x 1 ， x 2 ， ⋯ ， x N ) 以单个汉字与相应标签如“司O-ORG”的格式作为一个单位的 个单位输入序列。在本节的编码层中我们主要使用了BERT模型思想，且在BERT模块的参数设置中，我们复用了FinBERT训练所得参数。FinBERT [ 4 ] 模型为一种基于BERT的金融领域文本模型，在金融情绪分类的任务中的Financial Phrasebank数据集达到了86%的准确率。BERT在文本特征向量生成中相较于仅考虑单向训练的语言模型，其同时训练了每个单词上下文。其中编码层主要包含了两个部分，分别为嵌入层与Transformers [ 6 ] 所组成的编码器层。 在嵌入层中除了输入层文本之外，存在段嵌入层(Segment embedding)、符号嵌入层(Token embedding)以及位置嵌入层(Position embedding)。段嵌入层的目的是使模型对文本中不同的句子关系进行区分，在生成过程中嵌入A、B符号表示区分多个句子在整篇文章中的奇偶性。符号嵌入层的目的是在针对每个句子的处理中，从词典中查询对应单词的词语向量，并该嵌入层在每个样本前端插入[CLS]标识，同时在每句话的最后加入[SEP]标识来表明每个句子的结束边界，这样句子的语义特征均可通过CLS训练表达。位置嵌入层的目的为识别文本中单词的前后依赖关系，我们在最后一层嵌入了位置向量层去传递模型相应单词的位置信息。在三层嵌入层之后我们将输入向量进入标准编码层，本文中我们通过使用12个Transformer层叠加聚合并同时输出生成了了一组特征向量 v = ( v 0 ， v 1 ， v 2 ， ⋯ ， v N ) 。 在输出层中我们主要将已生成的特征向量将其转换为对应标注的概率矩阵并经过损失函数进一步调整训练相关参数。在特征向量生成后进入Linear层，将编码器部分输出的特征向量做映射变换生成不同的logits向量，随即进入softmax层转换为概率值，最后便得到文本输出的各个标签对应的概率矩阵即为我们的输出结果。在输出层得到概率矩阵后在本节我们通过设计了CRFs算法作为损失计算函数，根据CRFs计算出的条件概率得到了最大化对数似然函数并使用梯度下降法，根据损失函数反向学习模型参数输入至我们的编码器中，优化相应调整有关参数。在训练结束后在不同的文本位置处输出结果选择其中概率最高的标签类别作为当前的预测结果并进行解码输出即为我们的标签结果。 3.2. CRF损失函数 在本文中我们通过CRF来构建模型的损失函数，CRF损失函数共由两个部分组成，真实标签所得的概率分数以及所有标签的总分数。假设我们的数据集中有以下的类别标如表3所示。 Table 3 Data set category tabl 标签 序号 B-ORG 0 M-ORG 1 E-ORG 2 O 3 START 4 END 5 表3. 数据集类别表 若存在一个包含六个单词的句子，可能的类别序列为存在46656(6 6 )种可能性，假设每种路径的可能概率为 P i ，则路径总分如式(1)所示。 P a l l = P 1 + P 2 + ⋯ + P 46656 = e S 1 + e S 2 + ⋯ + e S 46656 (1) 若其中第m个标签路径为真实标签路径，则 P m 应为所有概率序列中最高的概率值，定义的损失函数如式(2)所示。 L o s s = P m P 1 + P 2 + ⋯ + P 46656 (2) 其中由于 P m = e S m ，则在计算真实概率值中，e为固定常量参数则需计算 S m 。 S m 主要是由两个部分所构成，分别为发射分数与转移分数，该分数即有CRF层中的状态转移矩阵得以计算。 3.3. 实验结果 在本章中我们主要介绍了本章的实验环境，同时对对比实验研究中涉及的训练数据集进行了进一步的介绍，最后展示了我们的对比实验结果，并表明本文所提出的模型框架以及实验思想在小规模证券领域命名实体识别的任务中得到了优异的表现。 3.4. 实验数据 本章中主要涉及到两个训练数据集，分别为通用细粒度命名实体识别数据集Cner、数据科学竞赛平台DataFountain金融类文本新实体识别数据集。具体说明如下： 1) 通用细粒度命名实体识别数据集CNER [ 7 ] Cner数据集为已处理的中文通用数据集，共包含十种不同的类别，包括：人名(name)、组织(organization)、地址(address)、公司(company)、政府(government)等，每组样本以输入的原始单个文本和标记为键值对的组成序列。其中训练集包含3820个样本，验证集包含462个样本。具体如下表4所示： Table 4 CNER Data sampl 标签 标签 标签 标签 标签 标签 吴 B-NAME ， O 级 M-TITLE 院 O 邮 B-ORG 研 B-TITLE 重 M-NAME 大 B-EDU 高 M-TITLE 特 O 电 M-ORG 究 M-TITLE 阳 E-NAME 学 M-EDU 工 E-TITLE 殊 O 部 M-ORG 所 M-TITLE ， O 本 M-EDU ， O 津 O 侯 M-ORG 副 M-TITLE 中 B-CONT 科 E-EDU 享 O 贴 O 马 M-ORG 所 M-TITLE 国 M-CONT ， O 受 O ， O 电 M-ORG 长 E-TITLE 国 M-CONT 教 B-TITLE 国 O 历 O 缆 M-ORG 。 O 籍 E-CONT 授 M-TITLE 务 O 任 O 厂 E-ORG 表4. CNER数据示例 2) 数据科学竞赛平台DataFountain金融类文本新实体识别数据集 [ 8 ] 该数据集原始格式以csv文件的格式提供，为金融类网络文本包括金融类新闻，每条数据包括标识号码(id)、新闻标题(title)、新闻内容(text)、未知实体列表(unknownEntities)即实体列表五种文本，且提供的比赛数据中训练集与测试集分别均含有10，000条中文新闻文本。由于该类数据集已标记了文本相关实体，故我们对该原始数据集做统一的数据分类与分析处理同3.1节框架方法作半结构化数据预处理，得到我们的样本总集并将其按照7:2:1的方式分为训练集、验证集与测试集。 3.5. 评测指标 本章实验的评价系统采用命名实体识别任务中常用的三类指标：精确率(P， Precision)、召回率(R， Recall)和F1-Measure (F1)，具体公式分别如下式(3)、式(4)、式(5)所示。输出的预测标注的结果为 S = { s 1 ， s 2 ， s 3 ， ⋯ ， s n } ，人工标记的结果为 T = { t 1 ， t 2 ， t 3 ， ⋯ ， t n } 。在匹配的过程中，需要同时评价实体类别以及标记边界范围预测的效果，故本文中若该两个部分均预测准确，才作为正确预测计入评测系统中。 P = c o r r e c t n u m p r e d i c t n u m (3) R = c o r r e c t n u m g o l d n u m (4) F 1 = 2 ∗ P ∗ R P + R (5) 其中的 g o l d n u m 即表示我们人工标记的结果T。 3.6. 实验结果分析 在构建本章基于FinBERT-CRF的证券领域命名实体识别模型框架中，部分原始模型参数选择如表5所示。 Table 5 Part of the model parameter 参数 参数值 隐层值(hidden_size) 768 隐层数目(num_hidden_layers) 12 注意力头数目(num_attention_heads) 12 隐层随机下降值(hidden_dropout_prob) 0.1 注意力层随机下降值(attention_probs_dropout_prob) 0.1 输入最大文本长度(max_position_embeddings) 512 标准化范围(initializer_range) 0.02 归一化范围(layer_norm_eps) 1e−12 表5. 部分模型参数 在本章所提出的FinBERT-CRF证券领域实体识别模型框架中的BERT模型进行训练主要分为两个步骤，分别为预训练和微调(Fin-tune)。 在预训练的过程中，本文模型主要通过三种不同的方式：第一种，直接调取Google提出的BERT模型参数迁用至本章BERT模型中；第二种，我们通过在通用实体识别数据集即Cner数据集输入至BERT模型进行预训练，第三种，我们使用了FinBERT模型已训练参数加入至BERT模型之中即本文所提出模型。 在微调的过程中，使用上述四种情况得到的参数初始化BERT模型，后通过下游任务的目标基于DataFountain金融类文本新实体识别数据集对其进行小步幅的调整，并通过CRFs损失函数调优最终得到各类标签的概率矩阵。得到对比实验结果如下图4所示。 图4. 实验结果对比图 其中如下表6所示，NORMAL表示我们对BERT [ 9 ] 的语调参数作随机初始化，BERT-CRF-Google表示我们直接应用Google提出的BERT模型参数预训练基础下使用小规模数据集Kaggle比赛中的文本在BERT-CRF模型架构上进行训练得到的结果；FinBERT-CRF表示我们应用FinBERT模型参数并再DataFountain数据集训练学习得到的结果；BERT-CRF-CNER为上述所提在通用数据集预训练CNER基础得到的结果；BERT-SOFTMAX为不通过CRF作为损失函数的BERT-Linear模型。 Table 6 Experimental results on different method 单位：% Precision Recall F1 score NORMAL 38.72 36.94 37.81 BERT-CRF-Google 81.18 80.31 80.74 FinBERT-CRF 85.78 83.65 84.70 BERT-CRF-CNER 78.77 81.77 80.24 BERT-SOFTMAX 78.97 80.31 79.63 表6. 实验对比结果 从上述实验可以看出，FinBERT-CRF相较BERT-SOFTMAX模型可以提升6.81%的准确率，故本节中提出的以CRF为损失函数可以有效的提升模型的训练效果。在对比NORMAL与本文所提基于金融领域新闻预训练的FinBERT-CRF的过程中，我们可以发现同领域不同应用任务模型的参数可以有效解决特定领域数据不足的问题。在对比BERT-CRF-Google、BERT-CRF-CNER与FinBERT-CRF的过程中可以发现同领域迁移学习模型较跨领域迁移学习表现更为优异。 从上述实验中我们可以发现，本章所提出的基于FinBERT-CRF框架的证券领域命名实体识别模型可以在迁移学习的思想下可以有效并优异的完成小规模样本下证券领域命名实体识别任务。