system: [SYSTEM]

user: 3. 本文方法 本文将触发词识别与事件分类视为一项序列标记任务。对于每个字符，模型应该识别它是否是一个触发器的一部分，并将该触发器正确地分类为一个特定的事件类型。我们的模型架构主要包括以下三个部分： (1) 分层表示学习，它揭示字符级、单词级和意义级嵌入向量。 (2) 触发感知特征提取器，通过树形结构LSTM模型自动提取不同层次的语义特征。 (3) 将结合不同层次的特征非线性映射到嵌入空间，计算各特征集群之间的距离，求出均值作为类的原型，然后在测试集中对嵌入的查询点进行分类。 3.1. 分层表示学习 给定输入序列 S = { c 1 ， c 2 ， ⋯ ， c N } ，其中 c i 表示序列中的第i个字符。使用Skip-Gram模型SkipGram方法 [ 17 ]，在字符级，每个字符将被表示为 x c 向量： x i c = e ( c i ) (1) 在单词级，输入序列S也是 S = { w 1 ， w 2 ， ⋯ ， w M } ，其中单个词 w i 表示序列中的第i个词语。在本文中，我们将使用b和e两个索引来表示一个单词的开头和结尾。在单词级中表示为： x b ， e w = e ( w b ， e ) (2) 3.2. 触发感知特征提取器 触发感知特征提取器是我们模型的核心组件。经过训练，提取器的输出是输入句子的隐藏状态向量h。传统LSTM是递归神经网络(RNN)的扩展，在RNN上增加了门(gates)来控制信息。按传统的来说，LSTM有以下基本门：输入门i、输出门o和遗忘门f。它们共同控制哪些信息要被保留、遗忘和输出。所有三个门都配有相应的权重矩阵W。当前窗口状态c记录了所有流到当前时间的历史信息。因此，基于字符级别的LSTM函数是： [ i i c o i c f i c c ˜ i c ] = [ σ σ σ tanh ] ( W c T [ x i c h i − 1 c ] + b c ) (3) c i c = f i c ⊙ c i − 1 c + i i c ⊙ c ˜ i c (4) h i c = o i c ⊙ tanh ( c i c ) (5) 其中 h i c 是隐藏状态向量。 本文使用的触发词感知网格LSTM是LSTM和lattice LSTM的扩展。假定字符和单词有K个含义，第i个字符 c i 的第j个含义的表示为 s j c i 。 1) 整合字符的多义信息 使用附加的LSTMCell整合该字符的所有含义，因此多义字符 c i 的cellgate计算是： [ i j C i f j C i c ˜ j C i ] = [ σ σ tanh ] ( W c T [ s j c i h c i − 1 ] + b c ) (6) c j c j = f j c i ⊙ c c i − 1 + i j c i ⊙ c ˜ j c i (7) 其中 c j c i 是第i个字符的第j个含义的cell状态， c c i − 1 是第i −1个字符的最终cell状态。为了获得字符的cell状态，使用了一个附加的字符含义门： g j c i = σ ( W T [ x i c c j c i ] + b ) (8) 然后所有的含义需要被动态整合到一个临时的cell状态，如下所示。其中 α j c i 是归一化后的字符含义门： c ∗ c i = ∑ j K α j c i ⊙ c j c i (9) α j c i = exp ( g j c i ) ∑ k K exp ( g k c i ) (10) 2) 整合词的多义信息 式(9)通过合并字符所有的含义信息，得到了临时的cell状态 c ∗ c i ，但是，还需要考虑词语级(word level)的信息， s j W b ， e 表示词 W b ， e 的第j个含义的表示。和字符类似，使用LSTMCell计算每个单词的cell state： [ i j w b ， c f j w b ， c c j w b ， c ] = [ σ σ tanh ] ( W c T [ s j w b ， c h c b − 1 ] + b c ) (11) c j w b ， c = f j w b ， c ⊙ c c b − 1 + i j w b ， c ⊙ c ˜ j w b ， c (12) 和式(8)~(10)类似，整合所有senses的cells信息，得到词的cell state： g j w b ， c = σ ( W T [ x b c c j w b ， e ] + b ) (13) c w b ， e = ∑ j K α j w b ， e ⊙ c j w b ， e (14) α j w b ， e = exp ( g j w b ， e ) ∑ k K exp ( g k w b ， e ) (15) 3) 合并字符信息和词信息 对于字符 c i ，临时的cell状态 c ∗ c i 包含了所有sense的信息。通过式(14)也可以计算出所有以索引i结尾的词的cell状态，记为 { c W b ， i | b ∈ [ 1 ， i ] ， w b ， i ∈ D } (D表示词典)。为了保证对应的信息可以流到 c i 最终的cell 状态，使用一个额外的门 g b ， i m 整合字符cells和词cells： g b ， i m = σ ( W l T [ x i c c b ， i w ] + b l ) (16) 字符 c i 最终的cell状态计算如下，其中 α W b ， i 和 α C i 分别是word gate和character gate归一化后的值： c c i = ∑ b ∈ { b ′ | w b ′ ， i d ∈ D } α w b ， i ⊙ c w b ， i + α c i ⊙ c ∗ c i (17) 因此，最终的 c c i 可以动态地表示多义的字符和词。如式(5)所示，得到的 c c i 再过一个输出门，得到输出，也就是原型网络的输入。 3.3. 原型网络分类 该网络由四个卷积块构成，每个卷积块包含一个64通道的3 * 3的卷积层，一个批规范化层，一个ReLU激活层和一个2 * 2的最大池化层。 距离度量方式本文选用的是Bregman散度中的平方欧氏距离，这是因为Bregman散度具备一种优良的性质，对于一系列特征点，特征空间中与所有点之间的平均距离最近的点是该系列特征点的均值。正是由于该原因，我们可以直接利用每个类别特征向量的均值作为该类别对应的原型。采用平方欧氏距离作为距离度量方式其效果要优于余弦距离，我们认为利用Bergman散度作为距离度量方式可以将小样本的分类问题转化为一种线性分类模型，而必要的非线性信息包含在嵌入的神经网络中了。 对于训练样本与原型之间的距离d取负数，并利用softmax函数转化为概率值p，对概率值取负对数作为损失。目标是使样本与正确类别原型之间的距离越来越近，与其他类别原型之间的距离越来越远。 本文采用一种称为Episode的小批量梯度下降训练方法，对于每一个批次随机选择 N C 个类别的样本，对于每个类别选择 N S 个样本作为支持训练集(Support Set)，用于计算原型。对于每个类别，除去作为支持训练集的样本，剩余的样本中选取 N Q 个样本作为测试点，用于计算与原型之间的距离，并得到损失，更新网络的参数。作者通过实验发现，用于训练的样本类别数量应该多于测试样本的类别数量，而每个类别训练样本的数量应该与测试样本的数量相同，这样能够改善小样本的分类效果。原作者认为是由于训练中采用更多类别的样本使得训练任务更加困难，减弱了过拟合问题，提高了模型的泛化能力。