system: [SYSTEM]

user: 3. 本文方法 3.1. 问题定义 删除式句子压缩，即通过在原本长度较长的句子上，使用删除句子中单词的方式得到较短的句子，通过去除冗余词并保留核心词的方式重新组成压缩句。假设输入的原句为： s = ( w 1 ， w 2 ， ⋯ ， w n ) (1) w i 表示组成句子的单词。通过删除原句中的一些单词并使用剩余单词共同组成新的句子。即希望得到这么一系列的标签 y = ( y 1 ， y 2 ， ⋯ ， y n ) ，其中 y ∈ { 0 ， 1 } 。其中标签0表示删除该单词，标签1表示保留该单词。示例如表1数据示例所示： Table 1 Data exampl 原句 压缩句 标签 Eurozone business activity slowed in October， coming off a 27-month high in September to highlight concerns the economy is recovering only slowly from recession， a survey showed on Thursday. Eurozone business activity slowed， coming off a high in September economy is recovering slowly. 1 1 1 1 0 0 1 1 1 0 1 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 0 0 0 表1. 数据示例 3.2. 基本模型 本文借鉴了Filippova所提出的3层LSTM结构，提出了LSTM-Res网络。同样使用3层的LSTM结构作为编码器和解码器，多层的网络结构可以在不同捕获不同映射维度下的语义信息。此外，受到残差网络 [ 14 ] 的启发，在本次实验中将第一层和第二层的网络捕获到的低维和高维的语义叠加作为第三层的LSTM的输入。通过结合第一层和第二层的输出结果，能够捕获得到更多层次的语义信息，从而更好地得到输出的结果。其网络结构如图1 LSTM-Res结构所示。 图1. LSTM-Res结构 图中的三层网络其中LSTM E 代表编码器，LSTM D 表示解码器，其下标数字表示所在层数。作为外部输入的 X 1 到 X N 表示句子中的N个单词的词向量，将句子完整投入到编码器之后将隐含层信息投入到解码器中；使用 作为解码器解码输出的标志，再将原句中的单词投入到解码器中，即对于编码器和解码器而言，输入单词是保持一致的。此时每个单词对应的输出Y则为每个单词对应是否删除的标志。 3.3. 语法特征 句子压缩任务中，不同句子包含的单词往往不近相同，但却可能拥有相似的语法逻辑，因此通过加入单词的词性信息，能够协助更好地理解句意。对于词性特征，在本次论文实验中使用spacy来进行分词和词性捕获，主要将词性分为17种类型如表2词性符号表示。 Table 2 Symbol of property of wor 标注方式 词性 标注方式 词性 ADJ 形容词 DET 限定词 ADV 副词 NUM 数词 INTJ 感叹词 PART 粒子 NOUN 名词 PRON 代词 PROPN 专有名词 SCONJ 从属连词 VERB 动词 PUNCT 标点 ADP 介词 SYM 符号 AUX 助动词 X 其他 CCONJ 连接词 表2. 词性符号表示 除了本身词性序列排序上上具有相似性，由于词向量 [ 15 ] 。所需占用空间巨大 [ 16 ] ，词向量的词典只会对常用高频词进行保留，对于词表中没有的词则会统一使用 进行标记。然而，特殊的人名地名等往往是句子中的重要组成成分，统一使用 进行替代会损失大量的词义信息。通过使用词性信息能够一定程度缓解这种状况，具体示例如 表3数据标志所示。 Table 3 Data flag exampl 原句 词向量标志 词性标志 压缩句 Serge Ibaka - the Oklahoma City Thunder forward who was born in the Congo but played in Spain - has been granted Spanish citizenship and will play for the country in EuroBasket this summer， the event where spots in the 2012 Olympics will be decided. the City forward who was born in the but played in has been granted citizenship and will play for the country in this summer， the event where in the 2012 will be decided. Serge Ibaka has been granted Spanish citizenship and will play in EuroBasket. 表3. 数据标志示例 通过上述示例可以观察到，当句子中出现特殊的人名地名或动作时会被判定为 字符，此时通过额外补充的词性序列在一定程度上也可以更好地为句子压缩提供方向。如上例中的人名Serge Ibaka和形容词Spanish都使用 标志，但通过加入了专有名词 和形容词 作为标记；而一些动作如例子中的has been granted则被记为动词 。对于大多数陈述性的句子而言，其核心组成部分往往需要包括一个主语和一个谓语，而对于本次使用的新闻数据集而言主语往往是人或物，谓语则是动作，通过这样显性地添加词性信息到网络中，能够一定程度上正确地引导输出结果。 通过结合词性信息的网络整体处理框架如图2编码器解码器基本结构所示： 图2. 编码器解码器基本结构 先对原句子进行预处理，包括分词以及对词性信息进行捕获等。得到句子中的词向量和词性向量。将词向量和词性向量输入到网络中，网络通过结合词性序列和词向量序列最终得到压缩后的句子。 3.4. 语法注意力机制 为了更好地将语法特征融入网络，本文提出一种带有语法注意力机制的长短期记忆网络(Syntax-LSTM)，使用句子的语法信息控制门控信号，得到语法注意力来引导最终的输出判断。网络整体框架如图3带有语法注意力机制的编码解码结构所示： 输入到网络中的单词序列和词性序列分别使用两个独立的编码器和解码器进行编解码。编码解码器的结构主要基于上文提出的LSTM-Res。对于单词序列，使用循环神经网络结构来进行信息捕获；同样地，词性信息也是使用循环神经网络来构建序列上的关联。词性序列相比单词序列，排列上更具有规则性，通过捕捉序列上的排序规律，使用循环神经网络结构能够更好地捕获词性信息，从而对最终输出进行引导。本文通过一种带有语法门控的LSTM (Syntax-LSTM)结构作为单词序列的解码器，使用这个语法门控来生成语法注意力机制，进而对最终的输出结果进行限制。改进之后的解码器部分的结构如图4编码解码结构： 图3. 带有语法注意力机制的编码解码结构 图4. 解码器结构 P i 为句子中第i时刻单词对应的词性，投入到解码器之后得到输出词性信息 S i 。再将词性信息 S i 作为引导信息和第i时刻的单词 x i 一并投入到Syntax-LSTM，输出对应标签 y i 。 对于Syntax-LSTM，在原本的LSTM结构中增加一个额外结合语法信息的语法门控，并且由词性解码器的输出进行控制。具体结构如图5 Syntax-LSTM内部结构所示： 图5. Syntax-LSTM内部结构 Syntax-LSTM的工作原理如下： f t = σ ( W i ⋅ x t + U i ⋅ h t − 1 + b i ) (2) i t = σ ( W f ⋅ x t + U f ⋅ h t − 1 + b f ) (3) o t = σ ( W o ⋅ x t + U o ⋅ h t − 1 + b o ) (4) g t = σ ( W g ⋅ s t + U g ⋅ h t + b o ) (5) C t ˜ = tanh ( W c ⋅ x t + U c ⋅ h t − 1 + b c ) (6) C t = f t ⊗ C t − 1 + i t ⊗ C t ˜ (7) h t = o t ⊗ tanh C t (8) y t = g t ⊗ h t (9) 其中 x t 表示当前节点的输出信息 C t − 1 和 h t − 1 分别表示从上一节点传递过来的细胞状态(cell state)，和隐含状态(hidden state)。 f t 表示遗忘门(forget gate)，控制从上一时刻传递过来状态是否进行丢弃； i t 表示输入门(input gate)，控制当前时刻信息是否添加到隐含状态中； o t 表示输出门(output gate)，控制选择作为当前节点输出的信息。此外，使用额外的信息 s t ，即对应于文本中词性解码器的输出来对最终输出结果 y t 进行控制，通过这种方式让最终的输出结果更符合语法逻辑。