system: [SYSTEM]

user: 4. 实验与分析 4.1. 数据集 为验证所提出模型在不同类型数据的适应性，本文在以下几组数据集上对模型进行训练与测试：古今版本的莎士比亚戏剧，不同翻译版本的圣经，以及yelp中不同情感倾向的评论语句。表1展示了所使用数据集的统计信息。 圣经译本：Keith等人 [ 11 ] 搜集了古今多种不同版本的圣经并用于文本风格转换的任务。链接(https://github.com/keithecarlson/StyleTransferBibleData)中为其中对齐后的8个公开版本，当中根据版本间的相似程度设定了三个不同难度的数据集合：KJV到ASV，King James译本与美国标准版，BLEU为68.72；BBE到ASV，基本英语版与美国标准版，BLEU为22.75；YLT到BBE，Yong的翻译与基本英语版，BLEU为9.42。这三种平行语料共约18万条。 莎士比亚戏剧：该数据集首先来自Wei Xu [ 2 ] 等人的工作，从网站(http://nfs.sparknotes.com/， http://www.enotes.com/)搜集了共计23部莎士比亚戏剧的文本，包括原始英语与现代译本两种版本，并匹配了当中的平行语料，总计达到4万条句子。该数据集也在许多风格转换的工作中被使用。 Yelp评论：许基于多隐空间编辑方法的工作都选择yelp评论数据来对模型进行训练测试。本文依据评论对应的打分等级区分文本的情感倾向：打分4至5星则归为积极类型，2星及以下归为消极类型的评论。过滤后的句子总数量约在63 w以上。由于缺乏平行语料，通过替换反义词的方式为模型构建临时的转换目标。 Table 1 Statistic information of Dataset 数据集 类别数 句子数量 平均长度 词汇数 莎士比亚 2 42，150 12 19，387 圣经 5 186，416 27 51，529 Yelp评论 2 638，943 9 10，000 表1. 数据集信息统计 4.2. 对比方法 选取与本文模型结构相似的工作作为基线进行比较： CE-S2S (Copy-Enriched Sequence to Sequence Models)：Harsh等人 [ 4 ] 用之间翻译的方式来进行风格转换任务，采用的模型是机器翻译方法里具有代表性的一种。该工作同样采用双向LSTM作为模型编码器，LSTM作为解码器，并在当中加入attention机制以及pointer-network来增强模型表现。 Style-Embedding：来自Fu [ 10 ] 等人的工作，采用隐空间编辑的方法进行转换任务。模型主体由基于GRU的编码器与解码器组成，使用对抗训练让编码器生成风格无关的内容向量，通过对内容向量拼接不同的风格向量来改变生成句子的风格。 Ours-SE (双注意力的Seq2Seq)：在本文模型的基础上，删去风格编码器，文本注意力与风格调整均作用于同一个隐状态序列。 Ours-DE (双编码器的Seq2seq)：在本文模型的基础上，将调整层替换为用固定的风格 H β 向量来对风格特征序列做attention操作，因此每个时刻对输出的词概率分布调整将相对固定。 4.3. 评估指标 前人的工作 [ 2 ] - [ 13 ] 中，大多从风格转换的准确率以及内容保留程度两方面评估模型好坏。 对具有平行语料的数据集，依照Keith等人 [ 7 ] 的方法，用BLEU与PINC分数分别衡量转换结果的准确程度与保留程度：生成句子与目标句子的BLEU越高，表示转换准确性越好；而生成句子与原句子的PINC越高，代表生成句子创新程度越高，反之则与原句越相似。BLEU计算如下： BLEU = BP ⋅ exp ( ∑ n = 1 N w n log P n ) 其中，BP(Brevity Penalty)是过短惩罚因子；log(P n )计算预测句子与参考句子的n-gram分数，w n 是对应n-gram分数的权重。 而PINC分数的计算如下所示： PINC ( x ^ ， x ) = 1 − 1 N ∑ n = 1 N | Ngram ( x ， n ) ∩ Ngram ( x ^ ， n ) | | Ngram ( x ， n ) | 式子中，Ngram(x， n)代表句子x的n-gram列表，实验中n取值在[1，4]之间；PINC分数本质在于分数是计算原句x与生成句子 x ^ 计算各种N-gram下共有词组数量的占比平均值，当生成句子与原句用词越相似，则分数越低。由于语料之间存在差异性，PNIC的高低受到目标与原句之间相似性的影响。本文采用相对PNIC来计算模型对原句的保留能力： p = 1 n ∑ i PINC ( x ^ i ， x i ) − PINC ( y i ， x i ) 若p > 0，说明模型能够生成更加多样性的用词、句法，p < 0则模型更倾向于保留原句的用词。 在无监督语料中，为了评估模型是否顺利将文本从一种风格转移到另一种风格，最直观的方法是对生成文本的风格所属进行判断。Zhirui [ 5 ] 等人采用一个文本分类器为判断文本的转换结果，且在实验中，分类器对模型的优劣判断与人类评分的结果相似。因而在测试yelp数据集中，本文采用具有相同结构的预训练分类器，对各模型的风格转换能力进行评估。对于内容的一致程度，则通过计算生成句子与原句子的BLEU分数来反映。 4.4. 参数与设置 将数据集按照8:1:1划分为训练集、验证集以及测试集。对于yelp与Shakespeare，句子按照20的最大长度对尾部进行截断，并筛去长度小于4的文本；而圣经文本则截去超过35个词的部分。将英文文本统一小写，之后采用Keras提供的tokenizer库对文本进行分词与语料搭建，将词频低于5的词替换为“ ”。之后根据词库id替换单词文本，将句子转为one-hot编码序列。此外，通过NLTK库获取原始输入句子的词性序列，构建对应的语料库，转换为词性id序列。 关于模型参数，词向量与词性向量大小设为128，双向LSTM以及LSTM隐空间大小为256，均采用单层结构；训练过程中初始的温度系数 γ 为100，batch size为16对共32条句子。模型参数的优化采用ADAM算法，使用Pytorch默认参数。经过测试，在莎士比亚与圣经数据集中，各个损失函数的权重 λ r e c = 0.5 ， λ t s = 1.0 ， λ s = 0.2 ， λ c = 0.2 ， λ p g = 0.1 ；而在yelp中，损失权重设为 λ r e c = 0.6 ， λ s = 0.2 ， λ c = 0.2 ， λ p g = 0.5 。 4.5. 实验结果与分析 1) 内容保留与风格程度 分别在不同数据集上对各模型进行测试。首先在无监督语料下测试各模型的内容保持与转换成功率，结果如表2所示。从整体上看，本文转换模型在内容保留与转换程度上均高于基线模型StyleEmbedding，且完整结构下(双编码器 + 动态调整层)的表现最优，这充分说明模型具有良好的转换能力与保存内容的能力。其次，采用双编码器(Ours， Ours-DE)分开提取内容与风格，相比于单编码器模型(StyleEmbedding， Ours-DA)，能够更好地保存内容详细；另外，从风格转换上，本文提出的风格调整方式相比于固定的风格向量(Ours-DE， Style-Embedding)具有更好的转换效果。 Table 2 Model performance for unsupervised dataset 模型 内容保存(BLEU) 转换程度(ACC) StyleEmbedding 21.10 87.34% Ours-DA 22.92 92.06% Ours-DE 23.31 91.69% Ours 25.68 92.34% 表2. 无监督数据下的模型表现 表3是模型再有监督数据下的表现，与无监督数据有着相似的结果：在莎士比亚古今版本以及各类别圣经的转换任务中，模型的BLEU值均优于基线CE-S2S (S2S + attention + pointer)，说明具有更好的转换能力；另外，本文模型的相对PINC值普遍低于基线模型，反映其在句子生成上相对保守，即更加倾向于对原句进行少量改动，保持原有的词汇组合。 2) 适应能力讨论 Table 3 Model performance for supervised dataset 数据 模型 目标转换BLEU 内容保留P(PINC) Shakespeare Original & modern CE-S2S 30.25 35.73% Ours-DA 32.46 28.98% Ours-DE 32.51 24.13% Ours 34.14 20.21% Bible KJV & ASV CE-S2S 64.43 15.85% Ours-DA 65.23 0.73% Ours-DE 67.96 -0.57% Ours 68.41 -0.11% Bible BBE & ASV CE-S2S 30.01 6.53% Ours-DA 33.62 5.87% Ours-DE 34.41 5.03% Ours 36.01 -4.25% Bible YLT & BBE CE-S2S 22.18 14.17% Ours-DA 23.01 14.18% Ours-DE 23.45 12.89% Ours 23.92 12.64% 表3. 有监督数据下模型表现 借助不同相似性(BLEU)的圣经数据代近似代表不同类型风格下的文本。表4显示各类型数据下，模型对风格信息的自适应调整：当两类风格之间的语句相似性高时(KJV & ASV)，风格信息需求较少，内容特征提供了0.82%增益；而随着句子差异增大，模型需要更多的风格信息来协助。为直观展示不同模型对生成的影响，在表5中对各模型部分转换结果进行展示。 Table 4 Weights learned from data with different similaritie KJV & ASV BBE & ASV YLT & BBE α 0.822 0.719 0.510 表4. 不同类型数据下的内容概率权重 Table 5 Transferred sentences by different mode 数据来源 模型 实例句子 BLEU PINC Yelp I will never go here again. styleEmbedding i will continue go here again . - - Ours i will definitely go here again . - - Shakespeare Source Thou chid'st me oft for loving Rosaline. CE-S2S you chid'st me often for loving rosaline . 36.56 5.00 Ours you scolded me often for loving rosaline . 68.04 12.74 Target You scolded me often for loving Rosaline. Bible KJV & ASV Source I thank my God upon every remembrance of you， CE-S2S i thank my god upon all my remembrance of you ， 100 0.00 Ours i thank my god upon all my remembrance of you ， 100 0.00 Target I thank my God upon all my remembrance of you， Bible BBE & ASV Source Be on the watch against dogs， against the workers of evil， against those of the circumcision: - - CE-S2S be on the watch of the dogs， beware the evil workers， beware those of the circumcision : 32.23 −33.48 Ours beware of the watch of the dogs， beware of the evil workers， beware of the circumcision : 66.90 −13.97 Target Beware of the dogs， beware of the evil workers， beware of the concision: - - Bible YLT & BBE Source and Saul saith， `Hear， I pray thee， son of Ahitub;' and he saith， `HereI， my lord.' CE-S2S and saul said ， hear ， I pray you ， son of ahitub . and he said that ， here I am ， my lord 35.30 −14.36 Ours and saul said ， hear ， I pray you ， son of ahitub . and answering he said ， here I am ， my lord 48.39 −13.11 Target and Saul said， Give ear now， O son of Ahitub. And answering he said， Here I am， my lord. 表5. 各数据集转换结果示例