system: [SYSTEM]

user: 4. 实验结果与分析 4.1. 数据库 用于本文实验的数据库，共包括4890个缅甸语“文本–语音”(<文本，语音>)对。文本以句子为单位，内容涵盖了新闻、科技、文体等多方面内容。语音发音人为缅甸国家级广播电台播音员。音频数据采样频率为16 kHz，量化比特数为16 bit。请缅甸语的专业人员通过阅读文本和听对应的音频，对上述的文本数据进行人工标注韵律词和韵律短语。本文选择80%的数据作为训练集，10%的数据作为验证集，10%的数据作为测试集。本文的语音合成实验选择2000句缅甸语发音语料用于实验。 4.2. 实验过程 为验证本文提出的基于BERT-CRF模型的韵律单元边界预测方法，分别设计并实现了下列5种实验。 实验1：采用传统方法CRF建模，使用第3.2.1节所述的方法进行数据预处理，选择U-gram作为模板特征，只考虑缅甸语音节这一特征，不考虑其他特征，选取“2 + 2”大小的窗口模板，主要对前两个音节与后两个音节的特征进行训练，由CRF++0.58工具进行训练。 实验2：利用BiLSTM建模，在BiLSTM层之后加入softmax层，预测出最后的标签。使用TensorFlow-1.9.0训练模型，将训练过程中自动生成的大小为256维的字向量作为输入特征。batch大小为20，epoch为180，隐藏层节点数为300，学习率为0.001，使用Adam优化器更新参数。 实验3：同样利用TensorFlow-1.9.0构建BiLSTM-CRF模型，在BiLSTM层之后通过CRF层约束标签之间的转移情况，从而预测输出标签。训练模型时，选择训练过程中自动生成的大小为256维的字向量作为输入特征，实验参数设置与实验2一样。 实验4：在BERT预训练模型的基础上增加一层全连接层构建预测模型，在此基础上使用softmax层，预测出最后的标签。实验所用的语言模型是谷歌公司的多语言BERT-Base版本(下载地址：https://github.com/google-research/bert)，模型层数为12，隐藏层单元数为768，自注意力层个数为12。利用TensorFlow-1.14.0训练预测模型，batch大小为32，学习率为2 × 10 − 5 ，输入序列长度为128，优化器为Adam。 实验5：本文提出的基于BERT-CRF模型是在预训练模型的基础上增加一层全连接层，之后利用CRF层对标签的转移情况进行限制，得到预测标签。训练模型时，实验参数设置与实验4一样。 4.3. 韵律单元预测实验的结果与分析 本文采用客观评价方法衡量预测模型的性能，客观评价方法是指利用客观测量的手段，将通过模型所标注的结果与原有的人工标注结果进行比对，利用准确率P、召回率R和F值作为模型性能评估标准，其定义如式(3-1)、(3-2)、(3-3)。 P = T N T N + F T × 100 % (3-1) R = T N T N + T F × 100 % (3-2) F = 2 × P × R P + R (3-3) 其中，TN为预测出并符合真实韵律单元的数量，FT为被预测为韵律单元但与事实不符的数量，TF是标记为真实韵律单元但未被预测出的数量。 将本文提出的BERT-CRF模型与CRF、BiLSTM、BiLSTM-CRF以及BERT模型进行比较，实验结果如表1所示。 Table 1 Experimental results of different models predicting the boundaries of prosodic unit 模型 韵律词 韵律短语 P (%) R (%) F (%) P (%) R (%) F (%) CRF 65.95 65.17 65.56 64.07 63.05 63.55 BiLSTM 72.21 70.20 71.19 67.90 62.27 64.96 BiLSTM-CRF 76.91 74.39 75.63 69.30 67.67 68.52 BERT 77.71 76.12 76.78 75.85 74.51 75.07 BERT-CRF 78.51 76.84 77.57 78.04 77.19 77.60 表1. 不同模型预测韵律单元边界的实验结果 从表1可以看出以下几点结论： (1) 在数据集相同的情况下，本文提出的基于BERT-CRF模型的缅甸语韵律单元边界预测效果相对更好，韵律词和韵律短语的准确率、召回率、F值都明显提高了； (2) 对比BiLSTM与BiLSTM-CRF模型、BERT与BERT-CRF模型的实验结果，发现BiLSTM-CRF和BERT-CRF模型的预测效果更好，这证实了在基线模型BiLSTM、BERT的基础上加CRF层能够限制标签转移，降低错误序列，提高预测效果； (3) 对比BiLSTM-CRF与BERT-CRF模型，BERT-CRF模型优于BiLSTM-CRF模型。这是由于BiLSTM-CRF模型的字向量是由训练过程产生的，训练样本有限，而BERT-CRF模型的字向量是经过大规模样本的无监督训练获取的，另外BERT-CRF模型的字向量维数较高，融合到的上下文信息更丰富； (4) 对比韵律词与韵律短语的预测结果，除BERT-CRF模型外的其他四种模型，韵律词的预测结果显著优于韵律短语的预测结果，这是因为韵律词单元的长度较小，无需过多考虑到的上下词和语义等深层信息，而韵律短语的内部结构具有较为复杂，如句法结构、依存关系等等，这都会影响到韵律短语的预测；对于BERT-CRF模型，在训练中可以获取句子内部的长时信息，从而使得在预测阶段能考虑到过多的上下文信息，而且通过CRF层能够提高预测的准确性，所以韵律短语的预测效果提升得较为明显； (5) BERT模型虽然在一定程度上能捕捉到不同字间的不同特征，但由于该模型无法分辨不同上下文中的同一个字，而上下文关系对韵律单元预测尤为重要，所以韵律单元预测效果的提升有一定的限制； (6) 基于文本实现韵律单元预测的方法适用于语音合成的合成阶段，可用于构建大量的文本语料标注库，在一定程度上可减少人工标注的时间成本和经济成本，同时也可保证标注的一致性。 4.4. 语音合成实验 将基于BERT-CRF的韵律单元边界预测结果应用到HMM-DNN语音合成的前端文本分析和韵律处理中 [ 13 ]，本文在Ubuntu16.04下基于HTS-2.3平台构建了缅甸语语音合成系统，其框图如图6所示。文本分析是语音合成的前端工作，根据词典和规则解析出后端所需的信息与文本；韵律处理处于文本分析与语音合成之间，根据韵律预测模型或韵律规则对文本进行韵律标注；语音合成是后端，结合前端的音段信息与韵律标注信息训练声学模型，基于训练好的模型实现参数预测，最后利用参数合成器合成出声音。 图6. 缅甸语语音合成系统 对合成语音效果采用客观评测和主观评测方法进行评估。本文采用MCD (Mel Cepstral Distortion) [ 14 ] 评测作为语音的客观评测方法，该方法是指合成声音的MFCC特征与标准原始声音的MFCC特征之间的差距，数值越小，表示合成质量越好。本文随机挑选500句，将未考虑韵律信息的合成语音、加入韵律信息的合成语音分别与标准语音进行对比，实验结果如表2所示。 Table 2 Voice MCD evaluation result 语音 平均分 未考虑韵律信息的合成语音 18.13 加入韵律信息的合成语音 15.99 表2. 语音的MCD评测结果 语音的主观评测是人听到的主观感受。本文邀请15位听力正常且熟悉缅甸语的听者，依照平均意见评分(MOS) [ 15 ] 的标准，以双盲测试的方法对语音进行打分。听者对合成语句的自然度和连贯性进行主观评测，本文对听者的主观感受进行打分统计，实验结果如表3所示。 Table 3 Voice MOS evaluation result 语音 平均分 标准语音 4.52 未考虑韵律信息的合成语音 3.45 加入韵律信息的合成语音 3.96 表3. 语音的MOS评测结果 从客观评测结果可以看出，对待输入文本进行韵律单元预测能显著缩小合成语音与标准语音之间频谱参数的差距，提高合成声音的质量，同时通过主观评测又进一步验证了加入韵律信息的合成语音更加有助于提升听者对语音质量的满意度。这表明在缅甸语语音合成中，本文所提的韵律单元预测方法可以明显提升缅甸语语音合成的自然度。