system: [SYSTEM]

user: 4. 实验分析 4.1. 实验数据集 本文实验用到3个公开数据集，分别是TVSum [ 22 ]、SumMe [ 23 ]、和VSUMM [ 5 ]。 TVSum数据集包含50个视频，包含车辆修理、派对聚会、宠物展示等类型的内容。SumMe数据集包含25个视频，包含体育竞赛、节日庆祝等主题，且视频均是未做后期处理的拍摄视频。VSUMM数据集包含100个经过后期处理的视频，时长均在10分钟以下，其中50个视频来自YouTube网站，包含卡通，新闻，体育，商业广告，电视节目和家庭视频这6种类型，另外50个视频来自open video project网站，主要以纪录片为主。TVSum和SumMe的标签是由20名测试者人工标注的重要性评分，VSUMM的标签是由5名测试者人工选取的关键帧。 为了更有效地训练模型，本文对这些数据集的标签进行转换。其中TVSum和SumMe的标签需要选择这20个人工标注的重要性得分的平均值，并缩放到区间[0， 5]之内；而VSUMM的标签则需要把相应的关键帧转化为重要性得分，最大值为5(即5名测试者都选择了该帧为关键帧)，最小值为0 (即5名测试者均未选择该帧)。 为了便于与其他模型作比较，本文采用大多数主流模型的数据集划分方法，即所有数据集均按照6:2:2的比例划分为训练集、验证集和测试集；同时将可能影响模型整体性能的卡通视频去除，即将VSUMM中的11个卡通视频移除数据集，保留剩余的89个视频。 4.2. 模型评价指标 为本文采用的评价指标包括F-score、关键帧冗余率KFRR。 F-score用于判断模型所生成视频摘要的整体表征能力。F-score由精确率pre和召回率rec计算得出： p r e = S s i m S m (16) r e c = S s i m S t (17) F - s c o r e = 2 ∗ p r e ∗ r e c p r e + r e c (18) 其中 S s i m 表示模型所生成的视频摘要与测试数据的视频摘要的重叠率，即生成摘要与测试摘要匹配的长度， S m 表示模型所生成的视频摘要的总长度， S t 表示测试数据的视频摘要的总长度。精确率衡量模型所生成摘要的总长度。精确率衡量模型所生成摘要相对于测试数据摘要的准确性，召回率衡量模型所生成摘要在测试数据摘要中的比重，是精确率和召回率的调和平均数，衡量两者的整体水平，即衡量模型所生成视频摘要的整体质量。 为了评估所提模型的去冗余效果，本文提出一种新的评估指标——关键帧冗余率，衡量在生成的关键帧序列中，图片的整体重叠率。本文将所生成关键帧序列的整体图片相似度，作为模型的整体关键帧冗余率： s i m ( x ， y ) = tanh ( ∑ i = 1 n ( x i − y i ) 2 ) (19) R c u r = ∑ i = 1 m ∑ j = 1 m s i m ( c u r i ， c u r j ) ( m − 1 ) ! (20) K F R R = ∑ i = 1 z ( R i ∗ T i ) T s u m (21) 公式(19)中 s i m ( x ， y ) 表示关键帧x与y的相似度， x i 和 y i 表示长度为n的图片特征向量中的每个值。公式(20)中 R c u r 表示模型对当前测试视频的关键帧冗余率，通过计算每个关键帧之间的相似度的平均值获得。公式(21)中 R i 表示当前测试视频的冗余率(即 R c u r 的计算结果)， T i 表示当前测试视频的时长， T s u m 表示所有测试视频的总时长，通过将每一个测试视频的冗余率加权平均获得KFRR，其值越小，表示模型的去冗余效果越好。 4.3. 实验过程和结果分析 本文实验采用opencv工具提取视频帧，并将视频帧序列下采样(每秒保留2帧)。特征提取模块采用预训练后的googLeNet网络；重要性得分获取模块由编码器和解码器构成，编码器由2个不同传输方向的GRU网络层组成，每层包含256个GRU，解码器由1个GRU网络层和注意力获取模块组成；视频摘要生成模块则采用3.3节所提算法生成摘要，根据上一模块获取到的重要性得分最大长度设置为8和相似度阈值设置为0.6。训练过程中，损失函数采用均方差函数，优化算法选择随机梯度下降算法，BatchSize设置为32，学习率设置为0.005。本文所提模型的视频摘要的生成流程如图5所示。 图5. 本文模型的视频摘要生成过程图 实验中用到的对比模型是VSUMM [ 5 ]、dppLSTM [ 14 ] 和SUM-attDecode [ 15 ]。其中VSUMM采用k-均值聚类算法生成静态视频摘要，dppLSTM和SUM-attDecode采用基于LSTM的Seq2Seq模型生成静态摘要和动态摘要，其中dppLSTM使用DPP算法去除冗余帧，SUM-attDecoder则使用动态规划算法去除冗余帧。 4.3.1. 比较F-score 本文首先模拟小数据集下模型的性能，仅使用上述3种数据集中的一种用于训练和测试模型，最终结果如表1所示。 Table 1 Comparison of F-score of different models under small datase 数据集 模型 F-score TVSum dppLSTM 54.7 SUM-attDecoder 52.9 本文模型 54.9 SumMe VSUMM 33.7 dppLSTM 38.6 SUM-attDecoder 38.2 本文模型 39.2 表1. 小数据集下不同模型的F-score对比结果 表1展示了在SumMe和TVSum两种数据集中，本文模型与各种主流视频摘要模型的F-score值对比结果。从表1可以看出，本文模型在SumMe和TVSum中都具有较高的F-score值。相比于dppLSTM和SUM-attDecoder，本文模型所采用的GRU参数更少，因此在数据集较少的情况下，可以采用更高的学习率，使模型快速收敛，从而达到更好的效果。 进一步地，本文通过数据增强，模拟大数据集下模型的性能，与文献 [ 14 ] 和文献 [ 15 ] 相似，将分别随机选取SumMe和TVSum中20%数据作为测试集，将剩余的80%数据和另外2种数据集合并作为训练集和验证集，数据增强后的实验结果如表2所示。 Table 2 Comparison of F-score of different models under large datase 训练数据集和验证数据集 测试数据集 模型 F-score SumMe + VSUMM + 80%TVSum 20% TVSum dppLSTM 59.6 SUM-attDecoder 58.9 本文模型 59.7 TVSum + VSUMM + 80%SumMe 20% SumMe dppLSTM 42.9 SUM-attDecoder 44.0 本文模型 44.3 表2. 大数据集下不同模型的F-score对比结果 从表2可以看出，相比于小数据集，本文模型在大数据集中的F-score提高了5到6点，证明本文模型在有充足的训练数据和验证数据的情况下，能收敛到更优的结果。同时对比其他模型在数据增强后的结果，再次证明本文模型具有更高的性能。 4.3.2. 比较KFRR 由于KFRR评估指标需要根据模型获取到的关键帧进行计算，因此实验中选择VSUMM和dppLSTM作为比对模型，对比结果如表3所示。 Table 3 Comparison of KFR 数据集 模型 KFRR TVSum VSUMM 0.71 dppLSTM 0.59 本文模型 0.53 SumMe VSUMM 0.78 dppLSTM 0.56 本文模型 0.45 表3. KFRR对比结果 由表3可以看出，本文模型的KFRR值在两个数据集中都保持较低水平，说明本文模型具有更好的去冗余效果。由于SumMe数据集均是原生视频，含有大量的冗余帧，因此本文模型在SumMe数据集中的去冗余效果更加明显。