system: [SYSTEM]

user: 4. 实验和评价 针对上一节中提出的方法，我们在本节进行实验验证。首先，我们介绍数据集。然后我们评价故事情节生成的性能，并展示我们提出的方法较于已有方法的优势。我们的算法包括两步，子事件检测和故事情节生成。有大量关于子事件检测的相关文献。我们从中选择一个成熟的子事件检测算法。因此我们不再评价子事件检测的性能。 4.1. 数据集和注解 数据集是依据新浪微博用子事件检测算法检测的子事件。子事件用6元组<时间、地点、参与者、核心词、描述词，描述>表示。我们请志愿者标注具有演化关系的子事件，即标注子事件所属的故事情节，具有演化关系的子事件为一个故事情节。我们用两种方式标注数据。两种方式的不同在于选择子事件数据集的方式。方式一为将某时间段内所有子事件作为标注使用的子事件数据集。方式二是与关键词相关的子事件作为子事件数据集。依据两种标注方式我们构造了三个数据集，基于方式一构造一个故事情节集，基于方式二构造两个故事情节集。DS11表示基于方式一从时间段2016年6月到2016年8月标注的故事情节集，该故事情节集包含416个子事件。DS21和DS22表示基于方式二构造的两个故事情节集。DS21是基于关键词丝绸之路标注的故事情节集，该故事情节集包含97个子事件。DS21是基于关键词萨德和亲信干政门标注的故事情节集，该故事情节集包含85个子事件。标注统计如表3所示。 4.2. 实验结果与分析 在本小节，我们首先介绍使用的评价指标。然后，我们介绍所有的对比方法。最后，我们呈现实验 Table 2 The example that some subevents are closer than others in a storylin Se_id Description se1 希拉里选择弗吉尼亚州联邦参议员蒂姆·凯恩（Tim Kaine）为副总统竞选搭档 se2 特朗普宣布彭斯为竞选搭档 se3 从希拉里和特朗普的民意调查来看，很难预测谁是赢 se4 美大选希拉里支持率全面领先，特朗普被批有偏见 表2. 相同故事情节下，一些子事件相似度更高的例子 Table 3 Annotation statistic 方式 故事情节集名称 故事情节集描述 时间段 DS11 从2016年6月到2016年8月标注的416个子事件 关键词 DS21 基于关键词丝绸之路标注的97个子事件 DS22 基于关键词萨德和亲信干政门标注的85个子事件 表3. 标注统计 结果并展示我们方法的优势。 4.2.1. 评价指标 在三个故事情节集中，子事件标注有故事情节。真实的故事情节集称为 C ( | C | = L ) 。基于算法生成的故事情节集成为 M ( | M | = T ) 。一般来讲， T ≠ M 。我们的方法可生产任意数量的故事情节。依据真实的故事情节集C和生成故事情节集M，我们构造一个混乱矩阵(confusion matrix) CM。 是真实故事情节C l 和生成故事情节M t 交集的基，即 C M ( l ， t ) = | C l ∩ M t | 。对任意标注故事情节 C l ∈ C ，我们用 t o p k ( C l ) 表示生成故事情节集中与其交集最大的top-k个故事情节。我们基于式 计算准确率和召回率。 P r e c i s i o n K = ∑ l = 1 L | C l ∩ t o p K ( C l ) | ∑ l = 1 L | t o p K ( C l ) | R e c a l l K = ∑ l = 1 L | C l ∩ t o p K ( C l ) | ∑ l = 1 L | C l | (14) 其中，C l 表示一个标注故事情节。 t o p k ( C l ) 表示生成故事情节集中与标注故事情节C l 交集最大的top-k个故事情节。|.|表示基，即集合中的元素个数。 ∩ 表示集合交集。计算准确率和召回率时，我们设置K = 2。 4.2.2. 对比方法 我们的方法(BTMDP + LineGen)首先用BTMDP学习子事件的主题结构，即为子事件生成主题嵌入表示。然后，我们的方法用LineGen生成故事情节。我们的对比方法如下所示： · DBSCAN：该方法用DBSCAN对子事件聚类。一个簇称为一个故事情节。 · NMF + DBSCAN：该方法首先用NMF生成子事件的嵌入表示，然后基于嵌入表示用DBSCAN对子事件聚类。一个簇称为一个故事情节。 · BTM + DBSCAN：该方法首先用BTM生成子事件的主题嵌入表示，然后基于主题嵌入表示用DBSCAN对子事件聚类。一个簇称为一个故事情节。 · BTMDP + DBSCAN：该方法首先用BTMDP生成子事件的主题嵌入表示，然后基于主题嵌入表示用DBSCAN对子事件聚类。一个簇称为一个故事情节。 · NMF + LineGen：该方法首先用NMF生成子事件的主题嵌入表示，然后基于主题嵌入表示用LineGen生成故事情节。 · LDA + LineGen：该方法首先用LDA生成子事件的主题嵌入表示，然后基于主题嵌入表示用LineGen生成故事情节。 · BTM + LineGen：该方法首先用BTM生成子事件的主题嵌入表示，然后基于主题嵌入表示用LineGen生成故事情节。 LDA + DBSCAN将所有的子事件聚到一个簇，我们展示LDA + DBSCAN的效果。在LDA、BTM和BTMDP中，吉布斯抽样迭代1000次。在需要指定主题数的NMF、LDA和BTM中，我们设定主题数为250。在LDA、BTM和BTMDP中，参数 α 和 β 分别为500和0.02。在NMF + DBSCAN、BTM + DBSCAN和BTMDP + DBSCAN中，我们使用的距离函数如式(15)所示。在NMF + LineGen、BTM + LineGen和BTMDP + LineGen中，我们使用的距离函数如式(16)所示。在LineGen中我们设置参数top-k为5。所有的结果是十次结果的平均值。 d i s ( s e 1 ， s e 2 ) = 1 − cos ( s e 1 ， s e 2 ) (15) d i s ( p 1 ， p 2 ) = 1 − 0.7 * J a c c a r d ( p 1 ， p 2 ) − 0.3 * cos ( p 1 ， p 2 ) (16) 4.2.3. 结果与分析 三个故事情节集，DS11、DS21和DS22，的准确率和召回率如图2所示。在三个数据集上，BTMDP + LineGen和BTM + LineGen的准确率和召回率的曲线在BTMDP + DBSCAN和BTM + DBSCAN之上。这说明LineGen方法的有效性。LineGen使用子事件的top-k个特征减小子事件特征的噪音和后序计算需要的时间。LineGen使用故事情节中子事件的特性，一些子事件的相似度更高，来提高准确率和召回率。BTMDP + LineGen比BTM + LineGen有更高或相等的准确率和召回率。BTMDP可自适应的学习合适的主题数，避免主题数过大或过小。BTMDP + LineGen和BTM + LineGen的准确率和召回率的曲线在DBSCAN之上，这说明子事件的主题结构有利于事件演化的挖掘。NMF + DBSCAN，NMF + LineGen and LDA + LineGen在三个数据集上比其他方法的效果更差，这说明对文档级别词共现模式建模的主题模型在短文本上得不到理想的效果。BTMDP是适用于短文本的主题模型。 我们也对比了我们的方法在不同的topk数下的实验结果，如图3所示。top-k为5的性能优于或等于top-k为all的性能。这说明，选择有区别性的特性对性能的提升有帮助。 图2. 三个故事情节集上的实验结果 图3. BTMDP + LineGen在不同的top-k下的实验结果