system: [SYSTEM]

user: 3. 论文方法 基于已有算法的不足，我们提出一种挖掘事件演化的算法。社会网络文本具有不规范、文本较短等特性。单个微博可能只包含事件的部分信息。我们用已有的成熟的子事件检测算法检测能表示完成信息的子事件。事件间存在演化关系，文本间的词相似度不能有效挖掘演化关系。我们用主题模型挖掘子事件内在的主题结构。依据子事件的主题结构信息有效挖掘子事件的演化关系。 本节我们首先介绍挖掘子事件内在主题结构的融合狄利克雷过程的词对主题模型。然后，我们介绍基于子事件主题结构挖掘子事件演化关系的过程，即故事情节生成过程。 3.1. 融合狄利克雷过程的词对主题模型(BTMDP) 两个文本之间的相似性不仅取决于词共线程度，还取决于语义关联。主题模型是一种挖掘语义关联的方式。但传统的主题模型(如LDA和PLSA)遭受严重的数据稀疏短文本 [ 13 ] 。BTMDP在语料库级别建模词共现模式，因此BTM适用于社会网络的短文本。为了方便推导，我们先解释BTMDP使用到的符号，如表1所示。 其中，词对是由两个词构成的组合( w 1 ， w 2 )。假设一个文章的词集合为{计算机，应用，发展}，该文章的词对集合为{(计算机，应用)，(计算机，发展)，(应用，发展)}。 3.1.1. BTMDP的概率图模型和生成过程 Cheng等人 [ 14 ] 提出一个对整个语料库上词共现模式的生成过程建模的词对主题模型(BTM)。BTM需要提前指定主题数。BTM的时间复杂度为O (K|B|)。主题数K越大，模型需要的时间越多。主题数越小，主题的粒度越粗。最好的方式是模型自动学习合适的主题数。基于这个想法，我们提出一个融合狄利克雷过程的词对主题模型(BTMDP)。因为狄利克雷过程的特性，主题数不需要人工干预即可自动学习。BTMDP可以看成是BTM的无限扩展模型。BTM和BTMDP的概率图模型如图1所示。 当主题数K成为无穷时，BTM成为BTMDP。BTMDP的生成过程如下所示： Table 1 Notations of symbol 符号 注释 B 语料库中所有词对 B ¬ b 语料库除去词对b的所有词对 B z ， ¬ b 主题z的除去词对b的所有词对 Z 各词对的主题值 Z ¬ b 除去词对b的各词对的主题值 M 词库中词的数量 n z 主题z的词对数 n w | z 主题z下词w的出现次数 n t BTMDP学到的主题数 表1. 符号的注释 图1. BTM和BTMDP的概率图模型 (1) z b | θ ∼ M u l t i ( θ ) (2) ϕ k | β ∼ D i r ( β ) (3) b | z b ， { ϕ } k = 1 ∞ ∼ p ( b | ϕ z b ) (4) 其中“ X ∼ S ”表示X服从于S的分布。Multi()表示多项分布。Dir()表示狄利克雷分布。 3.1.2. BTMDP的推断过程 b是由两个词( w i ， w j )组成的词对。 p ( b | ϕ z b ) = p ( w i | ϕ z b ) p ( w j | ϕ z b ) 。与BTM相同，BTMDP没有直接对文章的生成过程建模。在主题学习过程我们不能直接推断文章的主题分布。Yan等人 [ 13 ] 认为文章的主题分布等于文章生成的词对的主题分布的期望。即： P ( z | d ) = ∑ b P ( z | b ) P ( b | d ) (5) P ( z | b ) = P ( z ) P ( w i | z ) P ( w j | z ) ∑ z P ( z ) P ( w i | z ) P ( w j | z ) (6) 在BTMDP中不能直接推断。我们采用吉布斯抽样近似推断。在讨论BTMDP的抽样算法前，我们先了解一个BTM的抽样过程。BTM中，词对b选择一主题的概率如式(7)所示。 p ( z b = z | Z ¬ b ， B ， α ， β ) ∝ p ( z b = z | Z ¬ b ， B ¬ b ， α ， β ) p ( b | z b = z ， Z ¬ b ， B ¬ b ， α ， β ) ∝ p ( z b = z | Z ¬ b ， α ) p ( b | z b = z ， B z ， ¬ b ， β ) ∝ n z + α / K | B | − 1 + α ( n w i | z + β ) ( n w j | z + β ) ( ∑ w n w | z + M β ) ( ∑ w n w | z + M β + 1 ) (7) p ( z b = z | Z ¬ b ， B ， α ， β ) ∝ n z | B | − 1 + α ( n w i | z + β ) ( n w j | z + β ) ( ∑ w n w | z + M β ) ( ∑ w n w | z + M β + 1 ) (8) p ( z b = K + 1 | Z ¬ b ， B ， α ， β ) ∝ p ( z b = K + 1 | Z ¬ b ， α ) p ( b | z b = K + 1 ， β ) ∝ ( 1 − ∑ k = 1 K p ( z b = k | Z ¬ b ， α ) ) p ( b | z b = K + 1 ， β ) ∝ α | B | − 1 + α β 2 ( M β ) ( M β + 1 ) (9) 当K趋于无穷时，词对b选择一个存在的主题的概率如式(8)所示。词对b选择一个新主题的概率如式(9)所示。根据词和词对的主题分布。我们可根据式(10)和式(11)评估主题的词分布和主题分布。 p ( w | z ) = n w | z + β ∑ w n w | z + M β (10) p ( θ z ) = n z + α / n t | B | + α (11) BTMDP的吉布斯抽样过程如算法1所示。因为空间限制，我们略去了吉布斯抽样的详细推导。原理和推导过程请参考 [ 13 ] [ 14 ] 。 3.2. 故事情节生成(LineGen) 观察发现，相同故事情节下，一些子事件的相似度更高。如表2所示，子事件se1和se2关于美国总统候选人选择竞选搭档。子事件se3和se4是关于总统候选人的支持率。首先，我们用pline（定义1）表示相似度更高的子事件集合。然后，我们基于DBSCAN的思想将pline聚成故事情节。 定义1：pline是一个子事件集合。Pline中所有子事件有相同的top one维度。我们用二元组 表示。其中(1) centroid是pline的中心，(2) selist是pline的子事件集合。 c e n t r o i d = ( c e n 1 ， c e n 2 ， ⋯ ， c e n K ) c e n i = ∑ s ∈ s e l i s t s i ∑ m = 1 K c e n m (12) 高维数据经常包含大量噪音特征，这不利于数据处理 [ 15 ] 。为了降低噪音和后序计算需要的时间。我们为每个子事件提取top-k个特征。假设我们子事件的嵌入表示有K维。t se 表示子事件的top-k个特征。子事件的表示如式(13)所示。 s i = { s i ∑ j ∈ t s e s j i ∈ t s e 0                     others (13) 其中，子事件由前top-k个维度的特征表示。除前top-k维度外，其它维度的值为0。例，K为4的一个子事件的嵌入表示为embed_representation (subevent) = (0.2， 0.3， 0.4， 0.1)，如果topk = 2，则representation (subevent) = (0，3/7，4/7，0)。