system: [SYSTEM]

user: 3. 基于属性显著度的记录相似度算法 在本节，本文提出了一种基于属性显著度的计算记录相似度算法。首先，定义一个基于属性显著度度的记录相似度算法，然后通过构造一个二部图来建模属性与记录对之间的关系。最后，详细介绍了基于二部图的属性显著度的迭代算法，该算法同时估计了实体解析中记录对的相似度和属性的显著度。 3.1. 基于属性显著度的相似度 传统的TF-IDF方法对文档(记录)中的频繁项赋予较高的权重，并使用逆文档频率因子对常见或禁用词进行惩罚。类似地，TW-IDF度量也更喜欢记录语料库中的频繁词汇，因为它们将与滑动窗口中的许多其他词汇同时出现，并在术语图中充当中心。然而，在确定匹配记录对时非常重要的判别项可能没有很高的TF分数。例如，楼盘数据集中的频繁属性详细地址，可能在一条记录中只出现一次，但是它们在判断两个楼盘是否是同一个时具有很高的区分度。虽然TF-IDF或TW-IDF中的IDF因子也有助于提高这些属性的权重。但是IDF是一种通用的度量方法，无法区分数据集中真正有区别的属性和低频噪声属性。 本文提出了一种基于属性显著度的相似度算法。它首先通过小样本数据集估计每个属性的显著度:在相似的记录对中计算某些属性值匹配个数占总体匹配数的比例，其值越高意味着这些匹配对记录对相似的贡献度就越大；对应地，在不匹配的记录中计算某些属性值匹配的个数占总体不匹配数的比例，其值越高意味着这些属性对匹配的贡献度越低，进而用以惩罚这些属性的贡献度，最后，两者共同确定属性显著度。 定义1. 属性正证据：在相似的记录对中计算某些属性值匹配个数占总体匹配数的比例，其值越高意味着这些匹配对记录对相似的贡献度就越大。 P S A m = | { ( r i ， r j ) | r i ≈ σ r j ， A m ( r i ) ≈ θ A m A m ( r j ) } | | { ( r i ， r j ) | r i ≈ σ r j } | ， 0 < m < M ， 0 < i ≠ j < N (5) 其中分子 | { ( r i ， r j ) | r i ≈ σ r j ， A m ( r i ) ≈ θ A m A m ( r j ) } | 表示达到相似度阈值 σ (达到即为匹配)的记录中，某个属性 的匹配个数，分母 | { ( r i ， r j ) | r i ≈ σ r j } | 表示达到相似度阈值 σ 的记录对个数(即匹配个数)。 定义2. 属性负证据：在不匹配的记录中计算某些属性值匹配的个数占总体不匹配数的比例，其值越高意味着这些属性对匹配的贡献度越低，进而用以惩罚这些属性的贡献度。 N S A m = | { ( r i ， r j ) | r i ≠ τ r j ， A m ( r i ) ≈ θ A m A m ( r j ) } | | { ( r i ， r j ) | r i ≠ τ r j ， ∃ A n A n ( r i ) ≈ θ A n A n ( r j ) } | ， 0 < i ≠ j < N ， 0 < m ， n < M (6) 其中分子 | { ( r i ， r j ) | r i ≠ τ r j ， A m ( r i ) ≈ θ A m A m ( r j ) } | 表示低于阈值 τ (低于即不匹配)的记录中，某个属性匹配的个数，分母 | { ( r i ， r j ) | r i ≠ τ r j ， ∃ A n A n ( r i ) ≈ θ A n A n ( r j ) } | 所有低于阈值 τ (即不匹配)的记录对。 那么单个属性综合显著度公式可以表示如下： S A m = P S A m − N S A m (7) 为解决 P S A m ， N S A m 可能不在同一量纲上的问题，可表示为 S A m = P S A m ⋅ ( 1 − N S A m ) (8) 然后通过将显著度公式与基于图论的公式相结合，形成了本文的基于属性显著度的相似度算法。本文以递归的方式定义了属性综合权重 A S t 和记录相似度 s ( r i ， r j ) ： A S t = S A m ∑ i ≠ j w ( r i ， r j ) s ( r i ， r j ) s ( A m ( r i ) ， A m ( r j ) ) (9) S ( r i ， r j ) = ∑ i ≠ j ， t ∈ r i ∧ t ∈ r j s ( A m ( r i ) ， A m ( r j ) ) ∗ A S t (10) 其中 w ( r i ， r j ) 表示 r i 和 r j 指向相同实体的概率( i ≠ j )。将其初始化为1。在公式(9)中，如果共享该属性的所有记录对都指向同一个实体，则将高权重 S ′ A m 赋给该属性。换句话说，这些配对同时具有高相似度 S ( r i ， r j ) 和高匹配置信度 w ( r i ， r j ) 。 S A m 是一个随机采样的属性显著度的样本值，其值用于惩罚不具有区分性的频繁共享属性。 s ( A m ( r i ) ， A m ( r j ) ) 为 r i 和 r j 的某一属性的属性值相似度。随着公式(9)的收敛， A S t 为修正后的记录综合属性显著度(属性综合权重)。递归式(10)中的记录相似度 S ( r i ， r j ) 被直接定义为同一属性的属性显著度和其属性值相似度乘积的和，值得范围在(0，1)之间。根据定义，如果 r i 和 r j 不共享任何属性，则 S ( r i ， r j ) 被设为0。本文接下来用改进的二部图表示属性和记录对之间的关系。 3.2. 构造属性–记录对之间关系的二部图 属性和记录对之间的关系可以通过二部图来表示。如图2表示了二部图 G ( R ， W ， T ) 的一个示例，其中有两种类型的节点：一种是属性值(术语)节点集T，表示记录对中包含的属性；另一种是记录对节点集R，表示一对记录。属性值节点集T和记录对节点集R通过加权边集W来相连。设t为属性值节点， ( r i ， r j ) 为记录对节点。当属性值t同时出现在 r i 和 r j 记录中时，节点 和 ( r i ， r j ) 才相连。如果一对 ( r i ， r j ) 没有共享任何属性节点，则可以认为这对记录不匹配，并将其排除在二部图之外。本文为每个节点都设置了一个权重参数。对于属性值节点t，其权值 A S t 表示其对实体的识别能力，即属性显著度;对于一个记录对节点 ( r i ， r j ) ，其权值 s ( r i ， r j ) 表示对应记录对的相似度—— S ( r i ， r j ) 越大， ( r i ， r j ) 表示同一实体的可能性越 属性值节点集T和记录对节点集R通过加权边集W来相连。权值 w ( t i ， t j ) ∈ W 是 r i 与 r j 之间的匹配概率。本文在下节通过随机游走算法来估计两个记录的匹配概率 w ( r i ， r j ) 。它控制从记录对节点转移到属性节点的权重。如果两个记录 r i 和 r j 不匹配，那么我们认为它们的共享属性值节点没有为这对记录的相似度做出贡献。 图2. 记录对–属性二分图 3.3. 基于二部图的属性显著度的迭代算法 本文提出的基于二部图的属性显著度的迭代算法综合了SimRank公式(1)、公式(2)和PageRank公式(3)、公式(4)的优点，并具有以下特点： 1) 本文用 S A m 来惩罚属性显著度不高的频繁属性。即公式(8)。 2) 本文构造了一个加权的属性–记录二部图，来估计两个记录指向同一实体的概率 w ( r i ， r j ) 。即公式(9)。 3) 本文还通过基于记录图的随机游走算法来估计加权二部图的权值(详见第4节)。 上述的算法1首先： 1) 在(0， 1)随机初始化 A S t (算法第1行)。 2) 如果 s t 不收敛，则对记录对 ( r i ， r j ) ，他的相似度 s ( r i ， r j ) = ∑ t ∈ r i ∧ t ∈ r j A S t 进行循环(2~4行)。 3) 将 s ( r i ， r j ) 输入回 A S t 循环并标准化 A S t (5~7)，如此迭代，直到收敛。