system: [SYSTEM]

user: 3. 相关概念及理论 3.1. 相关概念及评价方法 实体概要： 由一个特殊的标识符和一组属性名和属性值组成的元组 { 〈 a 1 ， v 1 〉 ， 〈 a 2 ， v 2 〉 ， 〈 a 3 ， v 3 〉 ， ⋯ ， 〈 a n ， v n 〉 } 。在这里用 A ε = { a 1 ， a 2 ， a 3 ， ⋯ ， a 4 } 表示与实体集合 ε = { p 1 ， p 2 ， p 3 ， ⋯ ， p n } 相关联的一组有匹配可能性的属性集。实体 集合 ε 是一组实体记录。如果两个实体记录 p i ， p j ∈ ε 指向现实世界同一个对象那么它们是匹配的( p i ≈ p j )；实体解析(ER)是识别给定的实体集合 ε 中相匹配实体记录的任务。 实体解析主要分为两种情况： 1) Clean-Clean ER：输入两个无重复的实体集合 ε 1 和 ε 2 ，并对来自不同数据源中的实体概要 { ( p i ， p j ) | p i ∈ ε 1 ， p j ∈ ε 2 } 进行比较，对Clean-Clean ER最直接的解决方法需要 | ε 1 | × | ε 2 | 次比较； 2) dirty ER：输入含有重复记录的集合 ε ，并对所有可能匹配的实体概要进行了比较。最直接的解决方法是执行 | ε i | 2 次比较。 | ε i | 是一个实体集合 ε i 的基数。 实现实体解析的有效途径是对实体概要进行适当的模块划分，即根据模块划分键(索引准则)索引相似的实体概要，将实际的比较限制在同一块中，以减少实体解析算法复杂性。使用 β = { b 1 ， b 2 ， ⋯ ， b i } 表示一组块集合，它的基数 ‖ β ‖ = ∑ b i ∈ β ‖ b i ‖ ，其中 ‖ b i ‖ 是块 b i 中的比较次数。 本文使用召回率(PC)和精准率(PQ)来评估块集合 β 的质量 [ 7 ]。 P C ( β ) 指检测到的重复实体概要与实际重复实体概要之间的比值； P Q ( β ) 指的是实际的比较次数中有效的比较所占的比率。本文还引入了F 1 -score [ 7 ]。 公式： P C ( β ) = | D β | | D δ | ； P Q ( β ) = | D β | ‖ β ‖ ； F 1 ( β ) = 2 ⋅ P C ( β ) ⋅ P Q ( β ) P C ( β ) + P Q (β) D β 是在块 β 中出现的一组重复实体概要， D δ 是一组在集合 ε 中出现的所有重复实体概要。 通常情况下，模式未知的模块划分(元分块)可以保证较高的召回率(PC)，但牺牲了精准率(PQ)。低精确率(PQ)是由于多余的比较造成的：冗余的比较指重复的比较一组实体概要；多余的比较是对非匹配的实体概要进行的比较( p i ≈ p j )。 因此本文采用属性匹配归纳法和元分块方法来减少这些多余和冗余的比较，来提高实体解析算法的效率。 3.2. 属性匹配归纳法 属性匹配归纳法的目标是，在模式未知的情况下，在两个实体集合 ε 1 ， ε 2 中从属性值的分布规律中归纳出相似度较高的属性对组。可以利用这些信息来提高模式不可知的分块技术的效率。 属性匹配归纳法：给定两个实体集合 ε 1 ， ε 2 ，依据相似度测量来识别相似属性对 { 〈 a i ， a j 〉 | a i ∈ A ε 1 ， a j ∈ A ε 2 } ，并利用这些属性对来产生属性分区。即，将属性名称空间 ( A ε 1 × A ε 2 ) 划分成不重叠的子集。 属性对空间的聚类划分主要基于四个步骤：属性值转换、属性表示模型、属性对的相似性度量和聚类算法。 i) 属性值转换：给定两个实体集合 ε 1 ， ε 2 ，使用元组 〈 a j ， τ ( V a j ) 〉 表示实体集合中的每一个属性， a j ∈ A ε i 是一个属性名， τ 是一个属性值转换函数，生成一组从值 V a j 中派生出来的标记来表示属性 a j 存在于 ε 中。函数 τ 通常是一组文本转换函数(包括标记化、去除禁用词、词元化等)。给定一个转换函数 τ ， 两个实体集合 ε 1 和 ε 2 中可能的属性值就是 T A = T a ε 1 ∩ T a ε 2 ，其中 T a ε = ∪ a i ∈ A ε τ ( V a i ) 。 ii) 属性表示模型：用矢量 T i 来表示每一个属性 a i ，每一个值 v i n ∈ T i 与元素 t i ∈ T A 相关联。如果 t n ∉ τ ( V a i ) ，那么 v i n 就等于0。如果 t n ∈ τ ( V a i ) ，那么 v i n 就使用加权函数计算的值表示，比如：加权函数可采用TF-IDF(t n )，或者在 τ ( V a i ) 中的元素 t n 使用二进制表示(即：如果 t n ∈ τ ( V a i ) 那么 V i n = 1 ，否则 V i n 为 0)。例如：属性值转换 是将值转换成标记，采用二进制表示这些标记，然后把属性集被表示为一个矩阵：列对应于属性；行对应于实体集合中出现的可能的标记；如果标记 t n 出现在属性 a i 中，每一个元素表示为 V i n = 1 否则表示为0。 iii) 相似度测量：对于每一个可能的属性对 ( a j ， a k ) ∈ ( A ε 1 × A ε 2 ) 的相似度，是通过测量矢量 T i 和 T k 的相似性来比较的(比如：相似性函数可采用Dice，Jaccard，Cosine)。注意，相似性度量方法必须与属性模型表示兼容；例如，Jaccard的相似度不能与TF-IDF的权值同时使用。 iv) 聚类算法：该算法输入属性表示模型及其实体概要的相似度，对它们的属性名进行非重叠分区，它的输出是属性分区。 3.3. 元分块 元分块的主要思想是重组一个由冗余分块技术生成的块集合，观测两个实体概要共用的属性块越多，匹配的概率就越大，在重组的同时，将它们放在同一个块中。 元分块：给定一个块集合 β ，重构标记分块，采用剪枝策略生成一个新的块集合 ，在保证(PC)召回率不变的情况下提高了PQ (精准率)。即： P Q ( β ′ ) ≫ P Q ( β ) 以及 P C ( β ′ ) ≈ P C ( β ) 。 元分块图：使用加权图 G β { V β ， E β ， W β } 表示一个块集合 β 。 V β 表示所有 p i ∈ ε 的节点集。如果两个实体概要至少在同一个块中出现一次，那么两个实体概要之间存在一条边： E β = { e i j : ∃ p i ， p j ∈ ε | | β i j | > 0 } 是一组边； β i j = β i ∩ β j ， β i 和 β j 分别是包含 p i 和 p j 的两个块。 W β 是与边相关的一组权值。权值表示匹配的可能性；这是采用边修剪策略的基准，用来保留匹配可能性更大的边。 剪枝方法：在元分块技术中可以采用两种修剪方法，一种是基于基数的，指的是先确定比较的数量以及执行的时间然后依据 权重保留Top-k的边，但是这种方法牺牲了召回率；另一种是基于权值的，通过权重阈值来保留最有可能匹配的边。两种修剪标准都可以应用在局部或全局上。在第一种情况下，Top-k边和权重阈值 θ 可以应用在以节点为中心的剪枝策略中。即对每个节点及其相邻的边进行剪枝操作；在第二种情况下，Top-k边是在所有的边中选择的，阈值 θ 对于所有边都是唯一的。 剪枝策略：利用这些特征，可以组成四种修剪策略。权边修剪(WEP)去除所有的权值小于 θ 的边。基数边修剪(CEP)按降序对所有边进行排序，并且只保留前k个边。权值节点修剪(WNP)，依次考虑每个节点 n i 和它的相邻边，并修剪那些低于全局阈值 θ i 的边。类似于WNP的基数节点修剪(CNP)是以节点为中心的，但是不是一个权重阈值，而是采用了基数阈值 k i (即：为每个节点保留Top k i 个边)。 在修剪的最后，每一组由边连接的节点构成的连通图组成一个新的块。当两个相匹配的实体概要最终只能出现在同一个块集合中时，元分块就从根本上消除了冗余的比较。