DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 3. 映射模型的提出 完成了异构数据库中的数据提取之后，为了满足用户的需求，要对其实现模式转换，即从关系模式映射成XML Schema或者从XML Schema映射成关系模式，才能使得异构数据在互联网上实现彼此通信和共享 [ 13 ] 。 将关系模式映射为XML Schema模式其本质就是用Schema来记录关系数据库中的表参照关系、字段类型信息以及表中或者表间的约束关系等信息。 以往的基于表的映射技术采用的是DTD辅助完成数据结构映射，为了能够在DTD中对类型进行表述，一种解决办法就是使用参数实体，在DTD内部的参数实体中对#PCDATA的类型进行声明。例如： 参数实体声明 参数实体声明 实体引用表明元素money类型为integer 实体引用表明元素mount类型为float 而XMLSchema模式语言却拥有很多内建的数据类型，针对同样的问题，XML Schema的声明如下： 从以上的比较可以看出，采用DTD对XML进行约束存在着语法复杂等缺陷。本文借鉴以往的映射技术，通过对Schema的学习和研究，提出了从关系数据库(RDB)到XML Schema的映射模型RTXS(RDB to XML Schema模型，简称RTXS)。 首先，将数据库中的表T = (T1，T2，…，Tn)(n为数据库中表的个数)按照有相互参照关系的分为一个组，得到组G1，…，Gm(1 ≤ m ≤ n)，其中Gi = (Ti1，Ti2，…，Tis)(1 ≤ i ≤ m，1 ≤ i1，…，is ≤ n)。并将每一组中的表映射到一个Schema文件中，确保有相互参照关系的表在同一Schema文件中，以便对于XML文件进行参照方面的检验和XML数据向关系数据库数据转换时能够集中处理，提高效率。 然后，处理每一组中的表，将每一表的字段都映射到Schema中。具体过程如下： 第一步，将Schema中的根节点定义为 ； 第二步，根节点 下定义为各个表 节点，每个表节点的名称定义时取表名称为节点名称，这些节点相互不影响；Schema中定义节点的语法为 [ 14 ] ： 经过上述两个步骤，基本确定了Schema规范下的XML文档中的节点树，如图1所示： 第三步，将具体字段类型进行匹配映射，Schema中定义元素类型的语法如下 [ 15 ] ： 第四步，各种约束等的映射。这一步是关键的映射，也是Schema区别于DTD最主要的地方。具体如下 [ 16 ] - [ 18 ] ： ①定义主键(Primary Key)： ②主键参照(键引用) (Key Reference)： ③默认值(Default Value)、固定值(Fixed Value)约束定义： ④对于数据库中用户自定义的check约束，当约束数据的大小范围时，映射到Schema中如下： ⑤当约束为字符串的长度时，可以通过在Schema中使用 length、maxLength 以及 minLength 限定来进行映射约束： 至此，就完成了关系模式到XML Schema模式的映射。 完成了模式映射之后的Schema文件： 1. 可以对XML进行验证； 2. 当提取XML数据向数据库插入数据的时候，对于数据类型的转换映射起到标准参照的作用； 3. 除了对XML的规范，还使得XML中数据的意义表述出来，便于XML数据的网络发布应用和信息共享。
system: [SYSTEM]

user: 4. XML文件的生成 完成了模式的映射之后，接下来的工作是将数据库中的数据根据基于表的映射方法映射生成XML文件。 在表映射到XML中时根节点是 ，根节点 下是 图1. XML文档树形结构图 Priority Compute，简称TIPC)。算法描述如下： ①初始情况下，将各个表的优先级都置为1，设置各个表的访问标志为FALSE，并定义P(A)表示A表的优先级； ②遍历所有的表，设当前访问的表为A表，若A表无参照表，继续执行步骤②；若A表参照了B表，顺序执行以下步骤(有几个参照表执行下列步骤几次)： i比较A、B表的优先级， 若P(A) < P(B)，执行步骤ii； 若P(A) ≥ P(B)，将B的优先级置为A表优先级加1，即P(B) = P(A) + 1； 若B的访问标志为TRUE(表示B已经访问过)，访问B表，执行步骤②； 若B的访问标志为FALSE(表示B还没有访问过)，执行步骤ii； ii设A表的下一个参照表为B，执行步骤i；若A表无其它参照表，置A表的访问标志位TRUE，执行步骤③； ③判断是否所有表都已遍历，若还有表没有遍历，继续执行步骤②，否则，执行步骤④； ④结束。 整个算法可用如图2所示的框图表述。 TIPC算法就是在具有参照关系的表之间建立一个被参照的表优先级大于参照表的优先级，然后按照优先级从大到小的顺序提取各表中的数据生成XML文件，以保证当把XML文件中的数据插入目的数据库的表中时，不会发生参照约束错误。
system: [SYSTEM]

user: 5. 实验及结果 选择Oracle 11g为源数据库，MS SQL Server 2012为目标数据库，采用JDBC技术访问数据库，使用DOM解析器来完成对XML文件的解析与生成。通过中间件技术及相应的应用程序完成对数据库的访问操作以及对XML文件的操作。 实验所采用的数据库结构如图3所示。 数据库模式向XML模式映射的过程如下： 首先，从数据库中提取相应的信息，按照本文提出的映射规则生成描述表结构信息的Schema文件，如图4所示。 第二步，根据数据库中的表格参照关系利用TIPC算法计算表数据的插入先后顺序。 利用TIPC算法可得各表的插入优先级为P(vip) = 3，P(incomeshare) = 3，P(role) = 3，P(rightsmanage) = 3，P(except_c_o) = 3，P(exceptstate) = 3，P(goodssort) = 3，P(goodsl_stat) = 3，P(truck_stat) = 3，P(range) = 3，P(gl_distance) = 3，P(user1) = 2，P(relationship_5) = 2，P(truckinfo) = 2，P(con_ordsheet) = 2，P(station) = 2，P(relationship_7) = 1，P(ordersheet) = 1，P(distance) = 1。 第三步，按照基于表的映射规则以及上述计算的表提取优先顺序将关系数据库数据提取出来生成XML数据文件，XML数据文件(部分)如图5所示。 数据交换过程中，最主要问题包括数据类型、数据本身映射的准确性，以及映射效率。由于XML Schema所提供的数据类型远多于DTD所能提供的数据类型，所以在数据类型、数据本身映射的准确性上，本文所提出的RTXS模型的优点是明显的。为了比较两者的映射效率，针对DTD进行了同样的试验，结果发现利用RTXS模型完成本例表结构以及所用全部数据库数据，从源数据库到目标数据库迁移的时 图2. TIPC算法框图 图3. 试验所用数据库结构 间为2.112秒，而采用传统的基于表的映射方法则需要3.814秒。 由此可以证实RTXS模型，无论是在交换效率，还是在保证数据类型、语义信息的完整性方面等都优于原来的基于标的映射模型。
system: [SYSTEM]

user: 6. 结论 本文针对以往数据交换时数据映射方面存在效率不高、数据类型丢失，以及语义信息不完整等问题，通过把基于表的模型驱动映射方法与XML Schema相结合的思想，提出了改进的基于表的映射方法。试 图4. 描述表结构信息的Schema文件(部分) 图5. 描述数据库数据的XML文件(部分) 验研究证明这一方法很好地实现了数据从数据库到XML的映射，与以往的方法相比较，数据安全、交换效率都得到了提高，为异构关系数据库系统实现数据交换提供了新的解决方案。
system: [SYSTEM]

user: 摘 要 提供面向领域的信息增值服务是Web数据挖掘的目标之一，面向领域的Web数据抽取与集成是提供领域信息增值服务的基础，也是Web数据挖掘领域的一个主要研究方向，结合领域需求，本文提出一种面向领域的Web数据抽取与集成架构，在给出Web数据模型与Web数据模式、领域数据模型和领域数据模式等相关概念基础上，提出Web数据模式与领域数据模式的映射方法和数据层次上的集成方法，用于解决集成过程中的模式层次和数据层次的冲突问题，并讨论了web数据抽取和领域增值服务的实现方法。结合实际需求开发了房地产信息平台及综合应用系统，验证了模型和算法的有效性。 关键词 :Web数据模型与模式，领域数据模型与模式，领域数据抽取与集成，领域增值服务
system: [SYSTEM]

user: 1. 引言 大数据时代，随着越来越多的企业和组织机构在Web上发布大量的信息，从成千上万的网页中抽取和集成这种海量数据的能力正变得越来越重要。通过Web数据抽取与集成，使人们能够获取和整合来自不同Web数据源的数据，以提供面向领域的增值服务。 为了提供面向领域的数据增值服务，我们需要从大量异构的网站中提取各种数据并集成为一个统一的数据库平台，并在此基础上开发面向领域的增值服务，这其中面临的主要问题包括 [ 1 ] - [ 7 ] ：如何从海量异构网页种高效抽取各种源数据；如何解决不同网页抽取数据在模式层次和实例层次的冲突问题；如何建立的领域数据集成模，以及集成模式与各种不同类型网页数据模式的映射关系；如何在领域数据集成模式的基础上建立面向领域的服务模型等主要问题。 目前，针对web数据抽取与集成问题的相关技术研究主要体现在如下两方面。 在web数据抽取研究方面的研究 [ 1 ] [ 2 ] [ 7 ] [ 9 ] [ 10 ] ，Web数据抽取是一个关于从网页中抽取目标信息的问题。其中包含两大问题：即从自然语言文本中抽取信息和从网页中抽取结构化数据。这里重点讨论结构化数据抽取。Web结构化数据通常是从后台数据库获取数据记录，并按照一定的模板展现在网页上。Web数据抽取技术是从20世纪90年代开始研究，目前有关web数据抽取技术可以分为三种主要类别：1) 包装器编程语言和可视化平台，2) 包装器归纳，3) 自动抽取。其中前两种方法的缺点是无法处理大量站点和网页情形，并且如果站点频繁更新的话，维护的开销会很大。自动抽取可能会抽取大量无用数据，需要复杂数据模式和数值的匹配，效率不高。 同时，随着web技术的发展，在web数据抽取领域又出现一些新的问题亟待解决，其中包括：隐含web数据库抽取、基于动态链接的web页面数据抽取、基于用户验证码的web数据抽取和基于图模式的web页面数据抽取等问题。 在web数据集成研究方面的研究 [ 2 ] - [ 4 ] [ 6 ] ，对于领域应用需求来讲，需要从大量的网站中提取数据并集成，以便通过领域增值服务，在此情况下，需要把从各个网站提取的数据集成为一个统一的数据库，这是因为不同的网站往往使用不同的数据格式。对不同的Web数据表而言，集成意味着匹配出表示同类信息的表或列，或者匹配语义相同但表达方式不同的值，然而，目前对这方面的信息集成的研究非常少，大部分的研究都是针Web收索界面集成问题。 目前，web数据集成研究所面临的挑战是如何解决web数据的动态集成问题，这不仅涉及不断涌现的新的web数据源的，也涉及同一个web数据源的信息的内容虽时间也在不断的丰富和变化。 本文在分析Web结构化数据特点和领域需求的基础上，提出了基于领域模型的web数据抽取和集成架构；在引入了Web结构化数据模型、Web表模式和领域模型的基础上，给出了web数据抽取与集成、模式建立与模式映射的算法，并结合房地产领域的实际应用需求设计实现了面向房地产领域的web数据抽取与集成系统，验证了上述模型和算法的有效性。
system: [SYSTEM]

user: 2. 面向领域的web数据抽取与集成架构 面向领域的web数据抽取与集成架构如图1所示，在该架构中所要完成的工作包括， 1) 集成模式与web模式的建立：依据某一领域的网站页面数据的特点和该领域的数据特点，在关系数据模型的基础上，建立领域web数据模型和领域数据模型，并依据上述模型针对领域中不同的网站分别建立web数据模式和统一的领域数据集成模式； 2) Web数据抽取及抽取方法库的建立：由于领域数据源包含大量的采用不同开发技术和网页数据展现方式的网站，很难采用一种通用的抓取技术来实现对这些网站数据的高效抓取，因此，必须对不同类型的网站采用不同的数据抓取方法，建立面向领域的Web数据抽取方法库。依据网站web数据模式和网站采用的技术特点，选择合适的web数据抽取方法，实现网站web数据高效抽取，并采用XML等规范化的标准格式进行存储； 3) 模式映射及映射规则库的建立：由于从不同网站抓取的数据在模式上和领域数据集成模式存在模式冲突问题，所以需要对每一个网站的Web数据模式建立到集成模式的模式映射规则集，以解决数据集成过程中的模式冲突问题，其中包括，实体冲突、属性冲突和完整性约束冲突等问题； 4) 数据集成及集成规则库的建立：由于从不同网站抓取的数据在属性值和属性约束上和领域集成数据库存在实例冲突问题，所以需要对每一个网站的Web抓取数据建立到集成数据库的数据清洗规则集，以解决数据集成过程中的实例冲突问题。 图1. 领域web数据抽取与集成结构 5) 领域服务及服务模型库的建立：领域数据抽取与集成的目的是提供面向领域的增值服务，所以必须针对领域中不同客户群体的需求，建立不同信息服务模型，实现面向不同客户群体的领域决策支持、公众信息查询和内容推荐等服务，实现领域信息的增值服务。 由于web信息的动态性，即web信息不断丰富和演变的特点，领域web数据抽取和集成系统应具有如下两方面自适应特性： 1) 领域集成模式的演进性，一方面随着市场和企业的经营的发展，企业数据资源的内容和种类也在不断的丰富和增长；另一方面随着web技术的发展，企业和政府部门用于组织和展现数据的技术方法也在不断的更新，这就要求系统的集成模式必须采用一种演进的方式来适应这种变化。 2) 领域数据抽取与集成的演进性，领域数据抽取与集成是一种对领域数据不断积累的过程，集成系统必须采用数据的增量抽取与集成方式来解决领域新增数据的集成问题。
system: [SYSTEM]

user: 4. 模式映射与数据集成 4.1. 模式建立与模式映射 为了实现面向领域的web数据集成，首先要依据领域需求和领域所涉及的web数据源的页面特点，分别建立领域集成模式和web表模式，并完成web表模式到领域集成模式的映射 [ 10 ] - [ 13 ] 。领域模式建立与模式映射的过程如图2所示。 1) 模式建立，依据网站页面的数据格式和领域的数据需求，建立网站页面对应的web表模式和领域集成模式； 2) 模式映射，建立web模式到领域集成模式的模式映射规则，在建立模式映射规则的过程中首先完成属性匹配，然后完成实体匹配，并逐步完善领域的集成模式；当网站页面的web表模式发生变化时需要重新进行模式映射。 属性匹配是完成web模式中的数据项到集成模式中的属性匹配，而实体匹配是完成web表模式中的web表到集成模式中的实体匹配。这其中涉及到的主要操作包括：集成模式中的属性扩充、实体扩展、领域约束完善和web表模式与集成模式映射规则的完善。上述操作的具体算法思路描述如下。 图2. 模式建立与模式映射流程图 属性扩充：扩充领域实体的属性，前提条件是Web表模式中含有领域模式中不包含的属性，通过对领域模式中的实体扩展属性可解决； 算法思路 1) 在领域模式M_N中增加新属性Ai_N ADD_M_Attr_set(Ai_N， Ai_Type， Ai_constr) 2) 在对应的领域实体M_Ej中增加属性Ai_N APPEND_ M_Ent_set (M_Ej A_Nj)； 3) 修改Web表模式中的映射规则集 MODI_W_ Table(W_Mapping _set)； 4) 完善领域约束集M_constr_set MODI_ M_constr(M_constr_set)； 实体扩展：增加领域模式实体，前提条件是Web表模式中含有领域模式中不包含的实体，而且不能通过实体属性扩展来解决，为此要通过增加领域模式中的实体来解决。 算法思路 1) 在领域模式M_N中逐个增加新出现的属性 ADD_M_Attr_set(Ai_N， Ai_Type， Ai_constr) 2) 在领域模式中增加新实体 ADD_ M_Ent_set (Tj_N， Aj_SET， Tj_constr)) ( Ai_N∈Aj_SET)； 3) 修改Web表模式中的映射规则集 MODI_W_ Table(W_Mapping _set)； 领域约束完善：由于集成模式中原有实体属性的增加和新实体的扩展，需要对领域约束进行补充和完善，具体包含两种情况： 1) 在原有实体中增加属性 当增加的属性为关键字(或关键字的一部分)时，需要调整实体之间的对应关系； 当增加的属性为非关键字时，不需要调整实体之间的对应关系； 2) 增加新的实体 需要根据新增实体的关键字属性与其它实体中的关键字属性的依赖关系确定新增实体与其它实体的对应关系。 web模式映射规则完善：在模式映射过程中，只要发生属性增加和实体扩展，都需要修改和完善web模式中的映射规则。分两种情况处理： 1) 增加新的属性时，增加属性映射规则； 2) 增加新的实体，增加实体映射规则。 4.2. 数据集成 在完成模式层次上的映射之后所面临的问题是如何把抽取到的数据集成到领域集成数据库里，以便利用这些集成后的数据提供领域增值服务。 数据层次上的集过程如图3所示，所要解决的关键问题包括 [ 13 ] [ 14 ] ，1) 如何高效查找集成数据库中与抽取到的数据的记录相匹配的记录(比如抽取数据以XML文档格式存储)；2) 当存在匹配记录时，如何依据属性的完整性规则修改集成数据库中匹配记录的相应属性值；3) 当不存在匹配记录，需要插入新的记录时，如何依据属性的完整性规则建立新记录的相应属性值。在修改已存在记录的属性值和设置新记录的属性值时，都依据属性的完整性约束解决属性的类型转换、异常值处理、空值处理、值域转换等问题。为了解决上述问题，需要依据属性的完整性约束和实体中属性的依赖关系建立领域数据清洗规则，其中包括，匹配记录的判定规则、属性完整性约束规则等。 1) 相同记录的判定规则：为了快速实现web抽取纪录与集成库中的相同纪录的判定，需要采用合理的数据库元组分块策略，以减少相同纪录的判定的比较代价(比较次数)； 2) 完整性约束规则：包括： 类型转换规则：将抽取数据的数据项类型转成集成数据库对应实体的属性类型； 异常值的处理规则：当抽取的数据出现异常值时，如何依据完整性规则进行修正； 空值的处理规则：当抽取的数据出现异常值时，采用属性依赖规则或属性约束进行适当处理， 属性值域扩展规则：当属性出现新的合理值时，需要扩充相应属性的值域，即修改完善属性完整性规则。
system: [SYSTEM]

user: 5. WEB数据抽取与领域增值服务 5.1. WEB数据抽取 Web数据抽取过程如图4所示，分三个主要阶段： 图3. 数据集成流程图 图4. Web数据抽取流程图 1) 寻找领域种子URL， 2) 依据URL队列获取网站的页面； 3) 获取页面中所需要的数据。 由于不同的网站采用不同的技术(包括网站设计开发技术、数据传输的方式和展现的形式等)，这决定了在实现web数据抽取的过程中，对于不同类型的网站必须采用的不同的数据抽取方法，这其中涉及到的关键技术包括：URL队列管理机制、页面获取方法、页面数据的抽取方法等 [ 7 ] - [ 10 ] 。 URL队列管理机制：由网站页面中的超链接关系建立网站页面的DOM树，依据网站页面中的超链接性质(静态链接和动态链接)采用不同页面搜索遍历方式(广度优先搜索遍历和深度优先搜索遍历)； 页面获取方法：包括单页面获取方法和多页面自动获取方法。在单页面获取方法中，必须依据网站页面采用的数据传输和展现的方式(比如AJAX技术)，获取所要抽取的数据值；在多页面自动获取方法中所要解决的问题包括，如何获取通过多个页面展现的一类web数据和通过页面只展现部分记录的后台数据库的全部记录。 数据的抽取方法：由于获得的网站页面数据包含大量的无用的噪声数据，数据的抽取方法就是解决如何依据页面的模式定位和解析目标数据，并以规范的格式存储等问题。 5.2. 领域增值服务 WEB数据抽取与集成的目的是提供面向领域的增值服务，如图5所示，开发领域增值服务需要在建立领域集成数据库的基础上解决面向领域新要求的数据接口、外模式、服务模型和领域服务三个层面的问题。领域增值服务依据领域中不同客户群体的需求不同而不同。领域增值服务是建立在领域集成模式的外部模式基础上，通过服务模型来描述合实现的，同时为了实现上述服务对领域集成数据库的高效访问，需要建立统一的数据访问接口。
system: [SYSTEM]

user: 6. 系统实现-房地产大数据平台及综合应用系统 6.1. 系统概述 系统结合实际应用项目需求，依据不同城市房地产行业相关备案信息的网上发布情况，开发的基于房地产大数据平台的城市地产信息资源综合应用系统。 系统结合实际应用需求，依据不同城市房地产相关备案信息的网上发布和各城市发布网站的技术特点，将发布网站分为不同类型，并建立对应不同类型网站数据抽取方法库；建立统一的城市房地产数据集成模式和各城市发布网站对应的web数据模式；建立了不同网站的web数据模式到集成模式的模式映射规则库；建立不同城市网站抽取的web数据到集成数据库的集成方法库；结合领域实际需求，实现了面向政府监管部门的市场监测服务、面向开发商企业的决策支持服务、面向银行和税务部门的房产评估服务、面向公众的查询服务，以及面向开发商、经纪人和购房者的网上交易服务等。 图5. 领域增值服务层次结构 6.2. 模式建立及映射 系统依据房地产领域的信息需求，结合各个城市商品房备案数据发布系统的信息特点，建立了城市房地产大数据平台的集成模式和各个城市商品房备案数据发布网站的web模式，并建立了城市发布网站的web模式到大数据平台的集成模式的映射关系。构成城市房地产大数据平台的逻辑结构。由于篇幅的关系，这里只讨论大数据平台中的有关商品房的核心数据，其中包括不同城市的楼盘、楼栋和户信息。 领域集成模式，包括：领域属性集(楼盘信息属性集、楼栋信息属性集和户信息属性集)、领域实体集(楼盘信息实体、楼栋信息实体和户信息实体)、领域约束集(一个楼盘包含多个楼栋，一个楼栋只能属于一个楼盘；一个楼栋包含多个户，一个户只能属于一个楼栋)； 网站web模式，对每一个城市商品房备案数据发布网站中的楼盘、楼栋和户信息的页面建立的对应的web模式，即，包括楼盘信息web模式、楼栋信息web模式和户信息web模式。 web模式到集成模式映射，对每一个城市的楼盘信息web模式、楼栋信息web模式和户信息web模式，首先建立与领域集成模式中属性集的属性映射规则，然后建立到领域集成模式中楼盘信息实体、楼栋信息实体和户信息实体的实体映射规则。 6.3. 数据抽取与集成实现 6.3.1. 数据抽取实现 目前，系统已实现40余个城市商品房备案信息发布网站有关数据的定期抽取与更新(如表1所示)，这其中涉及的关键问题包括：网站类型分析和抽取方法库的建立；分布并行快速抽取的实现机制；防爬虫、图形数据识别、查询界面验证码等问题的解决。 6.3.2. 数据集成实现 数据集成所要解决的问题是将已经抽取完的每个城市的楼盘、楼栋和户数据装载到领域集成库中并保证数据的一致性。通过数据预处理和数据装载两阶段来实现。 数据预处理，依据属性映射规则，分别对每个城市的抽取的楼盘信息、楼栋信息和户信息的抽取数据中的每条记录的每个数据项进行预处理，这其中包括：数据项的类型转换、异常值处理和空值处理等操作。 数据装载，依据领域集成模式中的实体约束集合和模式映射中的实体映射规则，分别对每个城市已预处理完的的楼盘信息、楼栋信息和户信息的所有记录分别装载到集成数据库中楼盘信息表、楼栋信息表和户信息表中，并保证数据的一致性。算法流程如图6所示。 Table 1 Statistics data of cities have been extracte 城市 许可信息 楼盘 楼栋 户型 北京 7610 2212 12，348 881，294 上海 17，404 5404 307，450 3，512，295 广州 8927 1321 63，231 1，669，550 深圳 2908 1561 10，430 1，140，545 沈阳 6221 1567 30，733 1，945，833 长春 3033 748 15，667 943，307 哈尔滨 1116 539 9257 885，683 。。。 。。。 。。。 。。。 。。。 总计(40个城市) 160，651 35，926 772，732 31，019，981 表1. 已实现的城市发布网站抽取数据的信息量统计 图6. 页面抽取数据装载流程图
system: [SYSTEM]

user: 7. 结束语 本文通过对现有的Web结构化数据抽取方法的分析，结合领域Web数据的分析结果和领域应用需求，从提供面向领域信息增值服务角度，提出一种面向领域的Web数据抽取与集成架构、Web数据模型与Web数据模式、领域数据模型和领域数据模式；并给出Web数据模式与领域数据模式的映射方法、数据层次上的集成方法、web数据抽取和领域增值服务的实现方法；结合房地产领域的实际需求，开发了房地产信息平台及综合应用系统。目前该研究领域需要进一步解决的问题是如何在突破网站的防爬虫技术、图形数据识别、查询界面验证码等问题的基础上，高效地实现面向领域的大规模非结构化Web数据的抽取与集成。
system: [SYSTEM]

user: 摘 要 针对传统分割方法处理具有复杂性、多样性的室外彩色图像存在明显不足，本文提出一种融合Gabor纹理特征的室外彩色图像均值偏移分割方法。首先，采用Gabor滤波器组对图像进行纹理特征提取，将特征进行多方向融合降低特征维度。然后将纹理特征与图像像素的位置、颜色特征融合到均值偏移分割算法中，实现图像的区域分割。对比分水岭分割、传统均值偏移分割方法等，本方法能有效的控制过分割和欠分割的产生，能得到较好的分割效果。 关键词 :彩色图像分割，均值偏移，Gabor纹理特征提取
system: [SYSTEM]

user: 1. 引言 彩色图像分割是目前数字图像处理的一个重要研究方向，作为目标检测的基础将图像根据同性特征进行分割，过细的分割会增加检测的难度和复杂度，过粗的分割会导致错误的检测结果。常用的彩色图像分割方法主要分为基于边缘、基于区域、和基于像素的分割。基于边缘分割方法使用边缘检测算子求梯度等方法获得图像边缘，将边缘连接起来构成闭合边界，该方法对灰度平滑的对象可以获得较为精确的边界，但对图像纹理边界检测效果较差，不易获得完整的边界。基于区域的分割方法主要有区域生长、区域分裂与合并以及分水岭分割等，其中区域生长和区域分裂与合并依赖于种子点位置的选取以及合并的终止条件难以针对不同尺度区域进行自动化分割，分水岭分割算法受制于噪声和梯度的局部不规则形，易导致欠分割或过分割。基于像素分割方法主要有k均值等特征聚类分割方法，k均值分割结果完全依赖于设定的初始聚类种数，不适宜用于具有目标多样性、不确定性的室外场景分割。 室外场景彩色图像的特征空间分布随机且变化连续，数字图像的采样噪声和光照变化增加了图像的无规律性、复杂性，所以采用融合颜色、空间、纹理多维特征有利于取得更好的分割效果。Fukunaga [ 1 ] [ 2 ] 等人提出的均值偏移(Mean Shift)分割算法近年来在自然场景图像分割中得到了广泛的关注，该算法使用非参数概率密度估计方法，融合空间、色度信息，通过迭代过程对图像进行滤波，根据滤波结果的区域增长实现图像分割。文献 [ 3 ] 中使用快速MS以及自适应MS [ 4 ] 分割方法对自然场景图像都获得了较好效果。然而传统的Mean Shift分割方法只考虑图像的颜色和空间信息，导致图像分割精度提高有限，易产生过分割现象。根据纹理不依赖颜色、亮度，能较好反映物体同质现象的重要特征，使用纹理特征进行分割可以将具有相同或相似纹理的景物独立完整的分割出来，有助于避免产生过分割、提高分割结果的准确性和完整性。在纹理特征提取方法中Gabor纹理特征提取方法与人类视觉系统对于频率和方向的表示较为一致，并且具有较强的容噪能力，因此本文考虑结合Gabor提取图像的纹理特征改进一般Mean Shift图像分割算法，使之对具有较强纹理特征的室外场景彩色图像进行分割获得良好的分割结果。
system: [SYSTEM]

user: 2. Mean Shift分割算法 Mean Shift算法在解决任何问题都是将其转化成连续非参数化的概率密度估计问题。即将与每个像素关联的特征向量(例如位置和颜色)模型化为来自某个位置概率密度函数的样本，然后使用梯度求导、迭代漂移的方法寻找在此分布中的峰值(模态)，将输入空间中能够攀登到同一峰值的区域部分标记归并为同一个类中，最终完成图像的分割。Mean Shift方法主要步骤为进行概率密度估计、求密度梯度、中心点迁移及区域中心提取。 2.1. Mean Shift基本思想 集合S h 是一个距离中心像素点x 0 距离小于h的d维空间n个样本点的集合。在x 0 处的概率密度估函数表达式 [ 1 ] 如下： (1) 其中K(x)为核函数，h为窗宽。根据概率密度函数 在局部最大值或最小值处 ，可以利用核函数密度梯度计算获取聚类中心，对(1)式求梯度计算得： (2) 其中 为归一化常数， 是核函数 的轮廓函数，且 。由密度梯度推导可以得到沿梯度方向的偏移向量 [ 1 ] [ 2 ] ： (3) 式中， 。均值位移向量即为 周围邻居 的加权平均与 当前值的差异，其在多维空间中均值位移向量指向与函数梯度 相同的方向。由公式(3)可以看出Mean Shift算法是一个迭代过程，均值偏移向量沿着该概率密度的梯度方向移动，根据当前位置的概率密度大小而不断调整步长，最终，多次迭代迁移后收敛到聚类中心，文献 [ 5 ] 证明了Mean Shift算法的收敛性。 2.2. Mean Shift图像聚类分割 Mean Shift方法应用到图像分割中即将图像中的像素点映射到空间和颜色构成的高维空间中使用概率密度估计表示，根据梯度下降原则求出延梯度下降方向每次迭代的偏移量即均值位移向量，进行多次迭代找到同一类别的聚集中心点——模态。在均值位移过程中，模态(即聚类中心) 的当前估计在第k次迭代中被其局部加权平均所取代，迭代公式如下： (4) 式中，x 0 表示聚类中心点，k表示迭代次数，G是上一节提到的核函数的轮廓函数的导数函数也是一种核函数。 由于图像中的点包含空间和颜色两种信息，因为两种信息尺度标准并不一致，因此作为权重的核函数使用多元核函数，表如下式： (5) 得到聚类中心后计算外围样本点计算其到中心的距离可以判别所归属的类别并进行标记，根据标记结果可以得到分割结果。
system: [SYSTEM]

user: 3. 融合Gabor纹理特征的彩色图像分割算法 室外自然场景图像中通常具有区域性纹理特征，仅使用颜色进行分割易造成过分割等问题，因此在分割过程中考虑融合纹理特征 [ 6 ] 。目前常用的纹理特征提取方法主要有灰度共生矩阵和Gabor滤波器等，由于Gabor函数可以在频域不同尺度、不同方向上提取相关特征，并且Gabor滤波器的频率和方向与人类视觉系统对于频率和方向的表示较为一致，因此本文使用Gabor小波进行纹理提取。 3.1. Gabor纹理特征提取 Gabor提取纹理特征主要分三个步骤，首先设计一组Gabor滤波器，构建Gabor滤波器组；其次在多方向和多尺度上对图像进行Gabor滤波卷积，最后对每一个方向和尺度的滤波器图像进行纹理特征的描述，提取所需要的纹理特征数值。 针对二维图像本文所使用的二维Gabor滤波器函数如下： (6) 其中， 和 是其在 和 坐标轴上的标准方差，表征空间域中高斯函数的带宽， 是高斯函数的复调制频率。 使用不同尺度和方向的一组Gabor滤波器可以很好的提取出图像的纹理特征。将 作为一个基函数，对其进行尺度扩张和旋转变换，得到一组Gabor小波滤波器组，其公式如下： (7) (8) 为尺度因子，m，n为整数， ， 是Gabor滤波器组的方向数，m为尺度参数，n为方向参数。 假设 是一幅图像， 是Gabor小波函数，针对不同的 和 有不同 函数， 的二维Gabor变换可以定义为如下式子： (9) 使用上述公式对图像进行Gabor卷积可以得到m个尺度n个方向下的纹理图 考虑到使用 维特征进行聚类会导致时间效率大大降低，因此参考文献 [ 7 ] ，针对每一尺度各个方向，按照融合规则将每个像素点各个尺度上4个Gabor方向特征转化为二进制编码 (10) (11) 其中， 和 是像素点 在不同方向上的Gabor特征的实部和虚部， 和 是每一方向所对应的二进制代码。将这些二进制代码按照顺序排列起来形融合成一个十进制的数字，每一个数字可以代表一个方向的融合特征。 (12) (13) 最终每个像素得到3个尺度上的多方向Gabor特征， 。 3.2. 多维特征均值偏移 在图像处理过程中每一像素点 包含三类信息：坐标空间(spatial， ， )，颜色空间(本文针对彩色图像)(range， ， 或 )，纹理特征(Texture， )构成其特征空间，因为三者属性截然不同因此考虑使用多元核密度估计方法。 根据上述纹理特征提取方法得到图像像素的纹理空间特征( )，将纹理信息与像素的空间位置及颜色信息融合，得到图像中任意像素点处的融合后N维特征向量： 。 综合空间、颜色与纹理属性信息的多元核函数公式如下： (14) 其中，2是空间维数，p是色度向量的维数，q是纹理向量的维数。 分别是位置、色度和纹理向量； 分别是空间带宽、色度值域带宽和纹理特征带宽。 核函数用于度量集合中每一个样本与中心样本之间的相似度。通常采用的核函数由Gauss核函数和Epanechnikov核函数，较Epanechnikov核函数而言高斯核函数具有更平滑的轨迹，在模态附近步长大小控制能力更强，因此本文采用Gauss核函数： (15) 基于N维融合特征的Mean Shift迁移向量如下式： (16) 3.3. 彩色图像分割 使用多维特征核函数法对整幅图像进行偏移迭代直至满足停止准则(偏移距离小于设定值或迭代次数达到最大值)，该过程将空间位置近似的、颜色性质差异小的像素收敛到近似的模态，得到聚类的中心 ，将图像中与中心点Y所有空间距离小于 ，颜色距离小于 ，纹理距离小于 的 像素点划分到对应类别 中去，并设置其类别标识 将聚类结果分为不连通的小块。设定阈值M，将面积小于阈值的区域合并到周围区域中，得到最终分割结果。
system: [SYSTEM]

user: 4. 实验结果及分析 实验数据来自气象台观测场提供的摄像头拍摄周围环境图像，包含80幅大小为800 × 600的观测场图像。通过前人大量实验表明一般纹理方向的识别使用4到6个方向就可以满足分类的要求，本文选取使用4 × 3的Gabor滤波级基如图1，即4个方向分别是0、30、60、90度，3个尺度 ，共12个滤波器。每一个滤波器对图像进行卷积滤波得到12个不同尺度不同方向的Gabor滤波结果，使用二进制编码降维后得到3个尺度下的纹理特征。 为验证提出方法的有效性，从中选取20幅彩色图像进行分割试验，设计了对比试验。实验根据经验调整 参数，对比了传统分水岭分割算法、以及Rutgers大学Robust Image Understanding实验室开发的基于固定带宽Mean Shift算法以及本文提出的方法。 图1. 一组Gabor基样例 图2. 不同算法分割结果对比 Table 1 OCE value of segmentation between EDISON and our metho 方法名称 房屋 树木 绿地 天空 道路 EDISON 0.282 0.334 0.054 0.010 0.126 本文 0.274 0.326 0.045 0.010 0.123 表1. 本文分割方法与EDISON分割方法OCE值比较 由实验结果可以看出使用分水岭分割方法结果不够准确，使用传统Mean Shift分割方法获得较为细碎的分割结果(如2中的栅栏、树丛部分)，本文方法对于具有纹理同质区域有较好的保护作用，在一定程度上抑制纹理区域内部变换所造成的过分割问题，能获得较好的对象边界信息。 为了评价分割结果，本文选用了图2中图像进行定量对比分析。对彩色图像分割结果进行评价的标准有很多 [ 8 ] [ 9 ] ，本文选择根据Mark [ 10 ] 等人提出的基于对象一致性误差(OCE)的图像分割评价标准，其具有客观性，对过分割和欠分割都较为敏感。OCE比较参考对象(O)与实际分割对象(R)的差别满足 ，当 时，表示分割结果与实际完全相符，因此OCE值越小说明分割结果与实际越吻合，分割方法越好。因此将图2分割结果根据房屋、树木、绿地、天空、道路进行分类，计算相应OCE值，得到如表1所示结果。
system: [SYSTEM]

user: 5. 结论 本文融合Gabor纹理特征于Mean Shift分割算法中，充分利用室外图像的复杂性、多样性以及具有丰富纹理的特点，使用融合纹理特征、位置特征和颜色特征形成的多维特征Gauss核函数进行Mean Shift聚类，实现了室外场景彩色图像的自动化分割，分割结果更符合人的视觉感知。对于本文的融合纹理信息的Mean Shift算法中 参数的选择对分割结果会产生较大影响，因此对 参数的选择是今后有待进一步研究的方向。
system: [SYSTEM]

user: 摘 要 针对传统视频监控系统监控功能单一的不足，本文以TMS320DM8168为核心处理器，设计了一套智能监控系统，实现了从摄像头到TMS320DM8168的数据传输、进行算法处理并将数据通过RTP打包经网络传输到Android客户端显示的整个通路，为后续智能监控的有效实施搭建了良好的平台。经测试，该智能监控系统平台有较好的实时性与可实施性。 关键词 :DM8168，智能监控，Android，RTSP
system: [SYSTEM]

user: 1. 引言 随着科学技术的不断进步，视频监控也从早期的以摄像头、电视机(监视器)为主的模拟视频监控发展为现如今的网络数字视频监控。而随着高清摄像头的普及，视频数据也越来越大，对于智能监控而言，需要处理的数据也就越多，这就增加了处理难度。本世纪初，随着国内外芯片公司(如TI，Philips等)推出高性能的DSP产品，使得处理大数据量的音视频成为了可能。 2010年，TI公司推出了一款达芬奇数字媒体处理器TMS320DM8168 [ 1 ] ，该处理器集成了两个高清视频协处理器M3、一个C674x浮点DSP内核、一个ARM A8的CPU，为高清视频监控提供了强大的解决方案。 目前而言，视频监控在实际应用中主要是以摄像头单纯的记录输出为主，配合监督人员实时查看，或者是发生异常情况(如遇盗窃)后查看记录，真正实现智能监控的还比较少。而随着高性能DSP、网络以及智能移动终端设备的普及，智能监控的应用也将越来越广泛，如银行、家庭、停车场等等。文献 [ 2 ] 实现了在TMS320DM8168下的视频监控，并且通过RTSP协议能够将视频数据发送至网络，但是没有实现加入算法的功能。为此，本文主要实现了基于TMS320DM8168智能监控系统的通路，通过摄像头采集视频，并进行相应的算法处理，经RTP打包发送至网络，并在智能移动终端上能够实时查看。
system: [SYSTEM]

user: 2. 系统方案 本文采用TMS320DM8168 (以下简称DM8168)作为系统的核心处理器，该系统将实现视频的采集显示通路，并且同时将智能监控算法加入其中，然后将处理后的数据通过RTP打包发送至网络，用户在智能移动终端上可以进行实时查看。考虑到手机存储空间有限，该系统在DM8168端还实现了数据的采集存储与加入算法后的存储，方便用户在事后查看监控记录。总体框图如图1所示。 摄像头将采集到PAL或者NTSC制式的视频数据传入该系统，先经过解码芯片转换成YUV格式的数据，然后送入DM8168进行相应的处理。首先，M3VPSS协处理器可以对相应视频数据进行显示，用户可以直观的看到摄像头面对的场景，或是保存在SATA硬盘中，以便于日后调用查看监控记录。框图中的DSP算法模块含有一个DM8168集成的C674x浮点DSP内核，频率为1GHz，通过MCFW软件框架可以直接将YUV视频数据流从M3 VPSS核引入DSP核进行算法处理，这里的算法处理只需要将不同的智能监控算法在相关接口函数编写实现即可。算法处理后的数据通过M3 VIDEO协处理器编码成H264码流传入A8核，此时也可以将算法处理后的数据保存下来。在进行RTP打包时，从A8 图1. 系统方案框图 处取得H264码流，按照RTP协议对码流进行封包并发送至网络。最后，用户在智能移动终端联网即可查看。
system: [SYSTEM]

user: 3. 系统软件设计 本文采用了TI公司提供给开发者的多通道视频处理软件框架(Multi channel framework， MCFW)方案，并将RTSP服务器方案移植到该框架内，并且加入算法以及算法处理后的保存数据链路，再通过RTP打包发送至网络，在智能移动终端可以实时查看。 3.1. 多通道视频处理软件框架 TI公司推出达芬奇数字媒体处理器TMS320DM8168时，为了提高开发者的效率，提供了DVR RDK开发包，该开发套件最重要的一点是采用了多通道视频处理软件框架(MCFW)，其已经将底层封装好，直接提供上层的节点(link)接口供开发者使用 [ 3 ] ，大大简化了开发流程。图2为DVRRDK中针对多通道视频通信的软件框架。 Link的主要功能是将视频数据流串起来，可以分别送至不同的核里进行处理。如能够送入M3核进行采集显示或H264编解码，或是送入DSP核进行算法处理。例如在M3 VIDEO核里，开发者只需要将H264编码的link与编码前后的link链接起来，并且配置好H264编码的相关参数，M3 VIDEO将自己完成H264编码工作，开发者无需关心link以及编码的具体实现，只需要将相关的link按规则配置链接起来即可 [ 5 ] 。 3.2. 基于DM8168实现RTSP服务器 本文在MCFW框架下实现了RTSP服务器方案。通过MCFW的link链接，首先将采集到的模拟视频数据解码为YUV格式的数据，经过去噪(NFS)、去隔行(DEI)等相关link链接实现对视频数据的预处理。然后经过H264编码发送至Cortex A8端，当有RTSP客户端请求时，RTSP服务器即可进行RTP打包发送。 3.2.1. RTSP服务器实现 当DM8168将采集的视频数据通过M3 VIDEO协处理器编码成H264码流后，将通过Cortex A8放 入事先开辟的缓存中。在此RTSP服务器中，因为涉及到RTSP会话交互以及RTP打包发送 [ 6 ] ，将使用多线程设计程序。首先，服务器开启一个子线程从A8端获取H264码流并进行RTP打包且发送至网络，另外，服务器还需要开启另一个子线程，该线程主要负责与RTSP客户端进行会话。RTSP会话主要包括OPTIONS、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、GET_PARAMETER和SET_PARAMETER [ 7 ] ，当服务器收到客户端发来的PLAY请求后，服务器就会按照交互约定的协议进行RTP发送。 3.2.2. RTSP服务器实现算法链路 本文的目标是实现智能监控，若DM8168将采集到的视频数据经过一系列预处理后进行H264编码后发送至网络，这其实和早期的监控没有多大的区别，并没有实现智能监控。所以，本文在H264编码前加入了算法链路，如图3所示，其中ALG link将视频数据引入C674x+DSP核上进行算法处理 [ 8 ] 。处理器之间的流程也就是将M3 VPSS→M3 VIDEO→Host A8变成M3 VPSS→DSP→M3 VIDEO→Host A8。 图2. 多通道软件框架 [ 4 ] 图3. link链路流程图 同时，在M3 VIDEO→Host A8的过程中，实现了将数据保存在SATA硬盘上，以便事后用户查看记录。本文作为前期的探讨实验阶段，目的是打通整个智能监控系统的通路，只加入了简单的图像处理算法(如二值化)验证整个通路的可行性，后续只需要将AlgLink_algProcessData()函数中的数据算法处理部分修改为相应的算法即可。在AlgLink_algProcessData()函数中，首先从缓存里取出YUV格式的视频帧数据，然后对YUV数据进行算法处理，处理完成后交给M3 VIDEO核进行H264编码并进行下一步处理。
system: [SYSTEM]

user: 4. Android RTSP客户端实现 社会在不断进步的同时，人们的安全意识也在不断增强，使得大多数安防等特殊人员抑或是普通居家居民希望能够时刻掌握自己安装在某处摄像头下的实时情况。而随着智能移动终端与4G网络的普及，只需要在终端上安装一款针对该摄像头开发的对应APP后，联网即可查看摄像头对应的场景。本文实现了基于Android的针对本文智能监控系统的一款RTSP客户端APP。 4.1. Android介绍 Android是Google公司于2007年发布的一款基于Linux平台的智能移动终端操作系统。由于其开源性，一经推出便受到广泛欢迎。最新统计数据表明，Android系统市场占有率高达63.8%，成为使用最广泛的智能移动终端操作系统 [ 9 ] 。正因为Android系统的高占有率，许多开发者乐于投身其中，目前也出现了许多优秀的开源项目和开源库。 Android开发使用的集成开发环境大致有两种，一种是eclipse，里面集成有ADT插件，第二种是Google于2013年5月新推出并且大力提倡使用的开发环境Android Studio。现在，Google将Android Studio作为官方的Android开发环境，其相比eclipse而言，优化了编程效率以及增加了一些新的功能。 4.2. Android RTSP客户端实现 本文的RTSP客户端是基于Android系统开发的手机端APP。首先，在布局文件中定义VideoView组件，用它可以显示视频内容，并且定义一个输入框，用以输入URL，再定义一个播放按钮，当用户需要查看监控内容时，点击该按钮即可。这时程序将根据输入的URL链接到服务器端获取视频数据，该程序运行流程如图4所示。 当客户端获取数据后，将进行RTP拆包，并且进行解码显示。现在的Android版本基本上都支持RTSP协议，RTP拆包与解码显示，只需要在Activity里直接调用相关的库函数即可完成。
system: [SYSTEM]

user: 5. 测试结果及数据分析 本文设计的智能监控系统服务器端运行在DM8168上，显示客户端运行在Android手机上，当用户点击播放按钮时，服务器与客户端进行交互，然后客户端从服务器端获取RTP封包，并进行拆包解码显示。图5所示的是Android RTSP客户端通过联网显示由DM8168经网络发过来的视频数据，其中(a)图是没有加入算法直接看到的场景，(b)图是加入二值化算法后呈现的效果。通过实验可以看出，该算法通路已经可行。 要做智能监控，有一个重要的条件必须考虑，那就是延时，若是延时太大，用户不能及时发现意外情况，这会直接导致损失。所以，延时的大小直接决定整个系统的优劣性。而造成延迟的主要因素有：视频编解码时间、整个链路传输时间以及客户端缓冲时间等。本系统测试了不加算法直接在客户端显示的延时以及加入二值化算法后的延时，测试结果如表1所示。 可以看出，延迟时间能有效控制在能接受的范围。 图4. RTSP客户端运行流程图 图5. Android RTSP客户端显示图 Table 1 The delays on Android RTSP clien 不做算法处理 二值化算法 延迟时间 1.7s 1.9s 表1. Android RTSP客户端延时测试
system: [SYSTEM]

user: 6. 总结 本文设计了基于TMS320DM8168的智能监控系统，完成了整个智能监控系统的服务器与基于Android的RTSP客户端的通路，并且加入了算法链路接口，后续只需要在该算法接口上加入特定的智能监控算法即可完成相应的智能监控功能。测试结果表明该系统有较强的可行性与实时性，且有一定的可拓展性与实用价值。
system: [SYSTEM]

user: 摘 要 测量矩阵作为压缩感知理论的核心内容，对信号的测量和重构会产生重大影响。本文主要基于m序列构造压缩感知测量矩阵。首先，给出一种压缩率为0.5的测量矩阵构造方法，利用该方法构造的测量矩阵元素取值集合较小，具有一定的循环特性。其次，结合有限域的理论，对利用m序列构造的测量矩阵做进一步改进，改进后测量矩阵的压缩率取值范围增大加。仿真结果表明：本文构造的测量矩阵的重构性能优于同大小的Gause测量矩阵，避免了随机性测量矩阵的不确定性，具有一定实用价值。 关键词 :压缩感知，测量矩阵，m序列，RIP，列相关性
system: [SYSTEM]

user: 1. 引言 压缩感知理论主要包含信号的稀疏表示、测量矩阵的构造和重建算法的设计三个方面的内容，其中，测量矩阵的构造是压缩感知理论的关键问题 [ 1 ] - [ 3 ] 。测量信号是否包含了原始信号的足够信息决定着能否精确重构，且测量矩阵的好坏对后端的重构也有很大的作用。在压缩感知理论中，对测量矩阵矩阵的约束并不是非常严格的，Donoho在文献 [ 4 ] 中给出的CS1-CS3三个条件表明大部分一致分布的随机矩阵都可作为测量矩阵。2005年，E Candès和T. Tao共同给出了测量矩阵的有限等距性质(Restricted Isometry Property，简称RIP) [ 5 ] 。利用RIP性质可以用来证明一个矩阵是否可以作为测量矩阵，RIP性质被公认为是关于测量矩阵的一个重要理论。除RIP外，可用来衡量某一矩阵是否能作为测量矩阵还有其它一些理论，例如零空间条件 [ 6 ] 、相关性理论 [ 7 ] 等。 测量矩阵按照产生方式，可划分为随机性、部分随机性和确定性三类。Gause测量矩阵和Bernoulli测量矩阵属于随机性的测量矩阵，在理论上被证明都可以用做测量矩阵，但具体电路实现起来复杂，占用大量存储资源，而且只在概率统计意义下满足重构要求，并不能保证每一次的测量都包含了信号的全部信息。部分随机性的测量矩阵相比随机性的测量矩阵减少了一些随机性，大多数情况下是行随机，主要有部分Fourier矩阵和部分Hadamard矩阵。他们的基本构造思路都是从正交方阵中随机性地抽取行来构造量矩阵，可以证明，这两种测量矩阵都在较高概率下具有一定阶数的RIP 特性，满足压缩感知对测量矩阵的要求，但是随机抽取行的方法仍有导致测量失败的可能。压缩感知理论被提出后，很多学者对确定性的测量矩阵的构造进行了研究。文献 [ 8 ] 提出通过利用有限域中多项式的取值构造了 ( 为素数， 为自然数)的测量矩阵；文献 [ 9 ] - [ 12 ] 都是利用混沌序列来构造测量矩阵，从仿真实验的结果来看，比同等大小的Gause测量矩阵效果要好，但利用混沌序列构造的测量矩阵仍是稠密的，占用存储空间较多；文献 [ 13 ] 基于离散Chirp编码构造了 的测量矩阵，重构性能与Gause测量矩阵相当，但不适用于维数过小的情况；文献 [ 14 ] 利用二阶Reed-Muller码构造了 的测量矩阵；文献 [ 15 ] [ 16 ] 基于好的低密度奇偶校验码(LDPC)来构造测量矩阵，但对矩阵的行、列数要求严格。本文利用m序列构造了一种压缩率为0.5的测量矩阵，从理论上证明了该矩阵可以作为测量矩阵使用，并结合有限域的理论对其进一步扩展，扩展后测量矩阵行、列取值相对更加自由，可适应的压缩率范围大大提高。仿真实验表明本文所提出的测量矩阵优于同等大小的Gause测量矩阵，具有一定的循环特性和稀疏性，有一定实用价值。
system: [SYSTEM]

user: 2. 基本理论 为便于叙述，这里将信号 抽象记为一个 维向量，稀疏性指的是信号 中非0元素的个数较少。稀疏信号的集合用 表示， ，其中 表示 中非0值数目，当 时，称 满足 阶稀疏性。对 进行压缩观测即是： (1) 其中 ，是一个 的矩阵，称为测量矩阵， 是 维的观测值， 称为测量次数， 称为压缩率。压缩测量的过程实际是将一个 维的向量投影到一个 维空间上，若是投影 中包含重构 需要的所有信息时，利用 来恢复 是有可能的。对于(1)式，当 时，是一个求解欠定线性方程组问题，一般情况下有无穷多组解。当我们增加了 满足 阶稀疏性的这个前提条件后，只需再对 做一些要求和改变，确定唯一的 是有可能的。文献 [ 17 ] 指出：在 满足 阶稀疏性的前提下，若 的任意 列都线性无关，通过求解如下的问题： (2) 可获得一个关于 的唯一确定解，这个确保唯一性的条件也是容易理解的，但这个求解问题是一个NP-hard问题。当 满足零空间特性或是一定阶数的RIP特性时，该问题可进一步转化为如下问题的求解： (3) 问题 属于一个凸优化问题，可以利用线形规划的一些现有办法来求解，其中RIP特性 [ 5 ] 定义如下：如果存在常数 ，使得 (4) 对任意 都成立，则称 满足 阶RIP特性， 称为RIP常数。 文献 [ 18 ] 指出，若 满足 阶RIP特性，且RIP常数 时，那么对于任意 ，用矩阵 对信号 进行测量，根据观测值 可唯一重构出信号 。 式(4)给出了RIP特性的定义，RIP特性是一个验证测量矩阵能否用于压缩感知的有力工具，但是验证一个矩阵的RIP特性仍是一个NP-hard问题，且RIP特性仍是个充分条件，并不是必要条件。Gause测量矩阵被证明满足RIP特性，作为测量矩阵可行，但是真正的随机性测量矩阵实现起来十分困难，并不能保证每一次具体的测量能够满足重构。 易知，一个矩阵的列相干性 是相对容易计算的。对于矩阵 ，定义其列相干性为： (5) 文献 [ 19 ] 给出了列相干性 的一个下界，称为Welch界： (6) 文献 [ 7 ] 指出：若矩阵 的列相干性为 ，那么 满足RIP常数为： (7) 的 阶RIP特性。本文主要从矩阵的列相干性出发考虑，利用m序列来构造测量矩阵。