system: [SYSTEM]

user: 3. 气象文献知识图谱的构建 3.1. 气象文献知识图谱应用框架 气象文献知识图谱主要基于文献网站以及新闻网站的气象文本数据，如维普、万方以及百度新闻，利用知识图谱技术对气象文本数据进行管理和知识抽取，最终构建的气象文献知识图谱能够实现一些智能应用，包括文本数据的路径分析、关联分析、可视化和统计分析等。气象文献知识图谱应用框架如图1所示。 3.2. 气象文献知识图谱构建 3.2.1. 气象文献知识图谱构建基本方案 气象文献知识图谱的应用方案基本框架如图2所示，主要分为6层结构。 图1. 气象文献知识图谱应用框架图 图2. 气象文献知识图谱框架图 原始数据层：为了构建气象文献知识图谱，原始数据主要包括气象行业网站、百科、论文资源、新闻资讯等互联网文本数据，主要来源网站是气象科普、百度百科、维普资讯、万方以及百度新闻等。 互联网信息采集与清洗层：主要针对原始数据层中的开放互联网数据编写通用爬虫和特定的行业网站爬虫，将相应领域知识和数据采集存储到本地。 知识抽取层：知识抽取层主要是指D2R (Relational Data base to RDF， D2R)映射和行业网站抽取。D2R映射主要提供原始关系型数据库到气象图谱模式的文件映射(如表对应概念，记录对应实体，记录数据对应属性值等)和原始数据的多种更新方式。行业网站抽取主要利用包装器组件结构化相关气象知识，同时提供周期性的数据更新。 知识融合层：知识融合层包括模式融合和数据融合。对抽取获得的气象数据进行实体与概念的识别、实体合并、实体对齐、上下位关系学习、关联关系学习，把记录型气象数据转化为知识图谱形式的气象知识；同时提供自动实体的冲突检测，包括不同数据源造成的冲突和不同构建方法造成的冲突，并根据预定的冲突解决策略对融合过程中产生的冲突进行解决。 图谱存储层：基于Mongo DB的大规模三元组知识存储为所构建的气象知识图谱提供百亿级别以上三元组知识的存储与更新，保证知识图谱的流式处理流程中的效率；一方面支持底层数据经过知识图谱学习过程不断对知识图谱进行补充和更新，另一方面为上层高速的数据访问提供支撑。同时提供基于Elastic Search构建气象图谱的分布式文件索引。 图谱更新层：图谱更新层主要包括数据层更新和模式层更新。数据层的更新是指实体数据的更新，包括实体的添加和删减，修改实体的属性值等；模式层更新是指知识图谱本体中元素的变更，包括概念的增加、修改和删除，以及概念属性的更新 [ 17 ] 。 3.2.2. 气象文献知识图谱构建具体过程 在构建气象知识图谱之前，在气象领域专家的帮助下定义模式层，即定义知识图谱的图结构。在此，为了叙述方便，给出一个简单的图结构定义，包括实体类型、关系类型和实体属性，如表1，表2所示。 Table 1 Definition of entity types， relationship 实体类型 关系类型 article article_author keyword article_institution institution article_keyword publisher article_publisher author author_institution 表1. 实体类型、实体关系定义 Table 2 Definition of entity attribute 属性 机构属性 attr_AchieveNum_institution， attr_CitedNum_institution， attr_H-Index_institution 论文属性 attr_author， attr_institution， attr_keyword， attr_publisher， attr_Refcount， attr_year 期刊属性 attr_AchieveNum_publisher， attr_CitedNum_publisher， attr_H-Index_publisher 作者属性 attr_AchieveNum_author， attr_CitedNum_author， attr_H-Index_author 表2. 实体属性定义 结合气象文献知识图谱，实体类型包括五类，分别是文章，关键词，机构，发表单位，作者，每个实体分配唯一的标识符；关系类型也包括五类，分别是文章—作者、文章—机构、文章—关键词、文章—发表单位、作者—单位；实体属性包括四类，分别是机构属性、文章属性、期刊(发表单位)属性以及作者属性。气象文献知识图谱的模式可以随时更改，只需修改相应的概念或者属性即可。 上海市气象局专家一共提供了5大类气象关键词，分别是气象现象关键词、气象预报关键词、气象预警关键词、气象监测关键词以及气象服务关键词。为了爬取到更加全面的气象文献数据，增加了相应的英文关键词，表3中给出了部分中英文关键词。 数据采集主要包括采集气象相关论文、气象领域专家、气象领域科研机构、气象新闻事件等，采集来源包括新闻类网站和学术期刊类网站等，具体说明如下表4所示。 根据上述关键词以及相关网站，编写网络爬虫，爬取气象文本数据，其流程如图3所示。 步骤一：初始化网址(URL)队列、未访问表(Unvisited)和访问表(Visited)，未访问表和访问表中装在网址信息； 步骤二：判断Unvisited是否为空或者是否爬取到了足够的网页文本数据，如果是则退出程序； 步骤三：Unvisited队头网址出队列，判断URL是否是所需的URL，如果是则下载URL指定的页面；如果不是则丢弃，返回步骤二； 步骤四：抽取出下载网页中的URL，判断Unvisited和Visited中是否包含该URL，如果没有，则该URL入队列，返回步骤二；如果有则丢弃，返回步骤二； 将爬取到的结构化文本数据映射到气象知识图谱模式，比如表对应概念，记录对应实体，记录数据对应属性值等，此种方法称之为D2R映射。D2R是将关系型数据库中的数据转化为RDF三元组形式的语义数据。在从结构化数据中进行知识映射，首先需要充分理解结构化数据中的基本结构，包括每个表格的含义以及表之间的关联，同时理解知识图谱的结构，然后使用D2R把结构化数据中的表格与知识图谱中的概念或实体关联起来，然后把这些映射得到的知识存储到气象知识图谱中。在添加实体节点时，需要确定图谱中是否已存在该节点，如已存在，则选取已有节点，如不存在，则新增节点。同时，对于一些重复名称的实体，还需要注意进行实体的合并。 Table 3 Meteorology keywords (part 关键词分类 关键词中英文对照 气象现象 副热带高压(subtropical high)、雷暴(thunderstorm)等 气象预报 短临预报(short impending forecast)、数值预报(numerical forecast)等 气象预警 强对流天气风险预警(risk warning of severe convective weather)等 气象监测 多普勒雷达(Doppler radar)、双偏振雷达(dual polarization radar)等 气象服务 气象数据开放(open meteorological data)等 表3. 气象关键词(部分) Table 4 Internet data acquisition website (part 数据来源 采集地址 维普 http://qikan.cqvip.com/ 百度学术 http://xueshu.baidu.com/ 百度新闻 http://news.baidu.com/ 表4. 互联网数据采集网站(部分) 图3. 爬虫流程图 上述流程基本上完成了气象文献知识图谱的构建，当数据出现冲突时，根据预定的冲突解决策略对融合过程中产生的冲突进行解决。