具体实施方式
下面结合附图和具体实施例,对本发明的技术方案做进一步的说明。
本发明一种基于规则模型的实体抽取与关系挖掘构建知识图谱的方法,具体实施步骤如下(以食品安全知识图谱构建为例):
步骤一:爬取目标领域的百科知识库数据,并定义食品类、农药类、营养类、病虫害类等字典,便于规则挖掘:
(1)根据国家食品标准分类,农药分类、以及营养物质、果蔬所可能的病虫害,爬取相关百科数据以及人工参与来构建字典,并建立部分简称与全称的映射关系。
(2)根据目标字典,定向爬取食品的实体百科数据,提供知识图谱数据支撑。
步骤二:对百科类数据处理,获取中文文本信息并计算URL的个数,便于后续处理。具体步骤如下:
2.1对选取的网页进行URL个数统计,采用正则表达式进行匹配URL,并写入到文本中,旨在展示该实体的外链接数,建立更多链接信息;
2.2统计完URL后,对网页源代码标签进行过滤,即网页的文本信息保留下来,就像我们浏览网页时看到的网页信息,存入到指定文档中,如图2所示;
2.3对文档采用分词工具进行分词,分词工具采用开源的解霸工具以及加入特定领域字典(食品、农药、营养、病虫害)的方式进行分词,文档分词结果如图3所示;
2.4对于分好词的文档,采用word2vec词向量训练工具,训练文档中词的词向量,并保存成文本文件,结果如图4所示;
2.5根据所训练出来的词向量,计算与西瓜实体词向量最相似的词作为西瓜的外链接,以丰富知识图谱,计算结果如图5所示;
步骤三:通过加入人工标注的关系属性信息,来获取更全的实体属性信息,本发明主要考虑食品安全问题,故对食品(主要指植物如:水果、蔬菜)所存在的病虫害、食品(主要指植物如:水果、蔬菜)所喷洒的农药、食品中含有的营养物质,进行人工加入字典,便于分词以及正则匹配,以获取更多的实体间属性关系。
处理后结果如图6所示;
步骤四:对事件的获取以及图谱关系建立:
4.1对于食品事件的获取采用爬取最近食品安全新闻,结合步骤一的食品字典,进行实体与事件的抽取,抽取结果如图7所示;
4.2对于前期获取的URL数据,进行处理,获取与目标实体更近的实体,处理结果如图8所示;
说明:对于每个事物只提取排序后的前三个按从大到小,举例说明:西瓜(143)表示西瓜网页中有1