system: [SYSTEM]

user: 1. 引言 随着各个行业内复杂数据的数据量在信息化时代均呈爆发式增长，这使得挖掘数据的潜在价值愈发重要，如何更好地利用这些复杂数据逐渐被人们重视。而复杂数据通常具有数据量大和数据源不同的特征。数据量大使得处理数据时需要使用大量的计算资源，数据源不同导致在数据使用之前数据内部逻辑或结构需要统一整合。这两个特征是判断数据是否属于复杂数据的基础，另外，复杂数据的复杂性需要通过数据结构、数据量大小、数据的颗粒度、数据查询语言、数据类型、数据分散性以及数据增长率7个指标进行深入判断 [ 1 ] [ 2 ]。这些指标导致在复杂数据上开展相关研究将比传统数据更加困难，并存在一些难以解决的问题。 实体识别技术是自然语言处理(Natural Language Processing， NLP)技术 [ 3 ] [ 4 ] 中的一项重要的基本任务。这项基本任务可以简单总结为在目标文本中识别出命名实体，并标注其位置与类型的过程。根据MUC-6将命名实体划分为时间类(TIMEX)、实体类(EMAMEX)与数字类(NUMEX)，可以将实体识别问题看作一种特殊的序列标注问题(Sequence Labeling Problem) [ 5 ] [ 6 ] [ 7 ] [ 8 ]，这类问题不但与常规的输入特征相关，而且与目标文本的上下文之间有一定的联系。如表1，早期实体识别技术通常使用基于规则的方法 [ 9 ] [ 10 ] [ 11 ] 建立字典、规则库、语料库以及规则模板，从而使目标文本中的特征词能够根据人工规则被计算机识别并提取，但人工规则的构建需要耗费大量人力与时间进行人工标注，不能适应当前复杂数据拥有的数据量大的特征，进而发展形成基于统计的方法。基于统计的方法 [ 12 ] 利用机器学习算法弥补了基于规则的方法需要人工工作带来的损失，同时通过构建模型实现特征词语的自动提取，实体识别的效率得到增强。但基于统计的方法仅能够通过大量数据完成对模型的训练，面对数据量较小的数据集往往难以保证实体识别的正确率，因此能够处理小规模数据的基于深度学习的方法应运而生。基于深度学习的方法 [ 13 ] [ 14 ] [ 15 ] 根据深度学习模型完成小样本条件下实体的自动识别 [ 16 ] - [ 21 ]，同时更好地联系上下文关系。但使用基于深度学习的方法仅能针对某一领域进行实体识别，而非提取实体在各个领域的全部特征，无法做到目标实体全部特征的联合，导致目标实体识别的准确性受到影响。传统实体识别使用的基于规则的方法与基于统计的方法一般将目标文本的识别分为特征工程与文本分类两个部分，在特征工程部分完成人工标注，在文本分类部分完成特征提取，但这两个阶段往往消耗大量人力成本，且最后得到的识别结果也并不准确，因此运用深度学习方法进行实体识别是较好的选择。实体识别技术又被称为实体消歧 [ 22 ]、数据消重 [ 23 ]、重复检测等 [ 24 ] [ 25 ]，常用于社交媒体领域 [ 26 ] [ 27 ] 的敏感实体识别、军事领域 [ 28 ] 的目标实体识别或是商业领域 [ 29 ] 的商情实体识别。在自然语言处理(Natural Language Processing， NLP)中，作为识别单位的文本包括人名、地名、机构名、时间和数量 [ 30 ] [ 31 ]，这些具有重要意义的主体均可以作为实体识别的对象进行研究。在对现实世界的复杂数据进行实体识别操作时，现实世界存在的多条记录可能指向同一个实体对象，而这些杂乱的、待清洗的数据记录未必以相同的表现形式呈现。另外，这些作为实体识别对象的复杂数据还存在重复、缺失、陈旧、虚假问题。因此，理清这些记录与实体对象之间的关系，消除多余的、无用的信息对于后续的相关应用研究非常重要。 Table 1 The development of named entity recognition method (time sequence from left to right 方法 基于规则的方法 基于统计的方法 基于深度学习的方法 优点 能够从目标文本中识别 出特定实体 自动提取实体特征模板， 提高识别效率 能够处理小规模数据集； 更好地联系上下文 缺点 耗费人力 难以保证小规模样本 识别的准确率 仅能完成单一领域的 实体识别 表1. 根据时间顺序发展(由左至右)的实体识别方法对比分析 Table 2 Traditional method of named entity recognitio 基于规则的方法 沈达洋 [ 73 ] 等通过统计地名用字概率建立了地名规则与地名规则库 郑家恒 [ 74 ] 等建立地名语料库 张晓恒 [ 75 ] 等通过总结高校组织名的文本特征设计了大量规则模板 基于统计 的方法 有监督 方法 王红斌 [ 76 ] 等采用最大熵模型的方法针对泰语句子进行了实体关系抽取 张玥杰 [ 77 ] 等提出了一种融合多特征的最大熵汉语命名实体识别模型 高冰涛 [ 78 ] 等将生物医学文本中的命名实体识别问题转换为基于迁移学习的隐马尔可夫模型问题，降低了生物医学文本中命名实体识别对目标领域标注数据的需求 何炎祥 [ 79 ] 等根据自设定规则结合条件随机场模型提高了地理命名实体识别效果 李博 [ 80 ] 等利用条件随机场模型对收集到的特征进行分类识别，提高了中文电子病历命名实体识别效果 无监督 方法 朱祥 [ 81 ] 等提出了用于降低语音特征参数维数的分段均值算法，聚类交叉分组算法和HMM分组算法的组合形式，提高了英语语音的识别率与系统识别速度 王浩畅 [ 82 ] 等使用了基于支持向量机的方法对生物医学文本中的命名实体进行了识别 孙琛琛 [ 83 ] 等提出一种面向实体识别的聚类算法弥补了以往聚类算法没有涉及到的匹配决定问题 基于深度学习的方法 张娜娜 [ 84 ] 等提出一种基于BiLSTM-CRF模型与词典规则相结合的识别方法识别工艺操作说明文本中的命名实体 张帆 [ 85 ] 等设计了一种通过神经网络语言模型获得词和词性特征分布式表达的医疗文本实体识别方法 表2. 传统实体识别的方法 根据识别对象的不同，在识别过程中运用的方法也不尽相同，如表2所示。传统的复杂数据实体识别技术按时间发展顺序可以分为三类：基于规则(Rule-Based)的方法、基于统计(Statistic-Based)的方法和基于深度学习的方法 [ 32 ]。基于规则的方法是早期研究中的常见的一类方法，该类方法通过人工构造规则，以模式和字符串相匹配的方式识别实体。随后，基于统计的方法大多采用基于机器学习的序列标记方法与自动构造规则的监督学习方法进行复杂数据实体识别。以上两种方法通常以语言模型与机器学习算法为基础，包括：1) 解决序列标记问题的有监督方法，如隐马尔科夫模型(Hidden Markov Model， HMM)、最大熵(Maximum Entropy， ME)、最大熵马尔科夫模型(Maximum Entropy Markov Model， MEMM)、条件随机场(Conditional Random Fields， CRF)等 [ 33 ] [ 34 ] [ 35 ] [ 36 ]；2) 让上下文中的同义文本自行聚类的无监督方法，如支持向量机(Support Vector Machine， SVM)等。最近，基于深度学习的方法在实体识别领域的研究热点，如卷积神经网络(Convolutional Neural Networks， CNN) [ 37 ] [ 38 ] 与循环神经网络(Rerrent Neural Network， RNN) [ 39 ] 是应用最广泛的方法。基于深度学习的复杂数据实体识别方法通过对深层神经网络的研究，在识别词性、抽取字段等方面均在不断发展 [ 40 ]。 目前，对于实体识别技术的研究大部分集中于文本边界识别技术、文本重复检测技术、歧义识别技术与关系数据 [ 2 ] 等方面。而对复杂数据的实体识别技术从应用领域角度进行分析的研究却很少。因此，本文从应用领域方面对现有命名实体识别技术进行对比与分析，分别从社交网络、军事、商业为主的特殊领域对实体识别方法进行综述，并对各领域主要的实体识别技术的难点进行总结。