system: [SYSTEM]

user: 2. 老挝语命名实体识别相关研究成果分析 在自然语言处理中，分词和命名实体识别有着密不可分的关系。分词系统中加入命名实体识别模块，或者将命名实体作为辅助信息加入分词系统，可以提高分词系统性能。同样，分词效果的提升也能够为命名实体识别提供帮助。老挝语跟汉语一样，都是孤立语，词与词之间没有空格等显性标志来指示词边界，汉语中许多实验研究都表明，集外词是造成分词错误的主要原因，其中超过一半的错误是由于命名实体造成的。因此，本文将会把这两方面的主要研究成果同时展现出来。 2.1. 老挝语分词 2.1.1. 老挝语分词中的主要问题 老挝语分词的基本问题大致分为三个方面：分词规范、歧义切分和未登录词识别。老挝语学界尚未明确“词”的定义，在实际操作中，人们很难界定“词”和“词组”；歧义切分大致有交集型和组合型两种，处理这类问题需要考虑上下文信息以及韵律；未登录词又称为生词(unknown word)或者集外词(out of vocabulary， OOV)，包括词表中未收录的词以及训练集以外的词，对于大规模语料来说，未登录词对分词精度的影响要远高于歧义切分 [ 5 ]。老挝语中包含大量的未登录词，一方面是由于老挝语词典资源较少，另一方面是因为随着网络的普及，大量外来词涌入老挝语，而老挝对于如何翻译这些外来词没有统一的规定，这就对分词造成了极大的困难。 2.1.2. 老挝语分词的主要方法 总的来说，老挝语分词方法可分为两种不同的类型：基于词表(DCB)和基于机器学习(MLB)或者说基于统计 [ 6 ]。 A. 基于词表的方法 基于词表的方法主要依赖词表中的一系列词语来解析输入文本并将其切分成单词。解析过程中，可在词表中查询匹配项。其性能取决于所使用词表的质量和规模。 Arounyadeth Srithirath等(2013)提出了最长音节匹配和命名实体相结合的混合方法 [ 7 ]。该方法的基本思想是：首先对文本进行预处理，利用标点符号将输入文本切分成小句，并进行音节提取，然后使用向前算法在词典中查找匹配项，若匹配成功，则将此字段切分出来，若失败，则将这个字段最后一个音节去掉，剩下的字符串再次进行匹配，重复上述过程，直到切分出所有词为止。实验过程中，还加入了命名实体来提升切分效果，编制了老挝语人名和地名构成规则(流程见图1)。最后，利用从网上获取的新闻语料进行评测，并对是否加入命名实体的两种情况进行对比，结果如表1所示。 基于词典或规则的方法简单高效，但具有以下几个缺点：1) 需要语言学家制定相关规则，成本较高；2) 领域移植性较差；3) 对于老挝语这样的低资源(low resource)语言来说，获取高质量的语言资源难度较大；4) 不能很好地解决未登录词和歧义问题，比如“ຂ້ອຍໃຫ້ການສະໜັບສະໜູນເຈົ້າ”(我给你支持)，利用这种方法可能被切分为“ຂ້ອຍ”(我) [代词]、“ໃຫ້ການ”(给予证据) [动词]、“ສະໜັບສະໜູນ”(支持) [动词]、“ເຈົ້າ”(你) [代词]，但是正确的切分应该是“ຂ້ອຍ”(我) [代词]、“ໃຫ້”(给予) [动词]、 图1. 老挝语分词系统 Table 1 The results of the longest syllable matching test before and after the addition of named entit 方法 准确率(%) 召回率(%) F-测度值(%) 未加入命名实体 79.87 88.62 84.02 加入命名实体 85.21 92.36 88.64 表1. 加入命名实体前后最长音节匹配评测结果 “ການສະໜັບສະໜູນ”(支持) [名词]、“ເຈົ້າ”(你) [代词]。 B. 基于机器学习的方法 由于基于词典或规则的方法有上述不足，机器学习的方法成为了分词技术的主流。在众多机器学习模型中，CRF具有特征选取灵活、拟合程度好、训练时间不长等优点。 Sisouvanh Vanthanavong等(2011)提出了一种基于条件随机场的老挝语分词模型(LaoWS) [ 8 ]。该系统的训练数据集包括字母库构成的特征集以及约10万词的人工标记语料库(LaoCORPUS) (如图2)，在该系统中分词问题被当成是字母序列标注任务，词首用字母B表示，词中用I表示，这样每个字母的标注实际上就是一个二元分类问题。最后，对该系统进行了评测，并与基于词典的方法作了对比(见表2)。 由对比结果可知，在测试语料相同的情况下，基于条件随机场的方法效果更优，特别是在命名实体的切分上，准确率更高。但是，它依然存在不少问题。其中，最大的问题就是语料库规模不大。而与老挝语类似的泰语在这方面取得的效果远优于老挝语，主要原因就是其采用了700万词的语料库，F-测度值高达96%左右 [ 9 ]。其次就是切分准确率不高问题。而通过融合词典、规则等方法，可以进一步提高命名实体的切分准确率，并且采用音节而非字母作为特征来训练模型可能也会对改进方法提供帮助。 图2. 分词模型示意图 Table 2 Comparison of participle results between CRF and DC 方法 准确率(%) 召回率(%) F-测度值(%) DCB 80.00 66.67 72.73 CRF 80.29 78.45 79.36 表2. CRF和DCB分词结果对比 2.2. 老挝语命名实体识别 2.2.1. 命名实体识别和系统性能评测的主要方法 1) 基于规则的方法：该方法主要依赖知识库和词典等资源，以模式和字符串匹配为主要手段。但是这些规则往往依赖于语种、领域和文本风格，制定成本较高且难以涵盖所有语言现象，可移植性不强 [ 10 ]。 2) 基于统计的方法：统计自然语言处理技术主要来源于机器学习和数据挖掘。该方法使用大型语料库来开发近似语言现象的通用模型。 3) 混合方法：自然语言处理并不完全是一个随机的过程，单独使用基于统计的方法会导致状态搜索空间非常庞大，必须借助规则知识提前过滤。混合方法又可分为规则和统计方法融合、统计方法之间或内部层叠融合等。 系统性能的度量是以数学方式进行的，需要提前准备一个人工标记的测试数据库。主要的衡量指标有准确率(P)、召回率(R)和两者的加权调和平均F-测度值(F-measure)。 2.2.2. 老挝语命名实体研究成果比较分析 目前，研究老挝语命名实体识别的机构很少 1 ，下面将对其主要研究成果进行总结并对比分析。 A. 研究成果一 该成果主要采用了以下三种方法 [ 11 ]： 1) 基于条件随机场与启发式信息的老挝语人名和地名识别； 2) 融入广义期望准则 2 的半监督层叠条件随机场的老挝语人名和地名识别； 3) 基于词典与条件随机场的老挝语组织机构名识别。 其中，方法(1)初步实现了简单的老挝语人名和地名识别，具体如图3、图4所示。 这种方法首先利用人工标记的语料库以及人工制定的特征模板训练出命名实体识别模型，然后利用启发式信息进行纠正。 方法(2)完成了复杂、嵌套的老挝语人名和地名的识别：首先采用融入了广义期望准则的单层条件随机场对简单的老挝语人名和地名进行识别并抽取，并在此基础之上，将第一层抽取出的简单老挝语人名和地名作为特征，结合第二层融入了广义期望准则的条件随机场对复杂的、嵌套的老挝语人名和地名再次标注训练，以获取最终的老挝语命名实体识别模型。其中采用了“特征标注”的方法，而不是“样本标注”的方法来训练数据，节省了人工标注的时间(如图5)。 图3. 实验设置图 图4. 训练流程图 图5. 层叠条件随机场人名地名实体识别流程图 方法(3)主要用于组织机构名的识别，这类实体是老挝语中识别难度最大的一种，因为老挝的组织机构名种类繁多，内部构成复杂多变，且存在大量的简称。该方法将老挝语词典及少量老挝组织机构名作为特征融入条件随机场对老挝语组织机构名进行识别(如图6)。 以上三种方法根据老挝语实际情况和特征，采用混合方法实现了老挝语人名、地名和机构名三类主要命名实体的识别，评测结果汇总如表3。 由上表可以看出，三种方法在融合其他技术之后，识别效果均有一定程度的提高。其中，融合广义期望准则的半监督层叠条件随机场的方法在识别人名地名方面要优于方法一，因为采用广义期望准则可使用少量的标注语料约束模型对未标注语料进行预测，而有监督的条件随机场需要依赖大量的标注语料才能训练出好的命名实体识别模型，方法(1)虽然采用启发式信息对条件随机场识别出的老挝语候选命名实体进行了纠正，但是候选命名实体有限，而且利用层叠条件随机场对识别复杂的老挝语人名和地名比利用单层的条件随机场效果要好。另外，组织机构名的识别效果与识别人名地名相比还有较大差距。即使加入了词典特征使得组织机构名的各项比率都有了一定程度的提高，但是，其识别效果仍然不是很理想。接下来的研究成果二中对老挝组织机构名的识别作了更为深入地研究，也取得了更好的效果。 图6. 实验设置图 Table 3 Comparison summary table of evaluation results of the three methods 方法 对比 命名实体 准确率(%) 召回率(%) F-测度值(%) (1) CRFs 人名 81.62 83.27 82.44 地名 72.53 76.24 74.34 CRFs + 启发式信(选取概率值为0.6) 人名 83.73 85.23 84.47 地名 77.61 79.56 78.57 (2) CRFs (标注实例) 人名 81.62 83.27 82.44 地名 72.53 76.24 74.34 层叠CRFs + GE准则(标注特征) 人名 85.23 88.01 86.59 地名 80.54 85.56 83.00 (3) CRFs 组织机构名 62.30 64.51 63.39 CRFs + 词典特征 70.73 73.15 71.92 表3. 三种方法评测结果对比汇总表 3 B. 研究成果二 该研究主要采用以下三种方法 [ 12 ]： 1) 基于分歧的老挝语命名实体识别； 2) 基于层叠条件随机场的老挝机构名识别； 3) 基于条件随机场和支持向量机双层模型的老挝机构名识别。 其中，方法(1)通过基于分歧的方法的对老挝语的人名、地名和组织机构进行了识别：首先通过条件随机场利用实体语料训练3个有监督的分类器，然后通过分类器之间的分歧性对未标记语料进行标记。虽然该方法识别效果不如后两种方法，但可以通过该方法获取更多的语料，为后续研究提供支持(如图7)。 方法(2)构建了一个双层条件随机场，由于有很大一部分老挝语机构名存在嵌套现象，也就是说在老挝组织机构名中可能会包含老挝人名、地名等其他类型的命名实体，例如：“ວິທະຍາຄານປ້ອງກັນຊາດໄກສອນພອນວິຫານ”(老挝凯山·丰威汉国防学院)，其中“ໄກສອນພອນວິຫານ”(凯山·丰威汉)是人名。因此，针对这些复杂的老挝机构名，首先将观察值输入到第一层的条件随机场模型中，再结合第一层模型的识别结果进行第二层识别，这在很大程度上能提高对老挝复杂组织机构名识别的效果(如图8)。 图7. 实验流程图 图8. 实验流程图 方法(3)总结了前两种方法的优缺点，并作了改进。方法(1)在一定程度上解决了老挝语命名实体语料稀缺、获取速度较慢等困难，方法(2)针对老挝机构名提出了一种基于层叠条件随机场模型的识别算法。但是由于制定特征模板时总结的特征有限，识别效果还有待提高。同时，研究人员在深入分析老挝机构名的构成特点后，发现大部分老挝机构名都有一个边界特征词，如果通过专门识别老挝机构名的边界特征词进而识别老挝机构名，准确率会有所提高。方法(3)进行实验前，需要准备老挝语机构名特征词表 4 、后部词表 5 、左右指界词表 6 、简单机构名表以及标记集，实验流程如图9。 图9. 实验流程图 老挝语机构名的识别归根到底是一个二元分类问题：把特征词表中出现的词都标记为左边界的候选词。然后，应用支持向量机模型对候选边界词进行筛选，确认其是否为老挝机构名的左边界词。左边界确定后，用CRF模型进行后部标注。在选用标注策略的时候，考虑到使用全标策略可能会造成大量的浪费，因此方法(3)使用基于驱动的标注。其中，后续处理分为两部分，第一部分构建概率模型，进行可信度计算，主要对识别结果中低于设定阈值的字符串进行计算。假如可信度高于此阈值，则标记为老挝语机构名。第二部分则利用老挝语特征构建的规则模型对部分不完整的老挝机构名进行识别。 以上三种方法的研究实际上是一个既循序渐进又相辅相成的过程，尤其针对老挝组织机构名的识别使用混合方法作了研究，取得了较好的效果。三种方法的评测结果汇总如下表4。 C. 命名实体研究成果小结 由上述分析可知，目前老挝语命名实体识别主要采用以基于统计为主的混合方法，因为单独使用基于统计的方法会使状态搜索空间非常庞大，影响识别效率，所以必须借助规则提前进行过滤修剪处理。而其中采用的统计方法又以条件随机场居多，主要原因是该方法简单易行，而且效果较好，能够为命名实体识别提供一个特征灵活、全局最优的标注框架，可以说是命名实体识别中最成功的方法。但是，同英语和汉语等语种相比，老挝语命名实体识别效果仍然还有很大的提升空间，所面临的难点既有大部分语种都会遇到的共性问题，也有其个性问题。具体如下： 1) 老挝语文本没有天然的词边界和明显的形态标志，而英语单词之间就有空格并且实体名称的首字母一般大写； 2) 命名实体识别与老挝语分词、浅层语法分析等过程相互影响、相互制约； 3) 老挝语语言资源匮乏，没有大型语料库和专名库等基础资源； 4) 随着经济社会的发展，专有名词范围扩大，不仅限于人名、地名和机构名，电影名、书名、项目名以及高新技术领域名词等也包含在内； 5) 老挝语层次划分颗粒度越来越小，比如地名被细化为国家、省、市、县、村等； Table 4 Comparison summary table of evaluation results of the three method 序号 方法 命名实体 准确率(%) 召回率(%) F-测度值(%) (1) 基于分歧 人名 73.44 75.65 74.53 地名 72.53 74.24 73.39 机构名 71.23 73.25 72.24 (2) 基于层叠CRF模型 7 机构名 77.72 79.67 78.68 (3) 基于CRF、SVM双层模型 机构名 80.83 82.75 81.75 70.73 73.15 71.92 表4. 三种方法评测结果对比表 6) 新的命名实体不断涌现，但语料老旧，覆盖不全，有大量新兴词汇和外来词，并且对外来词的翻译没有统一的规范； 7) 老挝语命名实体中常出现老挝语英语交叉使用等情况，这使得老挝语命名实体识别的任务大大增加； 8) 老挝语命名实体歧义现象众多，消歧困难； 9) 老挝语中存在大量缩略词，且经常出现一对多或多对一的情况。