命名实体识别技术主要用在QA的:1、段落或句子排列:QA系统首先根据查询关键字进行检索,然后对于检索出来的段落或句子重新进行排序;当某个句子包含所期望的实体时,则给句子适当的加分; 2、答案抽取:只抽取和期望答案类型一致的实体作为答案,而命名实体不参与句子或段落的排序。

1、问题分析模块

1)问题种类划分
事实型问题:“谁”、“何时”、“多少”、 “哪里”……
定义型问题:“是什么”、“什么是”……
复杂型问题:“为什么”、“如何”……
2)问题分类方法
基于规则的分类方法:
对每个类别设计大量的规则,一旦问题和一个规则相匹配,则问题就属于改规则对应的类别
应用规则的方法较简单,但要号飞机大量人力设计规则,另有些问题很难设计规则去覆盖
基于统计机器学习的分类方法:
形式和文本分类类似。与文本分类不同:相对于文本,问题一般很短,其中包含的词很少,因此可以利用的特征少;
在问题所包含的词中,决定问题类别的特征具有明显的倾向性, 即只有若干词才是真正确定问题类别的主要特征。
思路:
人工方式对一批问题的类别进行标注
设计机器学习算法,已标注的这个集合进行分类模型的自动训练
训练得到的模型对测试问题进行自动分类
特征选择:
疑问词确定问题类型
疑问词+焦点词共同确定问题类别
疑问词确定问题类型:eg.-西电校长是谁? “谁”就确定类型是“人”。
疑问词+焦点词共同确定问题类别: 焦点词是问题中指示期望答案语义类型的词。
eg.-哪个国家人口最多? 疑问词“哪个”、焦点词“国家”确定了该答案类型是“国家”。

2、检索模块

1)相关文档检索
2)句段检索
文档切分方法:
以连续的n个句子作为一个文档句段
以篇章的一个段落(paragraph)为一个文档句段
文档进行子话题(subtopic)分割,把一个子话题作为一个句段
检索方法:
句段和问题之间匹配的词的个数
VSM的余弦相似度
向量空间模型(VSM)一种文本相似度算法
判断一篇文章是否是你喜欢的文章,即将文章抽象成一个向量,该向量由n个词Term组成,每个词都有一个权重(Term Weight),不同的词根据自己在文档中的权重来影响文档相关性的重要程度。选取特征词时,需要降维处理选出有代表性的特征词,包括人工选择或自动选择。特征抽取完后,因为每个词语对实体的贡献度不同,所以需要对这些词语赋予不同的权重。计算词项在向量中的权重方法——TF-IDF。TF-IDF计算权重越大表示该词条对这个文本的重要性越大。计算两篇文章间的相似度就通过两个向量的余弦夹角cos来描述。
匹配词之间的间隔的紧密程度

3、答案抽取模块

简单匹配的方法
基本思想
在检索到的句段中抽取和问题的语气答案类型相一致的命名实体,作为候选答案
对候选答案进行排序时,综合其所在文档句段的顺序和在所有文档句段中出现的次数作为排序分值
排序最高的候选答案,将被选择为最终答案
缺点:
当句段中有多个满足答案语义类型的命名实体时难以判断
基于表层模式匹配的方法
基本思想
利用规则模式,从文档句段中抽取出满足模式的答案
规则模式描述了问题的主要词汇与候选答案在句段中的出现形式
不需要太多深层的语言处理
规则模式的构造
手动方式构造
自动学习得到:训练数据和测试数据:问题、包含答案的文档句段、问题的答案
过程:1、先从训练数据文档句段中提取出包含问题词和答案的子串;2、将子串中的问题词和答案词替换成变量,得到一个候选规则;3、对候选规则进一步泛化;4、在测试数据中用候选规则抽取答案,以判断候选规则的准确率;5、将准确率高于一定阈值的候选规则选为自动学习到的规则
利用大规模文档集中数据冗余的方法
由于数据集的海量特点,总会存在一些和问题的描述方式相近的答案句子
系统可以不用复杂的语言处理技术,而使用简单的统计方法辅助千层语言技术就可确定问题的答案
基于多特征的统计机器学习
构造训练“文档-文档句段-答案”集合,用
机器学习方法训练得到答案选择模型
特征选择
句子特征:问题和候选答案所在句段间匹配的词和依存弧的分值
语言特征:候选答案是否是特定动词的主语或宾语等
词汇模式特征:候选答案所在句段是否匹配某种模式词汇
候选答案的冗余特征:候选答案在检索结果中出现的次数
其它特征
方法
有0 个人打赏