本系列第三篇,承接前面的《浅谈机器学习基础》和《浅谈深度学习基础》。

自然语言处理绪论

什么是自然语言处理?
自然语言处理是研究人与人交际中以及人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型,建立计算框架来实现这样的语言模型,提出相应的方法来不断完善这样的语言模型,根据这样的语言模型设计各种实用系统,并探讨这些实用系统的评测技术。
一般认为,自然语言处理中存在两种不同的研究方法,一种是理性主义方法,一种是经验主义方法。
理性主义的代表人物是乔姆斯基,主张建立符号处理系统,试图刻画人类思维的模型或方法,由人工编写自然语言处理规则。系统根据规则将自然语言理解为符号结构,再通过符号的意义推导出该结构的意义。
按这种思路,在自然语言处理系统中,一般先由词法分析器按照人编写的词法规则对输入句子的单词进行词法分析,然后,语法分析器根据人设计的语法规则对输入句子进行句法分析,最后再根据一套变换规则将语法结构映射到语义符号(如逻辑表达式,语义网络,中间语言等),进行语义分析。
而经验主义认为,人脑并不是从一开始就具有一些具体的处理原则和对具体语言成分的处理方法,而是假定孩子的大脑一开始具有处理联想、模式识别和泛化处理的能力,这些能力能够使孩子充分利用感官输入来掌握具体的自然语言处理结构。
理性主义试图刻画的是人类思维的模型或方法。对于这种方法而言,某种语言的真实文本数据只是提供间接地证据。而经验主义方法则直接关心如何刻画这种真实的语言本身。
在系统实现方法上,经验主义方法主张通过建立特定的数学模型来学习复杂的、广泛的语言结构,然后利用统计学、模式识别和机器学习等方法来训练模型的参数,以扩大语言使用的规模。因此,经验主义的自然语言处理方法是建立在统计方法基础之上的,因此,我们称其为统计自然语言处理。
20世纪20年代到60年代的近40年里,经验主义处于主导地位;
大约从20世纪60年代中期到20世纪80年代中后期,理性主义的研究方法控制着自然语言处理等领域的研究;
大约在20世纪80年代后期,人们越来越关注工程化、实用化的解决问题方法,经验主义方法被人们重新认识并得到迅速发展,人们开始倾向于结合经验主义与理性主义的方法。