什么是自然语言处理
简单地说,自然语言处理(Natural Language Processing,简称NLP)就是用计算机来处理、理解以及运用人类语言(如中文、英文等),它属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言,人类的思维也就无从谈起,所以自然语言处理体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了处理自然语言的能力时,机器才算实现了真正的智能。
人类对机器理解语言的认识走了一条大弯路。早期的研究集中采用基于规则的方法,主要从语法规则,文法规则出发,对语句的成分进行分析。这种处理方法存在很大的缺陷:一个简单的句子居然需要几十条甚至上百条规则才能分析成功。另外,我们现今的时代是一个信息量爆炸的时代,句子的成分越来越复杂,因此基于规则的自然语言处理方法逐渐苍白无语。因此,基于统计的自然语言处理逐渐取代基于规则的自然语言处理成为了自然语言处理的主要研究手段。