版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。
版权
自然语言的处理,在很长一段时间内都处于争执和迷茫中。人类在最初的交流中构建起最基本和最简单的交流方式,并逐渐将这个方式复杂化和丰富化,直至形成一个足够大的集合,以及这个集合元素之间的关系,也就是语法。看起来,机器似乎可以通过了解语法来了解语言,毕竟从某种程度上来说,语法不过是一个类似函数的东西,而词汇虽然变化多端,但总的来讲数量并不多,即使是对于数十年前的计算机来说,存取某种语言的常用字词也是毫不费力的事情。因此在自然语言处理的初期,主流的观点是使计算机尽可能多和熟练地掌握人类语言的文法。
这个观点看起来并没有什么问题,但它的实际效果是惨不忍睹的。十多年来,精英们所做的努力几乎全部打了水漂。即使文法处理的方式又坚持了十余年,它也无法阻止自己走向不可避免的失败:基于文法分析的自然语言处理还是被时代抛弃了。
事实上,计算机科学家们的预判是过于乐观的。词汇的集合虽然并不大,但它在文法约束下的组合复杂度却是惊人的。句子可以划分为成分,成分再变成短语,短语又分解为类型各异的词汇,最后形成一个无比庞大的体系。随着词汇的增加,文法规则也要不断的更新,乃至根本不能处理,这种取巧的方法反而变成了笨办法。
在这种情况下,越来越多的人开始寻求其他的方法,而基于统计的自然语言处理方法就此登上历史舞台。相比文法,统计处理的原则简单的可怕:选取出现概率最大的含义就可以了。统计原理不关心词与词之间是否遵守了文法规则,它只是粗暴地假设某个词的出现概率只与前面少数的词汇(一般最多也就四个)是相关的,然后收集大量的语料并得出令人信服的概率统计。最后直接利用概率计算求出不同含义的概率,就可以做出哪个含义更有可能出现的判断。
这种方法一度被认为是野蛮而无用的,而且、语料库的建立严格受限于过去的技术水平。然而,这种困局不可能持续多久。随着计算机计算和存储能力的发展,收集大量语料并不是那么困难了。云计算的出现将这种设想彻底变成了可能:在现在,较为成熟的技术可以轻松地对自然语言进行处理,并得出高准确度的结果。看起来不可一世的文法理论就这样被暴力算法击败了。
一个事实是:大数据的出现才是文法与统计之争的终结者。随着计算能力的大量提高,繁重的计算似乎不是那么不可接受了,逻辑简洁的方法在实现上也变得简洁了。数据规模的极速扩大,在根本上影响了计算机科学乃至其他行业和领域的发展进程,而这个变化还会继续下去。