然语言处理系统是以一套复杂、人工订定的规则为基础。不过从1980年代末期开始，语言处理引进了机器学习的演算法，NLP产生革新。成因有两个：运算能力稳定增加（参见摩尔定律）；以及乔姆斯基 语言学理论渐渐丧失主导（例如转换-生成文法）。该理论的架构不倾向于语料库——机器学习处理语言所用方法的基础。有些最早期使用的机器学习演算法，例如决策树，是硬性的、「如果-则」规则组成的系统，类似当时既有的人工订定的规则。不过将隐马尔可夫模型引入NLP，并且研究日益聚焦于软性的、以机率做决定的统计模型，基础是将输入资料里每一个