础。有些最早期使用的机器学习演算法，例如决策树，是硬性的、「如果-则」规则组成的系统，类似当时既有的人工订定的规则。不过将隐马尔可夫模型引入NLP，并且研究日益聚焦于软性的、以机率做决定的统计模型，基础是将输入资料里每一个特性赋予代表其份量的数值。许多语音识别现今依赖的即是一种统计模型的例子。这种模型通常足以处理非预期的输入数据，尤其是输入有错误（真实世界的数据总免不了），并且在整合到包含多个子任务的较大系统时，结果比较可靠。许多早期的成功属于机器翻译领域，尤其归功IBM的研究，渐次发展出更复杂的统计模