元素是文章所使用到的某个辞汇的出现的次数。在这种情况下，分类器应被适当地正则化。
生成模型与判别模型.有两种类型用来决定formula_3的线性分类器。第一种模型条件机率formula_9。这类的算法包括：第二种方式则称为判别模型（discriminative models），这种方法是试图去最大化一个训练集（training set）的输出值。在训练的成本函数中有一个额外的项加入，可以容易地表示正则化。例子包含：注意：相对于名字，线性判别分析在分类学并不属于判别模型这类。