第二种方式则称为判别模型（discriminative models），这种方法是试图去最大化一个训练集（training set）的输出值。在训练的成本函数中有一个额外的项加入，可以容易地表示正则化。例子包含：注意：相对于名字，线性判别分析在分类学并不属于判别模型这类。然而，当我们比较线性判别分析和另一主要的线性降维算法：主成分分析，它的名字则是有意义的。线性判别分析是一个监督式学习算法，会使用资料中的标签。而主成分分析是一个不考虑标签的非监督式学习算法。简而言之，这个名字是一个历史因素。判别