被称为‘天下没有白吃的午餐理论’。各式的经验法则被用来比较分类器的表现及寻找会决定分类器表现的资料特性。决定适合某一问题的分类器仍旧是一项艺术，而非科学。目前最广泛被使用的分类器有人工神经网路、支持向量机、最近邻居法、高斯混合模型、朴素贝叶斯方法、决策树和径向基函数分类。
经验风险最小化.监督式学习的目标是在给定一个 ("x", "g"（"x"）)的集合下，去找一个函数"g"。假设符合"g"行为的样本集合是从某个更大甚至是无限的母体中，根据某种未知的概率分布"p"，以独立同