要最小化预期风险（更详细的介绍参见统计学习理论），预期风险之定义为：其中formula_9即损失函数，而formula_10为机率密度函数。而实作上概率分布formula_10通常是未知的，因此我们使用由数据样本空间中取出的formula_12个独立且同分布（i.i.d.）的样本点基于分类问题的二元性，可定义0-1函数做为匹配值之基准。因此损失函数为：其中formula_16为步阶函数。然而损失函数并不是凸函数或平滑函数，是一种NP-hard的问题，因此做为替代，需要使用可以追踪的机器学习演算法