formula_20的随机变量 。 我们还假定给定非负实值损失函数 formula_21来衡量预测formula_22与真实结果formula_17的差异。则假设formula_24的风险 定义为损失函数的期望值 ： 理论上常用的损失函数是0-1损失函数： formula_26 。 学习算法的最终目标是在固定函数类formula_27中找到风险formula_28最小的假设formula_29：
经验风险最小化.通常，无法计算风险formula_28，因为学习算法不知