事实上, 贝叶斯决策很少只涉及 A 和B,而是内部包含非常关键的隐变量(参数),涉及我们对所研究事物的一些基本预设。比如下面这个特别简单的例子:
抛掷硬币, 一个硬币被投掷10次9次朝上,那么根据频率学派的观点, 得到第11次投掷的概率不变为0.5 ,如果你回答了0.9, 你经常会被看成一个傻X。 其实不然, 天底下哪有一样的硬币呢? 那么问题来了,我设一个赌局, 一次正面向上你可以受益100, 反面惩罚150, 基于刚才的事实你要不要做这个局? 我们完全可以套用贝叶斯决策的理论来。
这里的一个重要的隐变量是每一次投掷硬币的概率,这个数字按照经典频率学派认定一定是0.5, 而按照贝叶斯学派的观点, 需要把这个变量看成是未知的,具有一定先验概率,之后严格按照贝叶斯公式计算新加入证据对先验概率的影响。此处的先验概率即你对硬币向上0.5这件事的信念, 你越相信这个事实, 这个分布越尖,反之越宽广。 我们用希腊字母 theta 来表征这个概率。整个决策表述如下:
公式的含义是你要用求解已知9次朝上1次朝下的时候求解你下一次投掷硬币的期望收益, 并因此决策要不要赌。中间要验证的假设空间即每一次投掷为正的概率,我们依然以每次事件独立和该概率不随时间变化为基准(如果不是问题将无限复杂), 那么证据将根据上述公式改变假设空间的概率分布, 而最终的期望可以根据这个分布求出。 决策即使得这个期望最大的解。
注意此处先验十分重要,因为它影响决策的结果,而这又是一个很主观的东西,如果你对0.5有绝对的信心,那么你的就会非常尖,这个时候你需要得到大量偏离0.5的证据才能逐步纠偏。 对于书呆子样的人,估计会倾向给出一个比较尖锐的先验分布,相信书里说的0.5而不赌,而一些更加倾向于相信特例的人则会给出很平坦的先验而更大的概率去赌。 最终后者发财和倾家荡产的几率都比较高,而前者比较容易旱涝保收。当然,在数据量超大,比如说1000次有900次为正的情况下, 我们几乎不需要考虑先验(自己去看公式),此时几乎可以认定投掷的概率就是0.9.