想象一下,你和你的小伙伴正在努力寻找一个完美的餐厅,以便愉快的享用晚餐。我们清楚这个过程可能会花费数小时去争论,你会找到现代生活的便利之处:在线评论。通过在线评论,你找到了自己的选择,推荐 Carlo's 餐厅的男女用户的比例都高于你的小伙伴选择的 Sophia's 餐厅。然而,正当你准备宣布胜利时,你的小伙伴使用相同的数据得到,由于所有用户中推荐选择 Sophia 的百分比较高,因此很明显要选择它。
到底是怎么回事?谁在说谎?是审计网站的计算错误吗?事实上,你和你的小伙伴都是对的,你在不知不觉中进入了辛普森悖论的世界。在辛普森悖论里,餐馆可以同时比竞争对手更好和更差,运动可以降低并增加疾病的风险,同样的数据集可以用来证明两个相反的论点。也许你和你的伴侣应该在晚上讨论这个引人入胜的统计学现象,而不是出去吃饭。
当原本分离的数据被组合起来,之前出现的统计现象会发生逆转,这时辛普森悖论就发生了。在餐厅推荐示例中,就男女的高推荐率确实可以推荐 Carlo's 而不是 Sophia's,且同时所有评价者对 Carlo's 的推荐率较低。在你说这不可能之前,请看看下表的证明。
Carlo's 在男女双方都获胜,但总体上输了!
数据清楚地表明:当数据分离时,Carlo's 是首选;但当组合数据后,Sophia's 是首选!
这怎么可能?这里的问题是,仅查看单独数据中的百分比会忽略样本大小,即回答问题的受访者数量。每个分数都表示受访者中推荐餐厅的用户数量占比。Carlo's 餐厅的男性评论者远远多于女性,而Sophia's 则反过来。由于男性推荐餐馆的比例较低,当组合数据时,这导致 Carlo's 的平均评级较低,因此存在悖论。
要回答我们应该去哪家餐馆的问题,我们需要决定数据是组合还是分离查看。我们是否应该组合数据取决于生成数据的过程,即数据的因果模型。在我们看完另一个例子后,我们将解释这是什么意思以及如何解决辛普森悖论。
相关性逆转
分组的数据点各自表现出某一个方向的相关性,在聚集时却表现出相反方向的相关性,这是辛普森悖论的另一个版本。我们来看一个简化的例子。假设我们有关于每周运动小时数与两组患者(50 岁以下和 50 岁以上患者)患病风险的数据。以下是显示运动时间与患病概率之间关系的分离概率图。
根据年龄分组的患病概率与