「辛普森悖论」(Simpson’s Paradox)由英国统计学家 E.H.Simpson 于1951 年提出,即在某个条件下的两组数据,分别讨论时都会满足某种性质,可是一旦合并考虑,却可能导致相反的结论。
简单来说,在一组统计数据背后存在某些潜在变量(Lurking variable),这些潜在变量会彻底改变结论。
这句话可能还是不太好理解。让我们再回到上面那个「选医院」的问题,这个例子来自 TED 的其中一期演讲。
大家要记住一点,并不是每个医院所接受的患者病情轻重程度都相同。因此,让我们将患者按照病情轻重度进行分组后,再来看看两家医院的救治情况。
A 院收到的 1000 名患者中,有100 名重症患者,做完手术后只有 30 人存活,重症患者存活率为 30%;
B 院收到的 1000 患者中,有400 名重症患者,做完手术后有 210 人存活,重症患者存活率为 52.5%。
因此对于重症患者来说,B 院是更好的选择。
我们再看一下轻症患者。
A 院收到的 1000 患者中,有900 名轻症患者,做完手术后有 870 人存活,轻症患者存活率为 96.7%;
B 院收到的 1000 患者中,有600 名轻症患者,做完手术后有 590 人存活,轻症患者存活率为 98.3%。
所以对于轻症患者来说,B 院也是更好的选择。
A、B 院患者按病情分组存活率比较
因此,虽然 A 院的患者总体存活率高于 B 院,但实际上,无论是轻症患者存活率还是重症患者存活率,A 院都不如 B 院。
为什么会出现这种情况?
这是因为两家医院所收治的轻重症患者比例有巨大差异,在不进行任何治疗的情况下,轻症患者的存活率显然比重症患者高。而A院的患者总存活率恰恰就是被大量轻症患者稀释了,从而给人造成了「A 院水平比 B 院更高」的假象。
在这个案例中,潜在变量就是不同医院轻重症患者的比例——这就是一例典型的「辛普森悖论」,而这种悖论很可能会导致人们做出错误决策。
A 院和 B 院是虚拟的例子,现实中其实也常有真实发生的案例,我在医学院读本科时就已经听闻过类似的情况。
当时广州有个医院到处宣传本院 SARS 期间零死亡,后来我们上课时,有教授就悠悠地说,这个医院之所以能实现零死亡,主要是因为当时广州最