久霍光夫人显毒杀许平君的事情开始败露。地节四年七月，大司马霍禹谋反事发，汉宣帝下令诛杀冠阳侯霍云、乐平侯霍山（两人皆为霍去病之孙）诸姊妹壻度辽将军范明友、长信少府邓广汉、中郎将任胜、骑都尉赵平、长安男子冯殷等。与此同时，霍光之女霍皇后被废，于十二年后被迫自杀。汉宣帝尚为平民之时，就对霍氏的权势有很深的了解。霍光挟专权之势，行伊尹废立天子之事，更是让汉宣帝胆颤心惊。在汉宣帝即位之初，汉宣帝拜谒高庙，霍光为骖乘（也就是驾驶车马），汉宣帝对其深为忌惮，在车上犹如芒刺在背；但是当骠骑将军张安世为骖乘时，汉宣帝体