光的另一女婿赵平的兵权也被夺，空下来的职位完全由汉宣帝的外戚史、许两家子弟充任。霍光是权力斗争的高手，但是他的儿孙却都很无能。霍光的儿子霍禹面对这种情况毫无应对之策，只是整日与霍山、霍云等哭泣。不久霍光夫人显毒杀许平君的事情开始败露。地节四年七月，大司马霍禹谋反事发，汉宣帝下令诛杀冠阳侯霍云、乐平侯霍山（两人皆为霍去病之孙）诸姊妹壻度辽将军范明友、长信少府邓广汉、中郎将任胜、骑都尉赵平、长安男子冯殷等。与此同时，霍光之女霍皇后被废，于十二年后被迫自杀。汉宣帝尚为平民之时，就对霍氏的权势有很深的了解。