帝下令诛杀冠阳侯霍云、乐平侯霍山（两人皆为霍去病之孙）诸姊妹壻度辽将军范明友、长信少府邓广汉、中郎将任胜、骑都尉赵平、长安男子冯殷等。与此同时，霍光之女霍皇后被废，于十二年后被迫自杀。汉宣帝尚为平民之时，就对霍氏的权势有很深的了解。霍光挟专权之势，行伊尹废立天子之事，更是让汉宣帝胆颤心惊。在汉宣帝即位之初，汉宣帝拜谒高庙，霍光为骖乘（也就是驾驶车马），汉宣帝对其深为忌惮，在车上犹如芒刺在背；但是当骠骑将军张安世为骖乘时，汉宣帝体貌从容，一点不感到紧张。所以民间传说为：“威震主者不畜，霍氏之祸萌于骖乘。”