始对霍家动手，改霍禹为大司马，无印绶，架空兵权，霍光的另一女婿赵平的兵权也被夺，霍氏人马，再也无法掌握长乐宫和未央宫的禁军。霍氏家族惶恐之余，决定反击，霍禹打算杀了丞相魏相与宣帝的丈人昌成君许广汉，废黜皇帝，前66年七月，事情败露，霍禹被腰斩，霍云、霍山自杀，霍家一族遭到满门抄斩。至此，霍光妻子显及儿子、侄子、女婿等家人除女婿金赏因告发谋反一事被赦免外，全部被杀或者自杀，女儿霍成君也被废处昭台宫，十二年后自杀。长安城中有数千家人家被牵连族灭。当时人大多认为霍家功高震主，族灭之因在霍光辅政时期就已经埋下，