光去世，霍禹为右将军、袭封博陆侯。他和堂侄乐平侯霍山、冠阳侯霍云等人，扩建门第，饮酒玩乐。前67年，霍禹被汉宣帝任命为大司马，却没得到印绶，实际上是被设计解除兵权。霍禹、霍山、霍云被解除兵权之后，天天发牢骚。霍光之妻显告诉了他们她毒杀汉宣帝前任皇后许平君的事情。又加上汉宣帝立平君之子奭为太子。霍禹、霍云、霍山等人越来越害怕，打算发动兵变，计划杀害丞相魏相、平恩侯许广汉，废黜汉宣帝，立霍禹为帝。前66年七月，事情败露，霍云、霍山自杀，霍禹被腰斩，霍家一族遭到满门抄斩，皇后霍成君被废。