弟冠阳侯霍云、三人被汉宣帝设计，解除了兵权，与霍光之妻显天天在家中发牢骚。霍山问显是否如传言所说毒杀了皇后许平君，显承认，霍禹三人大惊。霍云的舅舅李竟因交通诸侯王获罪，宣帝下诏免去霍山、霍云的宿卫之职让他们回家。霍禹三人越来越害怕，打算发动兵变，计划杀害丞相魏相、平恩侯许广汉，废黜宣帝，立霍禹为帝。前66年七月，事情败露，霍云、霍山自杀，霍禹被腰斩，霍家一族遭到满门抄斩。