儿子博陆侯霍禹与霍山、霍云三人被汉宣帝设计，解除兵权，牢骚满腹。霍光之妻显告诉他们她毒杀皇后许平君的事情。霍云的舅舅李竟因交通诸侯王获罪，宣帝下诏免去霍山、霍云的宿卫之职让他们回家。霍禹、霍云、霍山等人越来越害怕，打算发动兵变，计划杀害丞相魏相、平恩侯许广汉，罢黜汉宣帝，立霍禹为帝。还没有行动，霍云又被任为玄菟太守。前66年七月，事情败露，霍云、霍山自杀，霍禹被腰斩，霍家一族遭到满门抄斩。