家子弟的兵权，汉宣帝先改霍光女婿大将军范明友为光禄勋，羽林监任胜为安定郡太守，又把霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威郡太守，长乐宫衞尉邓广汉为少府，这样夺取了他们的在首都的军权，扫清了霍家的外围势力。接着开始对霍家动手，改霍禹为大司马，无印绶，架空兵权，霍光的另一女婿赵平的兵权也被夺，霍氏人马，再也无法掌握长乐宫和未央宫的禁军。霍氏家族惶恐之余，决定反击，霍禹打算杀了丞相魏相与宣帝的丈人昌成君许广汉，废黜皇帝，前66年七月，事情败露，霍禹被腰斩，霍云、霍山自杀，霍家一族遭到满门抄