霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威郡太守，长乐宫卫尉邓广汉为少府，这样夺取了他们的军权，扫清了霍家的外围势力。接着开始对霍家动手，改霍禹为大司马，无印绶，也就是剥夺了兵权，霍光的另一女婿赵平的兵权也被夺，空下来的职位完全由汉宣帝的外戚史、许两家子弟充任。霍光是权力斗争的高手，但是他的儿孙却都很无能。霍光的儿子霍禹面对这种情况毫无应对之策，只是整日与霍山、霍云等哭泣。不久霍光夫人显毒杀许平君的事情开始败露。地节四年七月，大司马霍禹谋反事发，汉宣帝下令诛杀冠阳侯霍云、乐平侯霍山（两人