对其予以翦除。他先是迁霍光的女婿大将军范明友为光禄勋，羽林监任胜为安定郡太守，几个月后又把霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威郡太守，长乐宫卫尉邓广汉为少府，这样夺取了他们的军权，扫清了霍家的外围势力。接着开始对霍家动手，改霍禹为大司马，无印绶，也就是剥夺了兵权，霍光的另一女婿赵平的兵权也被夺，空下来的职位完全由汉宣帝的外戚史、许两家子弟充任。霍光是权力斗争的高手，但是他的儿孙却都很无能。霍光的儿子霍禹面对这种情况毫无应对之策，只是整日与霍山、霍云等哭泣。不久霍光夫人显毒杀许平君的