不久金日磾去世，霍光以和亲拉拢上官桀，昭帝封光为丞相，开始独揽大权。地节二年（前68年）霍光病逝，宣帝下令以帝王的规格下葬霍光，同时亦开始亲政。面对霍氏宗族的专权，汉宣帝不动声色对其予以翦除。他先是迁霍光的女婿大将军范明友为光禄勋，羽林监任胜为安定郡太守，几个月后又把霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威郡太守，长乐宫卫尉邓广汉为少府，这样夺取了他们的军权，扫清了霍家的外围势力。接着开始对霍家动手，改霍禹为大司马，无印绶，也就是剥夺了兵权，霍光的另一女婿赵平的兵权也被夺，空下来的职位