子嗣以及衞太子一族全被族诛，但是霍氏躲过了此难。之后汉武帝渐渐明白过来，于是霍光开始受到重用。汉武帝临死前，任命霍光、金日磾、上官桀三人为辅政大臣，并以霍光为首，加封其为大司马。但是不久金日磾去世，霍光以和亲拉拢上官桀，昭帝封光为丞相，开始独揽大权。地节二年（前68年）霍光病逝，宣帝下令以帝王的规格下葬霍光，同时亦开始亲政。面对霍氏宗族的专权，汉宣帝不动声色对其予以翦除。他先是迁霍光的女婿大将军范明友为光禄勋，羽林监任胜为安定郡太守，几个月后又把霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威