他带到长安，并因兄长的关系出任郎官，开始了漫长的仕宦生涯。汉武帝末年巫蛊之祸，衞氏外戚遭到了毁灭性的打击，皇后卫子夫、大司马卫青的子嗣以及衞太子一族全被族诛，但是霍氏躲过了此难。之后汉武帝渐渐明白过来，于是霍光开始受到重用。汉武帝临死前，任命霍光、金日磾、上官桀三人为辅政大臣，并以霍光为首，加封其为大司马。但是不久金日磾去世，霍光以和亲拉拢上官桀，昭帝封光为丞相，开始独揽大权。地节二年（前68年）霍光病逝，宣帝下令以帝王的规格下葬霍光，同时亦开始亲政。面对霍氏宗族的专权，汉宣帝不动声色对其予以翦除。