随后迁任诸曹，侍中等职位。元狩六年（前117年），霍去病去世。霍光升任奉车都尉、光禄大夫等职位，侍奉汉武帝左右，前后出入宫禁二十多年，未曾犯一次错误。因此得到汉武帝的信任。
武帝末年：托孤重臣.征和二年（前91年），卫太子被江充以巫蛊之祸逼死后，汉武帝决定立钩弋夫人之子刘弗陵为储君，并计划令霍光辅佐。武帝令宫中画师画《周公负成王朝诸侯图》赐给霍光，暗示他准备辅政。后元元年（前88年）侍中仆射莽何罗与弟弟重合侯莽通(马通)谋反，刺杀武帝的行动被金日磾当场阻止，武帝派侍中驸马都尉金