发之妻的去世非常悲伤，这也影响了他后来对继任人的选择。后来即使他渐渐对时为太子的汉元帝感到不满意，并下了“乱吾家者，太子也”的评语，但始终没有废太子之位。
清除霍氏.霍光属于汉武帝时的衞氏外戚集团。霍光十五岁，其兄（同父异母）霍去病回到家乡认祖归宗，把他带到长安，并因兄长的关系出任郎官，开始了漫长的仕宦生涯。汉武帝末年巫蛊之祸，衞氏外戚遭到了毁灭性的打击，皇后卫子夫、大司马卫青的子嗣以及衞太子一族全被族诛，但是霍氏躲过了此难。之后汉武帝渐渐明白过来，于是霍光开始受到重用。汉武帝