到霍光死后第二年，即公元前67年，汉宣帝便开始亲自出面执掌国政，执政之初，便向霍家发难，罢免了霍山、霍禹等人的爵位和权力，提拔反霍的张安世、魏相等人进了中央，分别当尚书令和丞相，并顽固的指定爱妻许平君的儿子刘奭（念是）当了太子，即以后的汉元帝