汉宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，朝廷事务的决策仍先经过霍光过问再禀报皇帝。宣帝对霍光表面上很信任，但内心十分忌惮，与之同车时“若有芒刺在背”。霍光本人功高震主，为后来的全家族灭埋下了祸根。汉宣帝即位后，没有依照群臣提议立霍光之女霍成君为皇后，而是委婉地以寻故剑的名义表示要立自己的元配妻子许平君为皇后。霍光没有反对，但以许皇后父亲许广汉受过宫刑的缘故反对汉宣帝依照汉朝惯例封后父为列侯。霍光的继室霍显对女儿没有成为皇后不满，背着霍光趁许皇后生产的机会买通医生淳于衍毒死了许皇后。许皇后死后