很信任，但内心十分忌惮，与之同车时“若有芒刺在背”。霍光本人功高震主，为后来的全家族灭埋下了祸根。汉宣帝即位后，没有依照群臣提议立霍光之女霍成君为皇后，而是委婉地以寻故剑的名义表示要立自己的元配妻子许平君为皇后。霍光没有反对，但以许皇后父亲许广汉受过宫刑的缘故反对汉宣帝依照汉朝惯例封后父为列侯。霍光的继室霍显对女儿没有成为皇后不满，背着霍光趁许皇后生产的机会买通医生淳于衍毒死了许皇后。许皇后死后，宣帝追究医生责任，淳于衍下狱受审，显害怕而向霍光坦白了此事。霍光惊骇之余，想要追究显的责任，但最终还是碍于夫