淫乱无道的理由报请上官太后废除了他。众大臣上书孝昭皇后：霍光同群臣商议后决定从民间迎接武帝曾孙刘病已（后改名刘询）继承帝位。这就是汉宣帝。霍光效法殷商伊尹，行废立天子之事，从此后人合称为「伊霍」。
宣帝时期：祸萌骖乘.汉宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，朝廷事务的决策仍先经过霍光过问再禀报皇帝。宣帝对霍光表面上很信任，但内心十分忌惮，与之同车时“若有芒刺在背”。霍光本人功高震主，为后来的全家族灭埋下了祸根。汉宣帝即位后，没有依照群臣提议立霍光之女霍成君为皇