其不堪重任，与大臣奏请上官太后（霍光外孙女）下诏，于同月癸巳（公历8月14日）废黜了他，并且亲自送他回到封地昌邑，削去王号，给他食邑二千户，另赐刘贺的四个姐妹汤沐邑千户。同年9月10日，霍光尊立戾太子唯一的遗孙刘病已为帝。元康二年，霍光写信给山阳太守张敞：“谨备盗贼，察往来宾客。毋下所赐书。”要求当地官员密切监视刘贺。前63年汉宣帝封刘贺为海昏侯。刘贺的儿子刘充国、刘奉亲都在袭封海昏侯之前死去，海昏侯国一度绝封，汉元帝初元三年（前46年）才复封刘贺另一个儿子刘代宗为海昏侯。