地节二年(公元前68年)三月初八日,霍光去世。地节三年(公元前67年)四月二十二日,汉宣帝立与许平君所生之子刘奭为太子,封许平君的父亲昌城君许广汉为平恩侯。霍显愤怒不食,气得吐血说:“刘奭是汉宣帝在民间时生的,怎么能当太子?如果现在的皇后生了儿子,反而为王吗?”于是教霍成君毒死太子刘奭。霍成君几次召刘奭并赐以食物,刘奭的保姆常先试菜验毒,所以霍成君无法下毒毒害刘奭。地节四年(公元前66年)七月,霍显毒杀许平君之事泄露,霍显便与儿子大司马、博陆侯霍禹,霍家子弟冠阳侯霍云、乐平侯霍山、诸女婿度辽将军范明友、长信少府邓广汉、中郎将任胜、骑都尉赵平、长安男子冯殷等阴谋造反,东织室令张赦派魏郡豪家李竟向朝廷举报此事,霍显等人全都被诛杀。同年八月初一日,汉宣帝派有关官员赐命令给霍成君,说她居心不良而失道,生性狠毒,持毒药与其母霍显同谋要暗害太子刘奭,无人母之恩,不能奉宗庙祭服,不可以承担皇后大位。于是废黜霍成君的皇后之位,收缴皇后玺绶,将其迁往上林苑的昭台宫居住。