汉察觉到宣帝有打压霍家之意，亲率长安官吏同去霍光子博陆侯霍禹家，直突入其门，搜索其非法酿酒、非法屠宰的证据，砸坏了霍家的瓶罐，离去时还用斧噼了霍家的门关。霍成君闻讯对着对宣帝哭，宣帝同情，召问赵广汉。地节三年（前67年），汉宣帝立与许平君在民间所生的刘奭为太子，霍成君母亲显非常恼怒，授意霍成君伺机毒杀刘奭，未能成功。次年霍家发动政变未遂，招致灭族，显、霍禹、侄孙乐平侯霍山、冠阳侯霍云都处决或者自杀。几个月后，汉宣帝以阴谋毒害太子为由，废掉霍成君，令其迁往昭台宫。十二年后的五凤四年（前54年），再度令其迁