着在府中游玩娱乐。据传，李显还不守妇道与外人私通，品行不端、不守妇德，李显守寡独居时，她便和在霍光生前很受霍光宠信、常一同商量事情的家奴冯子都私通淫乱。李显以及她的几个女儿都在长信宫门录有姓名，随意出入长信宫，甚至半夜也能叫开宫门出入。汉宣帝命御史大夫魏相任给事中。李显对霍禹、霍云、霍山说：“你们不设法继承大将军的事业，如今御史大夫当了给事中，一旦有人在他面前说你们的坏话，你们还能救自己吗！”汉宣帝听说不少关于李显毒死许皇后的传闻。八月十四日，改由张安世为卫将军，未央宫、长乐宫两宫卫尉和北军都归张安