汉宣帝命御史大夫魏相任给事中。李显对霍禹、霍云、霍山说：“你们不设法继承大将军的事业，如今御史大夫当了给事中，一旦有人在他面前说你们的坏话，你们还能救自己吗！”汉宣帝听说不少关于李显毒死许皇后的传闻。八月十四日，改由张安世为卫将军，未央宫、长乐宫两宫卫尉和北军都归张安世统领。任命霍禹为大司马，不颁给印信、绶带，撤销他以前统领的屯戍部队和官属，只使他的官名和霍光同样为大司马。地节四年（前66年）李显和霍禹、霍山、霍云眼看霍家的权势日益被削弱，多次聚在一起痛哭流涕，自怨自艾。霍山说他听闻民间纷纷传言“霍