四年后，长期把持朝政的大将军霍光去世，宣帝思其功德，以其子霍禹为右将军，任其侄乐平侯霍山领尚书事，其弟兄、女婿也各掌要职，还允许霍光的夫人霍显及诸女出入宫禁