五百户封霍山为列侯为霍去病奉祀，霍光死后，宣帝念其功德，封霍山为乐平侯。五月，汉宣帝亲政，复使乐平侯霍山领尚书事。霍光的儿子博陆侯霍禹、霍山与弟冠阳侯霍云、三人被汉宣帝设计，解除了兵权，与霍光之妻显天天在家中发牢骚。霍山问显是否如传言所说毒杀了皇后许平君，显承认，霍禹三人大惊。霍云的舅舅李竟因交通诸侯王获罪，宣帝下诏免去霍山、霍云的宿卫之职让他们回家。霍禹三人越来越害怕，打算发动兵变，计划杀害丞相魏相、平恩侯许广汉，废黜宣帝，立霍禹为帝。前66年七月，事情败露，霍云、霍山自杀，霍禹被腰斩，霍家一族遭