孙子，霍光的侄孙子，开始为奉车都尉、侍中。前68年，霍光去世，临终请求从自己在东武阳的封邑分三千五百户封霍山为列侯为霍去病奉祀，霍光死后，宣帝念其功德，封霍山为乐平侯。五月，汉宣帝亲政，复使乐平侯霍山领尚书事。霍光的儿子博陆侯霍禹、霍山与弟冠阳侯霍云、三人被汉宣帝设计，解除了兵权，与霍光之妻显天天在家中发牢骚。霍山问显是否如传言所说毒杀了皇后许平君，显承认，霍禹三人大惊。霍云的舅舅李竟因交通诸侯王获罪，宣帝下诏免去霍山、霍云的宿卫之职让他们回家。霍禹三人越来越害怕，打算发动兵变，计划杀害丞相魏相、平