庙宇的记载最早出现于北魏郦道元所着《水经注》，时称岳庙。隋唐时祀四镇，霍山不在四镇之列，但隋代仍称霍山为冀州镇，并在开皇十四年（594年）诏就山立祠，唐代则称西北镇，贞观四年（630年）建霍山祠，后因霍山在天宝十年（751年）获封应圣公，故又称应圣公祠，开成二年（873年）重修，宋代最迟在淳化时已由祀四镇改为祀五镇，并将其改作中镇庙。此后历代屡有兴废，可考的最后一次重修完成于清光绪十八年（1892年）。按干隆二年（1737年）重修时平阳府章廷珪所作《重修中镇庙记》，此时的中镇庙有正殿五间（周围出回廊二十四间