（594年）诏就山立祠，唐代则称西北镇，贞观四年（630年）建霍山祠，后因霍山在天宝十年（751年）获封应圣公，故又称应圣公祠，开成二年（873年）重修，宋代最迟在淳化时已由祀四镇改为祀五镇，并将其改作中镇庙。此后历代屡有兴废，可考的最后一次重修完成于清光绪十八年（1892年）。按干隆二年（1737年）重修时平阳府章廷珪所作《重修中镇庙记》，此时的中镇庙有正殿五间（周围出回廊二十四间）、寝殿三间，并有东西厢房等。1934年夏，梁思成、林徽因在汾阳周边各县开展古建筑调查时，曾路过中镇庙，并载于其《晋汾古建