宋元明，此山道教兴盛，峰顶有华藏寺、凌霄塔、妙峰石塔（宋治平石幢）、仙鹤亭、玉清亭、林迹亭等。观宫十余处，后毁于兵火。山上有擘云峰、老人峰、紫云岩、试剑石、群豕石、凤凰石和栖霞、抱玉、桃源、留云、长阳等洞。历代文人题咏颇多，以唐朝孟郊、张祜各一诗和宋朝王安石两首诗。山下有南宋词人刘过墓、明朝大学士顾鼎臣崇功祠、顾炎武纪念馆等。清光绪三十一年（1905）辟为公园，1936年称“亭林公园”，公园抱山而建，以纪念昆山先贤顾炎武（亭林）。