有祝融冢，楚灵王时期，因为山崩坟被毁坏，却得到《营邱九头图》。秦朝始建的衡山郡，是以天柱山为名，并非今天的衡山。根据《汉书地理志》所言，禹贡所言的荆州衡山是在西汉长沙国境内。
南北朝——宋代.梁武帝天监二年（503年），惠海和尚将佛教传入南岳，创建广方寺。陈临海王（568年），慧思和尚率弟子来南岳创建般若寺和小般若寺（现在的福严寺、藏经殿）。隋炀帝在南岳衡山敕建上封寺。武德初年，南岳建司天霍王庙，为南岳有庙祀之始。玄宗开元十三年（725年），修建南岳真君祠，现南岳大庙