理志》所言，禹贡所言的荆州衡山是在西汉长沙国境内。
南北朝——宋代.梁武帝天监二年（503年），惠海和尚将佛教传入南岳，创建广方寺。陈临海王（568年），慧思和尚率弟子来南岳创建般若寺和小般若寺（现在的福严寺、藏经殿）。隋炀帝在南岳衡山敕建上封寺。武德初年，南岳建司天霍王庙，为南岳有庙祀之始。玄宗开元十三年（725年），修建南岳真君祠，现南岳大庙。三年后，南岳庙遭受特大火灾，火灾波及南岳镇三百余家。南宋时期，胡安国父子及其弟子朱熹、张栻在南岳建春秋楼讲学，开创湖湘