天监二年（503年），惠海和尚将佛教传入南岳，创建广方寺。陈临海王（568年），慧思和尚率弟子来南岳创建般若寺和小般若寺（现在的福严寺、藏经殿）。隋炀帝在南岳衡山敕建上封寺。武德初年，南岳建司天霍王庙，为南岳有庙祀之始。玄宗开元十三年（725年），修建南岳真君祠，现南岳大庙。三年后，南岳庙遭受特大火灾，火灾波及南岳镇三百余家。南宋时期，胡安国父子及其弟子朱熹、张栻在南岳建春秋楼讲学，开创湖湘学派。
民国时期.抗日战争全面爆发以后，国民政府军事委员会一度迁到南岳。