衡山古名為壽嶽。據《星經》所載，南嶽衡山是對應星宿二十八宿之軫星，軫星乃主管人間蒼生壽命。相傳神農氏曾來此採百藥，因嘗線蟲中毒而仙逝於降真峰上。在道教中，此山是道教洞天福地(有道教三十六洞天之第三洞天——朱陵洞天，道教七十二福地之青玉坛福地、光天坛福地、洞灵源福地)，是神仙居住遊憩的之一。建于唐代的南岳庙，是湖南省最大的一座古建筑。古往今來，司马承祯、李白、杜甫等古今的文人雅士都曾留下大量詩詞歌賦和石刻，是中華民族文化藝術的寶庫之一。