衍禅师远赴吐蕃（今西藏），与印度高僧莲花戒就佛教奥义论辩三年，史称“拉萨法诤”。会昌五年（845年），唐武宗灭佛时，麓山寺殿堂全部被毁，唐宣宗大中元年（847年），景岑禅师于旧址上重建，改名“麓苑”。 唐朝的文人骚客都来麓山寺参禅论道，杜甫、李邕、沈传师、唐扶、韦蟾、刘长卿、韩愈、宋之问、曹松、罗隐、喻凫、戎昱等文坛大家都相继留下诗作与墨宝。 
元朝.元朝，麓山寺和岳麓书院都被元朝蒙古铁骑踏平，毁于兵火，一度荒废一百五十年之久。 
明朝.明宪宗成化年间