岳麓书院都被元朝蒙古铁骑踏平，毁于兵火，一度荒废一百五十年之久。 
明朝.明宪宗成化年间，僧众和朝廷才恢复中断了一个世纪半之久的麓山寺。 明神宗万历年间，妙光大师和吉藩在清风峡寺旧址重建大雄宝殿、观音阁、万法堂、藏经楼等，明神宗赐名为“万寿寺”。 明末四大高僧之一的憨山德清曾来麓山寺传经布道。 明思宗崇祯十六年（1643年），麓山寺再度被在后金铁骑的战火中毁坏。 
清朝.清朝顺治十五年（1658年），朝廷重修麓山寺。先后在智檀、文惺主持下，进行