大乘之典，佛寺甚盛”。宋神宗听闻后，于赐“灵山寿圣寺”匾额，并拨库银以进行扩建。但到元至治二年（1322年）时，寺院不幸毁于火灾，使“金碧之区，悉化为烬”。至顺元年到至正二十四年（1330－1364年），寺僧一濂、惠宜等人化缘筹款，重建灵山寺。据《乐清县志》及当地口头流传，僧人从芙蓉山购得巨木，置于渡口，一日忽然风雨暴作，木头顺水漂流，越洋过江，竟直抵寺前山下，且一棵未少。灵山寺也逐渐发展起来。明代高潮时期，灵山寺甚至位列“玉环十大寺院”之首，亦成为浙南有名的弘法道场。清干隆年间再次重建，据说干隆帝视察