代都有关于灵山寺的奇闻。后晋天福年间，当地僧人自行筑堤围海成田，至北宋熙宁元年（1068年）已围田7顷。寺院规模也逐步扩大，《钱溪赵氏宗谱》中记载：“北宋初，灵山寺已会上大乘之典，佛寺甚盛”。宋神宗听闻后，于赐“灵山寿圣寺”匾额，并拨库银以进行扩建。但到元至治二年（1322年）时，寺院不幸毁于火灾，使“金碧之区，悉化为烬”。至顺元年到至正二十四年（1330－1364年），寺僧一濂、惠宜等人化缘筹款，重建灵山寺。据《乐清县志》及当地口头流传，僧人从芙蓉山购得巨木，置于渡口，一日忽然风雨暴作，木头顺水漂流，