《乐清县志》及当地口头流传，僧人从芙蓉山购得巨木，置于渡口，一日忽然风雨暴作，木头顺水漂流，越洋过江，竟直抵寺前山下，且一棵未少。灵山寺也逐渐发展起来。明代高潮时期，灵山寺甚至位列“玉环十大寺院”之首，亦成为浙南有名的弘法道场。清干隆年间再次重建，据说干隆帝视察民情曾到此过，要朝拜灵山寺，向一牧童（传说中为太白金星所化）问路，牧童说了一首当地的顺口熘，讲了附近的一些景点，但干隆皇帝误以为路还很远，便离开了。至民国时期寺院常住僧众仍有40多人。1942年，日军发动浙赣战役，并相继攻占浙江多地。是年5月，日