成二年（927年），原称福田寺。南宋绍熙年间赐名延福寺。元延祐四年（1317年）由僧德环重建。明正统年间仅存大殿，僧文碧等将大殿改建，并重建其它建筑。清康熙九年（1670年）僧照应重建观音堂西廊。干隆十年（1745年）僧通茂等修整大殿，并建天王殿和两厢。道光十八年（1838年）僧汉书重建山门。光绪三十一年（1905年）僧心洁重建观音堂。1933年，梁思成、林徽音曾在此考察。文革初，寺内佛像被捣毁。1974年武义县文管会对大殿进行较大维修。2000～2001年，延福寺大殿落架大修。
建