Det har vært bosetning i Pembury siden angelsaksisk tid, men dens sognekirke, dedikert til apostelen Peter, er av normannisk opprinnelse, antagelig bygd sent på 1000-tallet eller tidlig på 1100-tallet, men den kan først dateres med sikkerhet til 1337 da John Culpeper av Bayhall utførte bygningsarbeid på kirken. Kirken omtales lokalt som «den gamle kirken», det finnes også en katolsk og babtistkirke i landsbyen.