Da klosteret mistet mye av sin betydning i løpet av 1000- og 1100-tallet gikk også landsbyen tilbake. Den nåværende kirken ble bygget på slutten av 1100-tallet eller tidlig på 1200-tallet, dedikert til jomfru Maria. På denne tiden var Gainford ikke den eneste bosetning i området. Det var antagelig også en liten landsby ved Dyance hvor levninger av jordvoller fortsatt er synlig, og tillegg var det også andre bosetninger ved Balmer Hill, hvor det en gang var et kapell og en eneboerhytte. I tiden etter middelalderen i tidlig moderne tid ble landsbyen et sentrum og markedssted for området. Landsbyen fikk ny betydning og økt vekst. Større hus ble bygget, som Gainford Hall, og en liten skole ved kirken.