Vóór de Normandische verovering van Engeland viel het dorp onder de Angelsaksische edelman Ulfcytel Snillingr. Tussen 1174 en 1180 kreeg Walter de Coutances, vertrouweling van Hendrik II, het dorp toegewezen. Daarna kwam het dorp toe aan de monniken van de abdij van Bury St Edmunds. Dit is bevestigd in een schrijven van Paus Alexander III, die aangaf dat de inkomsten van Woolpit toekwamen aan de abdij.