Herregården i Chicheley ble opprinnelig eid av Pagnellfamilien fra Newport Pagnell, men de gav den i middelalderen til kirken. En periode var det kardinal Thomas Wolsey som eide landsbyen, men da han ble tvunget til å søke avskjed inndro Henrik VIII alle hans eiendeler. Bygningen ble sterkt skadet i den engelske borgerkrigen, ettersom den da hadde samme eier som garnisonen i Newport Pagnell. Den ble revet etter borgerkrigen, og Chicheley Hall ble bygget i stedet. Det eneste som er bevart av den gamle bygningen er deler av panelet og overliggeren på en dørkarm.