Det ble sagt at ved tiden av Oppløsningen av Englands klostre at «om abbedissen av Shaftesbury og abbeden av Glastonbury Abbey hadde vært i stand til å bli gift, ville deres sønn ha vært rikere enn kongen av England», sådan rikdom hadde de to klostrene til sammen. Denne rikdommen var for stor til å overse for Thomas Cromwell, den mest innflytelsesrike ministeren til kong Henrik VIII av England. I 1539 signerte den siste abbedisse ved klosteret, Elizabeth Zouche, en overgivelse og klosteret ble revet ned og dens landområder solgt. Det førte til en midlertidig nedgang for byen som i alle tider hadde levde godt av klosterets aktiviteter. Sir Thomas Arundell kjøpte klosteret og det meste av byen i 1540, men da han senere ble sendt i landflyktighet på grunn av forræderi ble landområdene inndratt og gitt videre.