Da normanneren Simeon ble abbed i Ely i 1082, fikk han revet de eksisterende bygningene.