Im zweiten Krieg der Barone 1268, ein halbes Jahrhundert später, wurde Ely mit seinen Befestigungen eingenommen. Man vermutet, dass die Burg, die Bischof Nigel erbauen ließ, bald danach zerstört wurde.