Slottet ble revet av Johan av England i 1213, etter at han hadde jaget bort Gilberts etterfølger Richard. I 1276 ble materialene brukt til byggingen av klosteret Blackfriars.