Egli combatté coraggiosamente alla Battaglia di Hastings. Questa torre venne demolita da Giovanni d'Inghilterra nel 1213, dopo aver esiliato Richard, successore di Gilbert, l'attuale proprietario. Le macerie vennero poi utilizzate per la costruzione, nel 1276, del monastero di Blackfriars.