Nel 1153, la moglie di Roger de Beaumont, II conte di Warwick, fu indotta a credere che suo marito fosse morto e cedette il controllo del castello all'esercito invasore di Enrico d'Angiò, futuro re Enrico II. Secondo le "Gesta Regis Stephani", un testo storico del XII secolo, Roger de Beaumont morì nel sentire la notizia della consegna del castello da parte della moglie. Enrico successivamente restituì il castello al conte di Warwick, come ricompensa per l'avere sostenuto sua madre, l'imperatrice Matilde, durante l'anarchia del 1135-1154.