Em 1153, a esposa de Roger de Beaumont, 2.º Conde de Warwick, foi levada a acreditar que o marido tinha morrido e convencida a entregar o controle do castelo ao exército invasor de Henrique de Anjou, mais tarde rei Henrique II. De acordo com a "Gesta Regis Stephani", um texto histórico do século XII, Roger de Beaumont faleceu ao ouvir a notícia de que a sua esposa tinha entregue o castelo. Mais tarde, Henrique II devolveu o castelo aos Condes de Warwick, uma vez que estes tinham sido apoiantes da sua mãe, a Imperatriz Matilda, durante A Anarquia de 1135-1154.