Cuando, en 1141, otro Roberto D'Oyly, sobrino del anterior, declaró su preferencia por la emperatriz Matilde de Inglaterra por encima de Estaban de Blois, ésta se refugió en el castillo, que fue por ello sitiado durante varios meses.