En el siglo XVIII heredó el castillo doña María Josefa Alfonso de Pimentel Téllez de Girón, duquesa de Benavente, Arcos y Osuna, familia a la que la fortaleza perteneció hasta el siglo XIX.