Fue en el siglo XIX, durante la guerra de Independencia, cuando el Castillo sufrió importantes desperfectos a manos de las tropas francesas que lo utilizaron como blanco de sus entrenamientos y maniobras con artillería.