Entre 1806, fecha del plano de Julián Ayllón, y en 1848, fecha del plano del cuerpo de Ingenieros del Ejército, el castillo había perdido una de las torres de la barrera, al parecer volada, posiblemente en la guerra de la Independencia cuando se intentó utilizar la fortaleza, destruyendo parte del baluarte e intentando volar sin éxito el lienzo sur.