En el verano de 1813 la fortaleza sufrió muchos daños en las luchas que llevaron a la liberación de la ciudad por las tropas españolas al mando del Francisco Espoz y Mina, y una vez derrotado el ejército francés el castillo fue desmantelado.