La nueva titularidad no reportó ningún beneficio al monumento pues, a causa de la escasez económica del ayuntamiento y el estado ruinoso de las murallas, no comenzaron a restaurarse hasta principios del siglo XX, después de que en el último tercio del XIX se llevasen a cabo los derribos señalados en los informes, debido a que el coste de restauración era mayor que el de su demolición.