En 1842 el paño de muralla junto al Estudio de Gramática amenazaba ruina y el ayuntamiento comunicó la situación al nuevo duque, que no quiso hacer frente a su restauración.