En 1822 empiezan las peticiones para demoler parte del edificio (sus torreones) porque impedían el paso por la zona.