El edificio, sin embargo, sufrió algunas modificaciones y pasó por épocas de completa ruina y abandono, siendo también utilizado como lazareto durante las epidemias de 1898 y 1903, y como cabaret en 1920.