Hacia 1854 el edificio se hallaba muy deteriorado y el Ayuntamiento ordenó a la Asociación su derribo.