El edificio comenzó a deteriorarse y en 1767 después de la expulsión de los hijos de San Ignacio, el arquitecto Joaquín Martín hizo un detallado inventario del inmueble, sin embargo no se sabía para qué se construyó ni tampoco qué había funcionado ahí.