En 1767 una Real Orden de Carlos III expulsó de España a los jesuitas que debieron abandonar el edificio.