En 1856 el edificio pasa a la Congregación de la Sagrada Familia como Colegio para huérfanas, cinco años después de la inauguración del ferrocarril de Madrid a Aranjuez por Isabel II.