Tras la supresión de la Casa Profesa de Toledo, por problemas económicos, en el inmueble se instala, a partir de 1732, el Colegio de San Eugenio y San Ildefonso hasta la expulsión de los jesuitas en 1767.