Posteriormente, en 1880, los Duques de Pastrana donaron sus terrenos y la llamada "Quinta del Recuerdo" a la Compañía de Jesús para la fundación del Colegio Nuestra Señora del Recuerdo, conocido como "los Jesuitas de Chamartín", uno de los más importantes centros escolares de la capital de España en el siglo XX.