Ambos muy religiosos y desprovistos de descendencia, decidieron donar en 1859 todo su patrimonio a la Iglesia: una parte de los terrenos, lo que era el entorno del Palacio Nuevo, fue a parar a manos de la congregación de Religiosas del Sagrado Corazón de Jesús para la fundación de un colegio; la otra parte, la llamada «Quinta del Recuerdo», recayó en la Compañía de Jesús (a la que admiraban mucho los Pastrana) para la fundación del Colegio Nuestra Señora del Recuerdo, conocido como "los Jesuitas de Chamartín".