Frente a este antiguo palacio (al otro lado de la actual Avenida de Burgos) se encuentra la antigua Quinta del Recuerdo, que de hecho eran los jardines y el Palacio Antiguo de los mismos Duques del Infantado-Pastrana, y donde desde 1859 están instalados los jesuitas; no quedando nada de aquel palacio antiguo (demolido por amenazar ruina y ser por tanto peligroso para un centro educativo), en este lugar se levanta el moderno Colegio Nuestra Señora del Recuerdo.