Este edificio sirvió de punto de partida para una construcción de nueva planta que, bajo la dirección de Juan Bautista de Toledo, otorgó al monarca una residencia en La Fresneda.