El primitivo Palacio de los Vargas apenas fue intervenido cuando Felipe II se hizo con la propiedad, más allá de ciertas obras de adecuación y acondicionamiento.