En 1569 el quinto duque del Infantado inició una serie de reformas dirigidas por Acacio de Orejón que tendían a equiparar el palacio con la residencia que el rey Felipe II estaba levantando en las cercanías de Madrid.