Siguiendo una iniciativa del Conde-Duque de Olivares, en 1632 Felipe IV ordenó al arquitecto Alonso Carbonel la ampliación del recinto y su conversión en residencia veraniega.