Los jardines tienen su origen en 1629, cuando Gaspar de Guzmán y Pimentel (1587-1645), conde-duque de Olivares y valido de Felipe IV (1605-1665), animó al monarca a ampliar el Cuarto Real existente junto al Monasterio de los Jerónimos y levantar alrededor del mismo una residencia palaciega.