Los trabajos del jardín fueron comenzados en 1565 por Giacomo del Duca, utilizando para el aterrazamiento la tierra de excavación de los cimientos de la iglesia del Gesú en Roma, y se concluyeron en 1630, bajo la dirección de Girolamo Rainaldi.