La fecha oficial de la fundación del jardín puede fijarse el 1 de diciembre de 1545, fecha del contrato de alquiler celebrado con los frailes dominicos que cedieron un terreno situado en la localidad de Cafaggio, cerca de los establos de los Médicis, cuyo nombre tomó.