Pave Julius III fikk bygningen designet i av Giacomo Barozzi da Vignola. Nymfebadet og hagen ble designet av Bartolomeo Ammanati, under oppsyn av Giorgio Vasari. Michelangelo arbeidet også med bygningen. Villaen ble etterhvert et påkostet prosjekt, og et flott eksempel på arkitektur innen manierismen.