En 1549 fue comprado por Leonor de Toledo (Leonor Álvarez de Toledo y Osorio), la duquesa consorte de Cosme I de Médici, duque de Florencia y posterior I gran duque de Toscana, siendo —desde ese momento— la residencia oficial de los grandes duques de Toscana.