Bygningen ble solgt i 1549 av Buonaccorso Pitti, en av Luca Pittis etterkommere, til Eleonora di Toledo. Eleonora var gift med Cosimo I de' Medici som nå var storhertug av Toscana. Hun hadde vokst opp ved det overdådige hoffet i Napoli, og fikk Vasari til å utvide palasset. Det ble mer enn fordoblet ved en ny fløy bak. Vasari fikk også bygget en beskyttet og overdekket gangvei fra Palazzo Vecchio, Cosimos gamle palass, gjennom Uffizi over Ponte Vecchio frem til Palazzo Pitti.