Byggingen av dette lukkede, nesten truende palasset startet i 1458. Det var bankmannen Luca Pitti som lot det oppføre. Pitti var en av fremste støttene til Cosimo de' Medici, og en venn av ham. Den tidlige historien til palasset er en blanding av fakta og myter. Det sies at Pitti ønsket å bygge et stort palass som overgikk Palazzo Medici. Det hevdes videre at han eksplisitt beordret at vinduene skulle være større enn inngangen til Palazzo Medici. Vasari har hevdet at det var Brunelleschi som var palassets arkitekt, og at hans elev Luca Fancelli kun fungerte som assistent. Luca Fancelli er idag den som regnes som palassets arkitekt. Dette sannsynliggjøres av at Brunelleschi døde 12 år før konstruksjonen begynte, og at stilen palasset er bygget i ikke kommer overens med Brunelleschis stil. Designet og vindusinndelingen antyder at den ukjente arkitekten har vært uten erfaring med humanismens regler, som definert av Alberti i boken , og antagelig hadde mer erfaring med mer alminnelige bygg.