Il palazzo dichiara con la facciata sul borgo le proprie antiche origini trecentesche, legate alle molte proprietà che la consorteria dei Peruzzi aveva in quest'area fin dal Duecento. Conosciuto nella Firenze antica come "il Palagio" per eccellenza, per la sua vastità e nobiltà venne scelto nel 1310, quando era proprietà di Giotto d'Arnoldo Peruzzi, per ospitare Roberto d'Angiò. Nel 1339 il fallimento della banca dei Peruzzi (che coinvolse a catena anche altri istituti fiorentini) a causa dell'insolvenza di re Edoardo III d'Inghilterra, costrinse la famiglia a vendere numerosi terreni e case, ma non il palazzo in questione. Ancora nel 1345 il palazzo venne ritenuto dalla Signoria per ospitare personaggi di riguardo, in quel caso la moglie di Roberto d'Angiò principe di Taranto, figlia del duca di Borbone e principessa di Costantinopoli senza terra. Nel 1439 fu poi residenza dell'imperatore Giovanni VIII Paleologo, in occasione del Concilio di Basilea, Ferrara e Firenze, con i suoi familiari e il suo seguito (una targa che ricorda l'imperatore bizantino si trova però nell'androne del vicino palazzo di Ubaldino Peruzzi).