Tras varias interrupciones, debidas a la oscilante situación económica de la familia, el palacio fue terminado en 1538 por Baccio d'Agnolo, que cuidó también los espacios internos y los muebles, pero dejó la cornisa incompleta por un lado, que permaneció así hasta hoy en día.