Años más tarde se mudó al Palazzo Pitti, edificio que fue comprado por su esposa Leonor Álvarez de Toledo, en 1549, a Buonaccorso Pitti, descendiente de Luca.