Su sobrino Leonardo, en los años 1546 a 1553 hizo edificar el palacio que fue luego ampliado y restaurado en su actual forma en 1612 por Miguel Ángel el Joven, hacia 1612.