Además de su esposa Leonor de Toledo, murieron de malaria sus hijos: María, Giovanni y García; Bia murió a los cinco años de causa desconocida, otros cinco murieron aún jóvenes; Francisco y Lucrecia murieron en plena madurez, se sospecha que por envenenamiento (lo cual fue confirmado para el caso de Francisco en 2006); Isabel fue estrangulada por su marido; Pedro fue a su vez un uxoricida, otro protagonista de múltiples fracasos, que tuvo sólo hijos "bastardos"; de los restantes Juan y Virginia, hijos naturales, únicamente Virginia fue legítimada y siendo anciana fue declarada "loca".