Enviudó de su primera esposa en 1544, posteriormente volvió a casarse, enviuda otra vez y cuando tenía 72 años (en julio de 1551), casa nuevamente con doña Beatriz de Padilla.