Hacia 1512 se casó con Leonor Álvarez de Montalbán, hija del converso acusado de judaizante Álvaro de Montalbán que en 1525 pedirá infructuosamente al tribunal de la Inquisición que su yerno, que "compuso a Melibea", fuera su abogado defensor; entre 1513 y 1523 fue padre de cuatro hijos y tres hijas.