Contrajo matrimonio en 1512 con Maria Pizarro, posiblemente prima hermana del conquistador extremeño Francisco Pizarro, de la que le sobrevivieron cuatro hijos.