Único hijo varón de Domingo de Borja, «un bon home, llaurador de Xàtiva», y de Francina de Borja o de Llançol, Alfonso de Borja fue miembro de una familia de la pequeña y mediana nobleza de Játiva, originaria probablemente de la ciudad fortificada de Borja en Aragón, atendiendo a la costumbre de muchos de los conquistadores de tomar el apellido del lugar de nacimiento.