Hijo de Jofré de Borja y Escrivá, descendiente de una familia de la pequeña y mediana nobleza de Játiva, originaria probablemente de la ciudad fortificada de Borja en Aragón, atendiendo a la costumbre de muchos de los conquistadores de tomar el apellido del lugar de nacimiento, y de Isabel de Borja, su pariente, descendiente a su vez de Francesca de Fenollet, que procedía de una de las más antiguas familias de la nobleza catalana, su tío materno, Alfonso de Borja, catedrático en la Universidad de Lérida tras estudiar cánones, era ya, en el momento de nacer Rodrigo, obispo de Valencia, cardenal en 1444 y papa Calixto III en 1455.