Han var nevøen til Francisco de Borja y de Aragón, S.J. (kjent som den hellige Frans av Borja) og av kardinal Enrique de Borja y Aragón (kreert 1539), og var tippoldebarn av pave Alexander VI.