Hijo natural de Fernando de Borja y Castro y de Violante de Armendia y Matheu, era nieto del duque de Gandía, san Francisco de Borja, tercer general de la Compañía de Jesús.