Francisco de Borja var sønn av hertugen av Gandia. Da han var 17 år inntrådte han i foffet hos hos keiser Karl V. Der traff han sin tilkommende hustru Leonor de Castro Mello y Meneses, en portugisisk adelskvinne, med hvem han fikk åtte barn.