El cuarto duque, Francisco de Borja y Aragón (1511-1572), al que se le dio el título de marqués de Llombay, ingresó en la Compañía de Jesús y fue canonizado en 1671 como san Francisco de Borja.