Tras la muerte del undécimo duque de Borja sin descendencia, el ducado y el edificio pasaron a manos de familias nobles, que normalmente no residían en Gandía.