El palacio, mandado construir por los duques de Gandía en la capital del entonces Reino de Valencia, constituyó durante siglos la expresión de su preeminencia entre la nobleza local.