El palacio fue propiedad de distintas e importantes familias a lo largo de su historia, primero perteneció a la Casa de Borja desde 1485, fue abandonado a mediados del siglo XVIII por los duques de Gandía, quedando en estado ruinoso.