Después perteneció a la Casa de Benavente y, finalmente, a la Casa de Osuna, hasta mediados del siglo XIX, momento en que se vendió el palacio al conde de Benicarló.