Fue décadas después de su inauguración cuando el palacio pasó a asociarse a la Casa de Alba, por fusión con la de Berwick.