Tras la muerte sin herederos forzosos de la XIII duquesa de Alba, acaecida en el palacio en 1802, la Casa de Alba quedó incorporada en la Casa de Berwick.