La propiedad del castillo sin embargo se desvinculó de la casa de Alba en 1874 por venta de Jacobo Fitz-James Stuart.