El castillo, al igual que otras propiedades de la familia Boyle (Chiswick House, Burlington House, Bolton Abbey y Londesborough Hall) fueron adquiridas por la familia Cavandish en 1753 cuando la hija y heredera de Richard Boyle, Charlotte Cavendish (1731-1754) se casó con William Cavendish, futuro Primer ministro del Reino Unido e Irlanda.