La mansión fue en gran parte reconstruida por los arquitectos Henry Flitcroft y Henry Holland para el IV duque en el siglo XVIII.