El 9º Conde, cuando le nombraron Duque en 1703, se mudó al Castillo de Belvoir, y sus herederos usaron la mansión muy poco, por lo que esta conservó sin grandes modificaciones su condición del siglo XVI, tal como había sido cuando se celebró en 1567 la boda de la familia Manners, condes de Rutland.