Em 1811, William Cavendish, 6.º Duque de Devonshire, herdou o título e oito edifícios: Chatsworth House, Hardwick Hall, Devonshire House, Chiswick House, Lismore Castle e a abadia de Bolton, os quais reteve; Burlington House que era um segundo palácio londrino e que por ser supérfluo foi vendido a um primo poucos anos depois; e Londesborough Hall no Yorkshire, o qual vendeu para resolver algumas dívidas. Estas casas vieram com 200.000 acres (809 km²) de terrenos, na Inglaterra e Irlanda. O Duque era um entusiasmado viajante, construtor e coleccionador que transformou Chatsworth. Nunca casou é conhecido como o Duque Solteirão. Dizia-se que estava apaixonado por uma Princesa da Família Real Britânica, mas não era elegível para casar com ela pois não tinha sangue real. Também teve diversas amantes. Existe uma transcrição em Latim sobre a lareira do hall pintado que diz, "William Spencer, Duque de Devonshire, herdou este muito belo palácio, de seu pai, no anos de 1811, o qual tinha sido iniciado no ano da libertação inglesa de 1688, e completado no ano do seu luto, 1840". 1688 foi o ano da Revolução Gloriosa, que foi patrocinada pelas dinastias partidárias do Whig, incluindo os Cavendishes. Blanche, a sua sobrinha favorita, casada com o William Cavendish, o futuro 7º Duque de Devonshire, tinha morrido em 1840. Em 1844 ele publicou um "Manual para Chatsworth e Hardwick".