ウィリアム・キャヴェンディッシュ (第4代デヴォンシャー公爵)
後に第6代クリフォード女男爵となるレディ・シャーロット・エリザベス・ボイルと1748年に結婚し、三男一女をもうけた。シャーロット・エリザベスは建築・美術収集家として知られた第3代バーリントン伯爵リチャード・ボイルの一人生き残っていた最後の娘で、この結婚によりアイルランド王国ウォーターフォード県のリズモア城(英語版)、ロンドン、ピカデリー通りのバーリントン・ハウスやチジック・ハウス、ヨークシャーのロンデスバラ・ホール(英語版)やボルトン修道院(英語版)等の財産がデヴォンシャー公爵家へ渡った。
ハーティントン侯爵ウィリアム・キャヴェンディッシュ (1748年 - 1811年) - 第5代デヴォンシャー公爵
レディ・ドロシー・キャヴェンディッシュ(英語版) (1750年 - 1794年) - 第3代ポートランド公爵ウィリアム・キャヴェンディッシュ=ベンティンク夫人
リチャード・キャヴェンディッシュ卿(英語版) (1752年 - 1781年)
ジョージ・オーガスタス・ヘンリー・キャヴェンディッシュ卿(英語版) (1754年 - 1834年) - 初代バーリントン伯爵(第2期)
2人の仲は良好であり、同時代の著述家メアリー・ウォートリー・モンタギューは1748年2月に(ハーティントン侯爵より)「これほど妻を喜ばせるのに適した男を私は知らない」("I do not know any man so fitted to make a wife happy")と述べた。しかし、シャーロット・エリザベスは1754年12月8日にわずか23歳で死去した。