キャヴェンディッシュ家の祖であるは、リチャード2世の治世の1372年から1381年にかけてを務めたがワット・タイラーの乱で殺害されている。その子孫のトマス・キャヴェンディッシュ はヘンリー8世の時代に財務控訴裁判所(Court of Exchequer)のパイプ・ロール書記官を務めた。その息子は枢機卿トマス・ウルジーの伝記を書いた。その弟ウィリアム・キャヴェンディッシュは、財務省官僚としてによる土地没収からの横領でキャヴェンディッシュ家の巨額の財を築いた。その3番目の妻は、エリザベス1世時代に最も有力な人物の一人となった。彼らは1549年にダービーシャー・の土地を購入し、1552年に同地にチャッツワース・ハウスを建設した。