Cavendishfamilien stammer fra John Cavendish som fikk sitt navn fra Cavendish i Suffolk der han hadde en eiendom på 1300-tallet. Han fungerte som Lord Chief Justice of the King's Bench fra 1327 til 1381 og ble drept i bondeopprøret. To av hans oldebarn var George Cavendish, Thomas Wolseys biograf og Georges yngre bror William Cavendish. William ble rik som følge av hans posisjon i skattkammeret, og også ved å uetisk utnytte oppløsningen av Englands klostre. Han giftet seg for andre gang med den berømte Bess av Hardwick som han fikk åtte barn med. En av sønnene deres, Charles Cavendish (1553–1617), var far til William Cavendish, 1. hertug av Newcastle-upon-Tyne (se hertug av Newcastle-upon-Tyne for mer informasjon om denne grenen av familien), en annen sønn var forfader til baron Waterpark. En annen sønn, William Cavendish, var politiker og støttet koloniseringen av Virginia. I 1605 ble han gjort til "Baron Cavendish av Hardwicke" og i 1618 ble han videre adlet til "jarl av Devonshire". Begge titlene er engelsk adelstitler.