Pierwszym poświadczonym w źródłach przodkiem był John Cavendish (1346 - 1381) sędzia w sądzie Izby Karnej który zginął w czasie powstania Wata Tylera. George Cavendish (zm. 1562) był sekretarzem kardynała Wolseya i autorem jego biografii napisanej pod koniec życia kardynała. „Życie kardynała Wolseya” posłużyło później Szekspirowi jako jedno z głównych źródeł do „Henryka VIII”, sam Szekspir wysoko cenił biografię Cavendisha za niewątpliwą historyczną autentyczność. Młodszy brat George’a William Cavendish zyskał wielkie bogactwo dzięki pełnionej funkcji Wielkiego Skarbnika, a także jak twierdzono dzięki nieuczciwym wykorzystywaniu rozwiązywania klasztorów za Henryka VIII. Jego trzecią żona była słynna Bess Hardwick z którą miał ośmioro dzieci. Jeden z ich synów Charles Cavendish (1553 - 1617), był ojcem Williama Cavendisha 1. księcia Newcastle-upon-Tyne, podczas gdy drugi syn, Henry Cavendish, był przodkiem baronów Waterpark. Najmłodszy syn William Cavendish, był politykiem i zwolennikiem kolonizacji Wirginii. W 1605 roku został obdarzony tytułem barona Cavendish a 1618 roku hrabiego Devonshire. Jego najstarszy syn William Cavendish (1590 - 1628), drugi hrabia Devonshire był patronem filozofa Thomasa Hobbesa Po jego przedwczesnej śmierci wszystkie tytuły przeszły na jego syna Williama Cavendisha (1617 - 1684), trzeci hrabia Devonshire.