Roedd yn fab hynaf i William Cavendish, 2il Iarll Burlington, a olynodd ei gefnder i ddod yn 7fed Dug Devonshire ym 1858, a Blanche Cavendish (née Howard). Wrth i'w dad dyfod yn Ddug Devonshire, caniatawyd i'w fab hynaf defnyddio ei is deitl Ardalydd Hartington fel teitl cwrteisi, gan mae teitl cwrteisi ydoedd yr oedd yr ardalydd ddim yn cael lle yn Nhŷ'r Arglwyddi a gan hynny yn cael sefyll etholiadau ar gyfer Tŷ'r cyffredin