Han var sønn av William Cavendish, 3. hertug av Devonshire og Catherine Hoskins. Før 1729 bar han tittelen lord Cavendish og 1729–1755 marki av Hartington. Han arvet hertugdømmet og -tittelen ved farens død 5. desember 1755.