Fue hijo primogénito de miembros de la nobleza inglesa, lord Charles Cavendish, hijo menor del duque de Devonshire, y lady Ann Gray.