Era nieto de William Cavendish, duque de Devonshire y de Georgiana Cavendish, ambos destacados miembros de los liberales.