Tuvo un romance clandestino con la duquesa Georgiana Spencer durante el matrimonio de ésta con William Cavendish, quinto duque de Devonshire.