Su abuelo, Augustus FitzRoy, tercer duque de Grafton, era el primer ministro del Reino Unido a partir de 1768 a 1770.