Su padre, el general Charles FitzRoy, era hijo del tercer duque de Grafton, bisnieto del rey Carlos II de Inglaterra.