Province of New Jersey
1735年9月28日にオーガスタス・フィッツロイ卿（第2代グラフトン公爵チャールズ・フィッツロイの息子）とその妻エリザベス（旧姓コスビー、ニュージャージー植民地総督の娘）の長男として生まれる。グラフトン公爵家は、チャールズ2世と愛妾クリーヴランド公爵夫人の次男ヘンリー・フィッツロイに始まる家柄で、彼はその4世代目の子孫であった。1741年5月、5歳のときに父を亡くした。