第2代グラフトン公爵チャールズ・フィッツロイとヘンリエッタ・サマセット(、1690年8月27日-1726年8月9日、の娘)の次男(長男チャールズ(1714年4月13日-1715年)は夭折)として、1715年8月24日に生まれた。