Henry Fitzroy
ロバート・フィッツロイはイングランドのサフォーク州アンプトンで生まれた。父チャールズ・フィッツロイは陸軍軍人、国会議員で、祖父は首相に就任した第3代グラフトン公オーガスタス・ヘンリー・フィッツロイ、父方の祖先はイングランド王チャールズ2世である。母は初代ロンドンデリー侯爵ロバート・ステュアートの娘で、内務大臣を務めたカスルリー子爵の妹である。