Duke of Cleveland
1663年9月28日、チャールズ2世とその愛人バーバラ・ヴィリアーズ（後の初代クリーヴランド女公爵バーバラ・パーマー。第2代ウィリアム・ヴィリアーズの娘）の間の3人の非嫡出男子の次男として生まれる。同母兄に初代サウサンプトン公爵・第2代クリーヴランド公爵チャールズ・フィッツロイ、同母弟に初代ノーサンバーランド公爵ジョージ・フィッツロイがある。