初代リッチモンド公爵および第4代レノックス公爵ジェイムズ・ステュワートと(1622年3月30日洗礼-1685年11月28日埋葬、初代バッキンガム公爵ジョージ・ヴィリアーズの娘)の息子として、1649年11月2日にロンドンで生まれた。