オーガスタス・フィッツロイ (第3代グラフトン公)
1756年1月29日、20歳のときに初代レイヴェンスワース男爵ヘンリー・リデルの娘アン(英語版)(1737年 – 1804年2月24日)と結婚、まもなく夫妻には1女2男の子ができた。
ジョージアナ(1799年1月18日没) - 1778年6月4日、政治家ジョン・スミス(英語版)と結婚、子供あり
ジョージ・ヘンリー(英語版)(1760年 – 1844年) - 第4代グラフトン公爵
チャールズ(英語版)(1764年7月 – 1829年12月) - イギリス陸軍軍人。1795年6月20日にフランシス・マンディー(Frances Mundy、1773年 – 1797年8月9日、エドワード・ミラー・マンディーの娘)と結婚、子供あり。1799年3月10日、フランシス・アン・ステュアート(Frances Anne Stewart、1777年6月24日 – 1810年2月9日、初代ロンドンデリー侯爵ロバート・ステュアートの娘)と再婚、子供あり。ビーグル号船長ロバート・フィッツロイの父
アンは2歳年下で、世間は才色兼備の女性とみていたが、グラフトン公爵は妻子と過ごすよりも狩猟や賭事を大切にし、競馬やカードゲームに大金を費やした。