У герцогов Графтон было 5 детей:Джеймс Оливер Чарльз ФицРой, граф Юстон (13 декабря 1947 г. — 1 октября 2009 г.)Леди Генриетта Фортуна Дорин ФицРой (родилась 14 сентября 1949 года). Леди Вирджиния Мэри Элизабет ФицРой (родилась 10 апреля 1954 г.). Крёстная дочь королевы Елизаветы.Лорд Чарльз Патрик Хью ФицРой (родился 7 января 1957 года).Леди Оливия Роуз Милдред ФицРой (родилась 1 августа 1963 года)Крещение Вирджинии ФицРой