フレデリック・ハーヴィー (初代ブリストル侯爵)
1796年に父からプロイセン王フリードリヒ・ヴィルヘルム2世の庶出の娘と結婚するよう求めたがこれを断り、1798年2月20日にエリザベス・アルバナ・アップトン(Elizabeth Albana Upton、1775年8月16日 – 1844年5月25日、初代テンプルトン男爵クロットワーシー・アップトン(英語版)と妻エリザベス(英語版)の娘)と結婚、6男4女をもうけた。
オーガスタ(1798年12月29日 – 1880年3月17日) - 1832年9月18日、フレデリック・チャールズ・ウィリアム・シーモア(Frederick Charles William Seymour、1856年12月7日没、ヒュー・シーモア卿(英語版)の息子)と結婚、子供あり
フレデリック・ウィリアム(1800年7月15日 – 1864年10月30日) - 第2代ブリストル侯爵
ジョージアナ・エリザベス・シャーロット(1801年9月8日 – 1869年1月16日) - 1836年7月、ジョン・グレイ閣下(Hon. John Grey、1895年11月11日没、第2代グレイ伯爵チャールズ・グレイの息子)と結婚、子供あり
ジョージ(1803年1月25日 – 1838年2月3日) - 陸軍少佐
ソフィア・アメリア・エリザベス(1804年6月8日 – 1804年6月21日)
第4代ブリストル伯爵フレデリック・オーガスタス・ハーヴィー(英語版)と妻エリザベス(Elizabeth、旧姓デイヴァース(Davers)、1800年12月18日没、の娘)の三男として、1769年6月2日にアイルランドで生まれた。出生時点で長兄ジョージ(1755年10月25日洗礼 – 1764年ごろ)が死去しており、次兄ジョン・オーガスタス(1757年1月1日 – 1796年6月10日)も1女を残して父に先立って死去した。そのため、フレデリック・ウィリアムは爵位の法定推定相続人になり、1796年から1803年までハーヴィー卿の儀礼称号を使用した。1794年にも友人のマウント・ステュアート卿ジョン・ステュアートを失っている。
1786年10月14日にケンブリッジ大学セント・ジョンズ・カレッジに入学、1788年にM.A.の学位を修得した。1793年、リンカーン法曹院に入学した。1788年5月24日にエンサイン(英語版)(歩兵少尉)として近衛歩兵第一連隊に入隊、1792年7月に引退した。1798年5月29日、イックワース・ヨーマンリー連隊(Ickworth yeomanry)の司令官(Major Commandant、軍階は少佐)に任命された。
1796年イギリス総選挙でベリー・セント・エドマンズ選挙区(英語版)から出馬した。