フレデリック・ハーヴィー (第3代ブリストル侯爵)
第2代ブリストル侯爵フレデリック・ウィリアム・ハーヴィーと妻キャサリン・イザベラ(Katherine Isabella、旧姓マナーズ(Manners)、1809年2月4日 – 1848年4月20日、第5代ラトランド公爵ジョン・ヘンリー・マナーズの娘)の息子として、1834年6月28日にパトニー・ヒース(英語版)のブリストル・ハウス(Bristol House)で生まれ、7月31日にパトニーのセント・メアリー教会で洗礼を受けた。イートン・カレッジで教育を受けた後、1853年2月26日にケンブリッジ大学トリニティ・カレッジに入学、1856年にM.A.の学位を修得した。
1854年12月14日にウェスト・サフォーク民兵隊の中尉に任命され、1856年3月17日に大尉に昇進、1865年1月10日に名誉隊長に任命された。1860年11月8日、サフォークの副統監に任命された。