ジョン・ハーヴィー (第2代ハーヴィー男爵)
ウィリアム・ハーヴィー将軍(1732年5月13日 - 1815年) - 生涯未婚
アメリア・キャロライン・ナッソー・ハーヴィー(1734年 - 1814年) - 生涯未婚
キャロライン・ハーヴィー(1736年 - 1819年) - 生涯未婚
ハーヴィーは両性愛であった。アン・ヴェーンと関係を持ったほか、レディ・メアリー・ウォートリー・モンタギュー、さらにはキャロライン王女と関係をもった可能性もある。1728年にスティーブン・フォックス(英語版)がハーヴィーに従ってイタリアに向かった後、2人はその後の10年間にたびたび同棲した。1736年にはじめて出会ったフランチェスコ・アルガロッティ(英語版)には熱烈なラブレターを送り、王太子フレデリック・ルイスとは友好な関係をもったこともあり、性的な関係をもった可能性もあった。野党のウィリアム・パルトニーからは性的にあいまいであると批判され、アレキサンダー・ポープも『Sporus』でハーヴィーを批判した。また、スティーブン・フォックスと関係をもつ以前はその弟ヘンリー・フォックスに引きつけられた。
1727年から1737年にかけての宮廷生活についての回想録を書き、以降家族によって保存されていた。次男オーガスタスはジョージ3世(1820年没)が死去するまで出版することを禁じ、回想録は1848年に出版された。