Westminster School
ハーヴィーは第2代ハーヴィー男爵の次男として生まれ、1733年よりウェストミンスター・スクールで教育を受けた。1735年にイギリス海軍に入隊、1740年にに昇進した。