法蘭西斯·哈維于1873年出生在肯特郡上錫德納姆的一個軍人世家。他的曾曾祖父（1740年出生）是第一次反法同盟時期的英國皇家海軍上校，在中傷重身亡。其曾曾祖父的兩個兒子也活躍於皇家海軍，長子（1772年出生）後來官拜海軍上將，並在1815年獲授巴斯勳章，次子（法蘭西斯的曾祖父）則陞任海軍中將，於1861年獲授巴斯勳章。愛德華·哈維的其中一個兒子也名為約翰·哈維（生卒年不詳，法蘭西斯的祖父），在1840年代曾經擔任和上校。法蘭西斯的父親約翰·威廉·法蘭西斯·哈維（）則在1842年出生，在第二次鴉片戰爭期間於服役，於1873年陞為海軍中校。法蘭西斯的母親是伊利沙伯·愛德華·拉文頓·哈維（，原姓佩妮，）。