Era hijo de James Harvey y de Latricia Maria Drake, el menor de ocho hermanos.