Hill nació en Culpeper, Virginia y se graduó de la Academia Militar de los Estados Unidos en 1847 en el lugar 15º de un total de 38 alumnos que eran de su misma generación.