William Hickley Gross var sønn av Jacob og Rachel Haslett. Faren var tysk, og moren irsk; hans forfedre på farssiden hadde innvandret fra Elsass på 1800-tallet. Etter moren døde var det hans søster som tok seg av William og hans fem brødre. Han begynte på i Ellicott City i Maryland, som 13-åring I 1853 vendte ham tilbake for å arbeide i farens forretning etter at var kommet til at han ikke passet som prestekandidat.