Jego ojciec, francuski nauczyciel języka w Północnej Karolinie, opuścił rodzinę wcześnie, w następstwie czego matka Henry'ego przeniosła się do Waszyngtonu. Tam młody Burgevine spotkał po raz pierwszy Ansona Burlingame'a, późniejszego amerykańskiego ambasadora w Chinach. Mając lat 19, zaciągnął się do armii francuskiej i jako szeregowy wyruszył na wojnę krymską, skąd wrócił w 1856 roku (być może na Krymie właśnie spotkał po raz pierwszy Fredericka T. Warda).