Jego ojciec był kapitanem i armatorem. W wieku 16 lat Ward usiłował dołączyć do Massachusetts Volunteers, wyruszających na wojnę z Meksykiem, ale nie przyjęto go z powodu młodego wieku. Ojciec wysłał go na morze i tak młody Ward trafił po raz pierwszy do Chin. Po powrocie studiował na American Literary, Scientific, and Military Academy w Vermont (dzisiejszy Norwich University). W 1849 znów ruszył na morze, prawdopodobnie odwiedzając Amerykę Południową, a następnie dotarł do Szanghaju, gdzie zajął się handlem i żeglugą przybrzeżną, by 1852 zaciągnąć się jako oficer na statek przewożący chińskich kulisów do Meksyku. Po krótkiej służbie u Williama Walkera, samozwańczego prezydenta tzw. Republiki Dolnej Kalifornii, próbował sił jako przedsiębiorca, a gdy mu się nie powiodło, zaciągnął się do armii francuskiej i jako porucznik wyruszył na wojnę krymską. W 1857 wystąpił ze służby i w 1859 wrócił do Szanghaju razem z Henrym Burgevinem.