Urodził się w rodzinie oficera artylerii. W 1848 wstąpił do akademii wojskowej w Woolwich, po której ukończeniu uzyskał w 1852 przydział do wojsk inżynieryjnych jako podporucznik. W 1854 odkomenderowano go na Krym, gdzie uczestniczył w wojnie krymskiej, w tym w oblężeniu Sewastopola. Kilkakrotnie wymieniany wtedy w meldunkach brytyjskich. Odznaczony za męstwo przez Francuzów. W 1859 roku Gordon awansował do stopnia kapitana. Na ochotnika zgłosił się do armii brytyjskiej walczącej w wojnie Wielkiej Brytanii i Francji przeciwko Chinom w latach 1856–1858 i w 1860. W trakcie okupowania Pekinu w październiku 1860 dowodził oddziałem, który spalił cesarski pałac letni. W trakcie powstania tajpingów w Chinach brał udział w obronie zagrożonego przez powstańców Szanghaju, nadzorując w maju 1862 budowę fortyfikacji w tym mieście. Po śmierci Fredericka Townsenda Warda przejął chińsko-cudzoziemski oddział o nazwie Armia Zawsze Zwycięska (Armia Niezwyciężona), której Ward był organizatorem i pierwszym dowódcą. Składała się ona z 3500 chłopskich najemników dowodzonych przez europejskich dowódców. Na jej czele zdobył wiele miast w delcie Jangcy, podał się jednak do dymisji, gdy cesarz Chin zaczął skazywać na śmierć powstańców.