Bir topçu subayının oğluydu. 1852'de teğmen rütbesiyle Kraliyet İstihkam birliklerinde görevlendirildi. Kırım Savaşı sırasında, Sivastopol çevresindeki kuşatma siperlerinde gösterdiği cesaretle adını duyurdu. 1859'da yüzbaşılığa yükseltildi. Ertesi yıl İngiltere'nin Çin'e karşı giriştiği II. Afyon Savaşı'na (1856-60) gönüllü olarak katıldı. Pekin'in işgaliyle (Ekim 1860) sonuçlanan askerî harekâtta da görev alan Gordon, Çin imparatorunun yazlık sarayının yakılmasını bizzat yönetti. Gordon'un komutasındaki istihkam birliği Mayıs 1862'deki Taiping Ayaklanması'nın ardından güvenliği tehlikeye düşen Avrupalıların Şangay'daki ticaret merkezinin savunmasını güçlendirmekle görevlendirildi. Gordon, bir yıl sonra Şangay kentini savunmak üzere toplanan 3,500 kişilik bir köylü birliğinin başına geçti. Komutasındaki birlikler 18 ay boyunca ayaklanmayı bastırmada önemli rol oynadılar. Ocak 1865'te İngiltere'ye dönen Gordon beş yıl boyunca Kent'e bağlı Gravesend'de bulunan istihkam birliğine komuta etti.