Il servit en Crimée, puis dans la campagne de Chine de 1860. Les Taï-ping (ou « révoltés aux longs cheveux »), profitant de l'affaiblissement de l'empire chinois après la victoire des alliés, s'insurgèrent pour renverser la dynastie mandchoue et devinrent maîtres d'une grande partie de la Chine. Avec l'assentiment de son gouvernement, Charles Gordon entra au service de l'Empire Qing pour combattre les Taiping. À la tête d'une poignée d'Européens, il réorganisa l'armée chinoise, dégagea Shanghai menacée, reprit aux insurgés Suzhou et Wankin. L'armée de Gordon, « "l'Armée toujours victorieuse" », sauva la dynastie mandchoue qui semblait perdue et réduisit rapidement les rebelles. En 1863, Gordon, malgré les offres brillantes des Chinois, rentra au Royaume-Uni avec le grade de lieutenant-colonel et le surnom du "Chinois".