1860年に第二次アヘン戦争が始まると、清に赴任し、1862年まで北京に駐留していたが、太平天国からの防衛のためウィリアム・スティーブレイ()将軍の部隊が上海に派遣されると、その一員として同行した。当時、上海では外国人の権益を守るため米国人ウォードが常勝軍と名付けた民兵軍を組織しており、英軍はこれと連合し太平天国軍と戦った。ウォードが戦死すると、淮軍の司令官李鴻章は代わりの司令官を英軍から出すよう要請したため、スティーブレイ将軍はゴードンを常勝軍の司令官に推薦した。英軍少佐だったゴードンは、1863年に常勝軍の司令官となり、以降、1864年に太平天国が壊滅するまで各地を転戦し、乱の鎮圧に功績を挙げた。