W 1859 roku Ward i Burgevine wylądowali w Szanghaju i przystąpili do organizowania oddziału złożonego z zachodnich ochotników, do obrony miasta przed tajpingami – "Zagraniczny Korpus Wojskowy" (ang. "Foreign Arms Corps"), którego Burgevine był zastępcą dowódcy i dowódcą. Gdy Ward powołał do życia Armię Zawsze Zwycięską, Burgevine służył jako jego zastępca. Po śmierci Warda, otrzymał awans na głównodowodzącego, ale pełnił to stanowisko dość krótko: 4 stycznia 1863 w czasie kłótni o żołd dla żołnierzy Burgevine pobił chińskiego bankiera i zabrał mu 40 tys. dolarów. Zdegradowany i wydalony z wojska, ukrywał się przed grożącą mu karą; za jego głowę została wyznaczona nagroda. Sytuację Burgevine'a pogorszył fakt, że bankierem tym był teść Warda Yang Fang, a jednym z efektów kłótni – odwołanie zaplanowanej przez Zeng Guofana ofensywy na Nankin. Dowódcą Armii Zawsze Zwycięskiej został brytyjski oficer, Charles Gordon.