飞烈曾因乏饷，纵兵劫掠店舖、官署，抢得银洋七千，黄金百两。9月华飞烈在慈溪与太平军作战阵亡后，由法裔美籍的白聚文接任为第二任首领，白聚文向华飞烈的岳父杨坊，劫掠了四万余银元，江苏巡抚李鸿章将白撤职，在士迪佛立建议下，改聘英军工兵军官查尔斯·戈登为首领，以白人、华人及吕宋佣兵组成部队，以镇压太平天国。1863年戈登在松江接任指挥，与华飞烈不同的是，戈登严禁常胜军士兵劫掠，军纪严明。戈登重整军队并支援常熟成功，很快得到士兵们的尊敬。李鸿章的淮军与常胜军队密切配合，在战场上频频得手。被解雇的白聚文愤而改投太平