Xu ble opptatt ved Militærakademiet i Whampoa i 1924. Han innehadde en rekke poster i Den nasjonale revolusjonshær fra 1925 til 1927. Xu gikk inn i det kinesiske kommunistparti i 1927 og ble kommandant for Den røde armés fjerde frontarmé, ledet av Zhang Guotao. Han var Zhangs fremste kommandant, med Ye Jianying som stabssjef. På denne tiden hjalp han Zhang med å etablere nye kommunistiske baser og fikk de militære styrker til å vokse i antall.