Après le massacre de Shanghai de 1927 et la fin de l'alliance entre nationalistes et communistes, Xu quitte les forces de Tchang. Il ne participe pas à la Commune de Canton qui échoue peu après. Il ne rejoint pas directement Mao Zedong mais devient le principal commandant militaire d'un chef communiste rival, Zhang Guotao. L'armée qu'il commande alors est la de front. Il sert aux côtés de Ye Jianying comme chef d'État-major. Durant ce temps, il aide Zhang à établir de nouvelles bases communistes et agrandit la de front, malgré le fait que sa femme soit exécutée par Zhang Guotao lors de ses purges politiques. Placé sous la surveillance des commissaires politiques de Zhang, Xu mène son armée de hommes au Sichuan pour vaincre les seigneurs de la guerre locaux dont les troupes comptent au total hommes. Plus de d'entre eux sont tués dans les combats avec les forces de Xu, et les restants désertent ou se replient vers les zones alliées aux nationalistes.