I 1928 skiftet han side ved åpent å melde seg inn i Det kinesiske kommunistparti. En oppstand som han organiserte med sine styrker i byen Pingjiang, slo feil. Deretter førte han sine styrker til Jinggangfjellene og forente dem med de kommunistiske styrkene der. Her ble han også en nær medarbeider til Mao Zedong, og forsvarte den kinesiske sovjetrepublikk i Jiangxi mot angrep fra Chiang Kai-sheks nasjonalisthær. I 1934 la han ut på , da kommunistene likevel måtte oppgi sitt feste i Jiangxi. Samme år begynte hans avansement i kommunistpartiet. Han ble medlem av partiets sentralkomite, og i 1935 ble han også medlem av politbyrået.