Fra 1926 studerte han ved militærakademiet i Whampoa, der han ble kjent med Zhou Enlai. Etter bruddet mellom kommunistpartiet og Guomindang i 1927 deltok han i den mislykkede Nanchangoppstanden, og slo seg deretter sammen med Mao Zedongs gerilja i Jinggangfjellene. Ved dannelsen av den fjerde røde armé i 1928 ble Chen direktør for dens politiske avdeling.