Etter å ha nesten blitt utryddet som en nasjonal bevegelse av KMT klarte KKP å samle seg. I 1931 etablerte partiet Den kinesiske sovjetrepublikk (KSR). Partiets militærstrategi mislyktes og i løpet av 1934 hadde militære styrker under KMTs ledelse omringet KSR. KKP vedtok da å endre krigsstrategi og vedta Mao Zedongs forslag om guerrilla krigføring. Perioden 1934–1936 er kjennetegnet av Den lange marsj, en forflytning av soldater og personnel som rømte fra KMT styrker. Marsjen sluttet i 1936 da KKP ankom Yan'an.