Han kom fra fattig bondebakgrunn, og ble medlem av Det kinesiske kommunistparti i 1924. Han hjalp med å organisere partiets organisasjon på provinsnivået. Etter at Shanghaiopprøret slo feil i 1927 vendte Fang hjem til Jiangxi, der han organiserte bøndene og oppfordret dem til væpnet opprør. Fra 1928 til 1933 ledet Fang geriljastrid og tvang gjennom jordreformer. Han etablerte et baseområde i grensetraktene mellom provinsene Jiangxi og Fujian, og organiserte en seksjon av den kinesiske røde armé. Han ble senere valgt til medlem av sentralkomiteen for det kinesiske kommunistparti.