Liu gikk inn i kommunistenes ungdomsbevegelse vinteren 1924 og ble fullt medlem av kommunistpartiet våren 1925. Da kommunistene led tilbakeslag noen år etter, kom partiet til at det måtte organisere en egen hær. Liu var ledende i dette arbeidet; han organiserte Weihuaoppstanden og opprettet «den nordvestlige revolusjonære arbeider- og bondehær.» Da disse styrkene i februar 1935 var nær ved å bli omringet av en tallmessig overlegen Kuomintangstyrker (kanskje 40 000 mann) forpurret Liu dette ved et utbrudd med 4 000 kommunistiske soldater. Etterhvert kontrollerte hans styrker over 20 fylker, og slik ble de kommunistiske baseområder i det nordlige Shaanxi og i Gansu forent og konsolidert. I dette området etablerte kommunistene sin provisoriske hovedstad, Yan'an.