I 1931 ble han med i Den røde armé i Jiangxi, som ble ledet av Zhu De. Han deltok i «den lange marsjen» og samarbeidet tett med He Long. Under den kinesiske borgerkrig virket han først og fremst i Shaanxi og Indre Mongolia. I 1941 giftet han seg med Xiao Li, og de fikk fem sønner og to døtre.