Zhang ble medlem av Det kinesiske kommunistiske parti i 1928 etter å ha vært med på et kommunistisk ledet bondeopprør. Han var med på «den lange marsjen» og var feltkommandør i den kinesiske røde armé. I tillegg kjempet han først mot Chiang Kai-sheks Kuomintangstyrker og deretter mot Den keiserlige japanske hær under den annen sino-japanske krig.