Etter 1949 var Zhang viktig i oppbyggingen av de kinesiske militære styrker. Han kommanderte Folkets frigjøringshærs første marinestyrker og var kammandør for et armékorps under Koreakrigen. Etter hjemkomsten fra Korea innehadde han en rekke viktige militære og politiske verv. Han ble utnevnt til general i 1955.