Zhang ble utdannet som skipsmekaniker og arbeidet til å begynne med innen denne bransjen. I 1973 ble han medlem av Kinas kommunistparti. Han ble i 1985 viseborgermester i Jiujiang i Jiangxi, og året etter administrativ governør av Ganzhou. I 1991 han assisterende guvernør av Jiangxi, og ble viseguvernør der i 1993. Han ble viseformann for Xinjiang i 1995.