Zhang oli lähtöisin talonpoikaisperheestä eikä käynyt kouluja. Liityttyään armeijaan hän osallistui vuosien 1894–1895 Kiinan–Japanin sotaan. Myöhemmin hän kokosi kotiseudullaan Mantšuriassa paikalliseen puolustukseen tarkoitetun vapaaehtoisjoukon, joka osallistui hänen johdollaan palkkasotureina 1904–1905 Venäjän–Japanin sotaan japanilaisten puolella. Sodan päätyttyä Zhangin joukot liitettiin vuonna 1905 rykmenttinä Kiinan armeijaan Fengtianin maakunnan kuvernöörin alaisuudessa. Sen jälkeen Zhang eteni upseerinurallaan nopeasti ja vallankumouksen jälkeen vuonna 1912 hänestä tuli divisioonankomentaja. Tasavallan alkuvuosina hän pysyi uskollisena presidentti Yuan Shikaille aina tämän keisarihaaveiden epäonnistumiseen saakka ja vahvisti samalla omaa asemaansa. Yuanin kuoltua kesällä 1916 Zhang nimitettiin Fengtianin maakunnan kuvernööriksi, mistä hän vähitellen laajensi valtansa koko Mantšuriaan. Hän liittoutui Duan Qiruin kanssa ja vuonna 1918 hänet nimitettiin kolmen Mantšurian alueella sijainneen maakunnan, Fengtianin, Jilinin ja Heilongjiangin ylipäälliköksi. Tämän jälkeen hän hallitsi koko Mantšuriaa suvereenisti kuolemaansa saakka lähes itsenäisenä alueena.