Zhangs ophav og tidlige barndom er hyllet i mørke; fødested og -år er omstridt af enkelte. Han fik ingen skolegang og gjorde sig først bemærket under den russisk-japanske krig 1904-05 som anfører af friskarer, som med japansk støtte bekæmpede russerne i Manchuriet. Efter freden i Portsmouth (New Hampshire) i 1905 trådte Zhang og hans mænd i kinesisk tjeneste, blev hastigt forfremmet militært og blev i forbindelse med Xinhai-revolutionen i 1911 militærguvernør i provinsen Fengtien med forvaltningssæde i Mukden.