Zhangs ursprung och tidiga barndom är höljda i dunkel. Han fick ingen skolunderbyggnad och gjorde sig först känd under rysk-japanska kriget 1904-05, som anförare för frikårer, vilka i Manchuriet med japanskt stöd bekämpade ryssarna. Efter freden i Portsmouth 1905 trädde Zhang och hans män i kinesisk tjänst, vann snabb militär befordran samt blev i samband med 1911 års revolution militärguvernör ("dujun" 督军) i provinsen Fengtian med förvaltningssäte i Mukden.