Zhangs familie stammet fra Nanpi fylke i Zhili-provinsen. Zhang var sønn av en lavere embetsmann som falt i kamp under et Miao-opprør i hans forvaltningsområde i 1856. Selv ble Zhang i ung alder lagt merke til ved sin store lærdom.