Zhang kom fra en embedsmannsfamilie. Da han var 23 år begynte han å studere under filologen Yu Yue (俞樾) (1821–1907), og fordypet seg i syv år i de kinesiske klassikere.