Em 1996, em sua primeira aparição olímpica, nos Jogos Olímpicos de Atlanta, Zhang ao lado de sua equipe, conquistou a medalha de prata na prova coletiva, superado pela equipe russa, de Alexei Nemov, medalhista de ouro. No ano posterior, no Campeonato Nacional, foi ouro por equipes e no geral, e prata no solo. No compromisso seguinte, deu-se o Mundial de Lausanne. Nele, conquistou o bicampeonato por equipes, e a medalha de ouro nas barras paralelas, ao somar 9,775 pontos; seu compatriota Li Xiaopeng foi prata, e o japonês Naoya Tsukahara, terminou com o bronze. Na disputa do cavalo com alças, foi quarto colocado, em prova vencida pelo alemão Valery Belenky.