Zhang iniciou no desporto aos cinco anos de idade, quando sua mãe o levou ao "Shi Sha Hai Athletic School". Em 1985, aos oito anos, Zhang passou a integrar a equipe da província. Em 1994, disputou seu primeiro evento internacional, participando do Campeonato Asiático Juvenil de Ginástica, sendo medalhista de ouro em quatro eventos: por equipes, no concurso geral, nas barras paralelas e na barra fixa. No ano posterior, competiu no Nacional Chinês. Nele, foi campeão nas barras paralelas, medalhista de prata no evento geral e na barra fixa, e terceiro colocado no salto. Ainda em 1995, disputou o Mundial de Sabae; conquistando a medalha de ouro por equipes, superando a equipe japonesa e romena, prata e bronze, respectivamente. Individualmente, foi medalhista de bronze na barra fixa, e oitavo colocado na disputa geral individual.