Em 2000, em sua primeira aparição olímpica, nos Jogos Olímpicos de Sydney, Huang superou a equipe ucraniana e russa, e encerrou a prova coletiva com a medalha de ouro. No ano posterior, na etapa de Stuttgart da Copa do Mundo, conquistou a medalha de ouro nas argolas, empatado com o bielorrusso Ivan Ivankov. Em 2002, em mais uma edição de Copa do Mundo, realizada em Glasgow, conquistou a medalha de prata. No Nacional Chinês, foi ouro nas argolas, e prata nas barras paralelas. No compromisso seguinte, deu-se os Jogos Asiáticos de Busan. Nele, conquistou a medalha de ouro por equipes, nas argolas e nas paralelas, e a medalha de bronze no cavalo com alças. No ano posterior, competiu no Mundial de Anaheim, sendo medalhista de ouro na prova coletiva e prata na prova das barras paralelas, em prova vencida pelo compatriota Li Xiaopeng.