Gerhard Zandberg se révèle en 2002 par une troisième place sur 50 m dos obtenue aux Jeux du Commonwealth. L'année suivante, il remporte deux victoires aux Championnats d'Afrique et se hisse en haut de la hiérarchie mondiale sur cette même épreuve. Lors des Championnats du monde 2003 organisés à Barcelone, il obtient la médaille de bronze du 50 m dos derrière l'Allemand Thomas Rupprath et l'Australien Matt Welsh. Cette même année, le Sud-africain établit deux nouveaux records continentaux sur 50 et 100 m dos. En 2004, il participe aux Jeux olympiques organisés à Athènes mais est éliminé sur 100 m dos lors des demi-finales. Il termine en effet au treizième rang en demi-finale et seuls les huit premiers participent à la finale. Le meilleur performeur mondial de l'année sur 50 m dos ne peut disputer cette épreuve aux Jeux puisqu'elle ne figure pas au programme olympique. C'est pourtant dans cette épreuve qu'il obtient ses meilleurs résultats comme lors des Jeux du Commonwealth de 2006 lors desquels il monte une nouvelle fois sur le podium, sur la troisième marche.