W 1996 roku Jean Pierre van Zyl wziął udział w igrzyskach olimpijskich w Atlancie, gdzie rywalizację w sprincie zakończył w eliminacjach, a w wyścigu na 1 km był piąty. Pierwszy sukces osiągnął zdobywając srebrny medal w keirinie na rozgrywanych rok później mistrzostwach świata w Perth. W wyścigu tym wyprzedził go jedynie Francuz Frédéric Magné, a trzecie miejsce zajął Marty Nothstein ze Stanów Zjednoczonych. Medal zdobył także na mistrzostwach świata w Stuttgarcie w 2003 roku, zajmując trzecie miejsce w scratchu za Szwajcarem Franco Marvullim i Francuzem Robertem Sassone. Ponadto w 2004 roku van Zyl wspólnie z Włochem Fabio Masottim zwyciężył w zawodach Tre Giorni Citta di Pordenone.