Lors du premier Super 12 inauguré en 1996, les Waratahs ont simplement remporté moins de la moitié de leurs matchs, finissant en milieu de tableau derrière les deux autres franchises australiennes. La saison suivante en 1997 a vu les Tahs terminer en , en remportant seulement quatre rencontres. Lors de la saison 1998, ils remportèrent six de leurs onze rencontres, terminant en sixième position. Malgré des améliorations nettement visibles, l'équipe n'a pas encore réussi à atteindre le dernier carré. Les deux saisons suivantes restèrent moyennes, les joueurs du NSW ne remportant successivement que quatre puis cinq rencontres. En 2001 les Waratahs ont remporté le même nombre de matchs que lors de la saison 2000 mais ont terminé en huitième position. La saison de tous les records a eu lieu en 2002 et la franchise, remportant huit de ses onze matchs a terminé second derrière les Crusaders, atteignant par la même occasion les demi-finales. Cependant lors de la dernière rencontre, les joueurs de Sydney se sont inclinés 96 à 19 contre ces mêmes Crusaders, établissant le record en Super 14. Ils s'inclinèrent finalement face à leurs rivaux des Brumbies au cours de leur première demi-finale sur le score sans appel de 51 à 10.