Le nageur participe aux Mondiaux 2003 de Barcelone au sein du relais 4 ×  nage libre sud-africain. En progression constante grâce aux performances des leaders que sont Roland Schoeman et Ryk Neethling, le quatuor termine à la huitième place de la finale. Abaissant régulièrement leur meilleurs temps personnels, les relayeurs sud-africains font figures d'outsiders pour le rendez-vous olympique qui se profile. Ainsi, sélectionné pour les Jeux olympiques de 2004 organisés à Athènes, Townsend participe à la victoire du relais sud-africain lors de l'épreuve du 4 ×  nage libre. Avec ses compatriotes, il établit même un nouveau record du monde en tant que troisième relayeur. C'est la première fois qu'un relais africain s'imposait aux Jeux olympiques. Il participe par ailleurs à l'épreuve du 4 nages mais ne parvient pas à passer l'étape des séries éliminatoires.