W 2004 roku na igrzyskach olimpijskich w Atenach zdobył trzy medale. W sztafecie 4 × 100 m stylem dowolnym wraz Lyndonem Fernsem, Darianem Townsendem i Rykiem Neethlingem wywalczył złoto i czasem 3:13,17 min pobił rekord świata. Schoeman, który płynął na pierwszej zmianie sztafety ustanowił także nowy rekord Afryki (48,17) na dystansie 100 m stylem dowolnym. Kilka dni później, w konkurencji 100 m stylem dowolnym został wicemistrzem olimpijskim, uzyskawszy w finale czas 48,23 (0,06 s wolniejszy od zwycięzcy wyścigu). Na dystansie dwukrotnie krótszym zajął trzecie miejsce (22,02).