Im Jahre 2003 beendete Schwarthoff seine aktive Laufbahn nach einem vierten Platz bei den Europameisterschaften 2002 in München. Die letzten beiden Jahre startete er für den OSC Berlin, davor für die LAC Quelle und den TV Heppenheim.