Rapp gewann bei den Junioreneuropameisterschaften 2007 Gold mit der 4-mal-100-Meter-Freistilstaffel und Silber mit der 4-mal-200-Meter-Freistilstaffel. Seinen ersten Start bei einer großen internationalen Meisterschaft absolvierte Rapp bei den Schwimmweltmeisterschaften 2009, er belegte den fünften Platz mit der 4-mal-200-Meter-Freistilstaffel. Bei den Europameisterschaften 2010 erreichte Rapp das Einzelfinale über 400 Meter Freistil und belegte den siebten Platz; als Schlussschwimmer der 4-mal-200-Meter-Freistilstaffel gewann er zusammen mit Paul Biedermann, Tim Wallburger und Robin Backhaus die Silbermedaille hinter der russischen Staffel. Zwei Jahre später gewann die deutsche Staffel in der Aufstellung Paul Biedermann, Dimitri Colupaev, Clemens Rapp und Tim Wallburger den Titel in der 4-mal-200-Meter-Freistilstaffel bei den Europameisterschaften in Debrecen. Bei den Olympischen Spielen 2012 in London wurde er mit der Staffel Vierter. 2013 wurde er Deutscher Meister über 200 m und 400 m Freistil und qualifizierte sich damit über 200 m und mit der 4-mal-200-Freistilstaffel für die Schwimmweltmeisterschaften 2013 in Barcelona. Bei den Schwimmweltmeisterschaften 2015 in Kasan erreichte er den Endlauf über 400 m Freistil und wurde Siebter in 3:48,52 min.