Nach Olympia kam Steffen in ein Formtief. Bei den Deutschen Meisterschaften 2001 und 2002 stagnierte ihre Leistung, bei den Europameisterschaften 2002 war sie erneut nur Vorlaufschwimmerin. Nach den Europameisterschaften wechselte sie zur SG Neukölln nach Berlin, wo sie zu alter Form zurückfand. Bei den Olympischen Spielen 2004 in Athen startete Britta Steffen auf zwei Strecken, ohne aber die gesteckten Ziele zu erreichen. Enttäuscht gab sie 2004 das Schwimmen auf und begann ihr Studium. Erst im August 2005 begann sie wieder zu trainieren.