Bei den Weltmeisterschaften 2001 in Edmonton wurde Stolle mit 5,85 m erneut Vierter, höhengleich mit dem Silbermedaillengewinner. Im gleichen Jahr gewann er in Bremen erneut den Europa-Cup. Bei den Hallenweltmeisterschaften 2003 in Birmingham gewann er mit 5,75 m die Silbermedaille. Von 1992 bis 2004 gehörte Stolle der Sportfördergruppe der Bundeswehr in Köln-Wahn an und wurde Hauptfeldwebel. 2004 wechselte er in die Sportfördergruppe Mainz. Zu dieser Zeit verpasste er die erneute Qualifikation für die Olympischen Spiele 2004 in Athen, möglicherweise im Zusammenhang mit einer Virusinfektion in der Woche vor der Entscheidung bei den Deutschen Meisterschaften 2004. 2005 wechselte er zum Hamburger SV.