En 2001, il est moins régulier, enregistrant une dixième place à Wengen tout de même et une sélection aux Championnats du monde à Sankt Anton (abandon). 2002, il est encore moins bon, n'arrivant à terminer dans les points en Coupe du monde. En 2003, il est notamment neuvième du slalom de Schladming et treizième du slalom des Championnats du monde à Saint-Moritz, avant d'effectuer sa meilleure saison dans l'élite l'hiver suivant, où il est sixième du slalom de Park City et marque aussi des points dans la discipline du combiné. Brolenius dans sa quête du podium ne parvient pas à améliorer ses performances, obtenant deux nouvelles sixièmes places à Schladming et Kranjska Gora en 2005.