Die nächsten zwei Saisons waren eher durchwachsen und Larsson schien sich nicht verbessern zu können. Doch dann stand er am 9. Januar 2005 mit dem dritten Platz im Weltcup-Slalom von Chamonix erstmals auf dem Podest. Bei der Weltmeisterschaft 2005 in Bormio verpasste er als Vierter im Slalom die Medaillenränge nur knapp; bei den Olympischen Winterspielen 2006 in Turin wurde er Elfter in der Kombination, schied aber im Slalom aus. Bei der Weltmeisterschaft 2007 in Åre gewann er mit der schwedischen Mannschaft die Silbermedaille im Mannschaftswettbewerb. Im Slalom sowie in der Super-Kombination schied er aus.