Da Larsen hadde vært to år i Drammen, gikk turen videre til Tromsø, hvor han ikke ble noen suksess. Han havnet fullstendig i skyggen av Ole Martin Årst, og spilte kun seks kamper og scoret to mål. Midtveis i 2005 ble han solgt til den danske klubben Herfølge Boldklub, hvor han scoret åtte mål fra en offensiv midtbaneposisjon. Ett år senere reiste han videre til den svenske klubben Kalmar FF hvor han spilte 10 kamper og scoret ett mål.