Olsen startet sin karriere i Lyngen/Karnes Idrettslag, der han debuterte på A-laget i 2. divisjon som 16-åring. Han spilte én og en halv sesong for moderklubben, før han tok overgang til Bodø/Glimt sommeren 2001. Olsen debuterte for Bodø/Glimt i 2001, samme år som han kom til klubben. De første sesongene spilte han mest på junior- og andrelagene til Glimt. I 2004-sesongen spilte han flere kamper som innbytter. Han skrev så kontrakt med Lillestrøm og var fast på laget i høstsesongen 2005.