Olsen rozpoczynał swą karierę w drugoligowym klubie LÍF Leirvík ze swojego rodzinnego miasta. Zadebiutował w nim 7 marca 2004 roku w przegranym 2:3 meczu Pucharu Wysp Owczych 2004 przeciwko SÍ Sumba. Pierwszą bramkę strzelił zaś w ligowym spotkaniu z FS Vágar, zakończonym rezultatem 2:7, 19 czerwca 2004. Przez kolejne cztery lata wystąpił w 76 meczach i zdobył 37 goli. W listopadzie 2007 roku LÍF połączył się z GÍ Gøta, tworząc nowy klub Víkingur Gøta, a Olsen został zawodnikiem podstawowego składu. Po raz pierwszy wystąpił dla niego 11 kwietnia 2008 roku w meczu trzeciej kolejki Vodafonedeildin przeciwko ÍF Fuglafjørður (0:1), a pierwszego gola zdobył w przegranym 1:2 spotkaniu kolejki drugiej, 20 kwietnia przeciwko B36 Tórshavn. Dla klubu grał do końca Vodafonedeildin 2009, występując w 54 spotkaniach, strzelając dziewiętnaście bramek i zdobywając Puchar Wysp Owczych (2009), a następnie przeniósł się na studia do Danii.