Han var medlem av kommunestyret i Runavík i åtte år og formann (borgermester) i syv år. Han stilte første gang som kandidat til Lagtinget fra Eysturoy for Sjálvstýrisflokkurin i 1970. Han oppnådde valg til Lagtinget for perioden 1980–1984. Olsen var på tale som fiskeriminister etter lagtingsvalget i 1984, men ble forbigått av Lasse Klein, fordi han skyldte penger til det offentlige. Olsen brøt deretter med Sjálvstýrisflokkurin. Ved valget i 1988 var han igjen oppført på partiets liste på Eysturoy.