Han var medlem av kommunestyret i Vágur 1981–2000. Han ble valgt for Tjóðveldisflokkurin i 1980, men brøt med partiet i 1983. Han meldte seg senere inn i Kristiligi Fólkaflokkurin og ble innvalgt på Lagtinget fra Suðuroy 1994–1998. Olsen var medlem av Lagtingets fiskerikomité, Lagtingets landbrukskomité samt delegasjonen til Vestnordisk råd. I 1997 ble han formann i Lagtingets utenrikskomité. Han fikk ikke gehør for at Kristiligi Fólkaflokkurin burde gå inn i Fólkaflokkurin, og meldte selv overgang før valget i 1998. Olsen har vært formann i Fólkaflokkurins velgerforening på Suðuroy.