Han var innvalgt på Lagtinget fra Eysturoy fra 1970 til 1998. Han var minister for fiskeri- og energisaker i Jógvan Sundsteins andre regjering fra 1989 til 1991, medlem av Lagtingets delegasjon til Nordisk råd fra 1991 til 1993 og Lagtingets formann fra juli til september 1994 og fra 1995 til 1998. Prinsippet om parlamentarisme ble lovfestet i 1995. Olsen har også vært formann i kommunestyret/borgermester i Nes kommuna.