Olsen var innvalgt på Lagtinget fra Eysturoy 1980–1994. Han var fiskeri- og handelsminister i Pauli Ellefsens regjering 1981–1983 og industri-, helse- og handelsminister i Jógvan Sundsteins andre regjering 1989–1991.