Olsen var andre vararepresentant fra Nordland til Stortinget i perioden 1961 til 1965. Han har i tillegg også hatt andre verv som varamedlem i styret for «Olje/fisk-fondet» i perioden 1980 til 1983, og medlem av samme styre fra 1984 til 1987. Han ledet i 1971-72 utvalget som utredet konsesjonsordninger i fiske (NOU 1972:24).