Olsen var ordfører i Måsøy 1968–72. Han var aktiv i Arbeiderpartiet, men brøt med partiet våren 1972 på grunn av EF-politikken. Han sluttet seg da til Senterpartiet og satt som fiskeriminister i regjeringen Korvald 1972–73. Senere meldte han seg inn i Arbeiderpartiet igjen.