Olsen satt som fiskeriminister inntil regjeringen gikk av i 1996. Han ble da leder av Arbeiderpartets -utvalg for fiskeripolitikk. Han var medlem av Arbeiderpartiets Europa-utvalg 1998–2000. I 2002 ble han valgt til medlem av styret for Universitetet i Tromsø. I 2007 ble han kåret til «Tidenes fiskeriminister» av avisen . Samme år ble han innvalgt i kommunestyret i Tromsø.