Han begynte som skipper og utdannet seg så til ingeniør ved DTH. I 1969 ble han medeier sin første fisketråler, som han selv var skipper på de første to årene. Olsen var administrerende direktør ved fiskeredskapsfabrikanten Vónin i Fuglafjørður 1971–1989 og fiskebåtrederiet Beta på Saltangará 1977–1989 og 1994–2004, unntatt årene som minister. Olsen var styremedlem i Føroya Banki 1979–1989 og 1991–1993, medlem av Fiskivinnuráðið 1979–1980 og styreformann i ferskfiskauksjonen Fiskamarknaður Føroya fra 1993.