Etter hans første tur med «Blooming Lilly» i 1893 ble det sildefiske før han i 1898 dro til Island og i 1899 ble med ishavsskuta «Trio» ført av Severin Brandal. I 1902 ble Olsen skipper på «Sleipner» som i 1905 ble den første motorkutter i bransjen. Olsen var skipper på «Hisø» da han i 1911–12 oppdaget torskebankene i Davisstredet. Han var i 1917 med på å søke etter broren, Knut Olsen, som var skipper på «Hercules I» og som omkom med 83 andre fangstmenn under en storm i Vestisen.