Olsen begynte karrièren som seilskutereder etter å ha overtatt det mindre familieselskapet fra faren i 1889. I årene før århundreskiftet klarte han å modernisere rederiet fra å drive med seil til å begynne med dampskip, og selskapets raske vekst og Olsens dominerende stil gav ham tilnavnet «Store-Fred». I årene rundt første verdenskrigs start gikk rederiet igjennom nok en moderniseringsprosess, da han som en av de første i verden gikk over til motorskip basert på diesel. Dette gav ham en motorskipsflåte som var en av verdens mest moderne, og Olsen var en av de norske rederne som klarte seg igjennom de vanskelige 1920- og 1930-årene uten å miste imperiet bygget opp i boom-årene 1915–1920.