Han var nest yngste sønn av Fred. Olsen, og gikk gradene i farens rederi. Han førte flere av rederiets skip, blant annet «Bra-Kar». Han var også aktiv som reder på egen hånd, og kontraherte sitt eget motorskip ved Burmeister & Wain i 1914. Etter farens overtagelse av Akers mekaniske verksted tok Fritz Olsen plass i selskapets representantskap for å representere familien.