Den som i første rekke kom til å føre brødrene Olsens skipsfartstradisjon videre var Thomas Fredrik (Fred.) Olsen (født 1857, død 1933), sønn av Petter Olsen. Han ble kaptein 23 år gammel og seilte på farens skip. Oppbyggingen av Fred. Olsens egen flåte begynte med at «Bayard II», og «Skien» ble overtatt fra faren Petter Olsen i 1886. I de følgende år skjedde det samme med «Eda», «Gerda» og «Nornen». Frem til 1892 kjøpte han også «Cito», «Courant», «Morning Light» og «Broderfolket». Fred. Olsens seilskipsflåte vokste raskt.