Fred. Olsen skal ha slitt med å komme seg ut av farens skygge, og satsingen på moderne dampskip skal ha blitt utsatt på grunn av farens motvilje. Først i 1896 godtok Petter Olsen at sønnen gikk til innkjøp av en damper, nybygget ved Nylands mekaniske verksted. Dampskipet «Bayard» var på 1550 dødvekttonn, og kostet 180 000 kroner. Dette var også det første skipet familien bestilte nytt fra verft, tidligere hadde de bare kjøpt inn eldre og svært billige skip. Nyinnkjøpet ble umiddelbart fulgt opp av bestilling av to søsterskip og planer om enda flere, og den nye skipsserien skulle finansieres via et nye aksjeselskap kalt . Olsen slet imidlertid med å skaffe nok investorer i Fredrikstads shippingmiljø, og måtte skalere tilbake planene. Selskapet endret også navn til Bonheur, og skulle senere bli notert på Oslo Børs.