Oles og Rønnaugs sønner Fredrik Christian (1815–1875), Petter (1821–1899) og Andreas Olsen (1826–1893) ble alle skipsførere og etterhvert skipsredere i Hvitsten. Brødrene startet som skippere på relativt små og gamle skuter, og ble gradvis medeiere og eiere av flere skuter. Den som lyktes best, Fredrik Christian Olsen, eide ved sin død en rekke skuter, men hadde ingen barn, og de to brødrene arvet sammen med enken. Av disse ble det Petter Olsen som la grunnlaget for det rederiet som senere ble kjent som Fred. Olsen. Hans etterkommere bygget på 1900-tallet opp Fred. Olsen & Co. til et stort rederi.