Da han døde i 1875 hadde han eid hele 22 seilskip. Petter Olsen (født 1821 – død 1899) kjøpte i 1852 sitt første skip, briggen «Thilda». Hans rederi kom opp i 16 seilskip samt andeler i andre skip. Andreas Olsens (født 1826 – død 1893) første eget fartøy var barken «De Tre Venner» som han kjøpte i 1860. Senere ervervet han 5 andre seilskip. Brødrene Olsens forretningsvirksomhet ble etter hvert så omfattende at det ble opprettet egen tollstasjon i Hvitsten.