I norske rederier var det ofte vanlig at eldstesønnen arvet hele virksomheten, men Fred. Olsen eldstesønn Petter hadde dødd ung i et epilepsianfall i 1913. En annen sønn, Knut, hadde begått selvmord i kjærlighetssorg. Også sønnen Fritz hadde gått bort relativt tidlig, og for Fred. var det utenkelig at døtrene kunne arve selskapet. Dermed gjenstod bare de to gjenværende sønnene Rudolf Fredrik og Thomas Fredrik. Rudolf hadde blitt tatt opp som partner i Fred. Olsen & Co. i 1916 (sammen med Johan L. Müller), mens Thomas ble partner i 1922. Eierforholdene ble slik at de to brødrene hadde 40 % hver, mens Müller eide 20 %. Avtalen sa videre at Rudolf (som den eldste av brødrene) skulle overta Müllers andel ved dennes død, slik at eldstebroren ble sittende med siste ord. Brødrene kom til å styre Olsen-imperiet sammen de neste 20 årene, før det på midten av 1950-tallet ble overtatt av Thomas' sønn Fred. Olsen (1929–).