Rudolf døde av kreft i 1951. Hans bror forsøkte å drive videre, men måtte trekke seg tilbake av helsemessige årsaker. Fra et ekteskap med Helene Feyer Andvord (1894–1973, senere gift med Nicolai Eger) hadde Rudolf et barn, datteren Sofie Helene Wigert (1913–1982). Da Rudolf døde i 1951, var det en firmaklausul om at kvinner ikke hadde arverett. Dette innebar at rederiet i 1955 ble overtatt av sønnen til Thomas Olsen, Fred. Olsen (skipsreder) (født 1929, senere kalt «Lille-Fred»). Rudolf Olsens datter arvet betydelige verdier etter sin far og etablerte sitt eget rederi i 1955.