Han ble skipsfartsutdannet i Storbritannia, Frankrike og Belgia. Fra 1914 arbeidet han for farens rederi, der han sammen med kontorsjef Johan Ludvig Mowinkel Müller (1873–1940), ble partner i 1916 og firmaet ble til Fred. Olsen & Co.; fire år før broren Thomas ble inntatt. Etter farens død av kreft i 1933 hadde firmaet over seksti skip som Rudolf og broren Thomas Olsen overtok. De var også engasjert i flere andre selskaper innen handel, industri og skipsfart. Blant annet tok Rudolf Olsen initiativet til etableringen av Det Norske Luftfartselskap og landets første flyrute med passasjertrafikk som ble etablert mellom Bergen, Stavanger og Oslo den 7. november 1934. Med tilnavnet «Svarte Rudolf» var han rederiets drivende kraft.