Under første verdenskrig forliste 23 av rederiets 44 skip og etter krigen startet en meget hektisk gjenoppbyggingsperiode. Aktiviteten ble også utvidet, og i 1921 overtok rederiet hovedinteressen i Otto Thoresens daværende Spanskelinje og Kanarilinje og deres andel av Syd-Amerikalinjen. Spanskelinjen ble senere utvidet til også å omfatte indre Middelhav. I 1923 overtok Fred. Olsen & Co. Jeløylinjens ruter til tyske havner.