Larsen hadde middelskole og handelsskole da han i 1889, 18 år gammel, begynte som kontorist i rederiet Rasmus F. Olsen. Han ble etter hvert medeier i en del av rederiets skip, og i 1905 lyktes han å skaffe nok kapital til å kontrahere sitt første egne skip. Han sluttet da snart hos Olsen og drev en periode som disponent for stadig flere skip. Virksomheten ekspanderte, og like etter at første verdenskrig var over, stiftet han aksjeselskapet Westfal-Larsen.