Til sjøs fulgte Olaf Karling den tradisjonelle karrierestigen i byssa, som messegutt, byssegutt, andrekokk, førstekokk og stuert, før han i 1938 gikk i land for å tiltre som fastlønnet tillitsmann ved Norsk Sjømannsforbunds avdeling i Antwerpen.