Skipper Paulsen døde før sønnen hadde nådd konfirmasjonsalder. Dermed ble ungdomsårene preget av arbeid. For å ta seg av moren og den yngre søsteren Andrine (senere gift Amundsen) fikk han skaffet seg en jobb på et handelskontor ved Bryggen. Han var da også fast bestemt på å fortsette innenfor handelsfagene. I 5 år var han ansatt på Det portugisiske og brasilianske konsulatet i Bergen. Om somrene, i prinsipalens fravær, fungerte han til og med som visekonsul. Det heldige med stillingen var at arbeidet bød på så mye fritid at han kunne rekke å bøte på noe av den mangelfulle utdannelsen sin.