Sem begynte sin yrkeskarriere ved Victoria Hotell i Stavanger som 14-åring etter endt folkeskole. I 17-års alderen arbeidet han i skogsbruk på Hardangervidda, hvor han utviklet ferdigheter i jakt og overlevelse. Etter å ha gjennomført militærtjeneste i Kongens garde, fikk han ansettelse ved industrielle anlegg i Sauda. I 1932 vendte han tilbake til Stavanger, hvor han etablerte seg som selvstendig næringsdrivende og involverte seg i fiskeoppkjøp og transport. Før krigen var han bosatt i Oslo og ble kjent med entreprenøren Tom Høyer Ellefsen, og fikk senere jobb i firmaet i Stavanger. I juni 1940 ble firmaet rekvirert av den tyske okkupasjonsmakten, og Sem var ansatt som oppsynsmann.