Før andre verdenskrig brøt ut, engasjerte Sem seg i å kartlegge sjøtrafikken langs kysten. Allerede før krigen arbeidet han om bord i fisketransportskip og rapporterte observasjoner av fiendtlige skip til Sjøforsvaret. Da invasjonen fant sted, bestemte Sem seg for å engasjere seg aktivt i motstandsarbeidet mot tyskerne. Han returnerte til Stavanger med familien og deltok i å overvåke og rapportere tyske aktiviteter i området.