Etter å ha jobbet for Høyer Ellefsen, gikk Sem over til firmaet Norske Bygg, der han arbeidet i kalkulasjonsavdelingen. Han oppdaget at firmaet hadde tatt for høye priser for arbeidet på tyske anlegg, og det ble anmeldt til prispolitiet. Dette førte til at Sem kom nærmere tysk virksomhet og fikk innsikt i blant annet sjøflyhavnen på Sola.