Sem ble involvert i motstandsarbeid gjennom kontakten med Garmann Granfoss og Åke Jensen, som tilhørte den lokale Milorgs etterretningsseksjonen. Han bidro til organiseringen av flyktningetransporter og deltok i å ordne falske legitimasjonspapirer gjennom fotografering i hemmelige lokaler.