Da situasjonen ble for farlig i Stavanger, varslet Sem nøkkelpersoner om sin forsvinning og la ut på en reise til Sverige. Der ble han en del av det norske etterretningsnettverket XU. Sem utførte forskjellige oppdrag, inkludert dokumentasjon av tyske militære installasjoner langs kysten, som ble viktige for allierte styrker. Han bidro også til å avsløre tyske spioner blant norske flyktninger i Sverige. Sem's innsats i etterkrigstiden utvidet dermed hans bidrag til den norske motstandsbevegelsen og krigsinnsatsen.