Under andre verdenskrig ble han i 1942 leder for etterretningsorganisasjonen XU på Sunnmøre og han hadde 19 agenter i Nordfjord, Sunnmøre og Romsdal. Han ble arrestert i mai 1944 i forbindelse med opprulling av en motstandsorganisasjon i Ålesund. De andre i XU ble varslet om arrestasjonen med en liten «X» trykket i Sunnmørsposten. Bakgrunnen for arrestasjonen var mistanke om at Flem drev ulovlig fotografering. Fram til freden satt han fengslet på Vollan kretsfengsel, de ni første månedene i enecelle.