Under forhørene ble han banket opp med en gummislange fylt med tung masse, blant annet av Gestapo-mannen Josef Schossmann. Han klarte å rømme en gang fra arresten i Ålesund, men ble fanget igjen. Flem forsøkte å kutte pulsårene i armene. Gestapo fant aldri ut at Flem var leder for XU. Gestapo-sjef Gerhard Flesch sa etter krigen at Flem ville ha blitt henrettet om Gestapo hadde fått kjennskap. I fengselet lærte han seg morse for å kunne kommunisere med andre fanger ved å banke i murveggene. På Vollan var Flem vitne til at åtte russiske fanger ble henrettet kort tid før tysk kapitulasjon. Han slapp ut av fengsel 9. mai 1945.