Rimestad engasjerte seg etter hvert i AUF og også i Framfylkingen da denne ble startet opp i 1934. Da krigen brøt ut og Norge ble okkupert, ble han aktiv motstandsmann og skrev blant annet for den illegale LO-avisen . Han var grenselos og ble arrestert under en flyktningtransport 12. oktober 1942 og ble først plassert i Møllergata 19 som fange nummer 3606. Rimestad ble 21. oktober sendt til Stavanger, men ble overført til Grini fangeleir 27. november hvor han fikk fangenummeret 5526. Han ble så 27. februar 1943 sendt videre til konsentrasjonsleiren i Falkensee, en underavdeling av Sachsenhausen, hvor han ble værende som fange nummer 61489 helt fram til krigens slutt 8. mai 1945. Under oppholdet i Falkensee fikk han etter hvert tilsendt gitaren og bidro til å holde moralen oppe blant sine medfanger med sang og musikk.