Ettersom han mistet jobben som ordfører, gikk han midlertidig tilbake i jobben som veiarbeider. Samtidig gikk han aktivt med i motstandsbevegelsen. Blant annet var Gerhardsen blant de mest sentrale i oppstarten av det som senere ble Hjemmefrontens offisielle organ, . Gerhardsen var i tillegg sentral i Kretsen og var derfor med på de såkalte på Grimelund gård. 11. september 1941 ble han arrestert og sendt til Grini fangeleir, der han deltok i en indre krets av Ap-tilknyttede politikere og la grunnlag for et etterkrigsparti sammen med Martin Strandli, Olaf Fredrik Watnebryn, Olaf Solumsmoen, Gunvald Engelstad og Arnoldus Kongerø. Senere ble han flyttet til Møllergata 19, der han også ble utsatt for tortur. 5. april 1942 ble han sendt til konsentrasjonsleiren Sachsenhausen i Tyskland, blant annet sammen med forfatteren Arnulf Øverland. I 1944 ble han etter kortere perioder i forskjellige fengsler i Tyskland sendt tilbake til Norge, hjulpet av den norske legen Johannes Heimbeck, som hadde gode kontakter i Tyskland. Først satt han i Akershus Landsfengsel, deretter ble han sendt til Grini 19. september 1944. Til tross for fangenskapet var Gerhardsen aktiv i arbeidet for å planlegge Arbeiderpartiets etterkrigspolitikk og hvordan det politiske arbeidet i Norge skulle bli etter frigjøringen. Han satt på Grini frem til Tysklands kapitulasjon i mai 1945.