Rett før andre verdenskrig startet begynte Rolf Gerhardsen i stillingen som redaktør i avisen i Stavanger, men da tyskerne angrep invaderte Norge ble den innstilt. Sammen med lokale borgerlige journalister i Tønsberg var han så med på utgivelsen av den illegale avisen . Som aktiv hjemmefrontsmann fungerte han under dekkjobb som oppkjøper av blåbær og tyttebær i Tønsberg Bryggeri fram til 1943 da han måtte flykte til Sverige. Der jobbet han ved Den norske legasjons pressekontor og var blant annet redaktør for avisen som kom ut mellom 1943 og 1945 som et bindeledd mellom legasjonen i det nøytrale Sverige og de norske flyktningene, i tillegg til at avisen ble smuglet over grensen til hjemmefronten i Norge. Sammen med Martin Tranmæl, Hans Hegg, John Aae og Oddvar Aas satt han også i en komité som hadde i oppdrag å forberede gjenreisingen av arbeiderpressen etter krigen. Til dette formål hadde svensk LO gitt tilsagn om én million kroner til innkjøp av materiell for norsk arbeiderpresse. Rolf Gerhardsen var også med ved oppstarten av Arbeiderpartiets Landsutvalg i Sverige som ble etablert i 1944 for å forberede gjenreisningen av partiet, Arbeidernes ungdomsfylking, DNA-pressen og AOF og dessuten skulle motarbeide antisosial og arbeiderfiendtlig virksomhet blant flyktningene i Sverige og fungere som bindeledd mellom partimedlemmer i Norge og Storbritannia. Han var sekretær her. Rolf Gerhardsen hadde et tillitsforhold til statsminister Per Albin Hansson og intim kontakt med ledelsen i det socialdemokratiska arbetarepartiet. Mange ville ha ham til å bli norsk ambassadør i Sverige etter krigen.