Dopo l'occupazione tedesca della Norvegia, Gerhardsen divenne presidente del Partito Laburista, in quanto il precedente presidente, Oscar Torp era andato in esilio. Gerhardsen divenne sindaco di Oslo il 15 agosto 1940, ma fu costretto a dimettersi dai tedeschi il 26 agosto dello stesso anno. A settembre, il governo di occupazione vietò tutti i partiti politici parlamentari, incluso quello laburista.