Durante la Segunda Guerra Mundial, Gerhardsen tomó parte en la resistencia organizada contra la ocupación nazi, y fue internado en los campos de concentración de Grini (en Noruega), y de Sachsenhausen (en Alemania).