Allerede som tiåring kom han seg ut i arbeidslivet. Da begynte han som visergutt. Deretter begynte han i Kristianias veivesen i 1915. Han avtjente militærtjeneste – riktignok under store personlige kvaler – ved Høytorp fort i 1918. I 1919 ble han formann i Veivesenets arbeiderforening og året etter i Kristianias Arbeidersamfunn. Fra 1919 til 1923 var han sentralstyremedlem i Norges Kommunistiske Ungdomsforbund. I 1923 fulgte flertallet i NKU med NKP etter splittelsen i Arbeiderpartiet, og Gerhardsen var med mindretallet som valgte å starte en ny ungdomsorganisasjon til Arbeiderpartiet med navnet Venstrekommunistisk Ungdomsfylking – forløperen for Arbeidernes ungdomsfylking, Gerhardsen hadde en periode som nestformann og en som formann i ungdomsfylkingen. I denne perioden var han også sekretær i Norsk kommuneforbund i ett år.