Gerhardsen forble partisekretær frem til 1926, men da ble det bestemt at han skulle ta over som sekretær i Oslo Arbeiderparti for å drive organisasjonsbygging der. I 1936 tok Gerhardsen igjen over som partisekretær, før han i 1939 ble nestformann.