Under storkonflikten i 1924 deltok han i den såkalte Fjellseter-affæren. På Fjellseter tok streikende seg inn på en fest streikebrytere prøvde å avvikle. Det hele endte i håndgemeng og politiuttrykning. Flere ble arrestert, og Gerhardsen ble - ved siden av AP-mannen Hjalmar Dyrendahl - dømt og fengslet som en av hovedmennene. De ble idømt et års fengsel og ti års tap av statsborgerlige rettigheter. Rettighetene fikk de imidlertid tilbake i 1928, da arbeiderregjeringen tiltrådte.