Da den såkalte høyrefløyen brøt ut og dannet Norges Socialdemokratiske Arbeiderparti i 1921 valgte Tranmæl og Gerhardsen å agitere aktivt for Moskvatesene, til tross for at de var skeptiske til hva det innebar. I 1923 gikk tranmælittene inn for et brudd med Moskvatesene og Komintern, og seiret i en bitter strid. I 1923 ble Gerhardsen på et dramatisk landsmøte i Arbeiderpartiet valgt til partisekretær. Gerhardsen vant med bare to stemmers overvekt på internasjonalisten Peder Furubotn, som senere skulle bli den ledende skikkelsen i Norges Kommunistiske Parti, som ble dannet av mindretallet på dette landsmøtet.