Parallelt med minkende oppslutning var partiet herjet av intern strid. Halvard Olsen og andre fagbevegelsesledere forlot partiet i 1924 i protest mot partiets faglige politikk. Sverre Sjøstad, den første formannen, og hans tilhengere forlot partiet i 1927 for å bli med i gjenforeningen av Arbeiderpartiet og Norges Socialdemokratiske Arbeiderparti. Emil Stang og Olav Scheflo forlot partiet samme år da de ikke ønsket å gå imot en Arbeiderpartiregjering. I 1927 ble Mot Dag-gruppen med i partiet. De forlot det året etterpå da partiet beveget seg mot en ultra-venstre posisjon.