Da venstrefløyen vant flertallet i partiet i 1918, ble Grepp valgt til partiformann. Formannsvervet hadde han til sin død i 1922. Som formann stod Grepp i spissen for å melde partiet inn i Komintern. I ettertid har det hersket strid mellom fløyene i Arbeiderpartiet om Grepps standpunkt til de stridighetene som allerede i hans levetid var under oppseiling, men historikere har ikke funnet noe som tyder på at han støttet Martin Tranmæl, som allerede i 1921 arbeidet for å løsrive partiet fra Komintern. Einar Gerhardsen skriver i sine memoarer at Grepp i samtale med Martin Tranmæl hadde gitt uttrykk for at den nye Internasjonalens sete burde vært i Berlin og ikke i Moskva. I sine siste år var Grepp preget av sykdom, og han holdt sin siste offentlige tale i 1920. I 1922 døde han av tuberkulose.