Streng støtte til intern partidisiplin og lojalitet rundt fattede vedtak gjorde Knudsen spiselig i begge leirer, og han gikk ikke sammen med gamle moderate partifeller i dannelsen av Norges Socialdemokratiske Arbeiderparti (NSA) i 1921. Med Ole O. Lian som LO-leder hadde Knudsen en mer moderat alliert som bidro til å holde Arbeiderpartiet borte fra ytterliggående radikalisme og kommunisme. Knudsens 80-årsdag ble feiret stort av Arbeiderpartiet – det var viktig for moralen at ikke selve partistifteren brøt ut sammen med de moderate sosialdemokratene. Enda mer gledet det nok 82-åringen å motta meldingen om samlingskongressen i 1927 hvor den «gamle» fløyen kom tilbake i Arbeiderpartiet.