Pour son rôle dominant dans le cadre du Mouvement du 4 Mai en 1919, Chen est emprisonné de juin à septembre. À sa sortie de prison, il s’engage d’abord au sein d’un groupe communiste pour participer à la fondation du Parti communiste de Chine à lieu lors du 1er congrès national du Parti communiste chinois en 1921 à Shanghai dans la maison de Li Hanjun dans la concession française, à Shikumen. Alors que la fondation du parti se base sur le soutien du Komintern, celui-ci entre également en contact avec le parti nationaliste, le Kuomintang, de telle façon qu’en 1923, suivant les instructions du Komintern, les deux partis forment un Front unifié. Il fait partie du central du Parti communiste chinois, du 4 et du 5. Avec la mort de Lénine en 1924 et de Sun Yat-sen en 1925, la politique dans les deux pays est dominée par les querelles concernant leur succession. En Chine, Staline représente une politique censée soutenir une révolution, atteignant toutes les classes, sous la commande du Kuomintang, Trotski, son principal concurrent, au contraire, se centre sur les forces révolutionnaires du Parti Communiste Chinois. Dans ce cadre, la politique de Chen Duxiu, qui est axée sur le maintien d’une position distancée envers le Kuomintang, est attaquée.