Appartenente all'ala sinistra del KDP guidata da Ruth Fischer, nel 1923 si alleò con Arthur Ewert e Gerhart Eisler e divenne leader del partito nel distretto della regione di Meclemburgo. Dopo la rivolta di Amburgo, Neumann fuggì a Vienna e da lì fu espulso in Unione Sovietica nel 1925, dove sostituì Iwan Katz come rappresentante del KPD al Comintern. Da Mosca, fino al 1927, Neumann svolse un ruolo importante nella sostituzione di Ruth Fischer e Arkadi Maslow dalla direzione del partito, mossa che portò il KPD sotto il controllo di Stalin e del Comitato Centrale del partito comunista sovietivo. Dal luglio al dicembre del 1927 rappresentò il Comintern in Cina. Con il comunista georgiano Vissarion Lominadze organizzò la rivolta di Canton dell'11 dicembre 1927, che si rivelò un fallimento e durante la quale vennero uccisi circa comunisti.