I 1929 sa han opp grunnet at han nektet å jobbe sammen med «scab» (nedsettende betegnelse på ikke-organisert arbeidskraft). Han forble uten ansettelse resten av livet, men han var helt og holdent opptatt med politisk arbeid. Han var svært populær blant enkeltmedlemmene i fagforeningen, men hans tilknytning til «hornerister» (kommunister som arbeidet innenfor fagforeningene), hans turbulente privatliv og hans generelle mistillit til personkulter (han ble sendt ut av Sovjetunionen for ikke å bry seg om en stående ovasjon for Josef Stalin) førte til at han gjentatte ganger ble utestengt og disiplinert av kommunistpartiet.