I 1920 dro Nie til Europa sammen med en gruppe kinesiske studenter på et mellomstatlig arbeid-studie-program. Her studerte han teknikk i Charleroi i Belgia, og møtte også Zhou Enlai, som ble hans mentor. Zhou rekrutterte ham i 1921, da han vvar på gjennomreise i Charleroi. Nie Rongzhen ble medlem av Det kinesiske kommunistpartiet i 1923.