I Shanghai ble Zhu kjent med marxismen og leninismen. i 1920-årene studerte han i Europa, og var innskrevet fra 1924 til 1925 ved Georg-August-universitetet i Göttingen i Tyskland. Det var på denne tiden han klarte å melde seg inn i det kinesiske kommunistparti. Det gikk ikke uten problemer, for den daværende partiformann, Chen Duxiu, ville ikke ha ham på grunn av hans fortid. Men Zhou Enlai gikk inn for ham, og dermed ble han godtatt.