Zhang ble medlem av Det kinesiske kommunistparti i 1925 og ble sendt for studier til Sun Yatsenuniversitetet i Moskva. Der kom han inn i kretsen rundt Wang Ming og begynte etter hjemkomsten til Kina å spille en viktig rolle i kretsen som fikk tilnavnet de 28 bolsjeviker.