Né dans la préfecture de Pingxiang, province du Jiangxi, Zhang fut impliqué dans des activités révolutionnaires durant son adolescence. Zhang étudia le marxisme auprès de Li Dazhao à l’université de Pékin en 1916. Après avoir joué un rôle actif dans le Mouvement du quatre mai, Zhang devint un des dirigeants étudiants et rejoignit l’organisation embryonnaire du PCC en 1920. À la même époque, Mao Zedong était bibliothécaire à l’université de Pékin et totalement inconnu du public. Il n’est pas sûr que Mao et Zhang se connurent à ce moment-là. Zhang participa au 1er congrès national du Parti communiste chinois en 1921 et fut élu membre du Comité central du PCC, responsable de l’organisation du travail des cadres (central du Parti communiste chinois).