Pada 1927, setelah Pembantaian Shanghai, ia menjadi anggota aktif gerakan komunis bawah tanah bersama dengan Zhou Enlai, dan memegang banyak jabatan hingga akhirnya menjadi kepala dinas keamanan Politbiro Tiongkok. Dijuluki sebagai pesulap, sebenarnya ia secara pribadi berpartisipasi dalam pembunuhan para pengkhianat PKT yang membuatnya menjadi terkenal sebagai aktivis partai.