Nel 1924, grazie al sostenimento di Chiang Kai-shek, He divenne istruttore generale dell'Accademia militare di Whampoa. In quella posizione, egli ebbe la responsabilità di istruire numerosi cadetti che formarono l'Esercito Rivoluzionario Nazionale cinese. He comandò il 1º Corpo d'armata durante la Spedizione del Nord (1926-1928) e condusse le truppe attraverso il Guangdong e il Fujian. Dopo la cattura del Fujian He conquistò anche lo Zhejiang. Nel 1927 sostenne Chiang nella sua decisione di dichiarare la guerra civile contro i comunisti e il generale Bai Chongxi nella perpetrazione del Massacro di Shanghai, ma l'anno seguente fu privato di gran parte dei suoi poteri quando non appoggiò completamente Chiang Kai-shek nei suoi contrasti con Wang Jingwei e la Nuova cricca del Guangxi guidata dal generale Li Zongren e da Bai Chongxi, rivali di Chiang all'interno del Kuomintang. Nonostante questo, durante la Guerra delle Pianure centrali del 1930 si mostrò fedele a Chiang, e come ricompensa egli lo nominò Ministro della Guerra, recuperando così il suo potere all'interno dell'esercito.