En abril de 1927 He tuvo un destacado papel durante la Matanza de Shanghái, que supuso la violenta represión del Partido Comunista y el inicio de la Guerra Civil entre el Kuomintang y los comunistas. En 1928 perdió gran parte de su poder después de un incidente con Chiang Kai-shek, ya que anteriormente He no había apoyado al líder del KMT durante una agria disputa con Wang Jingei y Li Zongren, rivales de Chiang dentro del partido. Sin embargo, durante la Guerra de las Planicies Centrales (1930) se mostró fiel hacia Chiang, por lo que volvió a ganar su confianza y en recompensa fue nombrado ministro de la guerra, recuperando su antiguo poder dentro del Ejército.