I den senere del av 1920-årene bekjempet Zhang energisk den sovjetiske innflytelse i Kina og stod en tid på temmelig vennskapelig fot med Japan. Han lyktes i 1926, med bistand fra sin sønn Zhang Xueliang, kalt «den unge general», å gjøre Feng Yuxiangs stilling i Beijing uholdbar (denne begav seg da på «studiereise» til Russland) samt å i Mandsjuria undertrykke et farlig opprørsforsøk av en underordnet befalingsmann.