Zhang est un membre des forces de cavalerie irrégulières honghuzi du seigneur de guerre mandchou Feng Delin durant la première guerre sino-japonaise. Ces troupes sont recrutées comme mercenaires par les Japonais durant la guerre russo-japonaise de 1904-05. Il étudie par la suite à l'académie militaire du Nord-Est construite par le général Zhao Erxun. Après la révolution chinoise de 1911, il est assigné au commandement d'un régiment d'infanterie de la nouvelle république de Chine. Il soutient cependant la tentative avortée de Zhang Xun de restaurer la dynastie Qing en 1917. Il rejoint par la suite les forces du seigneur de guerre Zhang Zuolin. En 1923, il est nommé commissaire du chemin de fer de l'Est chinois et participe à la première guerre Zhili-Fengtian. Début 1931, ses forces aident à réprimer la révolte de .