Zhang adalah anggota pasukan kavaleri tidak tetap Honghuzi dari pasukan Manchuria pimpinan panglima perang Feng Delin selama Perang Tiongkok-Jepang Pertama. Pasukan ini direkrut sebagai tentara bayaran oleh Jepang selama Perang Rusia-Jepang dari tahun 1904-05. Dia kemudian belajar di Akademi Militer Timur Laut yang dibangun oleh Jenderal Zhao Erxun. Setelah Revolusi Xinhai, ia ditugaskan sebagai komandan resimen infanteri di bawah Republik Tiongkok, tetapi ia mendukung upaya gagal Zhang Xun untuk mengembalikan dinasti Qing pada tahun 1917. Ia kemudian bergabung dengan panglima perang Manchuria, Zhang Zuolin. Pada tahun 1923 ia diangkat sebagai komisaris Jalur Kereta Api Timur Jauh Tiongkok dan berpartisipasi dalam Pertempuran Zhili-Fengtian Pertama. Pada awal 1931 pasukannya terlibat dalam menumpas pemberontakan Gada Meiren.