Nacido en la ciudad manchú de Gaizhou en 1867 o 1868, durante la Primera guerra chino-japonesa formó parte de las fuerzas "Honghuzi" que mandaba el señor de la guerra Feng Delin. Diez años después, estas fuerzas serían reclutadas como mercenarios por los japoneses durante la guerra ruso-japonesa, entre 1904-1905. Tras la revolución Revolución de Xinhai, Zhang pasó a mandar un regimiento de infantería bajo el nuevo gobierno republicano; a pesar de ello, apoyó el intento de restaurar la monarquía que encabezó Zhang Xun en 1917. Tras el colapso de los gobiernos republicanos y el comienzo de la Era de los señores de la guerra, Zhang pasó a servir al señor de la guerra manchú Zhang Zuolin. En 1923 fue nombrado comisario del Ferrocarril Chino del Este, y poco después participaría en la Primera Guerra Zhili-Fengtian.