Родился в 1896 году в уезде Шисин провинции Гуандун. Чжан обучался в начальной военной академии провинции Гуандун в 1912 году, а после отправился в военную школу в Ухане. Он служил личным телохранителем Сунь Ятсена и был назначен командиром батальона вновь созданного 4-го корпуса Национально-революционной армии. В 1923 году он присоединился к кампании, противостоявшей военачальнику Чэнь Цзюнмину, где был повышен до командира дивизии. Во время Северного похода, он возглавлял 4-й корпус потерпевшего поражение У Пэйфу. Этот корпус стал известен как Железная армия, а сам Чжан — как «"Герой железной армии"». Когда Чан Кайши начал открытую вооружённую борьбу против коммунистов в Шанхае, Чжан остался с уханьским правительством Ван Цзинвэя. Чжан был назначен на командование 4-м и 11-м корпусами. В то же время, оба правительства Гоминьдана начали отдельные кампании против северных милитаристов, и Чжан снова одержал крупную победу над Фэнтяньской кликой маршала Чжан Цзолиня в провинции Хэнань. Затем он был назначен командиром 4-го военного района и был готов атаковать Нанкин. Когда Ван Цзинвэй и Чан Кайши примирились в июле 1927 года, многие коммунистические офицеры под его командованием взбунтовались, в результате чего произошло Наньчанское восстание. Армия Чжана победила коммунистов и преследовала мятежников до западного Фуцзяня, после чего вернулась в свою провинцию. Оставшиеся коммунисты зачинили Гуанчжоуское восстание, которое Чжан также немедленно подавил. Тем не менее, он был обвинен в поражении и оставил свою команду. Перед началом Второй японо-китайской войны он участвовал в ряде локальных конфликтов, чтобы остановить растущее влияние националистического правительства Чана Кайши в своей провинции и активно участвовал в войне центральных равнин против нанкинского правительства. В 1936 году Чжан и Чан помирились, и Чжан был назначен командиром приграничных провинций Чжэцзян, Цзянси, Аньхуэй и Фуцзянь, где занимался искоренением коммунистической деятельности.