农历二月初九（1881年3月8日），他出生在盛京将军辖区锦州府义州南杂木村（杂木林子）一个贫苦的农民家庭。少年时，他曾入私塾学习3年。他和张作霖同姓，遂结义为兄弟，投身绿林。他们募集兵马，共同组织「保险队」，向商旅收取保护费。1902年他们受清朝政府招安，他任奉天巡防营哨官（排长）。1907年，他因讨伐马贼有功，升任管带（营长）。翌年，他又升任骑兵第三营统带（团长）。此后，他成为东三省总督徐世昌创设的奉天讲武堂第一期学生。中华民国成立后，1912年（民国元年）他任张作霖的第二十七师砲兵团长、骑兵团长