和张作霖同姓，遂结义为兄弟，投身绿林。他们募集兵马，共同组织「保险队」，向商旅收取保护费。1902年他们受清朝政府招安，他任奉天巡防营哨官（排长）。1907年，他因讨伐马贼有功，升任管带（营长）。翌年，他又升任骑兵第三营统带（团长）。此后，他成为东三省总督徐世昌创设的奉天讲武堂第一期学生。中华民国成立后，1912年（民国元年）他任张作霖的第二十七师砲兵团长、骑兵团长。1917年8月，他升任第二十七师第五十四旅旅长。同年，张作相和孙烈臣镇压了宗社党清朝复辟起义。他还阻止了冯德麟、汤玉麟的反张作霖阴谋。