个贫苦家庭，早年当农民和马商人。1897年（光绪23年），他参加清军。1902年（光绪28年），他成为中路巡防统领朱庆澜的手下，因显示出用兵才能而受到朱的重用。1906年（光绪32年），他转入左路巡防统领张作霖的手下，此后从事讨伐匪贼的活动。1910年（宣统2年），他入东三省讲武堂骑兵科，翌年以最优秀的成绩毕业。中华民国成立后的1912年（民国元年）9月，孙烈臣任张作霖所率的陆军第27师第54旅旅长。12月，他升陆军少将。1915年（民国4年）8月，他又升陆军中将。翌年4月，张作霖迫使督理东三省军务段芝